AURORA v7 — RETREINO OBSERVADO: estados antigos apagados; treino do zero com monitor de RAM integral (Agente Engenheiro); métricas de tests/test_aurora_v6.py comparadas com o treino anterior; gráficos de desempenho publicados no card
7eea4b4 verified | { | |
| "modelo": { | |
| "vocab": 16384, | |
| "d_modelo": 192, | |
| "n_camadas": 3, | |
| "n_cabecas": 4, | |
| "d_ff": 512, | |
| "comprimento_ctx": 192, | |
| "janela_sliding": 32, | |
| "kv_cache_max": 512, | |
| "n_experts_fusao": 4, | |
| "moe": { | |
| "ativo": true, | |
| "n_camadas_moe": 2, | |
| "n_grupos": 3, | |
| "experts_por_grupo": 2, | |
| "d_ff_expert": 160, | |
| "top_k": 2, | |
| "margem_foco": 1.0, | |
| "n_tarefas": 9 | |
| }, | |
| "mtp": { | |
| "ativo": true, | |
| "k_cabecas": 2, | |
| "beta_entropia": 0.05, | |
| "k_adaptativo": true | |
| }, | |
| "roteador": { | |
| "ativo": true, | |
| "k": 24, | |
| "lambda_rota": 0.35, | |
| "gamma_empate": 0.15, | |
| "conf_min": 0.25, | |
| "min_amostras": 200 | |
| }, | |
| "microunidades": { | |
| "d_gru": 96, | |
| "d_ramo": 96, | |
| "d_refino": 128, | |
| "kernel1": 3, | |
| "kernel2": 5, | |
| "gamma_rec": 0.5, | |
| "k_rec_max": 2, | |
| "eps_stop": 0.01, | |
| "tau0": 0.8, | |
| "kappa_conf": 1.0, | |
| "delta_explora": 0.3 | |
| }, | |
| "atencao_moe": { | |
| "ativo": true, | |
| "alpha0": 0.0 | |
| } | |
| }, | |
| "treino": { | |
| "epocas": 8, | |
| "lote": 8, | |
| "lr_max": 0.003, | |
| "lr_min": 0.0003, | |
| "warmup": 60, | |
| "clip_grad": 1.0, | |
| "janela_estagnacao": 120, | |
| "checkpoint_a_cada": 150, | |
| "avaliar_a_cada": 100, | |
| "qat_ultimos_passos": 80, | |
| "fase_densa_ate_epoca": 5, | |
| "pcgrad": true, | |
| "lambda_moe_lb": 0.01, | |
| "lambda_moe_ort": 0.01, | |
| "lambda_mtp": 0.3, | |
| "lambda_som": 0.05, | |
| "mistura_tarefas": { | |
| "instrucao": 0.22, | |
| "lm": 0.14, | |
| "noticia": 0.1, | |
| "pontuacao": 0.1, | |
| "imagem_caption": 0.1, | |
| "vqa": 0.1, | |
| "ocr": 0.07, | |
| "asr": 0.09, | |
| "tts": 0.08 | |
| }, | |
| "abmo": { | |
| "ativo": true, | |
| "margem": 0.25, | |
| "cap_min": 0.05, | |
| "cap_max": 500.0 | |
| }, | |
| "dpo": { | |
| "ativo": true, | |
| "passos": 100, | |
| "beta": 0.1, | |
| "lr": 5e-05, | |
| "lr_beta": 0.001, | |
| "kl_alvo": 0.5, | |
| "lote": 4, | |
| "beta_min": 0.05 | |
| }, | |
| "fase_som": { | |
| "ativo": true, | |
| "epocas": 2, | |
| "alvo_ativos": 0.9, | |
| "gamma_empate": 0.15, | |
| "lambda_novidade": 0.25, | |
| "dim_lote": 64 | |
| }, | |
| "prs_v8": { | |
| "ativo": true, | |
| "eta_up": 0.05, | |
| "eta_down": 0.02, | |
| "T_ciclo": 400, | |
| "decay_piso": 1.0, | |
| "percentil": 0.75, | |
| "janela_clip": 50, | |
| "coef_streak": 0.3, | |
| "vel_alvo": 0.01, | |
| "boost_max": 1.0 | |
| }, | |
| "confianca": { | |
| "ativo": true, | |
| "kappa_punicao": 0.3, | |
| "kappa_premio": 0.1, | |
| "janela_tau": 50, | |
| "quantil_tau": 0.25, | |
| "h_escrita_memoria": 0.25 | |
| }, | |
| "crescimento": { | |
| "ativo": true, | |
| "a_cada": 200, | |
| "tau_expand": 0.1, | |
| "tau_prune": 0.01, | |
| "eps_gate": 0.05, | |
| "janela_uso": 8, | |
| "n_max_ramos": 5, | |
| "n_sondas": 2 | |
| }, | |
| "rpp": { | |
| "ativo": true, | |
| "rho_max": 0.15, | |
| "rho_step": 0.05, | |
| "rho_decaimento": 0.5, | |
| "janela": 30, | |
| "kappa_rotas_mortas": 0.01, | |
| "alvo_ativos": 0.9 | |
| }, | |
| "sgdr_t_mult": 2 | |
| }, | |
| "ciclo": { | |
| "tau_escalada": 0.35, | |
| "entropia_limite": 0.85, | |
| "orcamento_passos": 6, | |
| "cache_ferramentas_ttl": 600, | |
| "cache_ferramentas_max": 64 | |
| }, | |
| "memoria_interna": { | |
| "ativo": true, | |
| "n_slots": 64, | |
| "h_escrita": 0.25, | |
| "idade_compressao_s": 900.0, | |
| "n_codigos": 64, | |
| "lambda_utilidade": 0.1, | |
| "meia_vida_s": 1800.0, | |
| "replay_a_cada": 40 | |
| }, | |
| "checkpoints": { | |
| "dir_local": "/home/z/my-project/aurora/estados_local", | |
| "pasta_publicacao": "estados/fase-v7" | |
| }, | |
| "som_atencao": { | |
| "ativo": true, | |
| "tau": 0.5, | |
| "gamma_novidade": 0.15 | |
| }, | |
| "difusao": { | |
| "ativo": true, | |
| "repo_id": "hf-internal-testing/tiny-stable-diffusion-torch", | |
| "altura": 128, | |
| "largura": 128, | |
| "passos_inferencia": 8, | |
| "guia_escala": 7.5 | |
| }, | |
| "agente_engenheiro": { | |
| "ativo": true, | |
| "intervalo": 50, | |
| "tolerancia_regressao": 0.05 | |
| } | |
| } |