File size: 2,017 Bytes
97df2ae e26f4cc 97df2ae e26f4cc 97df2ae e26f4cc 97df2ae e26f4cc 97df2ae e26f4cc 97df2ae e26f4cc 97df2ae e26f4cc 97df2ae e26f4cc 97df2ae e26f4cc 97df2ae e26f4cc 97df2ae e26f4cc 97df2ae e26f4cc | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 | {
"modelo": {
"vocab": 16384,
"d_modelo": 192,
"n_camadas": 6,
"n_cabecas": 4,
"d_ff": 512,
"comprimento_ctx": 256,
"janela_sliding": 192,
"kv_cache_max": 2048,
"usar_atencao_arvore": true,
"mtp": {
"ativo": true,
"k_cabecas": 2,
"beta_entropia": 0.05,
"k_adaptativo": true
}
},
"ncm": {
"ativo": true,
"niveis": [
4,
8,
16,
32,
64,
128,
256
],
"d_lat": 64,
"k_por_nivel": 64,
"ema_codebook": 0.99,
"beta_commit": 0.25,
"nested_dropout": {
"tipo": "uniforme"
},
"corrupcao_cond": 0.15,
"dropout_cfg": 0.1,
"cfg_scale": 1.0,
"gsq": {
"tau0": 1.0,
"tau_min": 0.5,
"t_alvo": 400
},
"pesos_nivel": "uniforme",
"lambdas": {
"conceito": 0.0,
"rec": 1.0,
"rho_ancora": 0.05
},
"temperaturas": {
"auto": true,
"entropia_alvo": null,
"limites": [
0.5,
1.5
]
},
"mbr": {
"n_cand": 1
},
"escala_r": "ema_projecao",
"modo_quantizacao": "gsq_rco",
"niveis_token": false
},
"adba": {
"ativo": true,
"gamma_ancora": 1.0,
"reponderacao_nivel": true,
"temperatura_nivel": true
},
"ponte": {
"ativo": true,
"capacidade": 64,
"timeout_ms": 2000,
"rodadas_demo": 24
},
"treino": {
"lr": 0.003,
"aquecimento": 40,
"passos_fase_a": 400,
"passos_fase_b": 400,
"lote": 4,
"clip": 1.0,
"peso_decaimento": 0.01,
"telemetria_a_cada": 25
},
"telemetria": {
"jsonl": true,
"deteccao_aprendizado": true,
"ajuste_automatico": true,
"paciencia_plateau": 120,
"fator_lr_plateau": 0.6
},
"dados": {
"shard_treino": "dados/shard_treino.jsonl",
"shard_validacao": "dados/shard_validacao.jsonl",
"max_artigos": 1200,
"max_bytes": 6000000
},
"memoria": {
"som_lado": 16,
"lambda_jepa": 0.1,
"rm_dois_tempos": true
}
} |