Portuguese
mamba
mamba-3
ssm
muon
muonclip
qk-clip
adamw
optimizer
nope
hybrid-architecture
activation-checkpointing
3d-vision-language
depth-perception
point-cloud
diffusion
stable-diffusion
mixture-of-experts
kohonen
som-attention
random-forest
deep-neural-network
knowledge-distillation
bidirectional-distillation
engram-memory
multimodal
multi-token-prediction
dpo
rlhf
hh-rlhf
pcgrad
long-context
lra-qvit
engineer-agent
integral-state
cython
jev-classifiers
gumbel-softmax
quantization
riemannian-optimization
stiefel-manifold
cython-kernels
gradient-accumulation
vector-quantization
grayscale-detection
joint-perception
self-regulation
signal-table
abmo
ciar
growing-som
pt-br
KHTST v23 — auditoria independente integrada: correções válidas aplicadas com provas (doc 35, Teos 35.1-35.14) e claims refutadas documentadas (doc 35 §11). PCGrad PROJETA (fator=dot/n2, g=gm+(ga-fator*gm) — 0 violações I1/I2/I3 em 100.083 pares; o antigo reescalava e violava a não-piora em 25,3%); RoPE com OFFSET de cache (desloc absoluto propagado — score de decode varia com t; era constante 2,756113); tronco 5:1 REAL (n_camadas=6, validação do campo que constrói o tronco; L=3 reprovado); checkpoint ATÔMICO (tmp+fsync+replace+fsync-dir, hash obrigatória, antigos por último); IPC lê a capacidade do HEADER (divergência=ValueError, fallback+Cython); dedup texto+entrada+saida+midia (29,5%->8,7%) + NFC; filtro P9 sem vazamento eval->treino (9 benchmarks pulados, hendrycks em train, Fable train); acumulação sem viés na retomada; hub com buffer + fechar(); mecanismo árvore VIVO (A-23, y+0*y_a=y bit a bit); erratas doc 26/28 (Sigma 1/tau diverge, T_tau=168,76, dH/dT=Var/T3, h^2/12 densidade contínua); auditoria HARDENED em auditoria_independente/ (4 scripts com assert+exit, 4/4 verdes); corpus real fresco 1612 registros com P9 (MATH-500 PULADA); A/B pareado 48 passos + grad peso_arvore vivo medido; suíte v23 35/35, regressão v1-v22 zero, verificar_tudo 49✓
b433ff3 verified | { | |
| "modelo": { | |
| "vocab": 16384, | |
| "d_modelo": 192, | |
| "n_camadas": 6, | |
| "n_cabecas": 4, | |
| "d_ff": 512, | |
| "comprimento_ctx": 256, | |
| "janela_sliding": 192, | |
| "kv_cache_max": 2048, | |
| "n_experts_fusao": 4, | |
| "moe": { | |
| "ativo": true, | |
| "n_camadas_moe": 2, | |
| "n_grupos": 3, | |
| "experts_por_grupo": 2, | |
| "d_ff_expert": 160, | |
| "top_k": 2, | |
| "margem_foco": 1.0, | |
| "n_tarefas": 12, | |
| "vetorial": true | |
| }, | |
| "mtp": { | |
| "ativo": true, | |
| "k_cabecas": 2, | |
| "beta_entropia": 0.05, | |
| "k_adaptativo": true | |
| }, | |
| "roteador": { | |
| "ativo": true, | |
| "k": 24, | |
| "lambda_rota": 0.35, | |
| "gamma_empate": 0.15, | |
| "conf_min": 0.25, | |
| "min_amostras": 200 | |
| }, | |
| "microunidades": { | |
| "d_gru": 96, | |
| "d_ramo": 96, | |
| "d_refino": 128, | |
| "kernel1": 3, | |
| "kernel2": 5, | |
| "gamma_rec": 0.5, | |
| "k_rec_max": 2, | |
| "eps_stop": 0.01, | |
| "tau0": 0.8, | |
| "kappa_conf": 1.0, | |
| "delta_explora": 0.3 | |
| }, | |
| "atencao_moe": { | |
| "ativo": true, | |
| "alpha0": 0.0 | |
| }, | |
| "usar_atencao_arvore": true, | |
| "moe_enc_dec": { | |
| "ativo": true, | |
| "n_encoders": 2, | |
| "n_decoders": 4, | |
| "d_ff_expert": 160, | |
| "top_k": 2, | |
| "fora_de_ordem": true | |
| }, | |
| "autoajuste": { | |
| "ativo": true, | |
| "janela_lr": 200, | |
| "lr_passo": 0.5, | |
| "raio_min": 32, | |
| "raio_max": 256, | |
| "alpha_peso_arvore": 0.05, | |
| "ppl_alvo": 17.0, | |
| "kappa_min": 0.5, | |
| "kappa_max": 1.5, | |
| "ganho": 0.3, | |
| "vazamento": 0.98 | |
| }, | |
| "mamba3": { | |
| "ativo": true, | |
| "n_camadas": 6, | |
| "n_cabecas": 4, | |
| "d_estado": 16, | |
| "rank_mimo": 4, | |
| "grad_checkpointing": true, | |
| "lambda_mamba3": 0.25, | |
| "ativo_vl": true, | |
| "n_camadas_vl": 6 | |
| }, | |
| "sonicmoe": { | |
| "ativo": false, | |
| "tile_m": 64 | |
| } | |
| }, | |
| "treino": { | |
| "epocas": 9, | |
| "lote": 6, | |
| "lr_max": 0.003, | |
| "lr_min": 0.0003, | |
| "warmup": 60, | |
| "clip_grad": 1.0, | |
| "janela_estagnacao": 120, | |
| "checkpoint_a_cada": 150, | |
| "avaliar_a_cada": 100, | |
| "qat_ultimos_passos": 80, | |
| "fase_densa_ate_epoca": 5, | |
| "pcgrad": true, | |
| "lambda_moe_lb": 0.01, | |
| "lambda_moe_ort": 0.01, | |
| "lambda_mtp": 0.3, | |
| "lambda_som": 0.05, | |
| "mistura_tarefas": { | |
| "instrucao": 0.18, | |
| "lm": 0.12, | |
| "noticia": 0.08, | |
| "pontuacao": 0.08, | |
| "imagem_caption": 0.08, | |
| "vqa": 0.08, | |
| "ocr": 0.06, | |
| "asr": 0.07, | |
| "tts": 0.06, | |
| "traducao": 0.08, | |
| "raciocinio": 0.06, | |
| "classificacao": 0.05 | |
| }, | |
| "abmo": { | |
| "ativo": true, | |
| "margem": 0.25, | |
| "cap_min": 0.05, | |
| "cap_max": 500.0 | |
| }, | |
| "dpo": { | |
| "ativo": true, | |
| "passos": 100, | |
| "beta": 0.1, | |
| "lr": 5e-05, | |
| "lr_beta": 0.001, | |
| "kl_alvo": 0.5, | |
| "lote": 4, | |
| "beta_min": 0.05, | |
| "hh_rlhf_frac": 0.4, | |
| "hh_rlhf_max": 300 | |
| }, | |
| "fase_som": { | |
| "ativo": true, | |
| "epocas": 2, | |
| "alvo_ativos": 0.9, | |
| "gamma_empate": 0.15, | |
| "lambda_novidade": 0.25, | |
| "dim_lote": 64 | |
| }, | |
| "prs_v8": { | |
| "ativo": true, | |
| "eta_up": 0.05, | |
| "eta_down": 0.02, | |
| "T_ciclo": 400, | |
| "decay_piso": 1.0, | |
| "percentil": 0.75, | |
| "janela_clip": 50, | |
| "coef_streak": 0.3, | |
| "vel_alvo": 0.01, | |
| "boost_max": 1.0 | |
| }, | |
| "confianca": { | |
| "ativo": true, | |
| "kappa_punicao": 0.3, | |
| "kappa_premio": 0.1, | |
| "janela_tau": 50, | |
| "quantil_tau": 0.25, | |
| "h_escrita_memoria": 0.25 | |
| }, | |
| "crescimento": { | |
| "ativo": true, | |
| "a_cada": 200, | |
| "tau_expand": 0.1, | |
| "tau_prune": 0.01, | |
| "eps_gate": 0.05, | |
| "janela_uso": 8, | |
| "n_max_ramos": 5, | |
| "n_sondas": 2 | |
| }, | |
| "rpp": { | |
| "ativo": true, | |
| "rho_max": 0.15, | |
| "rho_step": 0.05, | |
| "rho_decaimento": 0.5, | |
| "janela": 30, | |
| "kappa_rotas_mortas": 0.01, | |
| "alvo_ativos": 0.9 | |
| }, | |
| "sgdr_t_mult": 2, | |
| "gate_fase": { | |
| "ativo": true, | |
| "tolerancia_rollback": 0.08 | |
| }, | |
| "ensemble": { | |
| "ativo": true, | |
| "a_cada": 100, | |
| "d_features": 192, | |
| "d_oculto": 96, | |
| "n_arvores": 32, | |
| "n_engramas": 256, | |
| "k_vencedores": 8, | |
| "buffer_max": 512, | |
| "alpha": 1.0, | |
| "eta": 0.05, | |
| "tau_kd": 2.0 | |
| }, | |
| "jepa_acoplado": { | |
| "lambda": 0.0, | |
| "variantes": [ | |
| "imagem", | |
| "audio", | |
| "video" | |
| ], | |
| "ema_momentum": 0.996, | |
| "peso_var": 0.01, | |
| "peso_iso": 0.0, | |
| "pred_hidden": 256, | |
| "aprende_gate": false | |
| }, | |
| "pid_moe": { | |
| "ativo": false, | |
| "kp": 0.6, | |
| "ki": 0.15, | |
| "kd": 0.1, | |
| "limites": [ | |
| 0.25, | |
| 4.0 | |
| ], | |
| "a_cada": 5 | |
| }, | |
| "guarda_runtime": { | |
| "ativo": false, | |
| "intervalo": 25, | |
| "janela": 64, | |
| "limiar_mb_1k": 128.0 | |
| }, | |
| "ortogonal_rigido": false, | |
| "autorreg_v17": { | |
| "ativo": false, | |
| "a_cada": 10 | |
| } | |
| }, | |
| "ciclo": { | |
| "tau_escalada": 0.35, | |
| "entropia_limite": 0.85, | |
| "orcamento_passos": 6, | |
| "cache_ferramentas_ttl": 600, | |
| "cache_ferramentas_max": 64 | |
| }, | |
| "memoria_interna": { | |
| "ativo": true, | |
| "n_slots": 64, | |
| "h_escrita": 0.25, | |
| "idade_compressao_s": 900.0, | |
| "n_codigos": 64, | |
| "lambda_utilidade": 0.1, | |
| "meia_vida_s": 1800.0, | |
| "replay_a_cada": 40 | |
| }, | |
| "checkpoints": { | |
| "dir_local": "/home/z/my-project/khtst/estados_local", | |
| "pasta_publicacao": "estados/fase-v11", | |
| "estados_hf": { | |
| "ativo": false, | |
| "repo_id": "PowerMachine/khtst-multimodal-ptbr", | |
| "pasta": "estados/fase-v11", | |
| "limiar_mb": 900.0, | |
| "intervalo_min_s": 600.0, | |
| "manter_local": 1 | |
| } | |
| }, | |
| "som_atencao": { | |
| "ativo": true, | |
| "tau": 0.5, | |
| "gamma_novidade": 0.15 | |
| }, | |
| "difusao": { | |
| "ativo": true, | |
| "repo_id": "hf-internal-testing/tiny-stable-diffusion-torch", | |
| "altura": 128, | |
| "largura": 128, | |
| "passos_inferencia": 8, | |
| "guia_escala": 7.5 | |
| }, | |
| "agente_engenheiro": { | |
| "ativo": true, | |
| "intervalo": 50, | |
| "tolerancia_regressao": 0.05 | |
| }, | |
| "janela_1m": { | |
| "ativo": true, | |
| "n_max_tokens": 262144, | |
| "comprimento_saida": 131072, | |
| "l_fino": 4096, | |
| "w_segmento": 256, | |
| "s_passo": 128, | |
| "s_passo_min": 64, | |
| "s_passo_max": 256, | |
| "rho_alvo": 0.7, | |
| "eta_rho": 0.25, | |
| "janela_w": 196608, | |
| "janela_e": 65536, | |
| "s_gen": 512, | |
| "k_recall": 4, | |
| "viz_r": 2, | |
| "m_max": 2017 | |
| }, | |
| "classificadores": { | |
| "ativo": true, | |
| "n_criticos": 16, | |
| "t_min": 1.0, | |
| "t_max": 1.0, | |
| "t_min_fisica": 0.1, | |
| "t_max_fisica": 1.5, | |
| "gamma": 1.0, | |
| "tau_infnce": 0.07, | |
| "delta_peso": 0.15, | |
| "auto_ajuste": true | |
| } | |
| } |