HAKO-v3 / hako_v3 /__init__.py
PowerMachine's picture
HAKO-V3: punicao por repeticao (T-REP3), orquestrador gpt2g (RouterGQA), DINOv2->Diffusion->SOM, comparacao V2<->V3
3fe1f47 verified
Raw History Blame Contribute Delete
938 Bytes
"""HAKO-V3 -- fork matematico de PowerMachine/HAKO-v2 (publicado, intocado)
e PowerMachine/HAKO-v1 (publicado, intocado).
Novidades V3 (aprimoramento matematico, scripts novos):
1. PUNICAO POR REPETICAO em 3 niveis (hako_v3.repetpen):
(a) NLG/generacao: penalidade CTRL nos logits + bloqueio de n-grama +
presenca/frequencia;
(b) SOM/BMU: penalidade de frequencia de ativacao na selecao do vencedor
(GHSOMV3, subclasse do GHSOM publicado);
(c) roteamento: penalidade de rota repetida no despacho de fontes.
2. MODELO-FONTE COMO ORQUESTRADOR (hako_v3.router_v3): o GPT-2 GQA (gpt2g)
torna-se o roteador treinado que decide o despacho dos bancos.
3. DINOv2 -> DIFFUSION -> SOM (hako_v3.diffuv2som): a camada Diffusion
publicada (DiffusionGame, DDPM + T-CURRICULUM) treina sobre os latentes
dinov2 e suas amostras denoizadas alimentam o aprendizado da rede SOM.
"""
__version__ = "3.0"