File size: 2,169 Bytes
4dbc907 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 | #!/usr/bin/env python3
"""64_suite_nlp_nlg.py — v0.7.0: gates das unidades NLP/NLG + decodificador
especulativo + auto-ajuste SOM limitado (r-31, r-29 §4).
Gates:
N1 nascimento neutro NLP (dif = 0 bit-a-bit) e NLG;
N2 gate médio ≈ σ(−2) ≈ 0,119;
N3 coerência bigramas discriminante (> 0,9 vs < 0,1);
E1 especulativo: aceitação alta com logits concentrados;
E2 speedup > 1 com ρ > c_d/(1+c_d);
S1 SOM: tetos dos boosts respeitados + stop-learning dispara.
"""
import json, os, sys
def main():
pasta = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
sys.path.insert(0, pasta)
import khtst_rust as K
rel = {"versao": "nlp-nlg-0.7.0", "gates": {}}
d = K.demo_nlp_nlg()
rel["demo"] = d
for k, v in d["gates"].items():
rel["gates"]["n_" + k] = bool(v)
# coerência extra com contexto REAL: decodifica um trecho do corpus
bpe = K.Bpe.carregar(os.path.join(pasta, "dados", "bpe.json"))
with open(os.path.join(pasta, "dados", "shard_validacao.jsonl")) as f:
texto = json.loads(f.readline())["texto"]
ids = bpe.codificar(texto)[:64]
rel["dados_reais"] = {"tokens_amostra": len(ids)}
# NLG: coerência do trecho real consigo mesmo (tabela EMA observada)
# — usa o binding demo (a tabela vive no Rust); medimos a taxa de
# bigramas repetidos no próprio texto como proxy de coerência alta
bigs = set(zip(ids[:-1], ids[1:]))
frac_rep = len(bigs) / max(1, len(ids) - 1)
rel["gates"]["n_ctx_real_bigramas_unicos"] = 0.3 < frac_rep <= 1.0
# SOM limitado
s = K.demo_autoajuste_som()
rel["som"] = s
for k, v in s["gates"].items():
rel["gates"]["s_" + k] = bool(v)
n_ok = sum(1 for v in rel["gates"].values() if v)
rel["veredito"] = f"{n_ok}/{len(rel['gates'])}"
saida = os.path.join(pasta, "resultados", "suite_nlp_nlg_v070.json")
with open(saida, "w") as f:
json.dump(rel, f, indent=1, ensure_ascii=False)
print(json.dumps(rel["gates"], indent=1))
print("VEREDITO NLP/NLG/SOM:", rel["veredito"])
assert n_ok == len(rel["gates"]), "gate NLP/NLG falhou"
if __name__ == "__main__":
main()
|