| """Murph x classificador atual, em frases que NENHUM dos dois viu no treino |
| AVISO (4.0 Endurance Neo): este script de desenvolvimento usa o tars_classificador.py |
| (Naive Bayes), que saiu do openTARS. Pra rodar, pegue esse arquivo da 4.0 Endurance. |
| (idiomas/*.json "avaliacao" + tests/frases_classificador.py). |
| |
| python3 murph/comparar.py |
| |
| Mede, sem Ollama: |
| 1. cada classificador sozinho (NB atual, NB com os dados novos, Murph); |
| 2. o modo AUTO inteiro (palavras-chave + estrutura + classificador); |
| 3. o AUTO com um ajudante PERFEITO (acerta sempre que é chamado): o |
| máximo que o sistema conseguiria com o qwen2.5:0.5b, e quantas vezes |
| ele precisaria ser chamado (cada chamada: 150–500 ms). |
| """ |
| import json |
| import os |
| import subprocess |
| import sys |
| import tempfile |
|
|
| AQUI = os.path.dirname(os.path.abspath(__file__)) |
| sys.path.insert(0, AQUI) |
| from dados import teste, RAIZ |
|
|
|
|
| def sozinhos(): |
| sys.path.insert(0, RAIZ) |
| import tars_classificador as nbm |
| import tars_murph as mm |
| murph = mm.Murph.carregar(mm.CAMINHO_PADRAO) |
| ger = [(f, c) for f, c, _ in json.load(open(os.path.join(AQUI, "gerado_limpo.json"), encoding="utf-8"))] |
| nb_atual = nbm.Modelo(nbm.amostras_padrao()) |
| nb_mais = nbm.Modelo(nbm.amostras_padrao(ger)) |
| av, ex = teste() |
| for nome, fn in (("NB atual", lambda f: nb_atual.classificar(f)[0]), |
| ("NB + dados novos", lambda f: nb_mais.classificar(f)[0]), |
| ("Murph", lambda f: murph.classificar(f)[0])): |
| ok = sum(fn(f) == c for f, c, _ in av + ex) |
| print(f" {nome:<18} {ok}/{len(av + ex)} = {100 * ok / len(av + ex):.1f}%") |
| print("\n Erros da Murph sozinha:") |
| for f, c, i in av + ex: |
| r, p = murph.classificar(f) |
| if r != c: |
| print(f" [{i}] {f} | esperado {c} | murph {r} ({p:.2f})") |
|
|
|
|
| def modo_auto(ajudante_perfeito): |
| """Roda num processo separado (TARS_MURPH vale no carregamento).""" |
| os.environ.setdefault("XDG_CONFIG_HOME", tempfile.mkdtemp()) |
| sys.path.insert(0, os.path.join(RAIZ, "tests")) |
| sys.path.insert(0, RAIZ) |
| import _util |
| import tars |
| av, ex = teste() |
| gabarito = {f: c for f, c, _ in av + ex} |
| chamadas = [] |
| tars.ollama_online = lambda: False |
| tars.modelo_embedding = lambda *a, **k: None |
| if ajudante_perfeito: |
| tars.listar_modelos_instalados = lambda forcar=False: {tars.MODELO_AJUDANTE} |
| tars.saude_ajudante.confiavel = lambda *a, **k: True |
|
|
| def ajudante(texto, finalistas=None, anterior=None, pistas=None): |
| chamadas.append(texto) |
| return gabarito[texto] if not finalistas or gabarito[texto] in finalistas else finalistas[0] |
| else: |
| tars.listar_modelos_instalados = lambda forcar=False: set() |
|
|
| def ajudante(texto, finalistas=None, anterior=None, pistas=None): |
| chamadas.append(texto) |
| return None |
| tars._classificar_com_ia = ajudante |
| ok = sum(tars.decidir_tarefa(f).categoria == c for f, c, _ in av + ex) |
| quem = "Murph" if tars.murph.disponivel() else "NB atual" |
| extra = f" · chamaria o ajudante {len(chamadas)}x" if ajudante_perfeito else "" |
| print(f" {quem:<9} {ok}/{len(av + ex)} = {100 * ok / len(av + ex):.1f}%{extra}") |
|
|
|
|
| if __name__ == "__main__": |
| if len(sys.argv) > 1 and sys.argv[1] == "--auto": |
| modo_auto(sys.argv[2] == "perfeito") |
| sys.exit(0) |
| print("1. Classificador sozinho") |
| sozinhos() |
| for titulo, arg in (("2. Modo AUTO sem Ollama", "sem"), ("3. Modo AUTO com ajudante perfeito", "perfeito")): |
| print(f"\n{titulo}") |
| for murph_ligada in ("off", "on"): |
| env = dict(os.environ, TARS_MURPH="off" if murph_ligada == "off" else "") |
| subprocess.run([sys.executable, __file__, "--auto", arg], env=env, check=True) |
|
|
