File size: 2,102 Bytes
2695555 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 | # Murph: treino
A Murph é a ajudante local que decide o tipo de cada pedido (visão, código,
Linux, ação, busca, conversa simples, geral). O modelo pronto fica em
`modelos/murph.json` e roda com `tars_murph.py`, em Python puro.
Esta pasta é só pra treinar de novo. Não vai no pacote `.deb`.
| Arquivo | O que é |
|---|---|
| `gerado/*.json` | frases novas escritas por um modelo grande, por idioma (quem escreveu não viu as frases de teste) |
| `limpar.py` | junta as geradas, tira repetidas e as parecidas com qualquer frase de teste, em qualquer idioma -> `gerado_limpo.json` |
| `filtro_traducoes_teste.json` | as frases de `tests/frases_classificador.py` traduzidas nos 5 idiomas, SÓ pro filtro achar traduções |
| `treinar_murph.py` | treina (exemplos do openTARS + `gerado_limpo.json`), calibra a confiança e salva `modelos/murph.json` |
| `comparar.py` | Murph x classificador antigo nas frases de teste (sozinhos e no modo AUTO) |
| `teste_cego.json` / `teste_cego.py` | 280 pedidos bagunçados escritos por quem não viu nada do projeto; o script tira os parecidos com o treino e compara |
| `dados.py` | onde ficam o treino e o teste |
Pra treinar de novo (precisa de `pip install scikit-learn numpy`):
```bash
python3 murph/limpar.py
python3 murph/treinar_murph.py
python3 murph/comparar.py
python3 murph/teste_cego.py
python3 tests/test_murph.py
```
As frases de teste (`idiomas/*.json` "avaliacao" e `tests/frases_classificador.py`)
nunca entram no treino. Pra corrigir um erro, escreva frases NOVAS parecidas com o
pedido real que errou, não copie a frase de teste.
## Resultado da 3.0.4
| | NB antigo | Murph |
|---|---|---|
| Teste cego, sozinho (140) | 84,3% | 92,9% |
| Teste cego, modo AUTO sem Ollama | 87,9% | 95,0% |
| Teste cego, AUTO com ajudante perfeito | 91,4% (34 chamadas) | 98,6% (20 chamadas) |
| Avaliação de sempre, sozinho (261) | 88,1% | 95,0% |
| Avaliação de sempre, AUTO sem Ollama | 92,0% | 95,4% |
O teste cego vale mais: foi rodado uma vez só, com o modelo já pronto. As
261 frases de sempre foram vistas durante o desenvolvimento.
|