Upload folder using huggingface_hub
Browse files- README.md +64 -0
- dados.csv +16 -0
- modelo_abcd.joblib +3 -0
- predict.py +21 -0
- requirements.txt +3 -0
- train.py +31 -0
README.md
ADDED
|
@@ -0,0 +1,64 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
---
|
| 2 |
+
language: pt
|
| 3 |
+
license: apache-2.0
|
| 4 |
+
library_name: scikit-learn
|
| 5 |
+
tags: [text-classification, multiple-choice, portuguese, scikit-learn]
|
| 6 |
+
---
|
| 7 |
+
|
| 8 |
+
# decision-lord
|
| 9 |
+
|
| 10 |
+
Classificador leve de **múltipla escolha (A/B/C/D)** em português, treinado com
|
| 11 |
+
TF-IDF + regressão logística. Funciona transformando cada pergunta + opção numa
|
| 12 |
+
entrada de texto e escolhendo a opção com maior probabilidade.
|
| 13 |
+
|
| 14 |
+
Roda em CPU, sem GPU, usando pouquíssima RAM.
|
| 15 |
+
|
| 16 |
+
## Como funciona
|
| 17 |
+
|
| 18 |
+
1. Para cada pergunta, cada opção vira uma linha no formato:
|
| 19 |
+
`pergunta: <pergunta> | opcao: <opção>`, com rótulo 1 (correta) ou 0.
|
| 20 |
+
2. Um pipeline `TfidfVectorizer` + `LogisticRegression` aprende a pontuar.
|
| 21 |
+
3. Na hora de responder, testa as 4 opções e escolhe a de maior score.
|
| 22 |
+
|
| 23 |
+
## Uso
|
| 24 |
+
|
| 25 |
+
```bash
|
| 26 |
+
pip install scikit-learn pandas joblib
|
| 27 |
+
python train.py # gera modelo_abcd.joblib
|
| 28 |
+
python predict.py # exemplo de resposta
|
| 29 |
+
```
|
| 30 |
+
|
| 31 |
+
```python
|
| 32 |
+
import joblib
|
| 33 |
+
|
| 34 |
+
modelo = joblib.load("modelo_abcd.joblib")
|
| 35 |
+
|
| 36 |
+
def responder(pergunta, opcoes):
|
| 37 |
+
scores = {}
|
| 38 |
+
for letra, texto in opcoes.items():
|
| 39 |
+
entrada = f"pergunta: {pergunta} | opcao: {texto}"
|
| 40 |
+
scores[letra] = modelo.predict_proba([entrada])[0][1]
|
| 41 |
+
return max(scores, key=scores.get), scores
|
| 42 |
+
|
| 43 |
+
letra, scores = responder(
|
| 44 |
+
"Qual é a capital da França?",
|
| 45 |
+
{"A": "Londres", "B": "Paris", "C": "Roma", "D": "Madri"},
|
| 46 |
+
)
|
| 47 |
+
print(letra) # B
|
| 48 |
+
```
|
| 49 |
+
|
| 50 |
+
## Dados
|
| 51 |
+
|
| 52 |
+
`dados.csv` com 15 perguntas de exemplo. Para melhorar a qualidade, adicione mais
|
| 53 |
+
linhas no mesmo formato — 200 a 500 perguntas já dão um salto grande.
|
| 54 |
+
|
| 55 |
+
## Limitações
|
| 56 |
+
|
| 57 |
+
- Modelo baseado em padrões de texto (TF-IDF), não em compreensão semântica
|
| 58 |
+
profunda. Generaliza pouco além do estilo das perguntas de treino.
|
| 59 |
+
- Não é um LLM: para perguntas abertas ou raciocínio complexo, use um modelo
|
| 60 |
+
maior (ex.: BERTimbau) com fine-tuning em GPU.
|
| 61 |
+
|
| 62 |
+
## Licença
|
| 63 |
+
|
| 64 |
+
Apache-2.0.
|
dados.csv
ADDED
|
@@ -0,0 +1,16 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
pergunta,opcao_a,opcao_b,opcao_c,opcao_d,correta
|
| 2 |
+
Qual é a capital do Brasil?,Rio de Janeiro,Brasília,São Paulo,Salvador,B
|
| 3 |
+
Quanto é 2 + 2?,3,4,5,6,B
|
| 4 |
+
Qual a cor do céu num dia claro?,Verde,Azul,Vermelho,Amarelo,B
|
| 5 |
+
Quem escreveu Dom Casmurro?,Machado de Assis,José de Alencar,Clarice Lispector,Jorge Amado,A
|
| 6 |
+
Qual é o maior planeta do sistema solar?,Terra,Marte,Júpiter,Vênus,C
|
| 7 |
+
Quantos lados tem um triângulo?,2,3,4,5,B
|
| 8 |
+
Qual linguagem estiliza páginas web?,Python,CSS,SQL,C,B
|
| 9 |
+
Qual planeta é o mais próximo do Sol?,Vênus,Mercúrio,Terra,Marte,B
|
| 10 |
+
Qual ferramenta controla versões de código?,Git,Docker,Kafka,Redis,A
|
| 11 |
+
Quanto é 10 / 2?,2,5,10,20,B
|
| 12 |
+
Quem escreveu O Cortiço?,Aluísio Azevedo,Machado de Assis,Lima Barreto,Raul Pompeia,A
|
| 13 |
+
Qual a unidade de corrente elétrica?,Volt,Watt,Ampère,Ohm,C
|
| 14 |
+
Qual é um banco de dados relacional?,MongoDB,PostgreSQL,Redis,Cassandra,B
|
| 15 |
+
H2O é a fórmula de qual substância?,Sal,Água,Açúcar,Ácido,B
|
| 16 |
+
Quantos minutos tem uma hora?,30,45,60,90,C
|
modelo_abcd.joblib
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:c2bc82a590b8c2ffe5be2cf1f0d8d845392ac6031b31b98d86d7f50b8f204d9b
|
| 3 |
+
size 8548
|
predict.py
ADDED
|
@@ -0,0 +1,21 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
import joblib
|
| 2 |
+
|
| 3 |
+
modelo = joblib.load("modelo_abcd.joblib")
|
| 4 |
+
|
| 5 |
+
|
| 6 |
+
def responder(pergunta, opcoes):
|
| 7 |
+
scores = {}
|
| 8 |
+
for letra, texto in opcoes.items():
|
| 9 |
+
entrada = f"pergunta: {pergunta} | opcao: {texto}"
|
| 10 |
+
scores[letra] = modelo.predict_proba([entrada])[0][1]
|
| 11 |
+
melhor = max(scores, key=scores.get)
|
| 12 |
+
return melhor, scores
|
| 13 |
+
|
| 14 |
+
|
| 15 |
+
if __name__ == "__main__":
|
| 16 |
+
pergunta = "Qual é a capital da França?"
|
| 17 |
+
opcoes = {"A": "Londres", "B": "Paris", "C": "Roma", "D": "Madri"}
|
| 18 |
+
letra, scores = responder(pergunta, opcoes)
|
| 19 |
+
print("Resposta:", letra)
|
| 20 |
+
for k, v in sorted(scores.items()):
|
| 21 |
+
print(f" {k}: {v:.3f}")
|
requirements.txt
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
scikit-learn
|
| 2 |
+
pandas
|
| 3 |
+
joblib
|
train.py
ADDED
|
@@ -0,0 +1,31 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
import pandas as pd
|
| 2 |
+
import joblib
|
| 3 |
+
from sklearn.feature_extraction.text import TfidfVectorizer
|
| 4 |
+
from sklearn.linear_model import LogisticRegression
|
| 5 |
+
from sklearn.pipeline import Pipeline
|
| 6 |
+
|
| 7 |
+
|
| 8 |
+
def main():
|
| 9 |
+
df = pd.read_csv("dados.csv")
|
| 10 |
+
|
| 11 |
+
# uma linha de treino por opção: 1 se for a correta, 0 se não
|
| 12 |
+
rows = []
|
| 13 |
+
for _, r in df.iterrows():
|
| 14 |
+
for letra in "ABCD":
|
| 15 |
+
texto = f"pergunta: {r['pergunta']} | opcao: {r['opcao_' + letra.lower()]}"
|
| 16 |
+
rows.append({"texto": texto, "label": 1 if r["correta"] == letra else 0})
|
| 17 |
+
|
| 18 |
+
treino = pd.DataFrame(rows)
|
| 19 |
+
|
| 20 |
+
modelo = Pipeline([
|
| 21 |
+
("tfidf", TfidfVectorizer(ngram_range=(1, 2), min_df=1)),
|
| 22 |
+
("clf", LogisticRegression(max_iter=1000, class_weight="balanced")),
|
| 23 |
+
])
|
| 24 |
+
modelo.fit(treino["texto"], treino["label"])
|
| 25 |
+
|
| 26 |
+
joblib.dump(modelo, "modelo_abcd.joblib")
|
| 27 |
+
print(f"Treinado com {len(df)} perguntas ({len(treino)} amostras).")
|
| 28 |
+
|
| 29 |
+
|
| 30 |
+
if __name__ == "__main__":
|
| 31 |
+
main()
|