decision-lord / train.py
fetuber4095's picture
Upload folder using huggingface_hub
fc618f2 verified
Raw History Blame Contribute Delete
967 Bytes
import pandas as pd
import joblib
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
def main():
df = pd.read_csv("dados.csv")
# uma linha de treino por opção: 1 se for a correta, 0 se não
rows = []
for _, r in df.iterrows():
for letra in "ABCD":
texto = f"pergunta: {r['pergunta']} | opcao: {r['opcao_' + letra.lower()]}"
rows.append({"texto": texto, "label": 1 if r["correta"] == letra else 0})
treino = pd.DataFrame(rows)
modelo = Pipeline([
("tfidf", TfidfVectorizer(ngram_range=(1, 2), min_df=1)),
("clf", LogisticRegression(max_iter=1000, class_weight="balanced")),
])
modelo.fit(treino["texto"], treino["label"])
joblib.dump(modelo, "modelo_abcd.joblib")
print(f"Treinado com {len(df)} perguntas ({len(treino)} amostras).")
if __name__ == "__main__":
main()