peter-training / app.py
elrplays's picture
Update app.py
7695b35 verified
Raw History Blame Contribute Delete
5.12 kB
import gradio as gr
from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer, DataCollatorForLanguageModeling, BitsAndBytesConfig
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training
from datasets import load_dataset
from huggingface_hub import login, create_repo
import torch
import os
import logging
import json
# Configuração de Logs
logging.basicConfig(level=logging.INFO)
HF_TOKEN = os.getenv("HF_TOKEN")
if HF_TOKEN:
login(token=HF_TOKEN)
MODEL_NAME = "Qwen/Qwen2.5-Coder-1.5B-Instruct"
def treinar_peter(dataset_file, texto_direto, hf_repo_name):
# Lógica para priorizar a Textarea (Modo Celular)
caminho_final = None
if texto_direto and texto_direto.strip():
caminho_final = "treino_mobile.jsonl"
with open(caminho_final, "w", encoding="utf-8") as f:
f.write(texto_direto.strip())
elif dataset_file:
caminho_final = dataset_file.name
else:
return "❌ Erro: Suba um arquivo ou cole o texto na área abaixo."
if not hf_repo_name or "/" not in hf_repo_name:
return "❌ Erro: Formato 'usuario/nome-do-repo' obrigatório."
try:
logging.info("Carregando cérebro base...")
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
tokenizer.pad_token = tokenizer.eos_token
use_cuda = torch.cuda.is_available()
model = AutoModelForCausalLM.from_pretrained(
MODEL_NAME,
device_map="auto",
torch_dtype=torch.float16 if use_cuda else torch.float32,
low_cpu_mem_usage=True
)
# Configuração LoRA mais forte (r=64) para gravar a identidade
peft_config = LoraConfig(
r=64,
lora_alpha=128,
target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
model = get_peft_model(model, peft_config)
# Processar Dataset (Aumentamos o max_length para 1024)
dataset = load_dataset("json", data_files=caminho_final, split="train")
def tokenize_function(examples):
return tokenizer(
examples["text"],
truncation=True,
max_length=1024, # Mais espaço para o raciocínio Newtoniano
padding="max_length"
)
tokenized_dataset = dataset.map(tokenize_function, batched=True)
training_args = TrainingArguments(
output_dir="./peter-results",
per_device_train_batch_size=1,
gradient_accumulation_steps=4,
max_steps=50, # Um pouco mais de passos para fixar o "Eu"
learning_rate=1e-4,
fp16=use_cuda,
logging_steps=1,
save_strategy="no",
push_to_hub=False,
report_to="none"
)
trainer = Trainer(
model=model,
args=training_args,
train_dataset=tokenized_dataset,
data_collator=DataCollatorForLanguageModeling(tokenizer, mlm=False)
)
logging.info("Treinando o Peter...")
trainer.train()
# Salvar e Enviar
create_repo(hf_repo_name, private=True, exist_ok=True)
model.push_to_hub(hf_repo_name)
tokenizer.push_to_hub(hf_repo_name)
return f"✅ Treino Finalizado! Identidade 'Eu' atualizada em: {hf_repo_name}"
except Exception as e:
return f"❌ Erro: {str(e)}"
# Interface Gradio
# Interface Gradio - Ajustada para compatibilidade total
with gr.Blocks() as demo:
gr.Markdown("""
# 🧠 Peter Trainer v2 (Modo Newton)
Configure a identidade do Peter usando a área de texto ou suba um arquivo.
""")
with gr.Row():
with gr.Column():
# Componente de Arquivo
file_in = gr.File(label="1. Subir arquivo .jsonl (Opcional)")
# TEXTAREA CORRIGIDA (Removido show_copy_button para evitar o erro)
texto_in = gr.Textbox(
label="2. Treino Rápido / Modo Celular (Cole seu JSONL aqui)",
placeholder='Exemplo: {"text": "Eu sou o Peter e eu calculo..."}',
lines=10,
interactive=True
)
repo_in = gr.Textbox(
label="3. Repositório no Hugging Face",
placeholder="seu-usuario/peter-lora",
value="elrplays/peter-training"
)
btn = gr.Button("🚀 Iniciar Fine-Tuning", variant="primary")
with gr.Column():
out = gr.Markdown("### Status do Treinamento\nAguardando comandos...")
# Conexão dos inputs com a função de treino
btn.click(
fn=treinar_peter,
inputs=[file_in, texto_in, repo_in],
outputs=out
)
if __name__ == "__main__":
# O tema (Soft) foi movido para o launch() como o erro sugeriu
demo.launch(server_name="0.0.0.0", server_port=7860, theme=gr.themes.Soft())