Averroes10 commited on
Commit
103d1b4
·
verified ·
1 Parent(s): 57ab7b6

Create training_script.py

Browse files
Files changed (1) hide show
  1. training_script.py +51 -0
training_script.py ADDED
@@ -0,0 +1,51 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ from transformers import AutoTokenizer, AutoModelForCausalLM, Trainer, TrainingArguments
2
+ from datasets import load_dataset
3
+ import torch
4
+
5
+ # Charger TES données
6
+ print("📥 Loading AIPROD script dataset...")
7
+ dataset = load_dataset("AIPROD-C2/aiprod-script-dataset", "scenarios")
8
+
9
+ # Modèle de base léger (libre de droits)
10
+ model_name = "distilgpt2"
11
+ tokenizer = AutoTokenizer.from_pretrained(model_name)
12
+ model = AutoModelForCausalLM.from_pretrained(model_name)
13
+
14
+ # Ajouter un token de padding si nécessaire
15
+ tokenizer.pad_token = tokenizer.eos_token
16
+
17
+ # Préparer les données
18
+ def tokenize_function(examples):
19
+ return tokenizer(examples["text"], truncation=True, padding="max_length", max_length=128)
20
+
21
+ print("🔧 Tokenizing dataset...")
22
+ tokenized_datasets = dataset.map(tokenize_function, batched=True)
23
+
24
+ # Arguments d'entraînement
25
+ training_args = TrainingArguments(
26
+ output_dir="./scriptmind-v1",
27
+ overwrite_output_dir=True,
28
+ num_train_epochs=3,
29
+ per_device_train_batch_size=4,
30
+ save_steps=500,
31
+ save_total_limit=2,
32
+ prediction_loss_only=True,
33
+ logging_dir='./logs',
34
+ )
35
+
36
+ # Entraîneur
37
+ trainer = Trainer(
38
+ model=model,
39
+ args=training_args,
40
+ train_dataset=tokenized_datasets["train"],
41
+ )
42
+
43
+ # LANCE L'ENTRAÎNEMENT !
44
+ print("🚀 Starting AIPROD scriptmind-v1 training...")
45
+ trainer.train()
46
+
47
+ # Sauvegarder le modèle
48
+ trainer.save_model("./scriptmind-v1-final")
49
+ tokenizer.save_pretrained("./scriptmind-v1-final")
50
+
51
+ print("✅ scriptmind-v1 training completed!")