Update config.json

config.json

@@ -1,9 +1,50 @@
-{
-  "model_type": "gpt2",
-  "vocab_size": 50257,
-  "n_positions": 512,
-  "n_ctx": 512,
-  "n_embd": 768,
-  "n_layer": 12,
-  "n_head": 12
+# config.py
+"""
+Configuration pour Agent-AI
+Contient tous les paramètres du modèle et de l'entraînement
+"""
+
+# ------------------------------
+# Paramètres du modèle
+# ------------------------------
+model_config = {
+    "vocab_size": 5000,       # Taille du vocabulaire
+    "n_embd": 128,            # Dimension des embeddings
+    "n_layer": 6,             # Nombre de couches Transformer
+    "n_head": 8,              # Nombre de têtes d'attention
+    "block_size": 128,        # Longueur maximale du texte
+    "dropout": 0.1,           # Dropout pour régularisation
+}
+
+# Calcul approximatif du nombre de paramètres
+# params ≈ n_layer * (n_embd*n_embd*4 + n_embd*n_embd*3) + n_embd*vocab_size
+total_params_estimate = 2_100_000  # ~2 millions
+
+# ------------------------------
+# Paramètres d'entraînement
+# ------------------------------
+train_config = {
+    "batch_size": 16,
+    "learning_rate": 3e-4,
+    "epochs": 500,
+    "grad_clip": 1.0,
+    "device": "cuda"  # ou "cpu"
+}
+
+# ------------------------------
+# Paramètres de génération
+# ------------------------------
+generate_config = {
+    "max_length": 300,   # Nombre de tokens à générer
+    "temperature": 0.8,  # Créativité du modèle
+    "top_k": 50,         # Échantillonnage top-k
+    "top_p": 0.95,       # Échantillonnage nucleus
+}
+
+# ------------------------------
+# Chemins de sauvegarde
+# ------------------------------
+paths = {
+    "model_save": "saved_model/agent_ai.pt",
+    "tokenizer_save": "saved_model/tokenizer.json",
 }