Upload 8 files

interface.py

@@ -0,0 +1,86 @@
+import os
+import torch
+from transformers import PreTrainedTokenizerFast, GPT2LMHeadModel
+
+class ModelRunner:
+    def __init__(self, model_dir="./math_gpt3_final"):
+        """
+        تهيئة مفسر الرموز والنموذج من المجلد المحفوظ.
+        """
+        if not os.path.exists(model_dir):
+            raise FileNotFoundError(f"المجلد {model_dir} غير موجود. تأكد من مسار الحفظ الصحيح.")
+            
+        print(f"جاري تحميل النموذج من: {model_dir} ...")
+        self.device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
+        
+        # تحميل الـ Tokenizer والنموذج
+        self.tokenizer = PreTrainedTokenizerFast.from_pretrained(model_dir)
+        self.model = GPT2LMHeadModel.from_pretrained(model_dir).to(self.device)
+        self.model.eval() # وضع النموذج في طور التشغيل/التقييم
+        
+        print(f"تم تحميل النموذج بنجاح على جهاز: {self.device}\n")
+
+    def predict(self, prompt, max_new_tokens=1024, temperature=0.6):
+        """
+        تأخذ السؤال وتُرجع الحل فقط بدون تكرار السؤال.
+        """
+        # إضافة رمز البداية إذا لم يكن موجوداً
+        if "<ans>" not in prompt:
+            prompt = prompt + "<ans>"
+            
+        input_ids = self.tokenizer.encode(prompt, return_tensors="pt").to(self.device)
+        
+        # نستخدم طريقتين للتوليد: 
+        # إذا كان الـ temperature منخفض جداً نستخدم Greedy Search لضمان الدقة الحسابية العالية
+        with torch.no_grad():
+            output_ids = self.model.generate(
+                input_ids=input_ids,
+                max_new_tokens=max_new_tokens,
+                do_sample=True if temperature > 0 else False,
+                temperature=temperature if temperature > 0 else None,
+                eos_token_id=self.tokenizer.eos_token_id,
+                pad_token_id=self.tokenizer.pad_token_id,
+                top_p=0.9 if temperature > 0 else None
+            )
+            
+        # فك التشفير
+        full_tokens = self.tokenizer.convert_ids_to_tokens(output_ids[0])
+        full_text = "".join(full_tokens)
+        
+        # تنظيف المخرج لعزل الإجابة فقط
+        if "<ans>" in full_text:
+            answer = full_text.split("<ans>")[1]
+        else:
+            answer = full_text
+            
+        # إزالة الـ <eos> والـ <pad> من النهاية لجمالية المخرج
+        answer = answer.replace("<eos>", "").replace("<pad>", "").strip()
+        return answer
+
+# ==========================================
+# تجربة تشغيل البرنامج كملف مستقل لتجربته فوراً
+# ==========================================
+if __name__ == "__main__":
+    # يمكنك تغيير المسار إلى مجلد النموذج الحالي لديك لتجربته
+    # مثلاً: "./math_gpt3_final"
+    try:
+        runner = ModelRunner(model_dir="./math_gpt3_final")
+        
+        print("--- برنامج حل المعادلات من الدرجة الثانية ---")
+        print("اكتب 'exit' للخروج من البرنامج.\n")
+        
+        while True:
+            user_input = input("أدخل المعادلة (مثال: 1x²-5x+6=0): ")
+            if user_input.lower() == 'exit':
+                break
+                
+            if not user_input.strip():
+                continue
+                
+            # تشغيل النموذج
+            solution = runner.predict(user_input, temperature=0.1)
+            print(f"🤖 الحل المشتق من النموذج:\n{solution}")
+            print("-" * 40)
+            
+    except Exception as e:
+        print(f"حدث خطأ: {e}")

main_gpt3.py

@@ -0,0 +1,273 @@
+import random
+import math
+import torch
+from torch.utils.data import Dataset
+from sympy import symbols, expand
+from tokenizers import Tokenizer, models, pre_tokenizers, decoders
+from transformers import (
+    GPT2Config, GPT2LMHeadModel,
+    PreTrainedTokenizerFast,
+    Trainer, TrainingArguments,
+    DataCollatorForLanguageModeling
+)
+
+# =========================
+# 1. DATA GENERATION
+# =========================
+
+x = symbols("x")
+
+def generate_data_with_steps(n=25000):
+    data = []
+    
+    while len(data) < n:
+        # 1. اختيار المعاملات عشوائياً (لتجنب التعقيد سنركز على المعاملات التي تعطيك دلتا موجب)
+        a = random.choice([-5, -4, -3, -2, -1, 1, 2, 3, 4, 5])
+        b = random.randint(-15, 15)
+        c = random.randint(-15, 15)
+        
+        # حساب الدلتا حاسوبياً أولاً للتحقق
+        delta = b**2 - 4*a*c
+        
+        # سنكتفي حالياً بالمعادلات التي تملك حلولاً حقيقية (delta >= 0) لتسهيل التعلم على النموذج
+        if delta < 0:
+            continue
+            
+        sqrt_d = math.sqrt(delta)
+        
+        # حساب الجذور وتقريبها لمرتبة عشرية واحدة أو اثنتين لتسهيل النص
+        x1 = round((-b + sqrt_d) / (2 * a), 2)
+        x2 = round((-b - sqrt_d) / (2 * a), 2)
+        
+        # 2. صياغة السؤال (المعالمة) بشكل نظيف مع الإشارات
+        # استخدام b:+ و c:+ يضمن ظهور إشارة الزائد تلقائياً للأعداد الموجبة
+        question = f"{a}x²{b:+}x{c:+}=0"
+        
+        # 3. صياغة "خطوات الحل التفصيلية" (Chain of Thought)
+        # سنقسمها إلى خطوات واضحة يفهم النموذج تتابعها المنطقي
+        step_a_b_c = f"a={a};b={b};c={c}"
+        
+        # خطوة حساب الدلتا: القانون -> التعويض -> الناتج النهائي
+        step_delta = f"d=({b})²-4*({a})*({c})={b**2}-({4*a*c})={delta}"
+        
+        # خطوة حساب الجذور بالتفصيل
+        if delta > 0:
+            step_roots = f"x1=(-({b})+{round(sqrt_d, 2)})/(2*{a})={x1};x2=(-({b})-{round(sqrt_d, 2)})/(2*{a})={x2}"
+        else: # delta == 0
+            step_roots = f"x1=x2=-({b})/(2*{a})={x1}"
+            
+        # دمج كل الخطوات بفواصل واضحة (مثلاً استخدام كلمة step أو رموز ثابتة)
+        answer = f"{step_a_b_c}|step1:{step_delta}|step2:{step_roots}<eos>"
+        
+        # إضافة السلسلة الكاملة للنص
+        data.append(question + "<ans>" + answer)
+        
+    return data
+
+# معاينة سريعة لشكل البيانات الجديدة
+texts = generate_data_with_steps(n=3)
+for text in texts:
+    print(text)
+    print("-" * 50)
+
+texts = generate_data_with_steps(n=25000) # <--- هذا السطر الذي كان ينقصك!
+# =========================
+# 2. BUILD TOKENIZER
+# =========================
+
+special_tokens = ["<pad>", "<eos>", "<ans>"]
+
+# Collect all characters and special tokens
+chars = set()
+for t in texts:
+    chars.update(list(t))
+chars.update(special_tokens)
+chars = sorted(chars)
+
+# Create vocabulary mapping
+vocab = {c: i for i, c in enumerate(chars)}
+
+# Build a WordLevel tokenizer with this vocab
+base_tokenizer = Tokenizer(models.WordLevel(vocab, unk_token=None))
+base_tokenizer.pre_tokenizer = pre_tokenizers.Split("", behavior="removed")  # character-level
+
+
+# Wrap into PreTrainedTokenizerFast
+tokenizer = PreTrainedTokenizerFast(
+    tokenizer_object=base_tokenizer,
+    pad_token="<pad>",
+    eos_token="<eos>",
+    unk_token=None,
+    additional_special_tokens=["<ans>"]
+)
+
+# Add special tokens (they already exist, but ensures proper config)
+tokenizer.add_special_tokens({"pad_token": "<pad>", "eos_token": "<eos>", "additional_special_tokens": ["<ans>"]})
+
+PAD_IDX = tokenizer.pad_token_id
+EOS_IDX = tokenizer.eos_token_id
+VOCAB_SIZE = tokenizer.vocab_size
+
+print(f"Vocabulary size: {VOCAB_SIZE}")
+print(f"PAD ID: {PAD_IDX}, EOS ID: {EOS_IDX}")
+
+# Quick test
+test_enc = tokenizer.encode("1x²-5x+6=0<ans>")
+print("Encoded tokens:", tokenizer.convert_ids_to_tokens(test_enc))
+print("Decoded:", tokenizer.decode(test_enc))
+
+# =========================
+# 3. DATASET
+# =========================
+
+class MathDataset(Dataset):
+    def __init__(self, texts, tokenizer, max_length=128):
+        self.texts = texts
+        self.tokenizer = tokenizer
+        self.max_length = max_length
+
+    def __len__(self):
+        return len(self.texts)
+
+    def __getitem__(self, idx):
+        text = self.texts[idx]
+        encoding = self.tokenizer(
+            text,
+            truncation=True,
+            max_length=self.max_length,
+            padding="max_length",
+            return_tensors="pt"
+        )
+        input_ids = encoding["input_ids"].squeeze(0)
+        labels = input_ids.clone()
+        
+        # استبدال معرف الـ pad بـ -100 لحجبه عن الـ Loss
+        labels[labels == self.tokenizer.pad_token_id] = -100
+        
+        return {"input_ids": input_ids, "labels": labels}
+
+dataset = MathDataset(texts, tokenizer, max_length=128)
+
+# =========================
+# 4. MODEL
+# =========================
+
+config = GPT2Config(
+    vocab_size=VOCAB_SIZE,
+    n_positions=128,
+    n_embd=512,
+    n_layer=6,
+    n_head=8,
+    pad_token_id=PAD_IDX,
+    eos_token_id=EOS_IDX,
+    bos_token_id=None,
+    n_inner=1024
+)
+
+model = GPT2LMHeadModel(config)
+print(f"Model parameters: {model.num_parameters()}")
+
+# =========================
+# 5. TRAINING (بدون overwrite_output_dir)
+# =========================
+
+training_args = TrainingArguments(
+    output_dir="./math_gpt3",
+    num_train_epochs=8,
+    per_device_train_batch_size=32,
+    learning_rate=2e-4,
+    weight_decay=0.01,
+    warmup_steps=500,
+    logging_steps=100,
+    save_steps=500,
+    save_total_limit=2,
+    fp16=torch.cuda.is_available(),
+    report_to="none",
+    remove_unused_columns=False,
+)
+
+data_collator = DataCollatorForLanguageModeling(
+    tokenizer=tokenizer,
+    mlm=False
+)
+
+trainer = Trainer(
+    model=model,
+    args=training_args,
+    train_dataset=dataset,
+    data_collator=data_collator,
+)
+
+print("Starting training...")
+trainer.train()
+
+# Save model
+trainer.save_model("./math_gpt3_final")
+tokenizer.save_pretrained("./math_gpt3_final")
+
+# =========================
+# 6. GENERATION
+# =========================
+
+def generate(prompt, max_new_tokens=60, temperature=0.7):
+    model.eval()
+    input_ids = tokenizer.encode(prompt, return_tensors="pt").to(model.device)
+    output_ids = model.generate(
+        input_ids=input_ids,
+        max_new_tokens=max_new_tokens,
+        do_sample=True,
+        temperature=temperature,
+        eos_token_id=EOS_IDX,
+        pad_token_id=PAD_IDX,
+        top_k=0,
+        top_p=0.9
+    )
+    # فك التشفير يدوياً دون مسافات
+    tokens = tokenizer.convert_ids_to_tokens(output_ids[0])
+    text = "".join(tokens)           # يدمج الحروف كما هي
+    return text
+
+# =========================
+# 7. TEST
+# =========================
+
+print("\nGenerated:")
+print(generate("2x²+3x-2=0<ans>"))
+
+# =========================
+# اختبارات جاهزة بعد التدريب
+# =========================
+
+test_prompts = [
+    # معادلات بسيطة (a=1)
+    "1x²-5x+6=0<ans>",      # x1=2, x2=3
+    "1x²+0x-4=0<ans>",      # x1=2, x2=-2
+    "1x²-7x+12=0<ans>",     # x1=3, x2=4
+    "1x²+3x+2=0<ans>",      # x1=-1, x2=-2
+
+    # معادلات بمعامل a ≠ 1
+    "2x²-5x+2=0<ans>",      # x1=2, x2=0.5 (أو كسور)
+    "3x²-7x+2=0<ans>",      # x1=2, x2=1/3
+    "4x²-4x+1=0<ans>",      # x1=0.5, x2=0.5 (جذر مزدوج)
+
+    # معادلات بمعامل سالب
+    "-1x²+5x-6=0<ans>",     # نفس جذور x²-5x+6 لكن بإشارة معكوسة
+    "-2x²+8x-6=0<ans>",     # x1=1, x2=3
+
+    # حالة المميز صفر
+    "1x²-4x+4=0<ans>",      # x1=2, x2=2
+
+    # معادلات عشوائية إضافية
+    "1x²-3x+2=0<ans>",      # x1=1, x2=2
+    "2x²+3x-2=0<ans>",      # x1=0.5, x2=-2 (اختبارك السابق)
+]
+
+print("=" * 60)
+print("اختبار النموذج على معادلات متنوعة:")
+print("=" * 60)
+
+for prompt in test_prompts:
+    generated = generate(prompt, max_new_tokens=120, temperature=0.7)
+    print(f"\nالمدخل: {prompt}")
+    print(f"المخرج: {generated}")
+    print("-" * 60)

math_gpt2_final/config.json

@@ -0,0 +1,34 @@
+{
+  "activation_function": "gelu_new",
+  "add_cross_attention": false,
+  "architectures": [
+    "GPT2LMHeadModel"
+  ],
+  "attn_pdrop": 0.1,
+  "bos_token_id": null,
+  "dtype": "float32",
+  "embd_pdrop": 0.1,
+  "eos_token_id": 21,
+  "initializer_range": 0.02,
+  "layer_norm_epsilon": 1e-05,
+  "model_type": "gpt2",
+  "n_embd": 512,
+  "n_head": 8,
+  "n_inner": 1024,
+  "n_layer": 6,
+  "n_positions": 128,
+  "pad_token_id": 22,
+  "reorder_and_upcast_attn": false,
+  "resid_pdrop": 0.1,
+  "scale_attn_by_inverse_layer_idx": false,
+  "scale_attn_weights": true,
+  "summary_activation": null,
+  "summary_first_dropout": 0.1,
+  "summary_proj_to_labels": true,
+  "summary_type": "cls_index",
+  "summary_use_proj": true,
+  "tie_word_embeddings": true,
+  "transformers_version": "5.10.2",
+  "use_cache": false,
+  "vocab_size": 38
+}

math_gpt2_final/generation_config.json

@@ -0,0 +1,9 @@
+{
+  "_from_model_config": true,
+  "eos_token_id": 21,
+  "output_attentions": false,
+  "output_hidden_states": false,
+  "pad_token_id": 22,
+  "transformers_version": "5.10.2",
+  "use_cache": true
+}

math_gpt2_final/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f98ea302e62b9c491dd8b390aff3a09c9ea0828a3bf76b758eb1d07a4e3fb898
+size 50818432

math_gpt2_final/tokenizer.json

@@ -0,0 +1,128 @@
+{
+  "version": "1.0",
+  "truncation": {
+    "direction": "Right",
+    "max_length": 128,
+    "strategy": "LongestFirst",
+    "stride": 0
+  },
+  "padding": {
+    "strategy": {
+      "Fixed": 128
+    },
+    "direction": "Right",
+    "pad_to_multiple_of": null,
+    "pad_id": 22,
+    "pad_type_id": 0,
+    "pad_token": "<pad>"
+  },
+  "added_tokens": [
+    {
+      "id": 20,
+      "content": "<ans>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": true
+    },
+    {
+      "id": 21,
+      "content": "<eos>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": true
+    },
+    {
+      "id": 22,
+      "content": "<pad>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": true
+    }
+  ],
+  "normalizer": null,
+  "pre_tokenizer": {
+    "type": "Split",
+    "pattern": {
+      "String": ""
+    },
+    "behavior": "Removed",
+    "invert": false
+  },
+  "post_processor": {
+    "type": "TemplateProcessing",
+    "single": [
+      {
+        "Sequence": {
+          "id": "A",
+          "type_id": 0
+        }
+      }
+    ],
+    "pair": [
+      {
+        "Sequence": {
+          "id": "A",
+          "type_id": 0
+        }
+      },
+      {
+        "Sequence": {
+          "id": "B",
+          "type_id": 1
+        }
+      }
+    ],
+    "special_tokens": {}
+  },
+  "decoder": null,
+  "model": {
+    "type": "WordLevel",
+    "vocab": {
+      "(": 0,
+      ")": 1,
+      "*": 2,
+      "+": 3,
+      "-": 4,
+      ".": 5,
+      "/": 6,
+      "0": 7,
+      "1": 8,
+      "2": 9,
+      "3": 10,
+      "4": 11,
+      "5": 12,
+      "6": 13,
+      "7": 14,
+      "8": 15,
+      "9": 16,
+      ":": 17,
+      ";": 18,
+      "<": 19,
+      "<ans>": 20,
+      "<eos>": 21,
+      "<pad>": 22,
+      "=": 23,
+      ">": 24,
+      "a": 25,
+      "b": 26,
+      "c": 27,
+      "d": 28,
+      "e": 29,
+      "n": 30,
+      "o": 31,
+      "p": 32,
+      "s": 33,
+      "t": 34,
+      "x": 35,
+      "|": 36,
+      "²": 37
+    },
+    "unk_token": "<unk>"
+  }
+}

math_gpt2_final/tokenizer_config.json

@@ -0,0 +1,11 @@
+{
+  "backend": "tokenizers",
+  "eos_token": "<eos>",
+  "extra_special_tokens": [
+    "<ans>"
+  ],
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "<pad>",
+  "tokenizer_class": "TokenizersBackend",
+  "unk_token": null
+}

math_gpt2_final/training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4da88ec270b42a4123c990ef99aa37f3c788b3094b3993bdf4409e424772f81a
+size 5137