Create Grammer_Rules.py

Grammer_Rules.py

@@ -0,0 +1,236 @@
+import re
+from camel_tools.tokenizers.word import simple_word_tokenize
+from camel_tools.disambig.mle import MLEDisambiguator
+
+class ArabicGrammarGuard:
+    def __init__(self):
+        # تحميل محلل فك اللبس النحوي وتحديد أقسام الكلام (POS Tagging)
+        self.mle = MLEDisambiguator.pretrained()
+        
+        # قائمة الكلمات العددية لحمايتها من الهلوسة
+        self.number_words = ["واحد", "اثنان", "اثنين", "ثلاث", "أربع", "خمس", "ست", "سبع", "ثمان", "تسع", "عشر", 
+                             "عشرون", "عشرين", "ثلاثون", "ثلاثين", "أربعون", "أربعين", "خمسون", "خمسين", 
+                             "ستون", "ستين", "سبعون", "سبعين", "ثمانون", "ثمانين", "تسعون", "تسعين", "مائة", "ألف"]
+        
+        # جذور الأسماء الخمسة للتعرف عليها صرفياً
+        self.asmaa_khamsa_roots = ['اب', 'اخ', 'حم', 'فو', 'ذو']
+
+    def preserve_numbers(self, original_text, generated_text):
+        """
+        1. حارس الأرقام والحقائق:
+        يمنع المودل من تغيير الأرقام الحسابية أو المكتوبة (مثال: من 30 لـ 20).
+        لو حصل تغيير جذري، السيستم بيرجع النص الأصلي للمستخدم كـ Fallback لحماية البيانات.
+        """
+        # فحص الأرقام الحسابية (Digits)
+        orig_digits = re.findall(r'\d+', original_text)
+        gen_digits = re.findall(r'\d+', generated_text)
+        if orig_digits and gen_digits and orig_digits != gen_digits:
+            return original_text
+
+        # فحص الأرقام المكتوبة كحروف
+        orig_words = [w for w in original_text.split() if any(num in w for num in self.number_words)]
+        gen_words = [w for w in generated_text.split() if any(num in w for num in self.number_words)]
+        if len(orig_words) > 0 and len(gen_words) > 0:
+            if not any(orig[:3] in gen for orig in orig_words for gen in gen_words):
+                 return original_text 
+        return generated_text
+
+    def fix_number_and_gender_agreement(self, text):
+        """
+        2. مطابقة الإفراد والجمع (Agreement):
+        تطابق الفعل والفاعل، والمبتدأ والخبر/النعت في حالات جمع المذكر السالم والمثنى القياسية.
+        """
+        tokens = simple_word_tokenize(text)
+        disambig_tokens = self.mle.disambiguate(tokens)
+        corrected_tokens = list(tokens)
+
+        for i in range(len(disambig_tokens) - 1):
+            w1_info = disambig_tokens[i].analyses[0] if disambig_tokens[i].analyses else None
+            w2_info = disambig_tokens[i+1].analyses[0] if disambig_tokens[i+1].analyses else None
+
+            if not w1_info or not w2_info: 
+                continue
+
+            w1_pos = w1_info.lex.pos
+            w2_pos = w2_info.lex.pos
+            w1_word = corrected_tokens[i]
+            w2_word = corrected_tokens[i+1]
+
+            # أ. الفعل يسبق الفاعل: الفعل في أول الجملة يلزم الإفراد (ذهبوا المعلمون -> ذهب المعلمون)
+            if w1_pos == 'verb' and w2_pos == 'noun':
+                if (w1_word.endswith('ون') or w1_word.endswith('وا')) and (w2_word.endswith('ون') or w2_word.endswith('ين')):
+                    if w1_word.endswith('ون'):
+                        corrected_tokens[i] = w1_word[:-2]
+                    elif w1_word.endswith('وا'):
+                        corrected_tokens[i] = w1_word[:-2]
+
+            # ب. الاسم يسبق الفعل: الفعل يطابق المبتدأ في الجمع (المهندسون يعمل -> المهندسون يعملون)
+            elif w1_pos == 'noun' and w2_pos == 'verb':
+                if w1_word.endswith('ون') and not (w2_word.endswith('ون') or w2_word.endswith('وا') or w2_word.endswith('ين')):
+                    if w2_info.num == 's': 
+                        corrected_tokens[i+1] = w2_word + 'ون'
+
+            # ج. المبتدأ والخبر / النعت والمنعوت: (المبرمجون ماهر -> المبرمجون ماهرون)
+            elif w1_pos == 'noun' and w2_pos in ['noun', 'adj']:
+                if w1_word.endswith('ون') and not w2_word.endswith('ون'):
+                    if w2_info.num == 's' and w2_info.gen == 'm':
+                        if len(w2_word) > 2:
+                            corrected_tokens[i+1] = w2_word + 'ون'
+
+        return " ".join(corrected_tokens)
+
+    def smart_asmaa_khamsa_fix(self, text):
+        """
+        3. الأسماء الخمسة في حالة الرفع (بعد الأفعال):
+        تتعرف على الجملة الفعلية وترفع الأسماء الخمسة بالواو إذا وقعت فاعلاً مباشراً.
+        """
+        tokens = simple_word_tokenize(text)
+        disambig_tokens = self.mle.disambiguate(tokens)
+        corrected_tokens = []
+        verb_seen = False
+        
+        for i, token_info in enumerate(disambig_tokens):
+            word = tokens[i]
+            pos_tag = token_info.analyses[0].lex.pos if token_info.analyses else 'unknown'
+            
+            if pos_tag == 'verb':
+                verb_seen = True
+                corrected_tokens.append(word)
+                continue
+                
+            is_asmaa = any(word.startswith(root) or word.startswith('أ' + root[1:]) for root in self.asmaa_khamsa_roots if len(root)>1)
+            
+            if is_asmaa and len(word) >= 3:
+                if verb_seen:
+                    # تحويل الكلمة لحالة الرفع بالواو (أخاك/أخيك -> أخوك)
+                    word = word.replace('ا', 'و').replace('ي', 'و')
+                    verb_seen = False 
+                    
+            corrected_tokens.append(word)
+            
+        return " ".join(corrected_tokens)
+
+    def fix_verbs_nasb_and_jazm(self, text):
+        """
+        4. أدوات نصب وجزم الفعل المضارع والأفعال الخمسة:
+        تقفش أدوات النصب والجزم، وتطبق حذف النون للأفعال الخمسة، وحذف حرف العلة للمعتل الآخر في الجزم.
+        """
+        tokens = simple_word_tokenize(text)
+        disambig_tokens = self.mle.disambiguate(tokens)
+
+        nasb_particles = ['أن', 'لن', 'كي', 'لكي', 'حتى', 'إذن']
+        jazm_particles = ['لم', 'لما', 'لا']
+
+        corrected_tokens = []
+        
+        for i, token_info in enumerate(disambig_tokens):
+            word = tokens[i]
+            pos_tag = token_info.analyses[0].lex.pos if token_info.analyses else 'unknown'
+            is_nasb_context = False
+            is_jazm_context = False
+
+            if i > 0:
+                prev_word = tokens[i-1]
+                if prev_word in nasb_particles or word.startswith('ل'):
+                    is_nasb_context = True
+                if prev_word in jazm_particles or word.startswith('ل') or word.startswith('ول'):
+                    is_jazm_context = True
+
+            if pos_tag == 'verb' and (is_nasb_context or is_jazm_context):
+                # أ. الأفعال الخمسة (حذف النون)
+                if word.endswith('ون'):
+                    word = word[:-2] + 'وا'
+                elif word.endswith('ان'):
+                    word = word[:-2] + 'ا'
+                elif word.endswith('ين'):
+                    word = word[:-2] + 'ي'
+                
+                # ب. الفعل المعتل الآخر (في الجزم فقط - حذف حرف العلة)
+                elif is_jazm_context:
+                    if word.endswith('و') and len(word) > 3:
+                        word = word[:-1] + 'ُ'
+                    elif (word.endswith('i') or word.endswith('ي')) and len(word) > 3:
+                        if word.endswith('ي'): word = word[:-1] + 'ِ'
+                    elif (word.endswith('ى') or word.endswith('ا')) and len(word) > 3:
+                        word = word[:-1] + 'َ'
+
+            corrected_tokens.append(word)
+        return " ".join(corrected_tokens)
+
+    def fix_gender_agreement(self, text):
+        """
+        5. مطابقة التذكير والتأنيث (أسماء الإشارة والأعداد المركبة):
+        تمنع الهلوسات اللفظية وتطابق أسماء الإشارة مع المثنى، والأعداد 11 و 12 مع المعدود.
+        """
+        # تصحيح أسماء الإشارة مع المثنى المؤنث والمذكر
+        text = re.sub(r'\bهذان\s+(ال[أ-ي]+تان)\b', r'هاتان \1', text)
+        text = re.sub(r'\bهاتان\s+(ال[أ-ي]+[^ت]ان)\b', r'هذان \1', text)
+        text = re.sub(r'\bهذهن\b', 'هاتان', text)
+
+        # مطابقة العدد 11 و 12 مع المؤنث (تاء مربوطة في المعدود)
+        text = re.sub(r'\bأحد عشر\s+([أ-ي]+ة)\b', r'إحدى عشرة \1', text)
+        text = re.sub(r'\bأحد عشرة\s+([أ-ي]+ة)\b', r'إحدى عشرة \1', text)
+        
+        # مطابقة العدد 11 و 12 مع المذكر 
+        text = re.sub(r'\bإحدى عشرة\s+([أ-ي]+ا|رجل[اأ]|طالب[اأ]|مهندس[اأ])\b', r'أحد عشر \1', text)
+        text = re.sub(r'\bإحدى عشر\s+([أ-ي]+ا|رجل[اأ]|طالب[اأ]|مهندس[اأ])\b', r'أحد عشر \1', text)
+        return text
+
+    def fix_prepositions_advanced(self, text):
+        """
+        6. الجار والمجرور المتقدم (المثنى وجمع المذكر السالم):
+        تجر بالياء والنون (ين) الكلمات المجرورة بحروف منفصلة أو متصلة (بـ، لـ، كـ، فـ).
+        """
+        # حروف الجر المنفصل�� (في المهندسون -> في المهندسين)
+        text = re.sub(r'\b(في|من|إلى|على|عن|حتى)\s+([أ-ي]{2,})(ون|ان)\b', r'\1 \2ين', text)
+        
+        # حروف الجر المتصلة بـ ال التعريف (بالمهندسون -> بالمعلمين)
+        text = re.sub(r'\b([بلكف])ال([أ-ي]{2,})(ون|ان)\b', r'\1ال\2ين', text)
+        
+        # حرف اللام المتصل مباشرة بدون ال (لمهندسون -> لمهندسين)
+        text = re.sub(r'\bل([أ-ي]{2,})(ون|ان)\b', r'ل\1ين', text)
+        return text
+
+    def regex_rules_fallback(self, text):
+        """
+        7. القواعد الهيكلية بالـ Regex للحالات المباشرة:
+        تتعامل مع إن وأخواتها وحروف الجر المباشرة مع الأسماء الخمسة.
+        """
+        # إن وأخواتها تنصب الأسماء الخمسة بالألف (إن أبوك -> إن أباك)
+        text = re.sub(r'\b(إن|أن|كأن|لكن|لعل|ليت)\s+(أبوك|أخوك|ذو|فوك)\b', 
+                      lambda m: f"{m.group(1)} {m.group(2).replace('و', 'ا')}", text)
+        
+        # حروف الجر تجر الأسماء الخمسة بالياء (إلى أبوك -> إلى أخيك)
+        text = re.sub(r'\b(في|من|إلى|على|عن|بـ|لـ)\s+(أبوك|أباك|أخوك|أخاك|ذو|ذا)\b', 
+                      lambda m: f"{m.group(1)} {m.group(2).replace('و', 'ي').replace('ا', 'ي')}", text)
+        return text
+
+    def process(self, original_text, generated_text):
+        """
+          (Pipeline Execution):
+        تستقبل النص الأصلي والخرّوج المستلم من الـ AI، وتمشيهم بترتيب هندسي صارم.
+        """
+        # خطوة 1: حماية الحقائق والأرقام
+        text = self.preserve_numbers(original_text, generated_text)
+        
+        # خطوة 2: المطابقة التناغمية للإفراد والجمع
+        text = self.fix_number_and_gender_agreement(text)
+        
+        # خطوة 3: معالجة رفع الفاعل في الأسماء الخمسة
+        text = self.smart_asmaa_khamsa_fix(text)
+        
+        # خطوة 4: ضبط النصب والجزم للأفعال
+        text = self.fix_verbs_nasb_and_jazm(text)
+        
+        # خطوة 5: ضبط التذكير والتأنيث
+        text = self.fix_gender_agreement(text)
+        
+        # خطوة 6: ضبط الجار والمجرور المتقدم (المتصل والمنفصل)
+        text = self.fix_prepositions_advanced(text)
+        
+        # خطوة 7: تطبيق رولز الـ Regex الهيكلية لإن وأخواتها والجر
+        text = self.regex_rules_fallback(text)
+        
+        # تنظيف الفراغات الناتجة عن المعالجة
+        text = re.sub(r'\s+', ' ', text).strip()
+        return text