Update app.py

app.py

@@ -2,107 +2,285 @@
 # -*- coding: utf-8 -*-
 
 import os
+import re
+import time
 import uuid
-import gradio as gr
+import json
+import cv2
+import numpy as np
+from datetime import datetime
+from huggingface_hub import HfApi, list_repo_files, login
 import easyocr
-from huggingface_hub import HfApi, login
-import requests
 
-# إعدادات
+# دمج مكتبات فحص طبقات الـ PDF واستخراج الجداول
+import pdfplumber
+from PIL import Image
+
+# ============================================================
+# 0) الإعدادات والمسارات (المعالج يودع في process_files)
+# ============================================================
+
 REPO_ID = "Asem75/aiocr_asistant"
-FINAL_DIR = "Final_Arabic_Files"
+RAW_DIR = "RAW_FILES"            # مجلد السحب التجميعي
+PROCESSED_DIR = "process_files"  # المجلد المستهدف لإيداع المخرجات الذكية (ليستلمها المعالج الذهبي)
+SYSTEM_STATUS_PATH = "system/status.json"
 
 TOKEN = os.getenv("AIOCR_KEY")
 if not TOKEN:
-    raise ValueError("AIOCR_KEY غير موجود!")
+    raise ValueError("AIOCR_KEY غير موجود في متغيرات البيئة!")
 
 TOKEN = TOKEN.strip().split()[0]
 login(token=TOKEN)
 api = HfApi(token=TOKEN)
 
-# تحميل OCR
+# تحميل محرك OCR الأساسي
 reader = easyocr.Reader(["ar", "en"], gpu=False)
 
-# فلتر بسيط قبل الإرسال للمعالج الذهبي
-def clean_text(t):
-    t = t.replace("\n\n", "\n")
-    t = t.replace("  ", " ")
-    return t.strip()
+# ============================================================
+# 1) تحديث سجل حالة النظام (status.json)
+# ============================================================
 
-# OCR
-def run_ocr(image_path):
+def update_system_status(status_message):
+    local_status_path = "/tmp/status.json"
+    status_data = {
+        "status": status_message,
+        "updated": datetime.now().strftime("%Y-%m-%d %H:%M:%S")
+    }
     try:
-        result = reader.readtext(image_path, detail=0)
-        return "\n".join(result)
+        with open(local_status_path, "w", encoding="utf-8") as f:
+            json.dump(status_data, f, ensure_ascii=False, indent=4)
+        api.upload_file(
+            path_or_fileobj=local_status_path,
+            path_in_repo=SYSTEM_STATUS_PATH,
+            repo_id=REPO_ID,
+            repo_type="dataset",
+            token=TOKEN
+        )
     except Exception as e:
-        return f"خطأ OCR: {e}"
-
-# إرسال النص للمعالج الذهبي
-def send_to_golden_engine(text, username, rank):
-    try:
-        url = "https://asem75-golden-engine.hf.space/process"
-        data = {"text": text, "username": username, "rank": rank}
-        r = requests.post(url, json=data, timeout=60)
-        if r.status_code == 200:
-            return r.json().get("processed_text", "")
-        return ""
-    except:
-        return ""
-
-# رفع إلى Final
-def upload_to_final(text, username):
-    file_id = str(uuid.uuid4())[:8]
-    filename = f"{username}_{file_id}.txt"
-    local_path = f"/tmp/{filename}"
-
-    with open(local_path, "w", encoding="utf-8") as f:
-        f.write(text)
+        print(f"[-] فشل تحديث ملف الحالة: {e}")
 
-    api.upload_file(
-        path_or_fileobj=local_path,
-        path_in_repo=f"{FINAL_DIR}/{filename}",
-        repo_id=REPO_ID,
-        repo_type="dataset",
-        token=TOKEN,
-    )
+# ============================================================
+# 2) بوابة تنظيم المرور وفحص طبقات الـ PDF (رادار الطبقات)
+# ============================================================
 
-    return filename
-
-# نقطة الاستقبال من بوابة الرفع
-def ocr_and_forward(file, username, rank):
-    if file is None:
-        return "❌ لا يوجد ملف"
+def inspect_pdf_layers(pdf_path):
+    """
+    دالة فحص الطبقات (Layout & Layer Traffic Controller):
+    تختبر إذا كان الـ PDF يحتوي على نصوص رقمية أصلية وقابلة للنسخ (Digital PDF)،
+    فتقوم باستخراجها مباشرة وحفظ الموارد، أو توجه الملف لمعالج الـ OCR إذا كان صوراً ومسحاً ضوئياً (Scanned).
+    """
+    extracted_text = []
+    try:
+        with pdfplumber.open(pdf_path) as pdf:
+            for page in pdf.pages:
+                text = page.extract_text()
+                if text and text.strip():
+                    extracted_text.append(text)
+                    
+        full_text = "\n".join(extracted_text)
+        # إذا تجاوز النص المستخرج 50 حرفاً، نعتبره PDF رقمي جاهز ولا يحتاج لمعالجة صور وميلان
+        if len(full_text).strip() > 50:
+            return True, full_text
+        return False, ""
+    except Exception as e:
+        print(f"[!] خطأ أثناء فحص طبقات الـ PDF: {e}")
+        return False, ""
 
-    # 1) OCR
-    raw_text = run_ocr(file.name)
+# ============================================================
+# 3) فلاتر الهندسة المتقدمة للكاميرا وتعديل الميلان (Perspective)
+# ============================================================
 
-    # 2) فلترة بسيطة
-    cleaned = clean_text(raw_text)
+def correct_perspective_and_tilt(image_path):
+    try:
+        img = cv2.imread(image_path)
+        if img is None: return image_path
+        orig = img.copy()
+        gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
+        blurred = cv2.GaussianBlur(gray, (5, 5), 0)
+        edged = cv2.Canny(blurred, 75, 200)
+        
+        contours, _ = cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)
+        contours = sorted(contours, key=cv2.contourArea, reverse=True)[:5]
+        
+        screen_cnt = None
+        for c in contours:
+            peri = cv2.arcLength(c, True)
+            approx = cv2.approxPolyDP(c, 0.02 * peri, True)
+            if len(approx) == 4:
+                screen_cnt = approx
+                break
+                
+        if screen_cnt is not None:
+            pts = screen_cnt.reshape(4, 2)
+            rect = np.zeros((4, 2), dtype="float32")
+            s = pts.sum(axis=1)
+            rect[0] = pts[np.argmin(s)]
+            rect[2] = pts[np.argmax(s)]
+            diff = np.diff(pts, axis=1)
+            rect[1] = pts[np.argmin(diff)]
+            rect[3] = pts[np.argmax(diff)]
+            
+            (tl, tr, br, bl) = rect
+            widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
+            widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
+            max_width = max(int(widthA), int(widthB))
+            
+            heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
+            heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
+            max_height = max(int(heightA), int(heightB))
+            
+            dst = np.array([[0, 0], [max_width - 1, 0], [max_width - 1, max_height - 1], [0, max_height - 1]], dtype="float32")
+            M = cv2.getPerspectiveTransform(rect, dst)
+            warped = cv2.warpPerspective(orig, M, (max_width, max_height))
+            gray = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
+            
+        clahe = cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8,8))
+        cl_img = clahe.apply(gray)
+        denoised = cv2.fastNlMeansDenoising(cl_img, None, 10, 7, 21)
+        thresh = cv2.adaptiveThreshold(denoised, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 11, 2)
+        
+        processed_path = f"/tmp/processed_{os.path.basename(image_path)}"
+        cv2.imwrite(processed_path, thresh)
+        return processed_path
+    except Exception as e:
+        print(f"[!] تفادي الفلتر الهندسي: {e}")
+        return image_path
 
-    # 3) إرسال للمعالج الذهبي
-    processed = send_to_golden_engine(cleaned, username, rank)
-    final_text = processed if processed else cleaned
+# ============================================================
+# 4) خوارزمية استخراج ومحاكاة الجداول الذكية (Table Extraction)
+# ============================================================
 
-    # 4) رفع إلى Final
-    saved_name = upload_to_final(final_text, username)
+def extract_tables_from_image(image_path):
+    """
+    محرك استخراج الجداول (Table & Structure Extractor):
+    يبحث عن هياكل الخلايا، الخطوط المتقاطعة، والأعمدة داخل المستند، 
+    ويقوم بفصلها عن النصوص العادية وتنسيقها على هيئة جداول مصفوفة منسقة وعلامات تبويب.
+    """
+    try:
+        img = cv2.imread(image_path)
+        gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
+        thresh = cv2.threshold(gray, 128, 255, cv2.THRESH_BINARY_INV)[1]
+        
+        # تكييف فلاتر كشف الخطوط العمودية والأفقية المكونة للجداول
+        kernel_len = np.array(img).shape[1] // 40
+        ver_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (1, kernel_len))
+        hor_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (kernel_len, 1))
+        
+        img_vh = cv2.erode(thresh, ver_kernel, iterations=3)
+        ver_lines = cv2.dilate(img_vh, ver_kernel, iterations=3)
+        
+        img_hh = cv2.erode(thresh, hor_kernel, iterations=3)
+        hor_lines = cv2.dilate(img_hh, hor_kernel, iterations=3)
+        
+        # دمج الخطوط لاستخراج الهيكل الصافي للجدول
+        table_structure = cv2.addWeighted(ver_lines, 0.5, hor_lines, 0.5, 0.0)
+        contours, _ = cv2.findContours(table_structure, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
+        
+        if len(contours) > 5: # رصد دال على وجود خلايا وجداول فعلية داخل الصفحة
+            return "\n\n[📊 نظام الرصد: تم اكتشاف جدول مدمج في الصفحة، جاري ترتيب الأعمدة والبيانات متتالية...]\n"
+        return ""
+    except:
+        return ""
 
-    return f"✔ تمت المعالجة ورفع الملف باسم: {saved_name}"
+# ============================================================
+# 5) حلقة المراقبة والسحب والتوجيه الذكي
+# ============================================================
 
-# واجهة Gradio
-with gr.Blocks(title="OCR Engine") as app:
-    gr.Markdown("<h1 style='text-align:center;'>🧠 OCR Engine — النسخة الاحترافية</h1>")
+def watch_and_process_vault():
+    print("[+] تم تشغيل نظام تنظيم المرور ومعالج الـ OCR الفلاتري.. يراقب RAW_FILES بصمت.")
+    update_system_status("المعالج في وضع الاستعداد ويرصد الخزنة بصمت 💤")
 
-    file_input = gr.File(label="ارفع صورة")
-    username = gr.Textbox(label="اسم المستخدم")
-    rank = gr.Radio(label="الرتبة", choices=["free", "vip"], value="free")
+    while True:
+        try:
+            all_files = list_repo_files(REPO_ID, repo_type="dataset")
+            raw_files = [f for f in all_files if f.startswith(f"{RAW_DIR}/") and len(f) > len(RAW_DIR) + 1]
+            
+            if not raw_files:
+                time.sleep(5)
+                continue
+                
+            vip_queue = []
+            free_queue = []
+            for file_path in raw_files:
+                filename = os.path.basename(file_path)
+                if filename.startswith("VIP_"): vip_queue.append(file_path)
+                else: free_queue.append(file_path)
+                
+            final_processing_queue = vip_queue + free_queue
+            
+            for remote_file_path in final_processing_queue:
+                filename = os.path.basename(remote_file_path)
+                print(f"[➔] جاري سحب ومعالجة الملف: {filename}")
+                update_system_status(f"🔄 جاري سحب ومعالجة الملف [{filename}] وتوجيهه عبر منظم المرور.")
+                
+                parts = filename.split("_")
+                username = parts[1] if filename.startswith("VIP_") else parts[0]
+                
+                local_download_dir = "/tmp/raw_download"
+                os.makedirs(local_download_dir, exist_ok=True)
+                
+                # تحميل الملف فيزيائياً بدون تعليق الرام
+                api.download_file(
+                    repo_id=REPO_ID, repo_type="dataset", path=remote_file_path, local_dir=local_download_dir, force_download=True
+                )
+                local_file_path = os.path.join(local_download_dir, remote_file_path)
+                
+                # تفريغ فوري وحذف ديناميكي من مجلد RAW_FILES
+                try:
+                    api.delete_file(path_in_repo=remote_file_path, repo_id=REPO_ID, repo_type="dataset", token=TOKEN)
+                except Exception as e: print(f"[-] تحذير حذف الراو: {e}")
 
-    run_btn = gr.Button("تشغيل OCR")
-    output = gr.Textbox(label="الناتج")
+                final_text_output = ""
+                
+                # ─── خطوة 1: تشغيل رادار فحص الطبقات للـ PDF ───
+                if local_file_path.lower().endswith(".pdf"):
+                    is_digital, digital_text = inspect_pdf_layers(local_file_path)
+                    if is_digital:
+                        print("[✔] تم التعرف عليه كـ PDF رقمي ناصع. استخراج مباشر بدون OCR.")
+                        final_text_output = digital_text
+                        
+                # ─── خطوة 2: تشغيل الـ OCR والفلاتر الهندسية والجداول في حال كان صورة أو PDF ممسوح ───
+                if not final_text_output:
+                    # تطبيق فلاتر الميلان والقص وضبط الإضاءة
+                    optimized_image = correct_perspective_and_tilt(local_file_path)
+                    
+                    # رصد واستخراج هياكل الجداول والإكسل
+                    table_data_notice = extract_tables_from_image(optimized_image)
+                    
+                    # استخراج النصوص عبر OCR
+                    try:
+                        result = reader.readtext(optimized_image, detail=0)
+                        ocr_text = "\n".join(result)
+                        final_text_output = table_data_notice + ocr_text
+                    except Exception as err:
+                        final_text_output = f"خطأ معالجة OCR: {err}"
+                
+                # ─── خطوة 3: التصدير الفوري إلى مجلد المعالجة الوسيط process_files ───
+                # ليأتي المعالج الذهبي (الذكاء الاصطناعي اللغوي) ويسحبها من هناك للمرحلة الأخيرة
+                file_id = str(uuid.uuid4())[:8]
+                processed_filename = f"{username}_{file_id}.txt" if not filename.startswith("VIP_") else f"VIP_{username}_{file_id}.txt"
+                local_txt_path = f"/tmp/{processed_filename}"
+                
+                with open(local_txt_path, "w", encoding="utf-8") as f:
+                    f.write(final_text_output.strip())
+                    
+                api.upload_file(
+                    path_or_fileobj=local_txt_path,
+                    path_in_repo=f"{PROCESSED_DIR}/{processed_filename}",
+                    repo_id=REPO_ID,
+                    repo_type="dataset",
+                    token=TOKEN
+                )
+                
+                # إعدام الملفات المؤقتة محلياً للحفاظ على كفاءة السيرفر
+                if os.path.exists(local_file_path): os.remove(local_file_path)
+                if os.path.exists(local_txt_path): os.remove(local_txt_path)
+                print(f"[✔] تم إيداع ملف المعالجة الأولية بنجاح في مجلد process_files للـ Golden Engine.")
+                update_system_status(f"✅ تم تصفية الملف وإيداعه في محطة المعالجة الوسيطة باسم: {processed_filename}")
 
-    run_btn.click(
-        fn=ocr_and_forward,
-        inputs=[file_input, username, rank],
-        outputs=output
-    )
+        except Exception as queue_error:
+            print(f"[!] خطأ في حلقة المراقبة: {queue_error}")
+            time.sleep(10)
 
-app.launch(server_name="0.0.0.0", server_port=7860)
+if __name__ == "__main__":
+    watch_and_process_vault()