Update app.py

app.py

@@ -2,6 +2,7 @@
 # -*- coding: utf-8 -*-
 """
 Sapphire OCR Engine - Ultra Safe Speed Route
+(مُعدَّل للربط المباشر مع المعالج الذهبي عبر RAM VIP)
 """
 
 import os
@@ -12,7 +13,16 @@ import logging
 import threading
 from PIL import Image
 
-import cv2
+# ============================================================
+# 🔧 إصلاح مشكلة cv2 — تحميل آمن مع بديل تلقائي
+# ============================================================
+try:
+    import cv2
+    CV2_AVAILABLE = True
+except ImportError:
+    CV2_AVAILABLE = False
+    print("⚠️ مكتبة cv2 غير مثبتة — سيتم استخدام بديل مبسط تلقائيًا.")
+
 import torch
 import numpy as np
 import gradio as gr
@@ -29,7 +39,9 @@ UPLOAD_FOLDER = "upload_tmp"
 os.makedirs(UPLOAD_FOLDER, exist_ok=True)
 
 processing_lock = threading.Lock()
-GOLDEN_ENGINE_API_URL = "https://asem75-aiarabicengen.hf.space/api/predict"
+
+# --- رابط المعالج الذهبي ---
+GOLDEN_ENGINE_API_URL = "https://asem75-aiarabicengen.hf.space/api/submit_ocr_data"
 
 ocr_stats = {
     "status": "🟢 المحرك مستقر تماماً وبانتظار البيانات...",
@@ -39,85 +51,131 @@ ocr_stats = {
     "micro_logs": "🚀 السيرفر جاهز لاستقبال نبضات الرام والخزنة بالتتابع السريع..."
 }
 
-# تفعيل التحميل الذكي (Lazy Loading) لحماية المعالج والرام من الاختناق
+# ============================================================
+# 🧠 Lazy Loading لمحرك EasyOCR
+# ============================================================
 _ocr_reader = None
+
 def get_ocr_reader():
     global _ocr_reader
     if _ocr_reader is None:
         import easyocr
-        logger.info("📥 [Lazy Load] جاري شحن محرك EasyOCR في الرام الآن...")
+        logger.info("📥 [Lazy Load] جاري شحن محرك EasyOCR...")
         _ocr_reader = easyocr.Reader(['ar', 'en'], gpu=torch.cuda.is_available())
     return _ocr_reader
 
+# ============================================================
+# 🧹 فلتر الصور — يعمل سواء كانت cv2 موجودة أو لا
+# ============================================================
 def advanced_image_filter_from_matrix(img_np: np.ndarray) -> np.ndarray:
+    if not CV2_AVAILABLE:
+        # بديل بسيط بدون OpenCV
+        return img_np
+
     try:
         blurred = cv2.GaussianBlur(img_np, (3, 3), 0)
-        return cv2.adaptiveThreshold(blurred, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 11, 2)
-    except Exception: return img_np
+        return cv2.adaptiveThreshold(
+            blurred, 255,
+            cv2.ADAPTIVE_THRESH_GAUSSIAN_C,
+            cv2.THRESH_BINARY,
+            11, 2
+        )
+    except Exception:
+        return img_np
 
-# الدالة المركزية لمعالجة المستندات صفحة بصفحة لحماية الـ CPU من التجمد
+# ============================================================
+# 🧠 الدالة المركزية للـ OCR
+# ============================================================
 def core_ocr_and_forward_to_golden(filename: str, file_path: str, is_vip: bool = False):
     global ocr_stats
-    prefix = "👑 [VIP بالرام]" if is_vip else "🐢 [عادي من الخزنة]"
+    prefix = "👑 [VIP]" if is_vip else "🐢 [FREE]"
     logger.info(f"{prefix} بدء معالجة المستند: {filename}")
     ocr_stats["status"] = f"🔎 جاري معالجة {filename}..."
-    
+
     final_text = ""
     try:
         reader = get_ocr_reader()
+
+        # ---------------- PDF ----------------
         if filename.lower().endswith('.pdf'):
             doc = fitz.open(file_path)
             native_text = ""
+
             for page in doc:
                 t = page.get_text()
-                if t and len(t.strip()) > 15: native_text += t + "\n"
-            
+                if t and len(t.strip()) > 15:
+                    native_text += t + "\n"
+
             if native_text.strip():
                 final_text = native_text
             else:
-                # معالجة صفحة تلو الأخرى مع تنظيف فوري للذاكرة لمنع تعليق اللوج
                 for page_num in range(len(doc)):
                     page = doc[page_num]
-                    pix = page.get_pixmap(dpi=100) # تقليل الـ DPI قليلاً ليناسب الـ CPU ومنع الاختناق
+                    pix = page.get_pixmap(dpi=100)
                     img_np = np.frombuffer(pix.samples, dtype=np.uint8).reshape(pix.h, pix.w, pix.n)
-                    open_cv_image = cv2.cvtColor(img_np, cv2.COLOR_RGB2GRAY) if pix.n >= 3 else img_np
-                    cleaned_matrix = advanced_image_filter_from_matrix(open_cv_image)
-                    ocr_results = reader.readtext(cleaned_matrix, detail=0)
+
+                    if CV2_AVAILABLE:
+                        open_cv_image = cv2.cvtColor(img_np, cv2.COLOR_RGB2GRAY)
+                    else:
+                        open_cv_image = img_np.mean(axis=2).astype(np.uint8)
+
+                    cleaned = advanced_image_filter_from_matrix(open_cv_image)
+                    ocr_results = reader.readtext(cleaned, detail=0)
                     final_text += "\n".join(ocr_results) + "\n"
-                    # تنظيف جزئي أثناء المعالجة
-                    del pix, img_np, open_cv_image, cleaned_matrix
+
+                    del pix, img_np, open_cv_image, cleaned
                     gc.collect()
+
             doc.close()
+
+        # ---------------- IMAGE ----------------
         else:
             img_pil = Image.open(file_path)
-            open_cv_image = np.array(img_pil.convert('L'))
-            cleaned_matrix = advanced_image_filter_from_matrix(open_cv_image)
-            ocr_results = reader.readtext(cleaned_matrix, detail=0)
+            gray = np.array(img_pil.convert('L'))
+            cleaned = advanced_image_filter_from_matrix(gray)
+            ocr_results = reader.readtext(cleaned, detail=0)
             final_text += "\n".join(ocr_results)
 
-        # ضخ الناتج فوراً بالرام للمعالج الذهبي
+        # ---------------- إرسال للمعالج الذهبي ----------------
         if final_text.strip():
             try:
-                logger.info(f"🚀 إرسال النص المستخرج لـ {filename} بالرام للمعالج الذهبي...")
-                requests.post(GOLDEN_ENGINE_API_URL, json={"data": [final_text], "fn_index": 2}, timeout=8)
+                rank = "vip" if is_vip else "free"
+                username = "VIP_User" if is_vip else "Free_OCR"
+
+                logger.info(f"🚀 إرسال النص المستخرج لـ {filename} إلى المحرك الذهبي...")
+                response = requests.post(
+                    GOLDEN_ENGINE_API_URL,
+                    json={"data": [final_text, username, rank]},
+                    timeout=10
+                )
+
+                if response.status_code == 200:
+                    logger.info("✅ تم الإرسال بنجاح")
+                else:
+                    logger.warning(f"⚠️ استجابة غير متوقعة: {response.status_code}")
+
             except Exception as forward_err:
-                logger.error(f"⚠️ المعالج الذهبي لم يستجب بعد: {forward_err}")
+                logger.error(f"⚠️ فشل الإرسال للمعالج الذهبي: {forward_err}")
 
-        # تحديث لوحة التحكم
+        # ---------------- تحديث الإحصائيات ----------------
         ocr_stats["total_extracted_words"] += len(final_text.split())
         ocr_stats["processed_files_count"] += 1
-        ocr_stats["last_processed_file"] = f"{prefix} {filename} ({time.strftime('%H:%M:%S')})"
-        ocr_stats["micro_logs"] = f"✅ تم الانتهاء وضخ بيانات ملف: {filename}"
-        
+        ocr_stats["last_processed_file"] = f"{prefix} {filename}"
+        ocr_stats["micro_logs"] = f"تم الانتهاء من {filename}"
+
         return final_text
+
     except Exception as e:
         logger.error(f"❌ خطأ في معالجة {filename}: {e}")
         return None
+
     finally:
-        ocr_stats["status"] = "🟢 المحرك مستقر وبانتظار دفع الملفات..."
+        ocr_stats["status"] = "🟢 المحرك مستقر"
         gc.collect()
 
-# خيط الرادار للمجانيين
+# ============================================================
+# 🛰️ رادار المجانيين
+# ============================================================
 def cloud_folder_polling_worker():
     REPO_ID = "Asem75/aiocr_asistant"
     while True:
@@ -126,85 +184,93 @@ def cloud_folder_polling_worker():
             try:
                 api = HfApi(token=token)
                 all_files = api.list_repo_files(repo_id=REPO_ID, repo_type="dataset")
-                valid_files = [f for f in all_files if f.lower().startswith("raw_files/") and not f.endswith('/')]
-                
+                valid_files = [f for f in all_files if f.lower().startswith("raw_files/")]
+
                 if valid_files:
                     target_file = valid_files[0]
                     with processing_lock:
                         filename = os.path.basename(target_file)
                         local_path = os.path.join(UPLOAD_FOLDER, f"radar_{filename}")
-                        downloaded_path = hf_hub_download(repo_id=REPO_ID, filename=target_file, repo_type="dataset", token=token)
-                        shutil.copy2(downloaded_path, local_path)
-                        
-                        output_result = core_ocr_and_forward_to_golden(filename, local_path, is_vip=False)
-                        if output_result is not None:
-                            try:
-                                api.delete_file(path_in_repo=target_file, repo_id=REPO_ID, repo_type="dataset", token=token)
-                                logger.info(f"🗑️ تم تصفية الملف المجاني من الخزنة: {filename}")
-                            except Exception as del_e: logger.error(f"⚠️ فشل حذف السحاب: {del_e}")
-                            if os.path.exists(local_path): os.remove(local_path)
+                        downloaded = hf_hub_download(repo_id=REPO_ID, filename=target_file, repo_type="dataset", token=token)
+
+                        shutil.copy2(downloaded, local_path)
+                        result = core_ocr_and_forward_to_golden(filename, local_path, is_vip=False)
+
+                        if result is not None:
+                            api.delete_file(path_in_repo=target_file, repo_id=REPO_ID, repo_type="dataset", token=token)
+
+                        if os.path.exists(local_path):
+                            os.remove(local_path)
+
             except Exception as e:
-                logger.error(f"⚠️ خطأ دورة الرادار: {e}")
+                logger.error(f"⚠️ خطأ في الرادار: {e}")
+
         time.sleep(6)
 
-polling_thread = threading.Thread(target=cloud_folder_polling_worker, daemon=True)
-polling_thread.start()
+threading.Thread(target=cloud_folder_polling_worker, daemon=True).start()
 
-# --- إنشاء تطبيق FastAPI وفتح بوابة صريحة ومباشرة لاستقبال الـ VIP ---
+# ============================================================
+# 🛡️ بوابة VIP عبر الشبكة
+# ============================================================
 fastapi_app = FastAPI()
 
 @fastapi_app.post("/api/predict")
 async def handle_vip_direct_network_route(request: Request):
-    """
-    بوابة الرام الشريانية المصممة خصيصاً لاستقبال طلبات الـ VIP من واجهة الرفع بدون أي وسيط
-    """
     try:
         payload = await request.json()
-        # فك داتا الـ Base64 للملف القادم من واجهة الرفع مباشرة
-        file_data_list = payload.get("data", [])
-        if not file_data_list or not isinstance(file_data_list, list):
-            return JSONResponse(content={"error": "Invalid payload format"}, status_code=400)
-            
-        file_info = file_data_list[0]
-        filename = file_info.get("name", "vip_document.png")
-        raw_b64_string = file_info.get("data", "")
-        
-        if "base64," in raw_b64_string:
-            raw_b64_string = raw_b64_string.split("base64,")[1]
-            
+        file_info = payload.get("data", [])[0]
+
+        filename = file_info.get("name", "vip_file")
+        raw_b64 = file_info.get("data", "")
+
+        if "base64," in raw_b64:
+            raw_b64 = raw_b64.split("base64,")[1]
+
         import base64
-        local_path = os.path.join(UPLOAD_FOLDER, f"network_vip_{filename}")
+        local_path = os.path.join(UPLOAD_FOLDER, f"vip_{filename}")
+
         with open(local_path, "wb") as fh:
-            fh.write(base64.b64decode(raw_b64_string))
-            
-        # معالجة فورية وحجز المعالج
+            fh.write(base64.b64decode(raw_b64))
+
         with processing_lock:
-            logger.info("👑 [قناة الرام] استقبال كبسولة الـ VIP مع حجز كامل المعالج للتنفيذ الفوري...")
-            extracted_text = core_ocr_and_forward_to_golden(filename, local_path, is_vip=True)
-            if os.path.exists(local_path):
-                os.remove(local_path)
-                
-        return JSONResponse(content={"data": [extracted_text if extracted_text else "❌ فشلت معالجة الـ VIP"]})
-    except Exception as api_err:
-        logger.error(f"❌ فشل استقبال حزمة الـ VIP في بوابة الرام: {api_err}")
-        return JSONResponse(content={"error": str(api_err)}, status_code=500)
+            extracted = core_ocr_and_forward_to_golden(filename, local_path, is_vip=True)
+
+        if os.path.exists(local_path):
+            os.remove(local_path)
+
+        return JSONResponse(content={"data": [extracted or "❌ فشل استخراج النص"]})
 
+    except Exception as e:
+        logger.error(f"❌ خطأ VIP: {e}")
+        return JSONResponse(content={"error": str(e)}, status_code=500)
+
+# ============================================================
+# 🖥️ لوحة التحكم
+# ============================================================
 def get_dashboard_data():
-    return (ocr_stats["status"], str(ocr_stats["processed_files_count"]), str(ocr_stats["total_extracted_words"]), ocr_stats["last_processed_file"], ocr_stats["micro_logs"])
+    return (
+        ocr_stats["status"],
+        str(ocr_stats["processed_files_count"]),
+        str(ocr_stats["total_extracted_words"]),
+        ocr_stats["last_processed_file"],
+        ocr_stats["micro_logs"]
+    )
 
 with gr.Blocks(title="Sapphire OCR - Route Management") as demo:
-    gr.HTML("<div style='text-align:center; padding:10px;'><h1>🔮 Sapphire OCR Engine V2 (منظم مسارات الرام)</h1></div>")
-    status_box = gr.Textbox(label="📡 حالة السيرفر الحالية", value=ocr_stats["status"], interactive=False)
+    gr.HTML("<h1 style='text-align:center;'>🔮 Sapphire OCR Engine V2</h1>")
+    status_box = gr.Textbox(label="📡 الحالة", value=ocr_stats["status"], interactive=False)
+
     with gr.Row():
-        count_box = gr.Textbox(label="✅ إجمالي الملفات المعالجة", value="0", interactive=False)
-        words_box = gr.Textbox(label="🔍 إجمالي الكلمات المستخرجة", value="0", interactive=False)
-        last_file_box = gr.Textbox(label="📁 المستند الأخير وضخ الرام", value="لا يوجد طلبات بعد", interactive=False)
-    logs_box = gr.Textbox(label="📝 سجل الحركات الحية للمحرك", value=ocr_stats["micro_logs"], lines=3, interactive=False)
-    refresh_btn = gr.Button("🔄 تحديث مؤشرات السيرفر")
+        count_box = gr.Textbox(label="📁 عدد الملفات", value="0", interactive=False)
+        words_box = gr.Textbox(label="🔤 عدد الكلمات", value="0", interactive=False)
+        last_file_box = gr.Textbox(label="📄 آخر ملف", value="لا يوجد", interactive=False)
+
+    logs_box = gr.Textbox(label="📝 السجل", value=ocr_stats["micro_logs"], lines=3, interactive=False)
+    refresh_btn = gr.Button("🔄 تحديث")
     refresh_btn.click(fn=get_dashboard_data, outputs=[status_box, count_box, words_box, last_file_box, logs_box])
 
 app = gr.mount_gradio_app(fastapi_app, demo, path="/")
 
 if __name__ == "__main__":
     import uvicorn
-    uvicorn.run(app, host="0.0.0.0", port=7860, log_level="info")
+    uvicorn.run(app, host="0.0.0.0", port=7860)