Update app.py

app.py

@@ -1,7 +1,7 @@
 #!/usr/bin/env python3
 # -*- coding: utf-8 -*-
 """
-Sapphire OCR Engine - Ultra Safe Speed Route
+Sapphire OCR Engine - Pure Cloud Files Route (No API - No RAM Forwarding)
 """
 
 import os
@@ -16,9 +16,6 @@ import cv2
 import torch
 import numpy as np
 import gradio as gr
-import requests
-from fastapi import FastAPI, Request
-from fastapi.responses import JSONResponse
 from huggingface_hub import HfApi, hf_hub_download
 import fitz  # PyMuPDF
 
@@ -28,24 +25,25 @@ logger = logging.getLogger("SapphireOCR")
 UPLOAD_FOLDER = "upload_tmp"
 os.makedirs(UPLOAD_FOLDER, exist_ok=True)
 
-processing_lock = threading.Lock()
-GOLDEN_ENGINE_API_URL = "https://asem75-aiarabicengen.hf.space/api/predict"
+# إعدادات مستودع الخزنة السحابية الثابتة والموحدة
+REPO_ID = "Asem75/aiocr_asistant"
+RAW_DIR = "raw_files"          # مجلد الاستقبال من بوابات الرفع
+PROCESS_DIR = "process_files"  # مجلد الإرسال الناتجة للمعالج الذهبي
 
 ocr_stats = {
-    "status": "🟢 المحرك مستقر تماماً وبانتظار البيانات...",
+    "status": "🟢 المحرك مستقر تماماً وبانتظار ملفات الداتا...",
     "processed_files_count": 0,
     "total_extracted_words": 0,
     "last_processed_file": "لا طلبات بعد",
-    "micro_logs": "🚀 السيرفر جاهز لاستقبال نبضات الرام والخزنة بالتتابع السريع..."
+    "micro_logs": "🚀 الرادار جاهز لمراقبة الملفات السحابية بالتتابع..."
 }
 
-# تفعيل التحميل الذكي (Lazy Loading) لحماية المعالج والرام من الاختناق
 _ocr_reader = None
 def get_ocr_reader():
     global _ocr_reader
     if _ocr_reader is None:
         import easyocr
-        logger.info("📥 [Lazy Load] جاري شحن محرك EasyOCR في الرام الآن...")
+        logger.info("📥 [Lazy Load] جاري شحن محرك EasyOCR في الرام...")
         _ocr_reader = easyocr.Reader(['ar', 'en'], gpu=torch.cuda.is_available())
     return _ocr_reader
 
@@ -55,12 +53,23 @@ def advanced_image_filter_from_matrix(img_np: np.ndarray) -> np.ndarray:
         return cv2.adaptiveThreshold(blurred, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 11, 2)
     except Exception: return img_np
 
-# الدالة المركزية لمعالجة المستندات صفحة بصفحة لحماية الـ CPU من التجمد
-def core_ocr_and_forward_to_golden(filename: str, file_path: str, is_vip: bool = False):
+# ============================================================
+# ⚙️ الدالة المركزية الصافية لمعالجة الملفات وحفظ الأسماء الأصلية
+# ============================================================
+def core_ocr_process_and_upload(filename: str, file_path: str):
     global ocr_stats
-    prefix = "👑 [VIP بالرام]" if is_vip else "🐢 [عادي من الخزنة]"
-    logger.info(f"{prefix} بدء معالجة المستند: {filename}")
-    ocr_stats["status"] = f"🔎 جاري معالجة {filename}..."
+    token = os.environ.get("AIOCR_KEY")
+    api = HfApi(token=token)
+    
+    # 🛑 استخراج اسم الملف الأصلي النقي القادم من البوابة (كما هو: مجاني أو VIP)
+    clean_name = os.path.splitext(filename)[0]
+    # تنظيف أي مخلفات داخلية في مسار المجلد المؤقت لضمان نقاء الاسم
+    clean_name = clean_name.replace("radar_", "")
+    
+    final_cloud_filename = f"{clean_name}.txt"
+    
+    logger.info(f"🔎 بدء معالجة مستند المستخدم: {clean_name}")
+    ocr_stats["status"] = f"🔎 جاري معالجة ملف المستخدم {clean_name}..."
     
     final_text = ""
     try:
@@ -75,16 +84,14 @@ def core_ocr_and_forward_to_golden(filename: str, file_path: str, is_vip: bool =
             if native_text.strip():
                 final_text = native_text
             else:
-                # معالجة صفحة تلو الأخرى مع تنظيف فوري للذاكرة لمنع تعليق اللوج
                 for page_num in range(len(doc)):
                     page = doc[page_num]
-                    pix = page.get_pixmap(dpi=100) # تقليل الـ DPI قليلاً ليناسب الـ CPU ومنع الاختناق
+                    pix = page.get_pixmap(dpi=100)
                     img_np = np.frombuffer(pix.samples, dtype=np.uint8).reshape(pix.h, pix.w, pix.n)
                     open_cv_image = cv2.cvtColor(img_np, cv2.COLOR_RGB2GRAY) if pix.n >= 3 else img_np
                     cleaned_matrix = advanced_image_filter_from_matrix(open_cv_image)
                     ocr_results = reader.readtext(cleaned_matrix, detail=0)
                     final_text += "\n".join(ocr_results) + "\n"
-                    # تنظيف جزئي أثناء المعالجة
                     del pix, img_np, open_cv_image, cleaned_matrix
                     gc.collect()
             doc.close()
@@ -95,117 +102,98 @@ def core_ocr_and_forward_to_golden(filename: str, file_path: str, is_vip: bool =
             ocr_results = reader.readtext(cleaned_matrix, detail=0)
             final_text += "\n".join(ocr_results)
 
-        # ضخ الناتج فوراً بالرام للمعالج الذهبي
+        # 📤 حفظ الملف ورفعه إلى الخزنة السحابية بنفس اسم الملف القادم تماماً
         if final_text.strip():
-            try:
-                logger.info(f"🚀 إرسال النص المستخرج لـ {filename} بالرام للمعالج الذهبي...")
-                requests.post(GOLDEN_ENGINE_API_URL, json={"data": [final_text], "fn_index": 2}, timeout=8)
-            except Exception as forward_err:
-                logger.error(f"⚠️ المعالج الذهبي لم يستجب بعد: {forward_err}")
+            local_txt_output = f"/tmp/{final_cloud_filename}"
+            with open(local_txt_output, "w", encoding="utf-8") as f:
+                f.write(final_text)
+                
+            logger.info(f"📤 رفع الملف النصي إلى: {PROCESS_DIR}/{final_cloud_filename}")
+            api.upload_file(
+                path_or_fileobj=local_txt_output,
+                path_in_repo=f"{PROCESS_DIR}/{final_cloud_filename}",
+                repo_id=REPO_ID,
+                repo_type="dataset",
+                token=token
+            )
+            if os.path.exists(local_txt_output): os.remove(local_txt_output)
 
         # تحديث لوحة التحكم
         ocr_stats["total_extracted_words"] += len(final_text.split())
         ocr_stats["processed_files_count"] += 1
-        ocr_stats["last_processed_file"] = f"{prefix} {filename} ({time.strftime('%H:%M:%S')})"
-        ocr_stats["micro_logs"] = f"✅ تم الانتهاء وضخ بيانات ملف: {filename}"
+        ocr_stats["last_processed_file"] = f"{clean_name} ({time.strftime('%H:%M:%S')})"
+        ocr_stats["micro_logs"] = f"✅ تم ترحيل ملف: {clean_name} بنجاح إلى مجلد {PROCESS_DIR}"
         
         return final_text
     except Exception as e:
-        logger.error(f"❌ خطأ في معالجة {filename}: {e}")
+        logger.error(f"❌ خطأ في معالجة {clean_name}: {e}")
         return None
     finally:
         ocr_stats["status"] = "🟢 المحرك مستقر وبانتظار دفع الملفات..."
         gc.collect()
 
-# خيط الرادار للمجانيين
+# ============================================================
+# 🧭 خيط الرادار النقي لمراقبة مجلد الـ raw_files
+# ============================================================
 def cloud_folder_polling_worker():
-    REPO_ID = "Asem75/aiocr_asistant"
     while True:
         token = os.environ.get("AIOCR_KEY")
-        if token and not processing_lock.locked():
+        if token:
             try:
                 api = HfApi(token=token)
                 all_files = api.list_repo_files(repo_id=REPO_ID, repo_type="dataset")
-                valid_files = [f for f in all_files if f.lower().startswith("raw_files/") and not f.endswith('/')]
+                
+                # فحص مجلد raw_files فقط عن أي ملفات جديدة قادمة من البوابات
+                valid_files = [f for f in all_files if f.lower().startswith(f"{RAW_DIR}/") and not f.endswith('/')]
                 
                 if valid_files:
+                    # سحب أول ملف في الطابور لمعالجته
                     target_file = valid_files[0]
-                    with processing_lock:
-                        filename = os.path.basename(target_file)
-                        local_path = os.path.join(UPLOAD_FOLDER, f"radar_{filename}")
-                        downloaded_path = hf_hub_download(repo_id=REPO_ID, filename=target_file, repo_type="dataset", token=token)
-                        shutil.copy2(downloaded_path, local_path)
+                    filename = os.path.basename(target_file)
+                    
+                    local_path = os.path.join(UPLOAD_FOLDER, f"radar_{filename}")
+                    downloaded_path = hf_hub_download(repo_id=REPO_ID, filename=target_file, repo_type="dataset", token=token)
+                    shutil.copy2(downloaded_path, local_path)
+                    
+                    # استدعاء دالة الـ OCR والمعالجة النظيفة بدون خلط أسماء
+                    output_result = core_ocr_process_and_upload(filename, local_path)
+                    
+                    if output_result is not None:
+                        try:
+                            # حذف الملف الخام من مجلد raw_files لضمان عدم التكرار نهائياً
+                            api.delete_file(path_in_repo=target_file, repo_id=REPO_ID, repo_type="dataset", token=token)
+                            logger.info(f"🗑️ تم حذف الملف الخام ��ن الخزنة: {filename}")
+                        except Exception as del_e: 
+                            logger.error(f"⚠️ فشل حذف الملف السحابي الخام: {del_e}")
                         
-                        output_result = core_ocr_and_forward_to_golden(filename, local_path, is_vip=False)
-                        if output_result is not None:
-                            try:
-                                api.delete_file(path_in_repo=target_file, repo_id=REPO_ID, repo_type="dataset", token=token)
-                                logger.info(f"🗑️ تم تصفية الملف المجاني من الخزنة: {filename}")
-                            except Exception as del_e: logger.error(f"⚠️ فشل حذف السحاب: {del_e}")
-                            if os.path.exists(local_path): os.remove(local_path)
+                        if os.path.exists(local_path): os.remove(local_path)
             except Exception as e:
-                logger.error(f"⚠️ خطأ دورة الرادار: {e}")
-        time.sleep(6)
+                logger.error(f"⚠️ خطأ في دورة رادار الخزنة: {e}")
+        time.sleep(4)
 
+# تشغيل الرادار السحابي النقي في الخلفية
 polling_thread = threading.Thread(target=cloud_folder_polling_worker, daemon=True)
 polling_thread.start()
 
-# --- إنشاء تطبيق FastAPI وفتح بوابة صريحة ومباشرة لاستقبال الـ VIP ---
-fastapi_app = FastAPI()
-
-@fastapi_app.post("/api/predict")
-async def handle_vip_direct_network_route(request: Request):
-    """
-    بوابة الرام الشريانية المصممة خصيصاً لاستقبال طلبات الـ VIP من واجهة الرفع بدون أي وسيط
-    """
-    try:
-        payload = await request.json()
-        # فك داتا الـ Base64 للملف القادم من واجهة الرفع مباشرة
-        file_data_list = payload.get("data", [])
-        if not file_data_list or not isinstance(file_data_list, list):
-            return JSONResponse(content={"error": "Invalid payload format"}, status_code=400)
-            
-        file_info = file_data_list[0]
-        filename = file_info.get("name", "vip_document.png")
-        raw_b64_string = file_info.get("data", "")
-        
-        if "base64," in raw_b64_string:
-            raw_b64_string = raw_b64_string.split("base64,")[1]
-            
-        import base64
-        local_path = os.path.join(UPLOAD_FOLDER, f"network_vip_{filename}")
-        with open(local_path, "wb") as fh:
-            fh.write(base64.b64decode(raw_b64_string))
-            
-        # معالجة فورية وحجز المعالج
-        with processing_lock:
-            logger.info("👑 [قناة الرام] استقبال كبسولة الـ VIP مع حجز كامل المعالج للتنفيذ الفوري...")
-            extracted_text = core_ocr_and_forward_to_golden(filename, local_path, is_vip=True)
-            if os.path.exists(local_path):
-                os.remove(local_path)
-                
-        return JSONResponse(content={"data": [extracted_text if extracted_text else "❌ فشلت معالجة الـ VIP"]})
-    except Exception as api_err:
-        logger.error(f"❌ فشل استقبال حزمة الـ VIP في بوابة الرام: {api_err}")
-        return JSONResponse(content={"error": str(api_err)}, status_code=500)
-
+# ============================================================
+# 📊 واجهة العرض والمراقبة المبسطة (Gradio UI)
+# ============================================================
 def get_dashboard_data():
     return (ocr_stats["status"], str(ocr_stats["processed_files_count"]), str(ocr_stats["total_extracted_words"]), ocr_stats["last_processed_file"], ocr_stats["micro_logs"])
 
 with gr.Blocks(title="Sapphire OCR - Route Management") as demo:
-    gr.HTML("<div style='text-align:center; padding:10px;'><h1>🔮 Sapphire OCR Engine V2 (منظم مسارات الرام)</h1></div>")
+    gr.HTML("<div style='text-align:center; padding:10px;'><h1>🔮 Sapphire OCR Engine V3 (مسار الملفات النقي)</h1></div>")
+    gr.Markdown("تم إلغاء كافة مسارات الـ API والـ الرام؛ المحرك يعمل الآن بنظام الرادار السحابي الصافي لحفظ أسماء المستخدمين والملفات.")
+    
     status_box = gr.Textbox(label="📡 حالة السيرفر الحالية", value=ocr_stats["status"], interactive=False)
     with gr.Row():
         count_box = gr.Textbox(label="✅ إجمالي الملفات المعالجة", value="0", interactive=False)
         words_box = gr.Textbox(label="🔍 إجمالي الكلمات المستخرجة", value="0", interactive=False)
-        last_file_box = gr.Textbox(label="📁 المستند الأخير وضخ الرام", value="لا يوجد طلبات بعد", interactive=False)
+        last_file_box = gr.Textbox(label="📁 المستند الأخير وضخ الخزنة", value="لا يوجد طلبات بعد", interactive=False)
     logs_box = gr.Textbox(label="📝 سجل الحركات الحية للمحرك", value=ocr_stats["micro_logs"], lines=3, interactive=False)
+    
     refresh_btn = gr.Button("🔄 تحديث مؤشرات السيرفر")
     refresh_btn.click(fn=get_dashboard_data, outputs=[status_box, count_box, words_box, last_file_box, logs_box])
 
-app = gr.mount_gradio_app(fastapi_app, demo, path="/")
-
 if __name__ == "__main__":
-    import uvicorn
-    uvicorn.run(app, host="0.0.0.0", port=7860, log_level="info")
-    
+    demo.launch(server_name="0.0.0.0", port=7860)