Update browser_pool.py

browser_pool.py

@@ -1,7 +1,7 @@
 """
 ╔══════════════════════════════════════════════════════════════╗
 ║   Browser Pool Manager for Titan Downloader                  ║
-║   Uses Playwright to provide fresh browser contexts          ║
+║   Enhanced: visits target URL, realistic headers             ║
 ╚══════════════════════════════════════════════════════════════╝
 """
 import asyncio
@@ -16,17 +16,15 @@ from playwright.async_api import async_playwright, Browser, BrowserContext, Play
 
 log = logging.getLogger("titan-dl.browser")
 
-# إعدادات المتصفح
 HEADLESS = os.environ.get("BROWSER_HEADLESS", "true").lower() == "true"
-PROXY_SERVER = os.environ.get("PROXY_SERVER")  # e.g., "http://user:pass@proxy.com:8080"
+PROXY_SERVER = os.environ.get("PROXY_SERVER")
 USER_AGENT = (
     "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
     "AppleWebKit/537.36 (KHTML, like Gecko) "
-    "Chrome/124.0.0.0 Safari/537.36"
+    "Chrome/131.0.0.0 Safari/537.36"
 )
 
 class BrowserPool:
-    """تجمع متصفحات Chromium لإعادة الاستخدام."""
     _playwright: Optional[Playwright] = None
     _browsers: List[Browser] = []
     _lock = asyncio.Lock()
@@ -45,7 +43,6 @@ class BrowserPool:
 
     @classmethod
     async def _launch_browser(cls) -> Browser:
-        """إطلاق متصفح Chromium جديد."""
         launch_args = [
             "--no-sandbox",
             "--disable-setuid-sandbox",
@@ -66,10 +63,8 @@ class BrowserPool:
 
     @classmethod
     async def acquire_context(cls) -> BrowserContext:
-        """استعارة سياق متصفح (مع كوكيز وجلسة مستقلة)."""
         async with cls._lock:
             if not cls._browsers:
-                # إذا نفدت المتصفحات، أنشئ واحدًا جديدًا مؤقتًا
                 log.warning("Browser pool exhausted, creating temporary browser.")
                 browser = await cls._launch_browser()
             else:
@@ -81,31 +76,29 @@ class BrowserPool:
                 viewport={"width": 1920, "height": 1080},
                 locale="en-US",
                 timezone_id="America/New_York",
-                # محاكاة إعدادات إضافية لتجنب الكشف
                 extra_http_headers={
                     "Accept-Language": "en-US,en;q=0.9",
+                    "sec-ch-ua": '"Chromium";v="131", "Not_A Brand";v="24"',
+                    "sec-ch-ua-mobile": "?0",
+                    "sec-ch-ua-platform": '"Windows"',
                 },
             )
-            # إعادة المتصفح للتجمع بعد الاستخدام (سيتم تحريره لاحقاً)
             context.on("close", lambda: asyncio.create_task(cls._return_browser(browser)))
             return context
         except Exception:
-            # إذا فشل إنشاء السياق، نعيد المتصفح للتجمع
             await cls._return_browser(browser)
             raise
 
     @classmethod
     async def _return_browser(cls, browser: Browser):
-        """إعادة متصفح إلى التجمع (أو إغلاقه إذا كان ممتلئًا)."""
         async with cls._lock:
-            if len(cls._browsers) < 4:  # الحد الأقصى كما في pool_size
+            if len(cls._browsers) < 4:
                 cls._browsers.append(browser)
             else:
                 await browser.close()
 
     @classmethod
     async def close(cls):
-        """إغلاق جميع المتصفحات وإنهاء Playwright."""
         async with cls._lock:
             for browser in cls._browsers:
                 await browser.close()
@@ -117,20 +110,20 @@ class BrowserPool:
 
 async def extract_with_browser(url: str) -> dict:
     """
-    استخراج معلومات الفيديو باستخدام متصفح حقيقي (Playwright) للحصول على كوكيز وجلسة حية،
-    ثم تمريرها إلى yt-dlp.
+    استخراج معلومات الفيديو باستخدام متصفح حقيقي.
+    يقوم بزيارة صفحة الفيديو نفسها لتوليد الكوكيز المناسبة.
     """
     context = await BrowserPool.acquire_context()
     try:
         page = await context.new_page()
 
-        # زيارة الموقع المستهدف لتوليد الكوكيز اللازمة
-        domain = urllib.parse.urlparse(url).netloc
-        log.info(f"🌐 Navigating to {domain} with browser...")
-        await page.goto(f"https://{domain}", wait_until="domcontentloaded")
-        await asyncio.sleep(2)  # انتظار تحميل بعض السكربتات
+        # زيارة صفحة الفيديو مباشرة (وليس فقط الصفحة الرئيسية)
+        log.info(f"🌐 Visiting video URL with browser: {url[:60]}...")
+        await page.goto(url, wait_until="domcontentloaded", timeout=30000)
+        # انتظر قليلاً لتحميل بعض العناصر وتنفيذ السكريبتات
+        await asyncio.sleep(3)
 
-        # استخراج الكوكيز بصيغة Netscape
+        # استخراج الكوكيز
         cookies = await context.cookies()
         netscape_cookies = _cookies_to_netscape(cookies)
 
@@ -140,16 +133,14 @@ async def extract_with_browser(url: str) -> dict:
             cookie_file = f.name
 
         try:
-            # استخدام yt-dlp مع ملف الكوكيز
-            from main import YDL_OPTS_BASE, _extract_info_ytdlp  # استيراد من الملف الرئيسي
+            from main import YDL_OPTS_BASE, _extract_info_ytdlp
 
             opts = YDL_OPTS_BASE.copy()
             opts["cookiefile"] = cookie_file
-            # يمكن إضافة وكيل إذا أردت (نفس وكيل المتصفح)
             if PROXY_SERVER:
                 opts["proxy"] = PROXY_SERVER
 
-            log.info("🔧 Running yt-dlp with browser cookies...")
+            log.info("🔧 Running yt-dlp with fresh browser cookies...")
             data = _extract_info_ytdlp(url, ydl_opts=opts)
             return data
         finally:
@@ -160,7 +151,6 @@ async def extract_with_browser(url: str) -> dict:
 
 
 def _cookies_to_netscape(cookies: list) -> str:
-    """تحويل قائمة كوكيز Playwright إلى تنسيق Netscape."""
     lines = ["# Netscape HTTP Cookie File", ""]
     for c in cookies:
         domain = c.get("domain", "")