Target A100 40GB runtime (AWQ Int4 thinker, no offload)

README.md

@@ -30,7 +30,9 @@ Qwen3-Omni 4-bit/AWQ khá nặng nên **toàn bộ pipeline chạy trên Colab**
 
 | Nơi chạy | Cấu hình | Vai trò |
 |---|---|---|
-| **Colab** | GPU **L4 24GB** | Chạy Qwen3-Omni **4-bit** (~17–18GB) + pyannote — toàn bộ pipeline |
+| **Colab** | GPU **A100 40GB** | Chạy Qwen3-Omni **AWQ Int4** chỉ thinker (~17GB) + pyannote — toàn bộ pipeline, không offload nên nhanh |
+
+> Có thể chạy trên **L4 24GB** vì chỉ nạp thinker; A100 nhanh hơn rõ rệt do không phải offload.
 
 ## Trạng thái
 🚧 Đang phát triển. Đã xong **M1 — Chuẩn bị SRT** (parse → ghép cue vụn → gom cảnh → xuất)

colab/OmniSub_Colab.ipynb

@@ -4,26 +4,29 @@
       "cell_type": "markdown",
       "metadata": {},
       "source": [
-        "# OmniSub — Dịch SRT ZH→VI bằng Qwen3-Omni (Colab L4 24GB)\n",
+        "# OmniSub — Dịch SRT ZH→VI bằng Qwen3-Omni (Colab A100 40GB)\n",
         "\n",
-        "Chạy lần lượt từng cell. Yêu cầu: Runtime **GPU L4** (Runtime → Change runtime type → L4).\n",
+        "Chạy lần lượt từng cell. Yêu cầu: Runtime **GPU A100** (Runtime → Change runtime type → A100).\n",
+        "AWQ Int4 chạy nhanh hơn nhiều trên A100 vì không phải offload sang CPU/disk.\n",
         "\n",
         "Pipeline 5 bước: chuẩn bị SRT → diarization (pyannote) → hồ sơ giọng (Omni) → dịch đa phương thức (Omni) → hậu kiểm & xuất."
       ]
     },
     {
       "cell_type": "code",
+      "execution_count": null,
       "metadata": {},
+      "outputs": [],
       "source": [
         "# 1) Kiểm tra GPU\n",
         "!nvidia-smi"
-      ],
-      "execution_count": null,
-      "outputs": []
+      ]
     },
     {
       "cell_type": "code",
+      "execution_count": null,
       "metadata": {},
+      "outputs": [],
       "source": [
         "# 2) Mount Google Drive (phim ở Gemma/Phim, cache model ở Gemma/Cache)\n",
         "from google.colab import drive\n",
@@ -34,13 +37,13 @@
         "os.makedirs(f'{DRIVE_ROOT}/Phim', exist_ok=True)\n",
         "os.makedirs(f'{DRIVE_ROOT}/Cache', exist_ok=True)\n",
         "print('Drive root:', DRIVE_ROOT)"
-      ],
-      "execution_count": null,
-      "outputs": []
+      ]
     },
     {
       "cell_type": "code",
+      "execution_count": null,
       "metadata": {},
+      "outputs": [],
       "source": [
         "# 3) Lấy MÃ NGUỒN từ Hugging Face Hub + cài phụ thuộc (có log tiến trình)\n",
         "HF_REPO = 'STBack23/OmniSub'  # ← repo HF chứa mã nguồn dự án\n",
@@ -80,13 +83,13 @@
         "print('   \"RESTART\" Colab hiện ở trên), rồi chạy cell 2 → 4 → 5 → 6.')\n",
         "print('   (KHÔNG cần chạy lại cell 3.)')\n",
         "print('='*60)"
-      ],
-      "execution_count": null,
-      "outputs": []
+      ]
     },
     {
       "cell_type": "code",
+      "execution_count": null,
       "metadata": {},
+      "outputs": [],
       "source": [
         "# 4) Chọn phim — CHỈ cần nhập TÊN phim, tự dò file .srt và video trong Gemma/Phim\n",
         "import os\n",
@@ -140,15 +143,15 @@
         "print('✅ SRT  :', SRT)\n",
         "print('✅ Video:', VIDEO)\n",
         "print('✅ Token:', 'có' if os.environ.get('HF_TOKEN') else 'CHƯA có (Bước 2 sẽ lỗi)')"
-      ],
-      "execution_count": null,
-      "outputs": []
+      ]
     },
     {
       "cell_type": "code",
+      "execution_count": null,
       "metadata": {},
+      "outputs": [],
       "source": [
-        "# 5) Nạp model Qwen3-Omni AWQ Int4 — CHỈ thinker (text-only), vừa L4 24GB\n",
+        "# 5) Nạp model Qwen3-Omni AWQ Int4 — CHỈ thinker (text-only); A100 40GB dư sức, chạy nhanh\n",
         "# Bản full Qwen/Qwen3-Omni-30B (~70GB) trong Cache cũ KHÔNG dùng — có thể xóa để tiết kiệm Drive.\n",
         "import time, sys, os\n",
         "\n",
@@ -162,12 +165,12 @@
         "from omnisub.config import Config\n",
         "from omnisub.backends.transformers_qwen import TransformersQwenOmniBackend\n",
         "\n",
-        "# AWQ Int4 — checkpoint đã lượng hóa sẵn, vừa Colab L4 24GB\n",
+        "# AWQ Int4 — checkpoint đã lượng hóa sẵn (~17GB), A100 40GB nạp gọn trong VRAM\n",
         "OMNI_MODEL = 'cyankiwi/Qwen3-Omni-30B-A3B-Instruct-AWQ-4bit'\n",
         "OMNI_QUANT = 'awq'\n",
         "\n",
         "# Patch backend (snapshot HF trên Drive có thể cũ) — luôn dùng Thinker text-only.\n",
-        "# Thinker bỏ talker (~10GB) nên AWQ Int4 vừa 24GB; không offload disk (MoE lỗi re-save).\n",
+        "# Thinker bỏ talker (~10GB), chỉ cần text; tránh offload disk (MoE lỗi re-save).\n",
         "def _thinker_load(self):\n",
         "    if self._model is not None:\n",
         "        return\n",
@@ -236,13 +239,13 @@
         "_t = time.time()\n",
         "backend.load()\n",
         "print(f'✅ Model đã nạp xong sau {time.time()-_t:.0f}s. Attention dùng: {backend.attn_implementation}')"
-      ],
-      "execution_count": null,
-      "outputs": []
+      ]
     },
     {
       "cell_type": "code",
+      "execution_count": null,
       "metadata": {},
+      "outputs": [],
       "source": [
         "# 6) Chạy toàn bộ pipeline (Bước 1→5)\n",
         "import logging\n",
@@ -261,28 +264,26 @@
         ")\n",
         "print('Output SRT:', result.output_srt)\n",
         "print('Report   :', result.report_path)"
-      ],
-      "execution_count": null,
-      "outputs": []
+      ]
     },
     {
       "cell_type": "code",
+      "execution_count": null,
       "metadata": {},
+      "outputs": [],
       "source": [
         "# 7) Xem nhanh kết quả + report\n",
         "import json\n",
         "print(open(result.output_srt, encoding='utf-8').read()[:2000])\n",
         "print('\\n--- REPORT ---')\n",
         "print(json.dumps(json.load(open(result.report_path, encoding='utf-8')), ensure_ascii=False, indent=2))"
-      ],
-      "execution_count": null,
-      "outputs": []
+      ]
     }
   ],
   "metadata": {
     "accelerator": "GPU",
     "colab": {
-      "gpuType": "L4",
+      "gpuType": "A100",
       "provenance": []
     },
     "kernelspec": {
@@ -295,4 +296,4 @@
   },
   "nbformat": 4,
   "nbformat_minor": 0
-}
+}

src/omnisub/backends/transformers_qwen.py

@@ -1,7 +1,7 @@
-"""Backend Qwen3-Omni qua HuggingFace transformers (Colab L4 24GB).
+"""Backend Qwen3-Omni qua HuggingFace transformers (Colab A100 40GB / L4 24GB).
 
-Mặc định: checkpoint AWQ Int4 + chỉ nạp THINKER (text-only) — bỏ talker (~10GB)
-nên vừa L4 24GB. Bản full + bitsandbytes 4-bit cần GPU >24GB.
+Mặc định: checkpoint AWQ Int4 + chỉ nạp THINKER (text-only) — bỏ talker (~10GB).
+Chạy được trên L4 24GB; trên A100 40GB nhanh hơn vì không phải offload.
 
 Import nặng đều lazy để Bước 1 không cần GPU.
 """