L4 24GB: max_memory CPU offload + sdpa default for model load

src/omnisub/backends/transformers_qwen.py

@@ -21,13 +21,15 @@ class TransformersQwenOmniBackend(LLMBackend):
         quant: str = "4bit",
         device_map: str = "auto",
         cache_dir: Optional[str] = None,
-        attn_implementation: Optional[str] = "flash_attention_2",
+        attn_implementation: Optional[str] = "sdpa",
+        gpu_memory_gib: float = 22.0,
     ):
         self.model_name = model_name
         self.quant = quant
         self.device_map = device_map
         self.cache_dir = cache_dir
         self.attn_implementation = attn_implementation
+        self.gpu_memory_gib = gpu_memory_gib
         self._model = None
         self._processor = None
 
@@ -51,14 +53,21 @@ class TransformersQwenOmniBackend(LLMBackend):
                 bnb_4bit_compute_dtype=torch.bfloat16,
                 bnb_4bit_quant_type="nf4",
                 bnb_4bit_use_double_quant=True,
+                # Cho phép một phần module tràn sang CPU khi nạp (cần trên L4 24GB).
+                llm_int8_enable_fp32_cpu_offload=True,
             )
 
         self._processor = Qwen3OmniMoeProcessor.from_pretrained(
             self.model_name, cache_dir=self.cache_dir
         )
 
-        # Ưu tiên FlashAttention 2 (ít VRAM nhất); nếu không build được thì lùi
-        # về sdpa rồi eager để vẫn chạy.
+        # L4 24GB: model 4-bit + encoder audio/vision + talker (trước khi tắt)
+        # thường vượt VRAM → dùng max_memory để offload phần dư sang CPU.
+        max_memory = {
+            0: f"{self.gpu_memory_gib:.0f}GiB",
+            "cpu": "100GiB",
+        }
+
         seen: set = set()
         unique_attn: List[str] = []
         for a in (self.attn_implementation, "sdpa", "eager"):
@@ -74,17 +83,22 @@ class TransformersQwenOmniBackend(LLMBackend):
                     self.model_name,
                     torch_dtype=torch.bfloat16,
                     device_map=self.device_map,
+                    max_memory=max_memory,
                     quantization_config=quant_config,
                     attn_implementation=attn,
                     cache_dir=self.cache_dir,
+                    low_cpu_mem_usage=True,
                 )
                 self.attn_implementation = attn
                 break
-            except (ImportError, ValueError) as e:
+            except (ImportError, ValueError, RuntimeError, OSError) as e:
                 last_err = e
                 continue
         if self._model is None:
-            raise RuntimeError(f"Không nạp được model với mọi attn_implementation: {last_err}")
+            raise RuntimeError(
+                f"Không nạp được model trên L4 {self.gpu_memory_gib:.0f}GB: {last_err}\n"
+                "Gợi ý: thử GPU lớn hơn (A100 40GB) hoặc checkpoint AWQ Int4 sẵn có."
+            ) from last_err
         # Chỉ cần text → tắt talker (sinh audio) để tiết kiệm ~10GB VRAM.
         disable = getattr(self._model, "disable_talker", None)
         if callable(disable):