v11 sur ZeroGPU — quotidien fr→pul 41.98, pul→fr 42.42, Coran fr→pul 52.84

app.py

@@ -3,9 +3,25 @@ import gradio as gr
 from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
 from peft import PeftModel
 
+# ZeroGPU fournit un GPU partage aux Spaces des comptes Pro. Le paquet `spaces`
+# n'existe que dans cet environnement : hors ZeroGPU on retombe sur un
+# decorateur neutre, et le Space continue de tourner sur CPU. Resilier
+# l'abonnement ne casse donc rien, ce sera seulement plus lent.
+try:
+    import spaces
+    sur_gpu = spaces.GPU(duration=120)
+    ZEROGPU = True
+except Exception:
+    def sur_gpu(fonction):
+        return fonction
+    ZEROGPU = False
+
 BASE_MODEL  = "facebook/nllb-200-distilled-1.3B"
 LORA_REPO   = "kawkumputer/pulaar-ai-nllb-1.3b-v11"
-DEVICE      = "cpu"
+
+DEVICE = "cuda" if torch.cuda.is_available() else "cpu"
+DTYPE  = torch.float16 if DEVICE == "cuda" else torch.float32
+print(f"ZeroGPU : {ZEROGPU} | peripherique : {DEVICE} | precision : {DTYPE}")
 
 LANG_FR  = "fra_Latn"
 LANG_PUL = "fuv_Latn"
@@ -23,16 +39,19 @@ tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL)
 print("Chargement du modèle de base...")
 base_model = AutoModelForSeq2SeqLM.from_pretrained(
     BASE_MODEL,
-    torch_dtype=torch.float32,
+    torch_dtype=DTYPE,
     low_cpu_mem_usage=True,
 )
 
 print(f"Application des adaptateurs LoRA depuis {LORA_REPO}...")
 model = PeftModel.from_pretrained(base_model, LORA_REPO)
 model.eval()
-print("Modèle prêt.")
+if DEVICE == "cuda":
+    model = model.to(DEVICE)
+print(f"Modele pret sur {DEVICE}.")
 
 
+@sur_gpu
 def translate(text: str, direction: str) -> str:
     if not text or not text.strip():
         return ""
@@ -43,7 +62,7 @@ def translate(text: str, direction: str) -> str:
         return_tensors="pt",
         truncation=True,
         max_length=256,
-    )
+    ).to(DEVICE)
     forced_bos = tokenizer.convert_tokens_to_ids(tgt_lang)
     with torch.no_grad():
         out = model.generate(
@@ -64,7 +83,9 @@ with gr.Blocks(title="PulaarAI — Traducteur Pulaar") as demo:
         "Développé par Hamath Kane, Abou Sy, Bocar Amadou Ba (ARPRIM) "
         "& Alassane Mountaga Sall « Dembel »\n\n"
         "Basé sur **NLLB-200-distilled-1.3B** + LoRA fine-tuné · "
-        "⚠️ Inférence CPU — comptez 20-40 secondes par traduction"
+        + ("⚡ Inférence GPU — quelques secondes par traduction"
+           if DEVICE == "cuda" else
+           "⚠️ Inférence CPU — comptez 20-40 secondes par traduction")
     )
 
     gr.Markdown(