Update app.py

app.py

@@ -1,40 +1,23 @@
-import torch
 import wikipedia
 import gradio as gr
 from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
 from rapidfuzz import process, fuzz
 import re
+import torch
+import spaces  # <<< ZeroGPU için zorunlu
 
 # -------------------------------
-# 1. MODELLER VE KÜRESEL AYARLAR
+# 1. NER MODELİ (CPU'da çalışacak - global)
 # -------------------------------
+NER_MODEL = "savasy/bert-base-turkish-ner-cased"
 
-# Türkçe için daha iyi bir NER modeli (multilingual ve Türkçe performansı yüksek)
-NER_MODEL = "savasy/bert-base-turkish-ner-cased"  # Alternatif: "dbmdz/bert-large-cased-finetuned-conll03-german" multilingual
 ner_pipe = pipeline(
     "ner",
     model=NER_MODEL,
     aggregation_strategy="simple",
-    device=0 if torch.cuda.is_available() else -1
+    device=-1  # Zorla CPU (ZeroGPU startup'ta GPU yok)
 )
 
-# LLM (Qwen2.5 1.5B - hafif ve hızlı)
-MODEL_ID = "Qwen/Qwen2.5-1.5B-Instruct"
-tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, trust_remote_code=True)
-
-try:
-    llm_model = AutoModelForCausalLM.from_pretrained(
-        MODEL_ID,
-        torch_dtype=torch.bfloat16 if torch.cuda.is_available() else torch.float32,
-        device_map="auto",
-        trust_remote_code=True
-    )
-    LLM_AVAILABLE = True
-except Exception as e:
-    print(f"LLM yüklenemedi: {e}")
-    llm_model = None
-    LLM_AVAILABLE = False
-
 # Wikipedia Türkçe
 wikipedia.set_lang("tr")
 
@@ -52,27 +35,39 @@ CUSTOM_LABELS = {
 # -------------------------------
 # 2. YARDIMCI FONKSİYONLAR
 # -------------------------------
-
 def get_best_wiki_summary(entity):
     """Wikipedia'dan en uygun özeti getirir (fuzzy matching ile)"""
     try:
         candidates = wikipedia.search(entity, results=5)
         if not candidates:
             return None
-        # En iyi eşleşeni seç
         best_title, score = process.extractOne(entity, candidates)
-        if score < 60:  # Eşleşme düşükse vazgeç
+        if score < 60:
             return None
         return wikipedia.summary(best_title, sentences=2, auto_suggest=False)
     except:
         return None
 
-def batch_llm_refine(entities_data):
-    """Birden fazla varlığı tek prompt'ta analiz eder (batch processing)"""
-    if not LLM_AVAILABLE or not entities_data:
-        return {e["entity"]: ("MISC", "LLM kullanılamıyor") for e in entities_data}
 
-    device = next(llm_model.parameters()).device
+# -------------------------------
+# 3. LLM RAFİNASYON (GPU'da çalışacak - decorator ile)
+# -------------------------------
+@spaces.GPU(duration=120)  # Gerekirse süreyi artır (max ~300 saniye)
+def batch_llm_refine(entities_data):
+    """Birden fazla varlığı tek prompt'ta analiz eder (LLM sadece burada GPU'da yüklenir)"""
+    if not entities_data:
+        return {e["entity"]: ("MISC", "Boş veri") for e in entities_data}
+
+    # Modeli sadece burada yükle (GPU mevcut)
+    MODEL_ID = "Qwen/Qwen2.5-1.5B-Instruct"
+    tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, trust_remote_code=True)
+    model = AutoModelForCausalLM.from_pretrained(
+        MODEL_ID,
+        torch_dtype=torch.bfloat16,
+        device_map=None,  # Manuel taşıyacağız
+        trust_remote_code=True
+    )
+    model.to("cuda")  # ZeroGPU'da burada GPU tahsis edilmiş olur
 
     # Prompt hazırlığı
     label_rules = ""
@@ -89,28 +84,24 @@ GÖREV {i}:
 """
 
     prompt = f"""Sen bir NER uzmanısın. Aşağıdaki varlıkları sırayla analiz et ve her biri için sadece etiketi ver.
-
 ETİKET KURALLARI:
 {label_rules}
-
 FEW-SHOT ÖRNEK:
 VARLIK: Inception | CÜMLE: Inception filmini izledim | WIKI: Christopher Nolan filmi → MOVIE
 VARLIK: 1984 | CÜMLE: Orwell'in kitabı 1984 | WIKI: Roman → BOOK
 VARLIK: iPhone | CÜMLE: Yeni iPhone aldım | WIKI: Apple telefonu → PRODUCT
-
 Şimdi görevler:
 {tasks}
-
 ÇIKTI FORMATI (her satır bir görev):
 GÖREV X: [ETIKET]
 """
 
     messages = [{"role": "user", "content": prompt}]
     text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
-    inputs = tokenizer([text], return_tensors="pt").to(device)
+    inputs = tokenizer([text], return_tensors="pt").to("cuda")
 
     with torch.no_grad():
-        generated = llm_model.generate(
+        generated = model.generate(
             inputs.input_ids,
             max_new_tokens=512,
             temperature=0.1,
@@ -125,22 +116,26 @@ GÖREV X: [ETIKET]
         pattern = rf"GÖREV {i}:\s*([A-Z_]+)"
         match = re.search(pattern, response)
         label = match.group(1) if match and match.group(1) in CUSTOM_LABELS else "MISC"
-        results[item["entity"]] = (label, response)  # Tüm analiz metni ortak
+        results[item["entity"]] = (label, response)
+
+    # Belleği temizle
+    del model, tokenizer, inputs, generated
+    torch.cuda.empty_cache()
+
     return results
 
+
 # -------------------------------
-# 3. ANA İŞLEM
+# 4. ANA İŞLEM (CPU + GPU karışık)
 # -------------------------------
-
 def process_ner(text):
     logs = ["🚀 Analiz başlatıldı..."]
     yield "<br>".join(logs), []
 
-    # NER ile varlıkları çıkar
     raw_entities = ner_pipe(text)
     misc_entities = []
-
     results = []
+
     for ent in raw_entities:
         word = ent['word'].strip()
         label = ent['entity_group']
@@ -148,27 +143,28 @@ def process_ner(text):
         if label in ["PER", "ORG", "LOC"]:
             results.append({"Varlık": word, "İlk": label, "Nihai": label, "Kaynak": "NER Model"})
             logs.append(f"✅ <b>{word}</b> → {label} (doğrudan)")
-        else:  # MISC veya bilinmeyen
+        else:
             wiki = get_best_wiki_summary(word)
             if wiki:
                 logs.append(f"🌐 <b>{word}</b> için Wiki bulundu")
             else:
                 logs.append(f"⚠️ <b>{word}</b> için Wiki bulunamadı")
                 results.append({"Varlık": word, "İlk": "MISC", "Nihai": "MISC", "Kaynak": "Fallback"})
+
             misc_entities.append({"entity": word, "sentence": text, "wiki": wiki})
 
         yield "<br>".join(logs), [[r["Varlık"], r["İlk"], f"<b>{r['Nihai']}</b>", r["Kaynak"]] for r in results]
 
-    # Batch LLM rafinasyonu
-    if misc_entities and LLM_AVAILABLE:
-        logs.append("🧠 LLM ile toplu analiz yapılıyor...")
+    # LLM rafinasyonu (GPU çağrısı)
+    if misc_entities:
+        logs.append("🧠 LLM ile toplu analiz yapılıyor (GPU aktif)...")
         yield "<br>".join(logs), [[r["Varlık"], r["İlk"], f"<b>{r['Nihai']}</b>", r["Kaynak"]] for r in results]
 
         refined = batch_llm_refine(misc_entities)
+
         for item in misc_entities:
             entity = item["entity"]
             new_label, _ = refined.get(entity, ("MISC", ""))
-            # Sonuçları güncelle
             for r in results:
                 if r["Varlık"] == entity:
                     r["Nihai"] = new_label
@@ -177,13 +173,13 @@ def process_ner(text):
     logs.append("✨ Analiz tamamlandı!")
     yield "<br>".join(logs), [[r["Varlık"], r["İlk"], f"<b>{r['Nihai']}</b>", r["Kaynak"]] for r in results]
 
+
 # -------------------------------
-# 4. GRADIO ARAYÜZ
+# 5. GRADIO ARAYÜZ
 # -------------------------------
-
 with gr.Blocks(title="RAG-NER Türkçe", theme=gr.themes.Soft()) as demo:
     gr.Markdown("# 🇹🇷 RAG-NER: Gelişmiş Türkçe Varlık Tanılama")
-    gr.Markdown("Standart NER + Wikipedia + Yerel LLM ile yüksek doğruluklu özel varlık tanıma")
+    gr.Markdown("Standart NER + Wikipedia + Qwen2.5 LLM (ZeroGPU) ile özel varlık tanıma")
 
     with gr.Tab("Analiz"):
         txt_input = gr.Textbox(