Update app.py

app.py

@@ -1,99 +1,98 @@
-import torch
-import wikipedia
-from transformers import pipeline
-import gradio as gr
-import os
-import re
-import spaces # <--- ZeroGPU için gerekli kütüphane
-
-# --- Global Log Listesini Tanımla ---
-_initial_logs = []
-
-# --- 1. İlk Tarama Modeli (Hızlı NER - CPU'da kalacak) ---
-_initial_logs.append("1. Standart NER Modeli CPU üzerinde yükleniyor...")
-# NER modelini CPU'ya sabitliyoruz ki GPU kotasından yemesin.
-ner_pipe = pipeline(
-    "ner", 
-    model="xlm-roberta-large-finetuned-conll03-english", 
-    aggregation_strategy="simple",
-    device="cpu" 
-)
-_initial_logs.append("✅ Standart NER Modeli Hazır (CPU).")
-
-# --- 2. Akıl Yürütme Modeli (LLM - ZeroGPU için yapılandırma) ---
-_initial_logs.append("2. LLM (Qwen) CPU belleğine yükleniyor...")
-model_id = "Qwen/Qwen2.5-1.5B-Instruct" 
-IS_LLM_ENABLED = False 
-
-try:
-    # Modeli başlangıçta CPU'da (RAM) tutuyoruz.
-    gen_pipe = pipeline(
-        "text-generation",
-        model=model_id,
-        torch_dtype=torch.bfloat16, # ZeroGPU/H200 için en verimli format
-        device_map="cpu", # Başlangıçta CPU
-        trust_remote_code=True
-    )
-    IS_LLM_ENABLED = True
-    _initial_logs.append("✅ LLM (Qwen) Başarıyla RAM'e yüklendi. (Gerektiğinde GPU'ya taşınacak)")
-
-except Exception as e:
-    _initial_logs.append(f"❌ LLM yüklenirken kritik hata: {e}")
-    gen_pipe = None
-    IS_LLM_ENABLED = False
-
-# --- LLM ile Etiket Güncelleme Fonksiyonu (GPU Dekoratörü ile) ---
-@spaces.GPU # <--- Kritik: GPU sadece bu fonksiyon çağrıldığında tahsis edilir
-def refine_label_with_llm(entity_text, wiki_context, custom_label_definitions):
-    """LLM kullanarak MISC etiketini rafine eder (ZeroGPU üzerinde çalışır)."""
-    
-    if not IS_LLM_ENABLED or gen_pipe is None:
-        return "MISC", "LLM devre dışı."
-
-    # Modeli bu fonksiyonun içinde GPU'ya taşıyoruz
-    if gen_pipe.device.type != "cuda":
-        gen_pipe.model.to("cuda")
-
-    refinable_labels = {k: v for k, v in custom_label_definitions.items() if k not in ["PER", "LOC", "ORG", "MISC"]}
-    label_definitions_str = "\n".join([f"- {k}: {v}" for k, v in refinable_labels.items()])
-    
-    # ... (Buradaki prompt hazırlama kısımları aynı kalıyor, kısalık adına atladım) ...
-    few_shot_examples = "..." # Mevcut kodundaki örnekleri buraya ekle
-
-    prompt = f"..." # Mevcut kodundaki prompt şablonunu buraya ekle
-    messages = [{"role": "user", "content": prompt}]
-    
-    try:
-        outputs = gen_pipe(
-            messages, 
-            max_new_tokens=150,
-            do_sample=False, 
-            temperature=0.1
-        )
-        full_output = outputs[0]["generated_text"][-1]["content"].strip()
-    except Exception as e:
-        return "MISC", f"GPU Hatası: {e}"
-
-    # Çıktı işleme mantığın (Regex) aynı kalsın...
-    final_label = "MISC"
-    cog_output = ""
-    valid_labels = list(custom_label_definitions.keys())
-    
-    match_cevap = re.search(r'CEVAP:\s*([A-Z_]+)', full_output, re.IGNORECASE)
-    if match_cevap:
-        raw_label = match_cevap.group(1).strip().upper()
-        if raw_label in valid_labels:
-            final_label = raw_label
-
-    match_reasoning = re.search(r'AKIL YÜRÜTME:\s*(.*)', full_output, re.IGNORECASE | re.DOTALL)
-    if match_reasoning:
-        cog_output = match_reasoning.group(1).strip().replace('\n', ' ')
-            
-    return final_label, cog_output
-
-# --- Wikipedia ve Geri Kalan Fonksiyonlar ---
-# (get_wiki_summary, advanced_ner_pipeline, process_ner_request fonksiyonları aynen kalabilir)
-# Sadece advanced_ner_pipeline içinde refine_label_with_llm'i çağırdığın yer 
-# artık @spaces.GPU üzerinden otomatik GPU tahsisli çalışacak.
-
+import torch
+import wikipedia
+from transformers import pipeline
+import gradio as gr
+import os
+import re
+import spaces # <--- ZeroGPU için gerekli kütüphane
+
+# --- Global Log Listesini Tanımla ---
+_initial_logs = []
+
+# --- 1. İlk Tarama Modeli (Hızlı NER - CPU'da kalacak) ---
+_initial_logs.append("1. Standart NER Modeli CPU üzerinde yükleniyor...")
+# NER modelini CPU'ya sabitliyoruz ki GPU kotasından yemesin.
+ner_pipe = pipeline(
+    "ner", 
+    model="xlm-roberta-large-finetuned-conll03-english", 
+    aggregation_strategy="simple",
+    device="cpu" 
+)
+_initial_logs.append("✅ Standart NER Modeli Hazır (CPU).")
+
+# --- 2. Akıl Yürütme Modeli (LLM - ZeroGPU için yapılandırma) ---
+_initial_logs.append("2. LLM (Qwen) CPU belleğine yükleniyor...")
+model_id = "Qwen/Qwen2.5-1.5B-Instruct" 
+IS_LLM_ENABLED = False 
+
+try:
+    # Modeli başlangıçta CPU'da (RAM) tutuyoruz.
+    gen_pipe = pipeline(
+        "text-generation",
+        model=model_id,
+        model_kwargs={"dtype": torch.bfloat16}, # torch_dtype yerine dtype
+        device_map="cpu",
+        trust_remote_code=True
+    )
+    IS_LLM_ENABLED = True
+    print("✅ LLM (Qwen) Başarıyla RAM'e yüklendi!") # Loglarda bunu görmeliyiz
+
+except Exception as e:
+    _initial_logs.append(f"❌ LLM yüklenirken kritik hata: {e}")
+
+
+# --- LLM ile Etiket Güncelleme Fonksiyonu (GPU Dekoratörü ile) ---
+@spaces.GPU # <--- Kritik: GPU sadece bu fonksiyon çağrıldığında tahsis edilir
+def refine_label_with_llm(entity_text, wiki_context, custom_label_definitions):
+    """LLM kullanarak MISC etiketini rafine eder (ZeroGPU üzerinde çalışır)."""
+    
+    if not IS_LLM_ENABLED or gen_pipe is None:
+        return "MISC", "LLM devre dışı."
+
+    # Modeli bu fonksiyonun içinde GPU'ya taşıyoruz
+    if gen_pipe.device.type != "cuda":
+        gen_pipe.model.to("cuda")
+
+    refinable_labels = {k: v for k, v in custom_label_definitions.items() if k not in ["PER", "LOC", "ORG", "MISC"]}
+    label_definitions_str = "\n".join([f"- {k}: {v}" for k, v in refinable_labels.items()])
+    
+    # ... (Buradaki prompt hazırlama kısımları aynı kalıyor, kısalık adına atladım) ...
+    few_shot_examples = "..." # Mevcut kodundaki örnekleri buraya ekle
+
+    prompt = f"..." # Mevcut kodundaki prompt şablonunu buraya ekle
+    messages = [{"role": "user", "content": prompt}]
+    
+    try:
+        outputs = gen_pipe(
+            messages, 
+            max_new_tokens=150,
+            do_sample=False, 
+            temperature=0.1
+        )
+        full_output = outputs[0]["generated_text"][-1]["content"].strip()
+    except Exception as e:
+        return "MISC", f"GPU Hatası: {e}"
+
+    # Çıktı işleme mantığın (Regex) aynı kalsın...
+    final_label = "MISC"
+    cog_output = ""
+    valid_labels = list(custom_label_definitions.keys())
+    
+    match_cevap = re.search(r'CEVAP:\s*([A-Z_]+)', full_output, re.IGNORECASE)
+    if match_cevap:
+        raw_label = match_cevap.group(1).strip().upper()
+        if raw_label in valid_labels:
+            final_label = raw_label
+
+    match_reasoning = re.search(r'AKIL YÜRÜTME:\s*(.*)', full_output, re.IGNORECASE | re.DOTALL)
+    if match_reasoning:
+        cog_output = match_reasoning.group(1).strip().replace('\n', ' ')
+            
+    return final_label, cog_output
+
+# --- Wikipedia ve Geri Kalan Fonksiyonlar ---
+# (get_wiki_summary, advanced_ner_pipeline, process_ner_request fonksiyonları aynen kalabilir)
+# Sadece advanced_ner_pipeline içinde refine_label_with_llm'i çağırdığın yer 
+# artık @spaces.GPU üzerinden otomatik GPU tahsisli çalışacak.
+
 # ... (Gradio arayüz kodların) ...