Update app.py

app.py

@@ -19,9 +19,20 @@ ner_pipe = pipeline("ner", model="xlm-roberta-large-finetuned-conll03-english",
 model_id = "Qwen/Qwen2.5-1.5B-Instruct"
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 
+# LLM modelini global olarak yükle
+llm_model = None
+IS_LLM_ENABLED = False
+
 try:
-    llm_model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="cpu", trust_remote_code=True)
+    print("📦 LLM modeli yükleniyor...")
+    llm_model = AutoModelForCausalLM.from_pretrained(
+        model_id, 
+        torch_dtype=torch.bfloat16, 
+        device_map="cpu",  # CPU'da çalıştır (Space'lerde genelde CPU var)
+        trust_remote_code=True
+    )
     IS_LLM_ENABLED = True
+    print("✅ LLM modeli yüklendi!")
 except Exception as e:
     IS_LLM_ENABLED = False
     print(f"⚠️ LLM yüklenemedi: {e}")
@@ -48,9 +59,8 @@ def test_wikipedia_connection():
         logs.append(f"❌ İnternet bağlantısı yok: {e}")
         return "\n".join(logs)
     
-    # 3. Türkçe Wikipedia'ya erişim (SADECE TÜRKÇE)
+    # 3. Türkçe Wikipedia'ya erişim
     try:
-        # Özel session ile dene
         session = requests.Session()
         session.verify = False
         session.headers.update({
@@ -78,39 +88,6 @@ def test_wikipedia_connection():
     except Exception as e:
         logs.append(f"❌ Türkçe Wikipedia hatası: {str(e)}")
     
-    # 4. Doğrudan API testi (JSON hatasını tespit için)
-    try:
-        logs.append(f"\n📡 Doğrudan API testi:")
-        url = "https://tr.wikipedia.org/w/api.php"
-        params = {
-            "action": "query",
-            "format": "json",
-            "list": "search",
-            "srsearch": "Türkiye",
-            "srlimit": 1
-        }
-        
-        response = requests.get(url, params=params, timeout=10, verify=False, 
-                              headers={'User-Agent': 'RAG-NER-System/1.0'})
-        
-        logs.append(f"API Status: {response.status_code}")
-        
-        if response.status_code == 200:
-            try:
-                data = response.json()
-                if data.get('query', {}).get('search'):
-                    logs.append(f"✅ API çalışıyor: {len(data['query']['search'])} sonuç")
-                else:
-                    logs.append(f"⚠️ API sonuç döndü ama boş")
-            except json.JSONDecodeError as e:
-                logs.append(f"❌ JSON parse hatası: {e}")
-                logs.append(f"   İlk 100 karakter: {response.text[:100]}")
-        else:
-            logs.append(f"❌ API hatası: {response.status_code}")
-            
-    except Exception as e:
-        logs.append(f"❌ API test hatası: {str(e)}")
-    
     return "\n".join(logs)
 
 def get_wiki_summary(term):
@@ -136,13 +113,12 @@ def get_wiki_summary(term):
         wikipedia.set_lang("tr")
         print(f"🌐 Dil: Türkçe")
         
-        # 1. YÖNTEM: Doğrudan sayfa kontrolü (en hızlı)
+        # 1. YÖNTEM: Doğrudan sayfa kontrolü
         try:
             print(f"📖 Doğrudan sayfa aranıyor: '{term}'")
             page = wikipedia.page(term, auto_suggest=False)
             if page:
                 summary = page.summary
-                # İlk 3 cümle
                 sentences = summary.split('.')[:3]
                 result = '.'.join(sentences) + '.'
                 if len(result) > 20:
@@ -150,7 +126,6 @@ def get_wiki_summary(term):
                     return result
         except wikipedia.exceptions.DisambiguationError as e:
             print(f"⚠️ Anlam karmaşası: {e.options[:3]}")
-            # İlk seçeneği dene
             for option in e.options[:3]:
                 try:
                     page = wikipedia.page(option, auto_suggest=False)
@@ -185,12 +160,11 @@ def get_wiki_summary(term):
                     print(f"⚠️ '{title}' alınamadı: {str(e)[:50]}")
                     continue
         
-        # 3. YÖNTEM: Doğrudan API ile dene (JSON hatasını çözmek için)
+        # 3. YÖNTEM: Doğrudan API ile dene
         print(f"📡 API ile deneniyor...")
         try:
             url = "https://tr.wikipedia.org/w/api.php"
             
-            # Önce ara
             search_params = {
                 "action": "query",
                 "format": "json",
@@ -210,7 +184,6 @@ def get_wiki_summary(term):
                         page_title = search_data['query']['search'][0]['title']
                         print(f"📄 API ile bulundu: '{page_title}'")
                         
-                        # Özet al
                         summary_params = {
                             "action": "query",
                             "format": "json",
@@ -266,19 +239,30 @@ def get_random_examples():
 
 @spaces.GPU
 def refine_label_with_llm(entity_text, full_sentence, wiki_context, custom_label_definitions):
-    if not IS_LLM_ENABLED: 
+    """LLM ile etiket analizi yapar - RuntimeError çözümlü"""
+    global llm_model, IS_LLM_ENABLED
+    
+    if not IS_LLM_ENABLED or llm_model is None:
         return "MISC", "LLM Aktif Değil"
     
-    device = "cuda" if torch.cuda.is_available() else "cpu"
-    llm_model.to(device)
-
-    # 1. Etiket Tanımları (Bilgi Kaynağı)
-    label_rules = ""
-    for k, v in custom_label_definitions.items():
-        label_rules += f"### {k}\n- TANIM: {v['tanim']}\n- ANAHTARLAR: {', '.join(v['anahtar_kelimeler'])}\n\n"
-
-    # 2. Sistematik CoT ve Kuralların Tanımlanması
-    prompt = f"""Sen yüksek hassasiyetli bir semantik analiz uzmanısın.
+    try:
+        # Device kontrolü - model zaten CPU'da
+        device = "cuda" if torch.cuda.is_available() else "cpu"
+        print(f"🖥️ LLM Device: {device}")
+        
+        # Modeli device'a taşı (sadece gerekirse)
+        if device == "cuda" and next(llm_model.parameters()).device.type != "cuda":
+            llm_model.to(device)
+        elif device == "cpu" and next(llm_model.parameters()).device.type != "cpu":
+            llm_model.to(device)
+
+        # 1. Etiket Tanımları
+        label_rules = ""
+        for k, v in custom_label_definitions.items():
+            label_rules += f"### {k}\n- TANIM: {v['tanim']}\n- ANAHTARLAR: {', '.join(v['anahtar_kelimeler'])}\n\n"
+
+        # 2. Sistematik CoT ve Kuralların Tanımlanması
+        prompt = f"""Sen yüksek hassasiyetli bir semantik analiz uzmanısın.
 Görevin, '[[{entity_text}]]' varlığını aşağıdaki 4 adımlı Sistematik CoT protokolüne göre sınıflandırmaktır.
 
 ETİKET TANIMLARI:
@@ -326,15 +310,24 @@ GÜNCEL GÖREV:
 Analiz: [4 Adımlı CoT Analizi]
 Cevap: [SADECE_ETIKET_ADI]"""
 
-    messages = [{"role": "user", "content": prompt}]
-    text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
-    model_inputs = tokenizer([text], return_tensors="pt").to(device)
+        messages = [{"role": "user", "content": prompt}]
+        text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+        model_inputs = tokenizer([text], return_tensors="pt").to(device)
 
-    try:
-        generated_ids = llm_model.generate(model_inputs.input_ids, max_new_tokens=450, do_sample=False, temperature=0.1)
+        print(f"🧠 LLM analizi başlatılıyor: '{entity_text}'")
+        
+        generated_ids = llm_model.generate(
+            model_inputs.input_ids, 
+            max_new_tokens=450, 
+            do_sample=False, 
+            temperature=0.1
+        )
+        
         response_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
         full_output = tokenizer.batch_decode(response_ids, skip_special_tokens=True)[0].strip()
         
+        print(f"✅ LLM çıktısı alındı: {full_output[:100]}...")
+        
         # Markdown temizliği ve Etiket Ayıklama
         clean_output = full_output.replace("*", "")
         final_label = "MISC"
@@ -345,10 +338,28 @@ Cevap: [SADECE_ETIKET_ADI]"""
             extracted = match.group(1).upper().strip()
             if extracted in valid_keys: 
                 final_label = extracted
+                print(f"🏷️ Etiket bulundu: {final_label}")
+            else:
+                print(f"⚠️ Geçersiz etiket: {extracted}")
+        else:
+            print(f"⚠️ Etiket bulunamadı, MISC atanıyor")
             
         return final_label, clean_output
+        
+    except RuntimeError as e:
+        print(f"❌ RuntimeError: {str(e)}")
+        # Modeli yeniden CPU'ya taşı
+        try:
+            llm_model.to("cpu")
+            torch.cuda.empty_cache() if torch.cuda.is_available() else None
+        except:
+            pass
+        return "MISC", f"RuntimeError: {str(e)[:100]}"
+        
     except Exception as e:
-        return "MISC", f"Hata: {str(e)}"
+        print(f"❌ LLM hatası: {type(e).__name__} - {str(e)}")
+        print(traceback.format_exc())
+        return "MISC", f"Hata: {str(e)[:100]}"
 
 # --- 4. ANA İŞLEM HATTI ---
 
@@ -414,18 +425,32 @@ def process_ner(text):
             
             yield "<br>".join(current_logs), [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
             
-            # LLM ile analiz
-            if wiki_text:
+            # LLM ile analiz (sadece wiki_text varsa)
+            if wiki_text and IS_LLM_ENABLED:
                 try:
+                    current_logs.append(f"🧠 <b>LLM analizi başlatılıyor:</b> '{word}'")
+                    yield "<br>".join(current_logs), [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
+                    
                     new_label, cot_text = refine_label_with_llm(word, text, wiki_text, custom_labels)
-                    current_logs.append(f"🧠 <b>CoT Analizi:</b> {cot_text[:200]}...")
+                    
+                    # CoT çıktısını kısalt
+                    cot_preview = cot_text[:300] + "..." if len(cot_text) > 300 else cot_text
+                    current_logs.append(f"🧠 <b>CoT Analizi:</b> {cot_preview}")
+                    
                     res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": new_label, "Kaynak": "RAG+LLM"}
+                    current_logs.append(f"🏷️ <b>Nihai Etiket:</b> {new_label}")
+                    
                 except Exception as e:
-                    current_logs.append(f"❌ LLM analiz hatası: {str(e)[:100]}")
-                    res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": "MISC", "Kaynak": "Hata"}
+                    error_msg = str(e)[:100]
+                    current_logs.append(f"❌ <b>LLM analiz hatası:</b> {error_msg}")
+                    res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": "MISC", "Kaynak": f"Hata: {error_msg}"}
             else:
-                res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": "MISC", "Kaynak": "Model"}
-                current_logs.append(f"⚠️ '{word}' için Wikipedia bilgisi olmadığından MISC olarak etiketlendi.")
+                if not wiki_text:
+                    res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": "MISC", "Kaynak": "Model"}
+                    current_logs.append(f"⚠️ '{word}' için Wikipedia bilgisi olmadığından MISC olarak etiketlendi.")
+                else:
+                    res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": "MISC", "Kaynak": "Model"}
+                    current_logs.append(f"⚠️ LLM aktif olmadığından '{word}' MISC olarak etiketlendi.")
             
             final_results.append(res)
             table_display = [[r["Varlık"], r["İlk Etiket"], f"<b>{r['Nihai Etiket']}</b>", r["Kaynak"]] for r in final_results]
@@ -459,7 +484,6 @@ def test_single_term(term):
             import wikipedia
             logs.append(f"\n📊 Detaylı test:")
             try:
-                # Özel session ile dene
                 session = requests.Session()
                 session.verify = False
                 session.headers.update({
@@ -481,6 +505,29 @@ def test_single_term(term):
     
     return "\n".join(logs)
 
+def check_llm_status():
+    """LLM durumunu kontrol et"""
+    global IS_LLM_ENABLED, llm_model
+    
+    logs = []
+    logs.append("=== LLM DURUM KONTROLÜ ===")
+    logs.append(f"LLM Aktif: {IS_LLM_ENABLED}")
+    logs.append(f"LLM Model: {model_id}")
+    
+    if llm_model is not None:
+        try:
+            device = next(llm_model.parameters()).device
+            logs.append(f"Model Device: {device}")
+            logs.append(f"CUDA Kullanılabilir: {torch.cuda.is_available()}")
+            if torch.cuda.is_available():
+                logs.append(f"GPU: {torch.cuda.get_device_name(0)}")
+        except Exception as e:
+            logs.append(f"Device kontrol hatası: {str(e)}")
+    else:
+        logs.append("Model yüklenmemiş!")
+    
+    return "\n".join(logs)
+
 # --- 6. GRADIO ARAYÜZÜ ---
 
 with gr.Blocks(title="RAG-NER Uzman Karar Destek Sistemi") as demo:
@@ -522,16 +569,16 @@ with gr.Blocks(title="RAG-NER Uzman Karar Destek Sistemi") as demo:
     
     # --- 7. DEBUG TABI ---
     with gr.Tab("Debug"):
-        gr.Markdown("## 🐛 Türkçe Wikipedia Debug Paneli")
-        gr.Markdown("Bu panel Türkçe Wikipedia bağlantı sorunlarını tespit etmek için kullanılır.")
+        gr.Markdown("## 🐛 Debug Paneli")
         
+        gr.Markdown("### 🌐 Türkçe Wikipedia Testi")
         with gr.Row():
             debug_btn = gr.Button("Türkçe Wikipedia Bağlantısını Test Et", variant="secondary")
             debug_output = gr.HTML(label="Debug Sonuçları")
         
         debug_btn.click(debug_wikipedia, outputs=debug_output)
         
-        gr.Markdown("### 🔍 Tek Terim Testi (Türkçe Wikipedia)")
+        gr.Markdown("### 🔍 Tek Terim Testi")
         with gr.Row():
             single_term_input = gr.Textbox(
                 label="Test Edilecek Terim",
@@ -547,6 +594,17 @@ with gr.Blocks(title="RAG-NER Uzman Karar Destek Sistemi") as demo:
         )
         
         single_term_btn.click(test_single_term, inputs=single_term_input, outputs=single_term_output)
+        
+        gr.Markdown("### 🧠 LLM Durum Kontrolü")
+        with gr.Row():
+            llm_status_btn = gr.Button("LLM Durumunu Kontrol Et", variant="secondary")
+            llm_status_output = gr.Textbox(
+                label="LLM Durumu",
+                lines=10,
+                interactive=False
+            )
+        
+        llm_status_btn.click(check_llm_status, outputs=llm_status_output)
 
 # --- 8. BAŞLATMA ---
 
@@ -560,6 +618,9 @@ if __name__ == "__main__":
     test_result = test_wikipedia_connection()
     print(test_result)
     
+    print("\n🧠 LLM durumu kontrol ediliyor...")
+    print(check_llm_status())
+    
     print("\n" + "="*50)
     print("✅ Sistem hazır, Gradio başlatılıyor...")
     print("="*50 + "\n")