Update app.py

app.py

@@ -1,5 +1,4 @@
 import torch
-import wikipedia
 import spaces
 import os
 import re
@@ -10,7 +9,7 @@ import json
 import traceback
 from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 
-# --- SSL ve Network Ayarları (Hugging Face Space için) ---
+# --- SSL ve Network Ayarları ---
 import urllib3
 urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
 
@@ -19,7 +18,7 @@ ner_pipe = pipeline("ner", model="xlm-roberta-large-finetuned-conll03-english",
 model_id = "Qwen/Qwen2.5-1.5B-Instruct"
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 
-# LLM modelini global olarak yükle
+# LLM modelini yükle
 llm_model = None
 IS_LLM_ENABLED = False
 
@@ -35,195 +34,217 @@ try:
     llm_model = llm_model.to("cpu")
     llm_model.eval()
     IS_LLM_ENABLED = True
-    print(f"✅ LLM modeli yüklendi! Device: {next(llm_model.parameters()).device}")
+    print(f"✅ LLM modeli yüklendi!")
 except Exception as e:
     IS_LLM_ENABLED = False
     print(f"⚠️ LLM yüklenemedi: {e}")
 
-# --- 2. WIKIPEDIA FONKSİYONLARI (GELİŞMİŞ ARAMA) ---
+# --- 2. WIKIPEDIA API (DOĞRUDAN API KULLANIMI) ---
 
-def test_wikipedia_connection():
-    """Wikipedia bağlantısını test et"""
-    logs = []
-    
-    try:
-        import wikipedia
-        logs.append(f"✅ Wikipedia modülü yüklü: {wikipedia.__version__}")
-    except ImportError as e:
-        logs.append(f"❌ Wikipedia modülü yüklü değil: {e}")
-        return "\n".join(logs)
-    
-    try:
-        response = requests.get("https://tr.wikipedia.org", timeout=5, verify=False)
-        logs.append(f"✅ İnternet bağlantısı var: {response.status_code}")
-    except Exception as e:
-        logs.append(f"❌ İnternet bağlantısı yok: {e}")
-        return "\n".join(logs)
+def get_wiki_summary(term):
+    """Türkçe Wikipedia'dan doğrudan API ile özet getirir"""
     
-    try:
-        session = requests.Session()
-        session.verify = False
-        session.headers.update({
-            'User-Agent': 'Mozilla/5.0 (compatible; RAG-NER-System/1.0)'
-        })
-        wikipedia.wikipedia._session = session
-        
-        wikipedia.set_lang("tr")
-        test_terms = ["Türkiye", "İstanbul", "Mustafa Kemal Atatürk"]
-        
-        for term in test_terms:
-            try:
-                search_results = wikipedia.search(term)
-                if search_results:
-                    summary = wikipedia.summary(search_results[0], sentences=1, auto_suggest=False)
-                    logs.append(f"✅ '{term}' -> '{search_results[0]}' (başarılı)")
-                else:
-                    logs.append(f"❌ '{term}' -> sonuç yok")
-                time.sleep(0.3)
-            except Exception as e:
-                logs.append(f"❌ '{term}' -> hata: {str(e)[:50]}")
-                
-    except Exception as e:
-        logs.append(f"❌ Wikipedia hatası: {str(e)}")
+    print(f"\n{'='*50}")
+    print(f"🔍 Türkçe Wikipedia sorgusu: '{term}'")
     
-    return "\n".join(logs)
-
-def improve_search_term(term):
-    """Arama terimini iyileştir - Daha fazla eşleşme için"""
     # Özel terim dönüşümleri
     special_cases = {
         "Türk": "Türkler",
-        "Türkler": "Türkler",
+        "türk": "Türkler",
         "Altın Aslan": "Altın Aslan Ödülü",
         "Venedik Film Festivali": "Venedik Film Festivali",
         "Kış Uykusu": "Kış Uykusu (film)",
         "Inception": "Inception (film)",
         "Oscar": "Akademi Ödülü",
         "Nobel": "Nobel Ödülü",
-        "Altın Palmiye": "Altın Palmiye",
-        "Cannes": "Cannes Film Festivali",
-        "Berlin": "Berlin Film Festivali",
     }
     
-    # Özel durum kontrolü
+    # Arama terimlerini hazırla
+    search_terms = [term]
     for key, value in special_cases.items():
         if term.lower() == key.lower():
-            return [value, term]
+            search_terms = [value, term]
+            break
     
-    # Genel iyileştirmeler
-    improved = [term]
+    # Eğer özel durum yoksa, çoğul ve tekil dene
+    if len(search_terms) == 1:
+        if term.endswith("lar") or term.endswith("ler"):
+            search_terms.append(term[:-3])
+        else:
+            search_terms.append(term + "lar")
+            search_terms.append(term + "ler")
     
-    # Büyük harf dönüşümleri
-    improved.append(term.title())
+    print(f"📝 Aranacak terimler: {search_terms}")
     
-    # Tekil/çoğul
-    if term.endswith("lar") or term.endswith("ler"):
-        improved.append(term[:-3])
-    else:
-        improved.append(term + "lar")
-        improved.append(term + "ler")
+    # Headers
+    headers = {
+        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
+        'Accept': 'application/json',
+        'Accept-Language': 'tr,en;q=0.9'
+    }
     
-    # Benzersizleştir
-    improved = list(dict.fromkeys(improved))
+    for search_term in search_terms:
+        print(f"🔎 '{search_term}' aranıyor...")
+        
+        try:
+            # 1. Önce sayfayı doğrudan kontrol et
+            url = "https://tr.wikipedia.org/w/api.php"
+            params = {
+                "action": "query",
+                "format": "json",
+                "titles": search_term,
+                "prop": "extracts",
+                "exintro": True,
+                "explaintext": True,
+                "exsentences": 3,
+                "origin": "*"
+            }
+            
+            response = requests.get(url, params=params, headers=headers, timeout=10, verify=False)
+            
+            if response.status_code == 200:
+                try:
+                    data = response.json()
+                    pages = data.get('query', {}).get('pages', {})
+                    
+                    for page_id, page_info in pages.items():
+                        if page_id != "-1":
+                            extract = page_info.get('extract', '')
+                            if extract and len(extract) > 20:
+                                print(f"✅ Doğrudan sayfa bulundu: '{search_term}'")
+                                print(f"   {extract[:100]}...")
+                                return extract
+                except json.JSONDecodeError:
+                    print(f"⚠️ JSON hatası, devam ediliyor...")
+            
+            # 2. Doğrudan bulunamazsa arama yap
+            search_params = {
+                "action": "query",
+                "format": "json",
+                "list": "search",
+                "srsearch": search_term,
+                "srlimit": 3,
+                "srprop": "snippet",
+                "origin": "*"
+            }
+            
+            search_response = requests.get(url, params=search_params, headers=headers, timeout=10, verify=False)
+            
+            if search_response.status_code == 200:
+                try:
+                    search_data = search_response.json()
+                    search_results = search_data.get('query', {}).get('search', [])
+                    
+                    if search_results:
+                        print(f"📊 '{search_term}' -> {len(search_results)} sonuç")
+                        
+                        for result in search_results:
+                            title = result.get('title', '')
+                            if title:
+                                print(f"📄 '{title}' deneniyor...")
+                                
+                                # Sayfa özetini al
+                                summary_params = {
+                                    "action": "query",
+                                    "format": "json",
+                                    "titles": title,
+                                    "prop": "extracts",
+                                    "exintro": True,
+                                    "explaintext": True,
+                                    "exsentences": 3,
+                                    "origin": "*"
+                                }
+                                
+                                summary_response = requests.get(url, params=summary_params, headers=headers, timeout=10, verify=False)
+                                
+                                if summary_response.status_code == 200:
+                                    try:
+                                        summary_data = summary_response.json()
+                                        pages = summary_data.get('query', {}).get('pages', {})
+                                        
+                                        for page_id, page_info in pages.items():
+                                            if page_id != "-1":
+                                                extract = page_info.get('extract', '')
+                                                if extract and len(extract) > 20:
+                                                    print(f"✅ '{search_term}' -> '{title}' bulundu")
+                                                    print(f"   {extract[:100]}...")
+                                                    return extract
+                                    except json.JSONDecodeError:
+                                        print(f"⚠️ JSON hatası")
+                                        
+                except json.JSONDecodeError:
+                    print(f"⚠️ Arama JSON hatası")
+                    
+        except requests.exceptions.RequestException as e:
+            print(f"⚠️ Request hatası: {str(e)[:50]}")
+            continue
+        except Exception as e:
+            print(f"⚠️ Hata: {str(e)[:50]}")
+            continue
+        
+        time.sleep(0.3)
     
-    return improved
+    print(f"❌ '{term}' için Türkçe Wikipedia'da sonuç bulunamadı")
+    print(f"{'='*50}\n")
+    return None
 
-def get_wiki_summary(term):
-    """Varlık için Türkçe Wikipedia özeti getirir - Gelişmiş arama ile"""
-    import wikipedia
-    
-    print(f"\n{'='*50}")
-    print(f"🔍 Türkçe Wikipedia sorgusu: '{term}'")
+def test_wikipedia_connection():
+    """Wikipedia API bağlantısını test et"""
+    logs = []
     
     try:
-        # Özel session oluştur
-        session = requests.Session()
-        session.verify = False
-        session.headers.update({
-            'User-Agent': 'Mozilla/5.0 (compatible; RAG-NER-System/1.0)'
-        })
-        wikipedia.wikipedia._session = session
-        wikipedia.set_lang("tr")
+        # API testi
+        url = "https://tr.wikipedia.org/w/api.php"
+        params = {
+            "action": "query",
+            "format": "json",
+            "titles": "Türkiye",
+            "prop": "extracts",
+            "exintro": True,
+            "explaintext": True,
+            "origin": "*"
+        }
+        headers = {'User-Agent': 'Mozilla/5.0 (compatible; Test/1.0)'}
         
-        # Arama terimlerini iyileştir
-        search_terms = improve_search_term(term)
-        print(f"📝 Aranacak terimler: {search_terms}")
+        response = requests.get(url, params=params, headers=headers, timeout=10, verify=False)
+        logs.append(f"📡 API Status: {response.status_code}")
         
-        for search_term in search_terms:
-            print(f"🔎 '{search_term}' aranıyor...")
-            
+        if response.status_code == 200:
             try:
-                # Önce doğrudan sayfa kontrolü
-                try:
-                    page = wikipedia.page(search_term, auto_suggest=False)
-                    if page:
-                        summary = page.summary
-                        sentences = summary.split('.')[:3]
-                        result = '.'.join(sentences) + '.'
-                        if len(result) > 20:
-                            print(f"✅ Doğrudan sayfa bulundu: '{search_term}'")
-                            print(f"   {result[:100]}...")
-                            return result
-                except:
-                    pass
-                
-                # Arama yap
-                search_results = wikipedia.search(search_term, results=5)
-                if search_results:
-                    print(f"📊 '{search_term}' -> {len(search_results)} sonuç: {search_results[:3]}")
-                    
-                    for title in search_results:
-                        try:
-                            page = wikipedia.page(title, auto_suggest=False)
-                            summary = page.summary
-                            sentences = summary.split('.')[:3]
-                            result = '.'.join(sentences) + '.'
-                            if len(result) > 20:
-                                print(f"✅ '{search_term}' -> '{title}' bulundu")
-                                print(f"   {result[:100]}...")
-                                return result
-                        except:
-                            continue
-                            
-            except Exception as e:
-                print(f"⚠️ '{search_term}' hatası: {str(e)[:50]}")
-                continue
+                data = response.json()
+                pages = data.get('query', {}).get('pages', {})
+                for page_id, page_info in pages.items():
+                    if page_id != "-1":
+                        extract = page_info.get('extract', '')
+                        if extract:
+                            logs.append(f"✅ Türkçe Wikipedia API çalışıyor!")
+                            logs.append(f"📄 Örnek: {extract[:100]}...")
+                            break
+                else:
+                    logs.append(f"⚠️ Sayfa bulunamadı")
+            except json.JSONDecodeError:
+                logs.append(f"❌ JSON parse hatası")
+                logs.append(f"Response: {response.text[:200]}")
+        else:
+            logs.append(f"❌ API hatası: {response.status_code}")
             
-            time.sleep(0.3)  # Rate limiting
-        
-        # Hiçbir sonuç yoksa
-        print(f"❌ '{term}' için Türkçe Wikipedia'da sonuç bulunamadı")
-        return None
-        
     except Exception as e:
-        print(f"❌ HATA: {str(e)}")
-        return None
-    finally:
-        print(f"{'='*50}\n")
+        logs.append(f"❌ Bağlantı hatası: {str(e)}")
+    
+    return "\n".join(logs)
 
-# --- 3. LLM ANALİZ FONKSİYONU (RUNTIME ERROR ÇÖZÜMLÜ) ---
+# --- 3. LLM ANALİZ FONKSİYONU ---
 
 @spaces.GPU
 def refine_label_with_llm(entity_text, full_sentence, wiki_context, custom_label_definitions):
-    """LLM ile etiket analizi yapar - RuntimeError tamamen çözüldü"""
+    """LLM ile etiket analizi yapar"""
     global llm_model, IS_LLM_ENABLED
     
     if not IS_LLM_ENABLED or llm_model is None:
         return "MISC", "LLM Aktif Değil"
     
     try:
-        print(f"\n{'='*50}")
-        print(f"🧠 LLM analizi: '{entity_text}'")
-        
-        # Model CPU'da çalışıyor, emin olalım
-        try:
-            current_device = next(llm_model.parameters()).device
-            if str(current_device) != "cpu":
-                llm_model.to("cpu")
-                if torch.cuda.is_available():
-                    torch.cuda.empty_cache()
-        except:
-            pass
+        print(f"\n🧠 LLM analizi: '{entity_text}'")
         
         # Etiket Tanımları
         label_rules = ""
@@ -283,12 +304,8 @@ Cevap: [SADECE_ETIKET_ADI]"""
         messages = [{"role": "user", "content": prompt}]
         text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
         model_inputs = tokenizer([text], return_tensors="pt")
-        
-        # CPU'ya taşı
         model_inputs = {k: v.to("cpu") for k, v in model_inputs.items()}
         
-        print(f"🔄 LLM generate başlatılıyor...")
-        
         with torch.no_grad():
             generated_ids = llm_model.generate(
                 model_inputs.input_ids,
@@ -301,8 +318,6 @@ Cevap: [SADECE_ETIKET_ADI]"""
         response_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
         full_output = tokenizer.batch_decode(response_ids, skip_special_tokens=True)[0].strip()
         
-        print(f"✅ LLM çıktısı alındı")
-        
         # Etiket Ayıklama
         clean_output = full_output.replace("*", "")
         final_label = "MISC"
@@ -314,26 +329,11 @@ Cevap: [SADECE_ETIKET_ADI]"""
             if extracted in valid_keys:
                 final_label = extracted
                 print(f"🏷️ Etiket: {final_label}")
-            else:
-                print(f"⚠️ Geçersiz etiket: {extracted}")
-        else:
-            print(f"⚠️ Etiket bulunamadı, MISC atanıyor")
             
         return final_label, clean_output
         
-    except RuntimeError as e:
-        print(f"❌ RuntimeError: {str(e)}")
-        try:
-            llm_model.to("cpu")
-            if torch.cuda.is_available():
-                torch.cuda.empty_cache()
-        except:
-            pass
-        return "MISC", f"RuntimeError: {str(e)[:100]}"
-        
     except Exception as e:
-        print(f"❌ LLM hatası: {type(e).__name__} - {str(e)}")
-        print(traceback.format_exc())
+        print(f"❌ LLM hatası: {str(e)}")
         return "MISC", f"Hata: {str(e)[:100]}"
 
 # --- 4. ANA İŞLEM HATTI ---
@@ -451,40 +451,8 @@ def test_single_term(term):
             logs.append(f"✅ SONUÇ: {result}")
         else:
             logs.append(f"❌ Sonuç bulunamadı")
-            
-            import wikipedia
-            logs.append(f"\n📊 Detaylı arama:")
-            try:
-                session = requests.Session()
-                session.verify = False
-                session.headers.update({
-                    'User-Agent': 'Mozilla/5.0 (compatible; RAG-NER-System/1.0)'
-                })
-                wikipedia.wikipedia._session = session
-                wikipedia.set_lang("tr")
-                
-                test_terms = improve_search_term(term)
-                for t in test_terms:
-                    try:
-                        search_results = wikipedia.search(t)
-                        if search_results:
-                            logs.append(f"  '{t}' -> {len(search_results)} sonuç: {search_results[:3]}")
-                            try:
-                                summary = wikipedia.summary(search_results[0], sentences=1)
-                                logs.append(f"    Özet: {summary[:100]}...")
-                            except:
-                                pass
-                        else:
-                            logs.append(f"  '{t}' -> sonuç yok")
-                    except Exception as e:
-                        logs.append(f"  '{t}' -> hata: {str(e)[:50]}")
-                    time.sleep(0.2)
-            except Exception as e:
-                logs.append(f"Test hatası: {str(e)}")
-                
     except Exception as e:
         logs.append(f"❌ Hata: {str(e)}")
-        logs.append(traceback.format_exc())
     
     return "\n".join(logs)
 
@@ -501,7 +469,6 @@ def check_llm_status():
             dtype = next(llm_model.parameters()).dtype
             logs.append(f"Device: {device}")
             logs.append(f"Dtype: {dtype}")
-            logs.append(f"CUDA Kullanılabilir: {torch.cuda.is_available()}")
         except Exception as e:
             logs.append(f"Device kontrol hatası: {str(e)}")
     else:
@@ -557,7 +524,7 @@ with gr.Blocks(title="RAG-NER Uzman Karar Destek Sistemi") as demo:
             debug_output = gr.HTML(label="Debug Sonuçları")
         debug_btn.click(debug_wikipedia, outputs=debug_output)
         
-        gr.Markdown("### 🔍 Tek Terim Testi (Gelişmiş Arama)")
+        gr.Markdown("### 🔍 Tek Terim Testi")
         with gr.Row():
             single_term_input = gr.Textbox(
                 label="Test Edilecek Terim",