Update app.py

app.py

@@ -14,13 +14,6 @@ from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 import urllib3
 urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
 
-# Wikipedia için özel session
-session = requests.Session()
-session.verify = False  # SSL doğrulamasını kapat
-session.headers.update({
-    'User-Agent': 'Mozilla/5.0 (compatible; RAG-NER-System/1.0; +https://huggingface.co/spaces)'
-})
-
 # --- 1. MODELLERİN HAZIRLANMASI ---
 ner_pipe = pipeline("ner", model="xlm-roberta-large-finetuned-conll03-english", aggregation_strategy="simple", device=-1)
 model_id = "Qwen/Qwen2.5-1.5B-Instruct"
@@ -33,10 +26,10 @@ except Exception as e:
     IS_LLM_ENABLED = False
     print(f"⚠️ LLM yüklenemedi: {e}")
 
-# --- 2. WIKIPEDIA FONKSİYONLARI (DEBUG VE ÇÖZÜMLÜ) ---
+# --- 2. WIKIPEDIA FONKSİYONLARI (SADECE TÜRKÇE) ---
 
 def test_wikipedia_connection():
-    """Wikipedia bağlantısını ve fonksiyonelliğini test et"""
+    """Wikipedia bağlantısını ve fonksiyonelliğini test et - Sadece Türkçe"""
     logs = []
     
     # 1. Modül kontrolü
@@ -49,70 +42,107 @@ def test_wikipedia_connection():
     
     # 2. İnternet bağlantısı kontrolü
     try:
-        response = requests.get("https://www.wikipedia.org", timeout=5, verify=False)
+        response = requests.get("https://tr.wikipedia.org", timeout=5, verify=False)
         logs.append(f"✅ İnternet bağlantısı var: {response.status_code}")
     except Exception as e:
         logs.append(f"❌ İnternet bağlantısı yok: {e}")
         return "\n".join(logs)
     
-    # 3. Türkçe Wikipedia'ya erişim
+    # 3. Türkçe Wikipedia'ya erişim (SADECE TÜRKÇE)
     try:
+        # Özel session ile dene
+        session = requests.Session()
+        session.verify = False
+        session.headers.update({
+            'User-Agent': 'Mozilla/5.0 (compatible; RAG-NER-System/1.0; +https://huggingface.co/spaces)'
+        })
+        wikipedia.wikipedia._session = session
+        
         wikipedia.set_lang("tr")
         test_term = "Türkiye"
+        
+        logs.append(f"🔍 '{test_term}' aranıyor (Türkçe Wikipedia)...")
         search_results = wikipedia.search(test_term)
-        logs.append(f"🔍 '{test_term}' arama sonucu: {len(search_results)} sonuç - {search_results[:3] if search_results else 'Boş'}")
+        logs.append(f"📊 Arama sonucu: {len(search_results)} sonuç")
         
         if search_results:
+            logs.append(f"📄 İlk sonuç: '{search_results[0]}'")
             try:
                 summary = wikipedia.summary(search_results[0], sentences=2, auto_suggest=False)
                 logs.append(f"✅ Özet alındı: {summary[:100]}...")
             except Exception as e:
-                logs.append(f"❌ Özet alınamadı: {e}")
+                logs.append(f"❌ Özet alınamadı: {str(e)}")
+        else:
+            logs.append(f"❌ Arama sonucu boş!")
+            
     except Exception as e:
-        logs.append(f"❌ Türkçe Wikipedia hatası: {e}")
+        logs.append(f"❌ Türkçe Wikipedia hatası: {str(e)}")
     
-    # 4. İngilizce Wikipedia'ya erişim
+    # 4. Doğrudan API testi (JSON hatasını tespit için)
     try:
-        wikipedia.set_lang("en")
-        test_term = "Turkey"
-        search_results = wikipedia.search(test_term)
-        logs.append(f"🔍 '{test_term}' (EN) arama sonucu: {len(search_results)} sonuç - {search_results[:3] if search_results else 'Boş'}")
+        logs.append(f"\n📡 Doğrudan API testi:")
+        url = "https://tr.wikipedia.org/w/api.php"
+        params = {
+            "action": "query",
+            "format": "json",
+            "list": "search",
+            "srsearch": "Türkiye",
+            "srlimit": 1
+        }
         
-        if search_results:
+        response = requests.get(url, params=params, timeout=10, verify=False, 
+                              headers={'User-Agent': 'RAG-NER-System/1.0'})
+        
+        logs.append(f"API Status: {response.status_code}")
+        
+        if response.status_code == 200:
             try:
-                summary = wikipedia.summary(search_results[0], sentences=2, auto_suggest=False)
-                logs.append(f"✅ İngilizce özet alındı: {summary[:100]}...")
-            except Exception as e:
-                logs.append(f"❌ İngilizce özet alınamadı: {e}")
+                data = response.json()
+                if data.get('query', {}).get('search'):
+                    logs.append(f"✅ API çalışıyor: {len(data['query']['search'])} sonuç")
+                else:
+                    logs.append(f"⚠️ API sonuç döndü ama boş")
+            except json.JSONDecodeError as e:
+                logs.append(f"❌ JSON parse hatası: {e}")
+                logs.append(f"   İlk 100 karakter: {response.text[:100]}")
+        else:
+            logs.append(f"❌ API hatası: {response.status_code}")
+            
     except Exception as e:
-        logs.append(f"❌ İngilizce Wikipedia hatası: {e}")
+        logs.append(f"❌ API test hatası: {str(e)}")
     
     return "\n".join(logs)
 
 def get_wiki_summary(term):
-    """Varlık için Wikipedia özeti getirir - Tam debug ve hata yönetimi ile"""
+    """Varlık için Türkçe Wikipedia özeti getirir - Sadece Türkçe"""
     import wikipedia
     import traceback
     
     print(f"\n{'='*50}")
-    print(f"🔍 Wikipedia sorgusu başladı: '{term}'")
+    print(f"🔍 Türkçe Wikipedia sorgusu başladı: '{term}'")
     
     try:
-        # 1. Modül kontrolü
-        print(f"📦 Wikipedia modülü sürümü: {wikipedia.__version__}")
+        # Özel session oluştur
+        session = requests.Session()
+        session.verify = False
+        session.headers.update({
+            'User-Agent': 'Mozilla/5.0 (compatible; RAG-NER-System/1.0; +https://huggingface.co/spaces)'
+        })
         
-        # Özel session'ı kullan
+        # Wikipedia modülünün session'ını değiştir
         wikipedia.wikipedia._session = session
         
-        # 2. Türkçe Wikipedia dene
-        print(f"🌐 Türkçe Wikipedia aranıyor...")
+        # Sadece Türkçe Wikipedia
         wikipedia.set_lang("tr")
+        print(f"🌐 Dil: Türkçe")
         
-        # Önce doğrudan sayfayı kontrol et
+        # 1. YÖNTEM: Doğrudan sayfa kontrolü (en hızlı)
         try:
+            print(f"📖 Doğrudan sayfa aranıyor: '{term}'")
             page = wikipedia.page(term, auto_suggest=False)
             if page:
                 summary = page.summary
+                # İlk 3 cümle
                 sentences = summary.split('.')[:3]
                 result = '.'.join(sentences) + '.'
                 if len(result) > 20:
@@ -121,56 +151,25 @@ def get_wiki_summary(term):
         except wikipedia.exceptions.DisambiguationError as e:
             print(f"⚠️ Anlam karmaşası: {e.options[:3]}")
             # İlk seçeneği dene
-            try:
-                page = wikipedia.page(e.options[0], auto_suggest=False)
-                summary = page.summary
-                sentences = summary.split('.')[:3]
-                result = '.'.join(sentences) + '.'
-                if len(result) > 20:
-                    print(f"✅ Anlam karmaşası çözüldü: {result[:100]}...")
-                    return result
-            except:
-                pass
-        except wikipedia.exceptions.PageError:
-            print(f"⚠️ Sayfa bulunamadı, arama yapılıyor...")
-        
-        # Arama yap
-        search_results = wikipedia.search(term, results=5)
-        print(f"📊 Türkçe arama sonuçları: {len(search_results)} adet")
-        if search_results:
-            print(f"📄 İlk sonuç: '{search_results[0]}'")
-            for title in search_results:
+            for option in e.options[:3]:
                 try:
-                    page = wikipedia.page(title, auto_suggest=False)
+                    page = wikipedia.page(option, auto_suggest=False)
                     summary = page.summary
                     sentences = summary.split('.')[:3]
                     result = '.'.join(sentences) + '.'
                     if len(result) > 20:
-                        print(f"✅ Türkçe özet alındı: {result[:100]}...")
+                        print(f"✅ Anlam karmaşası çözüldü: '{option}' -> {result[:100]}...")
                         return result
                 except:
                     continue
+        except wikipedia.exceptions.PageError:
+            print(f"⚠️ Sayfa bulunamadı, arama yapılıyor...")
         
-        # 3. İngilizce Wikipedia dene
-        print(f"🌐 İngilizce Wikipedia aranıyor...")
-        wikipedia.set_lang("en")
-        
-        # Önce doğrudan sayfayı kontrol et
-        try:
-            page = wikipedia.page(term, auto_suggest=False)
-            if page:
-                summary = page.summary
-                sentences = summary.split('.')[:3]
-                result = '.'.join(sentences) + '.'
-                if len(result) > 20:
-                    print(f"✅ İngilizce doğrudan sayfa bulundu: {result[:100]}...")
-                    return result
-        except:
-            pass
-        
-        # Arama yap
+        # 2. YÖNTEM: Arama yap
+        print(f"🔎 Arama yapılıyor: '{term}'")
         search_results = wikipedia.search(term, results=5)
-        print(f"📊 İngilizce arama sonuçları: {len(search_results)} adet")
+        print(f"📊 Arama sonuçları: {len(search_results)} adet")
+        
         if search_results:
             print(f"📄 İlk sonuç: '{search_results[0]}'")
             for title in search_results:
@@ -180,12 +179,69 @@ def get_wiki_summary(term):
                     sentences = summary.split('.')[:3]
                     result = '.'.join(sentences) + '.'
                     if len(result) > 20:
-                        print(f"✅ İngilizce özet alındı: {result[:100]}...")
+                        print(f"✅ Arama sonucu özet alındı: '{title}' -> {result[:100]}...")
                         return result
-                except:
+                except Exception as e:
+                    print(f"⚠️ '{title}' alınamadı: {str(e)[:50]}")
                     continue
         
-        print(f"❌ Hiçbir dilde sonuç bulunamadı: '{term}'")
+        # 3. YÖNTEM: Doğrudan API ile dene (JSON hatasını çözmek için)
+        print(f"📡 API ile deneniyor...")
+        try:
+            url = "https://tr.wikipedia.org/w/api.php"
+            
+            # Önce ara
+            search_params = {
+                "action": "query",
+                "format": "json",
+                "list": "search",
+                "srsearch": term,
+                "srlimit": 3,
+                "srprop": "snippet"
+            }
+            
+            search_response = requests.get(url, params=search_params, timeout=10, verify=False,
+                                         headers={'User-Agent': 'RAG-NER-System/1.0'})
+            
+            if search_response.status_code == 200:
+                try:
+                    search_data = search_response.json()
+                    if search_data.get('query', {}).get('search'):
+                        page_title = search_data['query']['search'][0]['title']
+                        print(f"📄 API ile bulundu: '{page_title}'")
+                        
+                        # Özet al
+                        summary_params = {
+                            "action": "query",
+                            "format": "json",
+                            "prop": "extracts",
+                            "exintro": True,
+                            "explaintext": True,
+                            "titles": page_title,
+                            "exsentences": 3
+                        }
+                        
+                        summary_response = requests.get(url, params=summary_params, timeout=10, verify=False,
+                                                      headers={'User-Agent': 'RAG-NER-System/1.0'})
+                        
+                        if summary_response.status_code == 200:
+                            try:
+                                summary_data = summary_response.json()
+                                pages = summary_data.get('query', {}).get('pages', {})
+                                for page_id, page_info in pages.items():
+                                    if page_id != "-1":
+                                        extract = page_info.get('extract', '')
+                                        if extract and len(extract) > 20:
+                                            print(f"✅ API ile özet alındı: {extract[:100]}...")
+                                            return extract
+                            except json.JSONDecodeError:
+                                print(f"❌ API JSON hatası")
+                except json.JSONDecodeError:
+                    print(f"❌ API arama JSON hatası")
+        except Exception as e:
+            print(f"⚠️ API denemesi başarısız: {str(e)[:50]}")
+        
+        print(f"❌ '{term}' için Türkçe Wikipedia'da sonuç bulunamadı")
         return None
         
     except Exception as e:
@@ -200,8 +256,9 @@ def get_wiki_summary(term):
 
 def get_random_examples():
     """Wikipedia'dan rastgele cümleler çekerek örnek listesi oluşturur."""
-    wikipedia.set_lang("tr")
     try:
+        import wikipedia
+        wikipedia.set_lang("tr")
         random_titles = wikipedia.random(pages=3)
         return [[wikipedia.summary(t, sentences=1, auto_suggest=False)] for t in random_titles]
     except:
@@ -335,36 +392,21 @@ def process_ner(text):
             current_logs.append(f"🔍 <b>Analiz Başladı:</b> '{word}'")
             yield "<br>".join(current_logs), [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
             
-            # DEBUG: Wikipedia çağrısı öncesi
+            # Wikipedia çağrısı
             start_time = time.time()
-            current_logs.append(f"⏱️ <b>Wikipedia sorgusu başlatılıyor:</b> '{word}'")
+            current_logs.append(f"⏱️ <b>Türkçe Wikipedia sorgusu:</b> '{word}'")
             yield "<br>".join(current_logs), [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
             
-            # Wikipedia'dan bilgi al
             wiki_text = None
             try:
                 wiki_text = get_wiki_summary(word)
                 elapsed = time.time() - start_time
                 
                 if wiki_text:
-                    current_logs.append(f"✅ <b>Wikipedia başarılı</b> ({elapsed:.2f}s): {wiki_text[:100]}...")
-                    # Wikipedia özetini detaylı göster
+                    current_logs.append(f"✅ <b>Wikipedia başarılı</b> ({elapsed:.2f}s)")
                     current_logs.append(f"<div style='margin-left:20px; border-left:2px solid #007bff; padding-left:10px; color:#555;'>🌐 <b>Wiki:</b> {wiki_text}</div>")
                 else:
-                    current_logs.append(f"❌ <b>Wikipedia boş döndü</b> ({elapsed:.2f}s) - '{word}' için bilgi yok")
-                    
-                    # Neden boş olduğunu anlamak için ek test
-                    try:
-                        import wikipedia
-                        wikipedia.set_lang("tr")
-                        test_search = wikipedia.search(word)
-                        if test_search:
-                            current_logs.append(f"🔍 <b>Test arama:</b> '{word}' -> {len(test_search)} sonuç: {', '.join(test_search[:3])}")
-                        else:
-                            current_logs.append(f"🔍 <b>Test arama:</b> '{word}' -> Hiç sonuç yok")
-                    except Exception as e:
-                        current_logs.append(f"⚠️ <b>Test hatası:</b> {str(e)[:100]}")
-                        
+                    current_logs.append(f"❌ <b>Wikipedia boş döndü</b> ({elapsed:.2f}s) - '{word}' için Türkçe Wikipedia'da bilgi yok")
             except Exception as e:
                 elapsed = time.time() - start_time
                 current_logs.append(f"❌ <b>Wikipedia hatası</b> ({elapsed:.2f}s): {str(e)[:100]}")
@@ -395,40 +437,43 @@ def process_ner(text):
 # --- 5. DEBUG FONKSİYONLARI ---
 
 def debug_wikipedia():
-    """Wikipedia debug bilgilerini göster"""
+    """Wikipedia debug bilgilerini göster - Sadece Türkçe"""
     result = test_wikipedia_connection()
     return f"<pre style='background:#f4f4f4;padding:10px;border-radius:5px;font-family:monospace;font-size:12px;'>{result}</pre>"
 
 def test_single_term(term):
-    """Tek bir terim için Wikipedia testi"""
+    """Tek bir terim için Türkçe Wikipedia testi"""
     if not term:
         return "Lütfen bir terim girin."
     
-    logs = [f"🔍 '{term}' için Wikipedia testi başlatılıyor..."]
+    logs = [f"🔍 '{term}' için Türkçe Wikipedia testi başlatılıyor..."]
     
     try:
         result = get_wiki_summary(term)
         if result:
             logs.append(f"✅ Sonuç: {result}")
         else:
-            logs.append(f"❌ Sonuç bulunamadı")
+            logs.append(f"❌ Türkçe Wikipedia'da sonuç bulunamadı")
             
             # Detaylı test
             import wikipedia
             logs.append(f"\n📊 Detaylı test:")
             try:
-                wikipedia.set_lang("tr")
-                search_results = wikipedia.search(term)
-                logs.append(f"Türkçe arama: {len(search_results)} sonuç - {search_results[:3] if search_results else 'Boş'}")
-            except Exception as e:
-                logs.append(f"Türkçe arama hatası: {e}")
+                # Özel session ile dene
+                session = requests.Session()
+                session.verify = False
+                session.headers.update({
+                    'User-Agent': 'Mozilla/5.0 (compatible; RAG-NER-System/1.0)'
+                })
+                wikipedia.wikipedia._session = session
                 
-            try:
-                wikipedia.set_lang("en")
+                wikipedia.set_lang("tr")
                 search_results = wikipedia.search(term)
-                logs.append(f"İngilizce arama: {len(search_results)} sonuç - {search_results[:3] if search_results else 'Boş'}")
+                logs.append(f"Türkçe arama: {len(search_results)} sonuç")
+                if search_results:
+                    logs.append(f"İlk sonuçlar: {', '.join(search_results[:3])}")
             except Exception as e:
-                logs.append(f"İngilizce arama hatası: {e}")
+                logs.append(f"Türkçe arama hatası: {str(e)}")
                 
     except Exception as e:
         logs.append(f"❌ Hata: {str(e)}")
@@ -439,7 +484,7 @@ def test_single_term(term):
 # --- 6. GRADIO ARAYÜZÜ ---
 
 with gr.Blocks(title="RAG-NER Uzman Karar Destek Sistemi") as demo:
-    gr.Markdown("# 🚀 RAG-NER Uzman Karar Destek Sistemi")
+    gr.Markdown("# 🚀 RAG-NER Uzman Karar Destek Sistemi (Türkçe Wikipedia)")
     
     with gr.Tab("Metin Analizi"):
         input_text = gr.Textbox(
@@ -477,20 +522,20 @@ with gr.Blocks(title="RAG-NER Uzman Karar Destek Sistemi") as demo:
     
     # --- 7. DEBUG TABI ---
     with gr.Tab("Debug"):
-        gr.Markdown("## 🐛 Wikipedia Debug Paneli")
-        gr.Markdown("Bu panel Wikipedia bağlantı sorunlarını tespit etmek için kullanılır.")
+        gr.Markdown("## 🐛 Türkçe Wikipedia Debug Paneli")
+        gr.Markdown("Bu panel Türkçe Wikipedia bağlantı sorunlarını tespit etmek için kullanılır.")
         
         with gr.Row():
-            debug_btn = gr.Button("Wikipedia Bağlantısını Test Et", variant="secondary")
+            debug_btn = gr.Button("Türkçe Wikipedia Bağlantısını Test Et", variant="secondary")
             debug_output = gr.HTML(label="Debug Sonuçları")
         
         debug_btn.click(debug_wikipedia, outputs=debug_output)
         
-        gr.Markdown("### 🔍 Tek Terim Testi")
+        gr.Markdown("### 🔍 Tek Terim Testi (Türkçe Wikipedia)")
         with gr.Row():
             single_term_input = gr.Textbox(
                 label="Test Edilecek Terim",
-                placeholder="Örn: Türkiye, Inception, Python",
+                placeholder="Örn: Türkiye, İstanbul, Kış Uykusu",
                 scale=3
             )
             single_term_btn = gr.Button("Test Et", variant="secondary", scale=1)
@@ -511,7 +556,7 @@ if __name__ == "__main__":
     print("🚀 SİSTEM BAŞLATILIYOR...")
     print("="*50)
     
-    print("\n📡 Wikipedia bağlantısı test ediliyor...")
+    print("\n📡 Türkçe Wikipedia bağlantısı test ediliyor...")
     test_result = test_wikipedia_connection()
     print(test_result)