Update app.py

app.py

@@ -1,123 +1,101 @@
 import torch
+import wikipedia
+import spaces
 import os
 import re
-import requests
 import gradio as gr
 from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
-from labels_config import custom_labels
-import spaces
 
 # --- 1. MODELLERİN HAZIRLANMASI ---
-# NER modeli CPU üzerinde çalışacak şekilde ayarlandı
 ner_pipe = pipeline("ner", model="xlm-roberta-large-finetuned-conll03-english", aggregation_strategy="simple", device=-1)
-
 model_id = "Qwen/Qwen2.5-1.5B-Instruct"
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 
 try:
-    # Model başlangıçta CPU'da yüklenir, @spaces.GPU çağrıldığında otomatik GPU'ya taşınır
     llm_model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="cpu", trust_remote_code=True)
     IS_LLM_ENABLED = True
 except Exception as e:
-    print(f"Model yukleme hatasi: {e}")
     IS_LLM_ENABLED = False
 
-# --- 2. GÜVENLİ WIKIPEDIA FONKSİYONU (USER-AGENT İLE) ---
+# --- 2. YARDIMCI FONKSİYONLAR ---
 def get_wiki_summary(term):
-    """Wikipedia API'sini kimlik bilgisi (User-Agent) ile guvenli sekilde sorgular."""
+    """Varlık için Wikipedia özeti getirir."""
     try:
-        # Wikipedia'nın Hugging Face sunucularını engellememesi için kritik başlık
-        headers = {
-            'User-Agent': 'HuggingFaceRAGBot/1.0 (iletisim@eposta.com; RAG-NER Application)'
-        }
-        
-        # 1. Adım: Terimi Wikipedia üzerinde ara
-        search_url = "https://wikipedia.org"
-        search_params = {
-            "action": "query",
-            "list": "search",
-            "srsearch": term,
-            "format": "json"
-        }
-        
-        search_response = requests.get(search_url, headers=headers, params=search_params, timeout=5)
-        search_data = search_response.json()
-        
-        search_results = search_data.get("query", {}).get("search", [])
-        if not search_results:
-            return None
-            
-        # [DÜZELTİLDİ] En yakın ilk sonucun başlığını almak için [0] indeksi eklendi
-        page_title = search_results[0]["title"]
-        
-        # 2. Adım: Bu başlığın özetini (summary) getir
-        summary_params = {
-            "action": "query",
-            "prop": "extracts",
-            "exintro": True,
-            "explaintext": True,
-            "exsentences": 2,
-            "titles": page_title,
-            "format": "json"
-        }
-        
-        summary_response = requests.get(search_url, headers=headers, params=summary_params, timeout=5)
-        summary_data = summary_response.json()
-        
-        pages = summary_data.get("query", {}).get("pages", {})
-        for page_id, page_info in pages.items():
-            if page_id != "-1":
-                return page_info.get("extract", None)
-                
-        return None
-    except Exception as e:
-        print(f"Wikipedia Baglanti Hatasi: {str(e)}")
-        return None
+        wikipedia.set_lang("tr")
+        search_results = wikipedia.search(term)
+        if not search_results: return None
+        return wikipedia.summary(search_results[0], sentences=2, auto_suggest=False)
+    except: return None
+
+def get_random_examples():
+    """Wikipedia'dan rastgele cümleler çekerek örnek listesi oluşturur."""
+    wikipedia.set_lang("tr")
+    try:
+        random_titles = wikipedia.random(pages=3)
+        return [[wikipedia.summary(t, sentences=1, auto_suggest=False)] for t in random_titles]
+    except:
+        return [["Oppenheimer filmi geçen yıl vizyona girdi."], ["Sefiller romanı Victor Hugo tarafından yazılmıştır."]]
 
-# --- 3. ETİKET GÜNCELLEME FONKSİYONU (GPU DEKORATÖRÜ) ---
 @spaces.GPU
-def refine_label_with_llm(entity_text, full_sentence, wiki_context, custom_labels):
-    """Sadece LLM üretimi için GPU katmanını tetikler (İnternet erişimi barındırmaz)."""
-    if not IS_LLM_ENABLED: 
-        return "MISC", "LLM Aktif Degil"
+def refine_label_with_llm(entity_text, full_sentence, wiki_context, custom_label_definitions):
+    if not IS_LLM_ENABLED: return "MISC", "LLM Aktif Değil"
     
     device = "cuda" if torch.cuda.is_available() else "cpu"
     llm_model.to(device)
 
-    # 3.1 Etiket Tanımları oluşturma
+    # 1. Etiket Tanımları (Bilgi Kaynağı)
     label_rules = ""
-    for k, v in custom_labels.items():
-        label_rules += f"### {k}\n- Tanim: {v['tanim']}\n- Anahtar Kelimeler: {', '.join(v['anahtar_kelimeler'])}\n- Ornekler: {', '.join(v['ornekler'])}\n\n"
+    for k, v in custom_label_definitions.items():
+        label_rules += f"### {k}\n- TANIM: {v['tanim']}\n- ANAHTARLAR: {', '.join(v['anahtar_kelimeler'])}\n\n"
 
-    # 3.2 Sistematik Chain of Thought ve Kuralların Tanımlanması
-    prompt = f"""
-    Sen yuksek hassasiyetli bir semantik analiz uzmanisin. Gorevin, '[[{entity_text}]]' varligini asagidaki 4 adimli Sistematik CoT protokolune gore siniflandirmaktir.
-    
-    ETIKET TANIMLARI:
-    {label_rules}
-    
-    SISTEMATIK CoT ADIMLARI:
-    Adim 1: Wikipedia'dan gelen bilgilere ("{wiki_context}") dayanarak varligin niteliklerini belirle( yazilim , film, kitap  vb.). 
-    Adim 2: Belirledigin nitelikleri yukaridaki {label_rules} listesindeki butun alanlarla karsilastir. 
-    Adim 3: En yuksek anlamsal benzerlige sahip etiketi RAG sonucu olarak sec. Kararini somut kanitlara dayandir 
-    Adim 4: Eger Wikipedia bilgisi yetersizse veya {label_rules} disindaki bir etiket sectiysen; varligin ([[{entity_text}]]) yanindaki niteleyici kelimelerle ("filmi","odul","romanı" vb) birlikte Adim 1, Adim 2 ve Adim 3 asamalarini tekrarla. Eger hicbir etiket {label_rules} listesine uyum saglanamazsa MISC degerini koru.
-    
-    GUNCEL GOREV:
-    - HEDEF VARLIK: {entity_text}
-    - ORIJINAL CUMLE: "{full_sentence}"
-    - DAHILI BILGI : "{custom_labels}"
-    - HARICI BILGI (Wikipedia): "{wiki_context}"
-    
-    CIKTI KURALLARI:
-    - Cevabinda asla yildiz (*) veya markdown kullanma.
-    - Analiz adimlarini yukaridaki 4 adimli protokole gore yaz. Wikipediadan gelen cevabi yazma, sadece kendi degerlendirmeni yaz.
-    - Yanitini hicbir aciklama eklemeden dogrudan [ {{ ... }} ] formatında baslat ve bitir.
-    
-    CIKTI FORMATI:
-    Analiz: [4 Adimli CoT Analizi]
-    Cevap: 
-    [SADECE_ETIKET_ADI]
-    """
+    # 2. Sistematik CoT ve Kuralların Tanımlanması
+    prompt = f"""Sen yüksek hassasiyetli bir semantik analiz uzmanısın.
+Görevin, '[[{entity_text}]]' varlığını aşağıdaki 4 adımlı Sistematik CoT protokolüne göre sınıflandırmaktır.
+
+ETİKET TANIMLARI:
+{label_rules}
+
+SİSTEMATİK CoT ADIMLARI:
+1. **Sentaktik İnceleme:** Cümle içinde varlığın sağındaki ve solundaki kelimeleri (niteleyicileri) tespit et. Varlık bir fiille mi (yazıldı, vizyona girdi) yoksa bir isimle mi (yazılımı, ödülü) ilişkili?
+2. **Bilgi Entegrasyonu:** Wikipedia verisindeki genel tanımı oku. Varlığın tarihsel veya teknik kimliğini belirle.
+3. **Çelişki ve Hiyerarşi Denetimi:** Wikipedia bilgisi ile cümledeki kullanım amacı çelişiyor mu? (Örn: Wiki 'film' diyor ama cümle 'kitap' diyorsa, cümledeki kullanım esastır).
+4. **Etiket Eşleşmesi:** Elde edilen nihai kanıtları, 'ETİKET TANIMLARI'ndaki en yakın kategoriyle eşleştir ve son kararı ver.
+
+REFERANS ANALİZLER (FEW-SHOT):
+Örnek 1 (Tam Uyum):
+VARLIK: 'Inception'
+CÜMLE: "Dün gece Inception filmini tekrar izledim."
+WIKI: "Inception, Christopher Nolan tarafından yönetilen 2010 yapımı bilimkurgu filmidir."
+ANALİZ: 
+- Adım 1: Cümlede 'film' ve 'izlemek' kelimeleri görsel esere işaret ediyor.
+- Adım 2: Wiki verisi varlığın bir film olduğunu doğruluyor.
+- Adım 3: Kaynaklar arasında çelişki yok.
+- Adım 4: MOVIE etiketi uygundur.
+CEVAP: MOVIE
+
+Örnek 2 (Kritik Çelişki):
+VARLIK: 'Gizli Bahçe'
+CÜMLE: "Yazar son romanı 'Gizli Bahçe' ile ödül aldı."
+WIKI: "Gizli Bahçe: 1993 yapımı bir dram filmidir."
+ANALİZ: 
+- Adım 1: Cümlede 'roman' ve 'yazar' kelimeleri varlığı doğrudan kitap olarak niteliyor.
+- Adım 2: Wiki verisi bu ismi bir film (movie) olarak gösteriyor.
+- Adım 3: ÇELİŞKİ TESPİT EDİLDİ. Kaynak hiyerarşisi gereği cümledeki 'roman' ifadesi Wikipedia'dan daha önceliklidir.
+- Adım 4: BOOK etiketi uygundur.
+CEVAP: BOOK
+
+GÜNCEL GÖREV:
+- HEDEF VARLIK: {entity_text}
+- ORİJİNAL CÜMLE: "{full_sentence}"
+- HARİCİ BİLGİ (Wikipedia): "{wiki_context}"
+
+ÇIKTI KURALLARI:
+- Cevabında asla yıldız (*) veya markdown kullanma.
+- Analiz adımlarını yukarıdaki 4 adımlı protokole göre yaz.
+
+ÇIKTI FORMATI:
+Analiz: [4 Adımlı CoT Analizi]
+Cevap: [SADECE_ETIKET_ADI]"""
 
     messages = [{"role": "user", "content": prompt}]
     text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
@@ -126,29 +104,38 @@ def refine_label_with_llm(entity_text, full_sentence, wiki_context, custom_label
     try:
         generated_ids = llm_model.generate(model_inputs.input_ids, max_new_tokens=450, do_sample=False, temperature=0.1)
         response_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
-        full_output = tokenizer.batch_decode(response_ids, skip_special_tokens=True).strip()
+        full_output = tokenizer.batch_decode(response_ids, skip_special_tokens=True)[0].strip()
         
+        # Markdown temizliği ve Etiket Ayıklama
         clean_output = full_output.replace("*", "")
         final_label = "MISC"
-        valid_keys = list(custom_labels.keys())
+        valid_keys = list(custom_label_definitions.keys())
         match = re.search(r"Cevap:\s*([A-Z_]+)", clean_output, re.IGNORECASE)
         
         if match:
             extracted = match.group(1).upper().strip()
-            if extracted in valid_keys: 
-                final_label = extracted
+            if extracted in valid_keys: final_label = extracted
             
         return final_label, clean_output
     except Exception as e:
         return "MISC", f"Hata: {str(e)}"
 
-# --- 4. ANA ISLEM HATTI ---
+# --- 3. ANA İŞLEM HATTI ---
 def process_ner(text):
-    """Metni parcalar, CPU uzerinde RAG sorgusu yapar ve gerekirse GPU'yu cagirir."""
-    current_logs = ["<b>Sistem Baslatildi:</b> Metin analiz ediliyor..."]
+    current_logs = ["🚀 <b>Sistem Başlatıldı:</b> Metin analiz ediliyor..."]
     final_results = []
     yield "<br>".join(current_logs), []
-    
+
+    custom_labels = {
+        "MOVIE": {"tanim": "Sinematik eserler.", "anahtar_kelimeler": ["film", "dizi"], "ornekler": ["Inception", "Ezel"]},
+        "BOOK": {"tanim": "Yazılı edebi eserler.", "anahtar_kelimeler": ["kitap", "roman"], "ornekler": ["Sefiller", "Nutuk"]},
+        "SOFTWARE": {"tanim": "Dijital sistemler.", "anahtar_kelimeler": ["yazılım", "kod"], "ornekler": ["Linux", "Python"]},
+        "AWARD": {"tanim": "Resmi ödüller.", "anahtar_kelimeler": ["ödül", "oscar"], "ornekler": ["Nobel", "Altın Portakal"]},
+        "PRODUCT": {"tanim": "Ticari ürünler.", "anahtar_kelimeler": ["marka", "model"], "ornekler": ["iPhone", "Tesla"]},
+        "NORP": {"tanim": "Etnik ve dini gruplar.", "anahtar_kelimeler": ["millet", "topluluk"], "ornekler": ["Türkler", "Ruslar"]},
+        "GPE": {"tanim": "Siyasi bölgeler.", "anahtar_kelimeler": ["ülke", "şehir"], "ornekler": ["Türkiye", "İstanbul"]}
+    }
+
     initial_results = ner_pipe(text)
 
     for entity in initial_results:
@@ -156,64 +143,77 @@ def process_ner(text):
         label = entity['entity_group']
         
         if label in ["PER", "ORG", "LOC"]:
-            res = {"Varlik": word, "Ilk Etiket": label, "Nihai Etiket": label, "Kaynak": "Model"}
-            current_logs.append(f"✅ <b>{word}</b>: {label} (Dogrudan Tespit)")
+            res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": label, "Kaynak": "Model"}
+            current_logs.append(f"✅ <b>{word}</b>: {label} (Doğrudan Tespit)")
         elif label == "MISC":
-            current_logs.append(f"🔍 <b>Analiz Basladi:</b> '{word}'")
-            yield "<br>".join(current_logs), [[r["Varlik"], r["Ilk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
+            current_logs.append(f"🔍 <b>Analiz Başladı:</b> '{word}'")
+            yield "<br>".join(current_logs), [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
             
-            # İnternet isteği @spaces.GPU katmanının dışında (burada) sorunsuz çalışır
             wiki_text = get_wiki_summary(word)
             if wiki_text:
                 current_logs.append(f"<div style='margin-left:20px; border-left:2px solid #007bff; padding-left:10px; color:#555;'>🌐 <b>Wiki:</b> {wiki_text}</div>")
-                yield "<br>".join(current_logs), [[r["Varlik"], r["Ilk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
-                
-                # Ağ isteği bittikten sonra sadece LLM çıkarımı için sıraya girilir ve GPU tetiklenir
                 new_label, cot_text = refine_label_with_llm(word, text, wiki_text, custom_labels)
                 current_logs.append(f"<div style='margin-left:20px; border-left:2px solid #28a745; padding-left:10px;'>🧠 <b>CoT Analizi:</b> {cot_text}</div>")
-                res = {"Varlik": word, "Ilk Etiket": label, "Nihai Etiket": new_label, "Kaynak": "RAG+LLM"}
+                res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": new_label, "Kaynak": "RAG+LLM"}
             else:
-                current_logs.append(f"⚠️ '{word}' icin Wikipedia kaydi bulunamadi veya sunucu bloklandi.")
-                res = {"Varlik": word, "Ilk Etiket": label, "Nihai Etiket": "MISC", "Kaynak": "Model"}
+                current_logs.append(f"⚠️ '{word}' için Wikipedia kaydı bulunamadı.")
+                res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": "MISC", "Kaynak": "Model"}
         
         final_results.append(res)
-        table_display = [[r["Varlik"], r["Ilk Etiket"], f"<b>{r['Nihai Etiket']}</b>", r["Kaynak"]] for r in final_results]
+        # Tablo çıktısında Nihai Etiket bold yapılır
+        table_display = [[r["Varlık"], r["İlk Etiket"], f"<b>{r['Nihai Etiket']}</b>", r["Kaynak"]] for r in final_results]
         yield "<br>".join(current_logs), table_display
 
-    current_logs.append("✨ <b>Analiz Tamamlandi.</b>")
-    yield "<br>".join(current_logs), [[r["Varlik"], r["Ilk Etiket"], f"<b>{r['Nihai Etiket']}</b>", r["Kaynak"]] for r in final_results]
+    current_logs.append("✨ <b>Analiz Tamamlandı.</b>")
+    yield "<br>".join(current_logs), [[r["Varlık"], r["İlk Etiket"], f"<b>{r['Nihai Etiket']}</b>", r["Kaynak"]] for r in final_results]
 
-# --- 5. GRADIO ARAYUZU ---
-with gr.Blocks(title="RAG-NER Sistemi") as demo:
-    gr.Markdown("# 🚀 Wikipedia Destekli RAG-NER Uygulaması")
-    gr.Markdown("Metin içerisindeki karmaşık (MISC) varlıkları Wikipedia ve LLM kullanarak akıllıca sınıflandırın.")
+# --- 4. GRADIO ARAYÜZÜ ---
+with gr.Blocks(title="RAG-NER Uzman Karar Destek Sistemi") as demo:
+    gr.Markdown("# 🚀 RAG-NER Uzman Karar Destek Sistemi")
     
-    with gr.Row():
-        with gr.Column(scale=1):
-            input_text = gr.Textbox(
-                label="Analiz Edilecek Metin", 
-                placeholder="Örnek: Windows 11 Microsoft tarafından geliştirildi. 1984 romanı çok satıyor...",
-                lines=5
-            )
-            submit_btn = gr.Button("Analiz Et", variant="primary")
-            
-        with gr.Column(scale=1):
-            gr.Markdown("### 📊 İşlem Sonuçları")
-            output_table = gr.Dataframe(
-                headers=["Varlık", "İlk Etiket", "Nihai Etiket", "Kaynak"],
-                datatype=["str", "str", "markdown", "str"],
-                label="Tespit Edilen Varlıklar Tablosu"
-            )
-            
-    with gr.Row():
-        with gr.Column():
-            gr.Markdown("### 📜 Canlı Sistem Akış Logları")
-            output_logs = gr.HTML(
-                value="Sistem hazır. Metin girip 'Analiz Et' butonuna basınız.",
-                label="Log Ekranı"
+    with gr.Tab("Metin Analizi"):
+        input_text = gr.Textbox(
+            label="Analiz Edilecek Metin", 
+            placeholder="Analiz etmek istediğiniz metni buraya girin...",
+            lines=3
+        )
+        
+        # EKSİK OLAN ÖRNEKLER BÖLÜMÜ BURADA TANIMLANDI
+        examples_list = [
+            ["Türk yönetmen Nuri Bilge Ceylan, Venedik Film Festivali'nde Altın Aslan ödülünü kazandığı Kış Uykusu filmiyle uluslararası üne kavuştu."],
+            ["Amerikalı yazar George Orwell'in ünlü kitabı 1984, Apple şirketinin Macintosh tanıtım reklamında ilham kaynağı olarak kullanılmış ve Windows işletim sistemine karşı bir metafor haline gelmişti."],
+            ["Fransız oyuncu Marion Cotillard, Christopher Nolan'ın Inception filmiyle Oscar ödülüne aday gösterilmiş ve daha önce La Vie en Rose performansıyla En İyi Kadın Oyuncu Akademi Ödülü'nü kazanmıştı."]
+        ]
+        
+        gr.Examples(
+            examples=examples_list, 
+            inputs=input_text,
+            label="Hazır Örnek Senaryolar"
+        )
+        
+        with gr.Row():
+            # Log çıktısı için HTML bileşeni
+            log_output = gr.HTML(label="Sistem Günlüğü")
+            # Tablo çıktısı (Markdown desteği ile kalın yazıları gösterir)
+            table_output = gr.Dataframe(
+                headers=["Varlık", "İlk Etiket", "Nihai Etiket", "Kaynak"], 
+                datatype="markdown",
+                wrap=True
             )
+        
+        btn = gr.Button("Analiz Et", variant="primary")
+        
+        # Buton fonksiyonu
+        btn.click(
+            process_ner, 
+            inputs=input_text, 
+            outputs=[log_output, table_output]
+        )
 
-    # Girdi ve çıktılar eksiksiz şekilde birbirine bağlandı
-    submit_btn.click(
-        fn=process_ner,
-        inputs=[input_text],outputs=[output_logs, output_table])
+# --- 5. KULLANICI DENETİMİ (LOGIN) ---
+if __name__ == "__main__":
+  
+    demo.launch(
+        auth=("admin", "1113"),
+        auth_message="Lütfen uzman paneline erişmek için giriş yapın."
+    )