Update app.py

app.py

@@ -1,29 +1,32 @@
 import torch
 import os
 import re
-import requests  # Wikipedia kütüphanesi yerine doğrudan requests kullanıyoruz
+import requests
 import gradio as gr
 from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 from labels_config import custom_labels
 import spaces
 
 # --- 1. MODELLERİN HAZIRLANMASI ---
+# NER modeli CPU üzerinde çalışacak şekilde ayarlandı
 ner_pipe = pipeline("ner", model="xlm-roberta-large-finetuned-conll03-english", aggregation_strategy="simple", device=-1)
+
 model_id = "Qwen/Qwen2.5-1.5B-Instruct"
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 
 try:
+    # Model başlangıçta CPU'da yüklenir, @spaces.GPU çağrıldığında otomatik GPU'ya taşınır
     llm_model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="cpu", trust_remote_code=True)
     IS_LLM_ENABLED = True
 except Exception as e:
-    print(f"Model yükleme hatası: {e}")
+    print(f"Model yukleme hatasi: {e}")
     IS_LLM_ENABLED = False
 
 # --- 2. GÜVENLİ WIKIPEDIA FONKSİYONU (USER-AGENT İLE) ---
 def get_wiki_summary(term):
-    """Wikipedia API'sini güvenli ve kimlikli bir şekilde sorgular."""
+    """Wikipedia API'sini kimlik bilgisi (User-Agent) ile guvenli sekilde sorgular."""
     try:
-        # Wikipedia'nın bizi engellememesi için benzersiz bir User-Agent tanımlıyoruz
+        # Wikipedia'nın Hugging Face sunucularını engellememesi için kritik başlık
         headers = {
             'User-Agent': 'HuggingFaceRAGBot/1.0 (iletisim@eposta.com; RAG-NER Application)'
         }
@@ -68,42 +71,50 @@ def get_wiki_summary(term):
                 
         return None
     except Exception as e:
-        # Hata oluşursa loglara ne olduğunu basıyoruz
-        print(f"Wikipedia Bağlantı Hatası: {str(e)}")
+        print(f"Wikipedia Baglanti Hatasi: {str(e)}")
         return None
 
-# --- 3. ETİKET GÜNCELLEME FONKSİYONU ---
+# --- 3. ETİKET GÜNCELLEME FONKSİYONU (GPU DEKORATÖRÜ) ---
 @spaces.GPU
 def refine_label_with_llm(entity_text, full_sentence, wiki_context, custom_labels):
-    if not IS_LLM_ENABLED: return "MISC", "LLM Aktif Değil"
+    """Sadece LLM üretimi için GPU katmanını tetikler (İnternet erişimi barındırmaz)."""
+    if not IS_LLM_ENABLED: 
+        return "MISC", "LLM Aktif Degil"
     
     device = "cuda" if torch.cuda.is_available() else "cpu"
     llm_model.to(device)
 
+    # 3.1 Etiket Tanımları oluşturma
     label_rules = ""
     for k, v in custom_labels.items():
-        label_rules += f"### {k}\n- Tanım: {v['tanim']}\n- Anahtar Kelimeler: {', '.join(v['anahtar_kelimeler'])}\n- Örnekler: {', '.join(v['ornekler'])}\n\n"
-    
+        label_rules += f"### {k}\n- Tanim: {v['tanim']}\n- Anahtar Kelimeler: {', '.join(v['anahtar_kelimeler'])}\n- Ornekler: {', '.join(v['ornekler'])}\n\n"
+
+    # 3.2 Sistematik Chain of Thought ve Kuralların Tanımlanması
     prompt = f"""
-    Sen yüksek hassasiyetli bir semantik analiz uzmanısın. Görevin, '[[{entity_text}]]' varlığını aşağıdaki 4 adımlı Sistematik CoT protokolüne göre sınıflandırmaktır.
+    Sen yuksek hassasiyetli bir semantik analiz uzmanisin. Gorevin, '[[{entity_text}]]' varligini asagidaki 4 adimli Sistematik CoT protokolune gore siniflandirmaktir.
     
-    ETİKET TANIMLARI:
+    ETIKET TANIMLARI:
     {label_rules}
     
-    SİSTEMATİK CoT ADIMLARI:
-    Adım 1: Wikipedia'dan gelen bilgilere ("{wiki_context}") dayanarak varlığın niteliklerini belirle( yazılım , film, kitap  vb.). 
-    Adım 2: Belirlediğin nitelikleri yukarıdaki {label_rules} listesindeki bütün alanlarla karşılaştır. 
-    Adım 3: En yüksek anlamsal benzerliğe sahip etiketi RAG sonucu olarak seç. Kararını somut kanıtlara dayandır 
-    Adım 4: Eğer Wikipedia bilgisi yetersizse veya {label_rules} dışındaki bir etiket seçtiysen; varlığın ([[{entity_text}]]) yanındaki niteleyici kelimelerle ("filmi","ödül","romanı" vb) birlikte Adım 1, Adım 2 ve Adım 3 aşamalarını tekrarla. Eğer hiçbir etiket {label_rules} listesine uyum sağlanamazsa MISC değerini koru.
+    SISTEMATIK CoT ADIMLARI:
+    Adim 1: Wikipedia'dan gelen bilgilere ("{wiki_context}") dayanarak varligin niteliklerini belirle( yazilim , film, kitap  vb.). 
+    Adim 2: Belirledigin nitelikleri yukaridaki {label_rules} listesindeki butun alanlarla karsilastir. 
+    Adim 3: En yuksek anlamsal benzerlige sahip etiketi RAG sonucu olarak sec. Kararini somut kanitlara dayandir 
+    Adim 4: Eger Wikipedia bilgisi yetersizse veya {label_rules} disindaki bir etiket sectiysen; varligin ([[{entity_text}]]) yanindaki niteleyici kelimelerle ("filmi","odul","romanı" vb) birlikte Adim 1, Adim 2 ve Adim 3 asamalarini tekrarla. Eger hicbir etiket {label_rules} listesine uyum saglanamazsa MISC degerini koru.
     
-    GÜNCEL GÖREV:
+    GUNCEL GOREV:
     - HEDEF VARLIK: {entity_text}
-    - ORİJİNAL CÜMLE: "{full_sentence}"
-    - DAHİLİ BİLGİ : "{custom_labels}"
-    - HARİCİ BİLGİ (Wikipedia): "{wiki_context}"
+    - ORIJINAL CUMLE: "{full_sentence}"
+    - DAHILI BILGI : "{custom_labels}"
+    - HARICI BILGI (Wikipedia): "{wiki_context}"
+    
+    CIKTI KURALLARI:
+    - Cevabinda asla yildiz (*) veya markdown kullanma.
+    - Analiz adimlarini yukaridaki 4 adimli protokole gore yaz. Wikipediadan gelen cevabi yazma, sadece kendi degerlendirmeni yaz.
+    - Yanitini hicbir aciklama eklemeden dogrudan [ {{ ... }} ] formatinda baslat ve bitir.
     
-    ÇIKTI FORMATI:
-    Analiz: [4 Adımlı CoT Analizi]
+    CIKTI FORMATI:
+    Analiz: [4 Adimli CoT Analizi]
     Cevap: 
     [SADECE_ETIKET_ADI]
     """
@@ -124,17 +135,20 @@ def refine_label_with_llm(entity_text, full_sentence, wiki_context, custom_label
         
         if match:
             extracted = match.group(1).upper().strip()
-            if extracted in valid_keys: final_label = extracted
+            if extracted in valid_keys: 
+                final_label = extracted
             
         return final_label, clean_output
     except Exception as e:
         return "MISC", f"Hata: {str(e)}"
 
-# --- 4. ANA İŞLEM HATTI ---
+# --- 4. ANA ISLEM HATTI ---
 def process_ner(text):
-    current_logs = ["<b>Sistem Başlatıldı:</b> Metin analiz ediliyor..."]
+    """Metni parcalar, CPU uzerinde RAG sorgusu yapar ve gerekirse GPU'yu cagirir."""
+    current_logs = ["<b>Sistem Baslatildi:</b> Metin analiz ediliyor..."]
     final_results = []
     yield "<br>".join(current_logs), []
+    
     initial_results = ner_pipe(text)
 
     for entity in initial_results:
@@ -142,37 +156,63 @@ def process_ner(text):
         label = entity['entity_group']
         
         if label in ["PER", "ORG", "LOC"]:
-            res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": label, "Kaynak": "Model"}
-            current_logs.append(f"✅ <b>{word}</b>: {label} (Doğrudan Tespit)")
+            res = {"Varlik": word, "Ilk Etiket": label, "Nihai Etiket": label, "Kaynak": "Model"}
+            current_logs.append(f"✅ <b>{word}</b>: {label} (Dogrudan Tespit)")
         elif label == "MISC":
-            current_logs.append(f"🔍 <b>Analiz Başladı:</b> '{word}'")
-            yield "<br>".join(current_logs), [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
+            current_logs.append(f"🔍 <b>Analiz Basladi:</b> '{word}'")
+            yield "<br>".join(current_logs), [[r["Varlik"], r["Ilk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
             
-            # İnternet isteği @spaces.GPU dışındaki bu ana fonksiyonda güvenle çalışır
+            # İnternet isteği @spaces.GPU katmanının dışında (burada) sorunsuz çalışır
             wiki_text = get_wiki_summary(word)
             if wiki_text:
                 current_logs.append(f"<div style='margin-left:20px; border-left:2px solid #007bff; padding-left:10px; color:#555;'>🌐 <b>Wiki:</b> {wiki_text}</div>")
-                yield "<br>".join(current_logs), [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
+                yield "<br>".join(current_logs), [[r["Varlik"], r["Ilk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
                 
-                # Sadece LLM işlemi için GPU container'ına gidiyoruz
+                # Ağ isteği bittikten sonra sadece LLM çıkarımı için sıraya girilir ve GPU tetiklenir
                 new_label, cot_text = refine_label_with_llm(word, text, wiki_text, custom_labels)
                 current_logs.append(f"<div style='margin-left:20px; border-left:2px solid #28a745; padding-left:10px;'>🧠 <b>CoT Analizi:</b> {cot_text}</div>")
-                res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": new_label, "Kaynak": "RAG+LLM"}
+                res = {"Varlik": word, "Ilk Etiket": label, "Nihai Etiket": new_label, "Kaynak": "RAG+LLM"}
             else:
-                current_logs.append(f"⚠️ '{word}' için Wikipedia kaydı bulunamadı veya sunucu bloklandı.")
-                res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": "MISC", "Kaynak": "Model"}
+                current_logs.append(f"⚠️ '{word}' icin Wikipedia kaydi bulunamadi veya sunucu bloklandi.")
+                res = {"Varlik": word, "Ilk Etiket": label, "Nihai Etiket": "MISC", "Kaynak": "Model"}
         
         final_results.append(res)
-        table_display = [[r["Varlık"], r["İlk Etiket"], f"<b>{r['Nihai Etiket']}</b>", r["Kaynak"]] for r in final_results]
+        table_display = [[r["Varlik"], r["Ilk Etiket"], f"<b>{r['Nihai Etiket']}</b>", r["Kaynak"]] for r in final_results]
         yield "<br>".join(current_logs), table_display
 
-    current_logs.append("✨ <b>Analiz Tamamlandı.</b>")
-    yield "<br>".join(current_logs), [[r["Varlık"], r["İlk Etiket"], f"<b>{r['Nihai Etiket']}</b>", r["Kaynak"]] for r in final_results]
+    current_logs.append("✨ <b>Analiz Tamamlandi.</b>")
+    yield "<br>".join(current_logs), [[r["Varlik"], r["Ilk Etiket"], f"<b>{r['Nihai Etiket']}</b>", r["Kaynak"]] for r in final_results]
 
-# --- 5. GRADIO ARAYÜZÜ ---
-with gr.Blocks(title="RAG-NER") as demo:
-    # Eksik kalan Gradio arayüz kodlarınızı (inputs, outputs vb.) buraya ekleyin
-    pass
+# --- 5. GRADIO ARAYUZU ---
+with gr.Blocks(title="RAG-NER Sistemi") as demo:
+    gr.Markdown("# 🚀 Wikipedia Destekli RAG-NER Uygulaması")
+    gr.Markdown("Metin içerisindeki karmaşık (MISC) varlıkları Wikipedia ve LLM kullanarak akıllıca sınıflandırın.")
+    
+    with gr.Row():
+        with gr.Column(scale=1):
+            input_text = gr.Textbox(
+                label="Analiz Edilecek Metin", 
+                placeholder="Örnek: Windows 11 Microsoft tarafından geliştirildi. 1984 romanı çok satıyor...",
+                lines=5
+            )
+            submit_btn = gr.Button("Analiz Et", variant="primary")
+            
+        with gr.Column(scale=1):
+            gr.Markdown("### 📊 İşlem Sonuçları")
+            output_table = gr.Dataframe(
+                headers=["Varlık", "İlk Etiket", "Nihai Etiket", "Kaynak"],
+                datatype=["str", "str", "markdown", "str"],
+                label="Tespit Edilen Varlıklar Tablosu"
+            )
+            
+    with gr.Row():
+        with gr.Column():
+            gr.Markdown("### 📜 Canlı Sistem Akış Logları")
+            output_logs = gr.HTML(
+                value="Sistem hazır. Metin girip 'Analiz Et' butonuna basınız.",
+                label="Log Ekranı"
+            )
 
-if __name__ == "__main__":
-    demo.queue().launch()
+    # Buton tetikleyicisi (yield akışını desteklemek için her iki çıktıyı günceller)
+    submit_btn.click(
+        fn=process_ner,