Update app.py

app.py

@@ -7,6 +7,7 @@ import gradio as gr
 from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 
 # --- 1. MODELLERİN HAZIRLANMASI ---
+# NER modeli (xlm-roberta) ve LLM (Qwen 2.5) yükleniyor
 ner_pipe = pipeline("ner", model="xlm-roberta-large-finetuned-conll03-english", aggregation_strategy="simple", device=-1)
 model_id = "Qwen/Qwen2.5-1.5B-Instruct"
 tokenizer = AutoTokenizer.from_pretrained(model_id)
@@ -19,6 +20,7 @@ except Exception as e:
 
 # --- 2. YARDIMCI FONKSİYONLAR ---
 def get_wiki_summary(term):
+    """Varlık için Wikipedia özeti getirir."""
     try:
         wikipedia.set_lang("tr")
         search_results = wikipedia.search(term)
@@ -26,193 +28,131 @@ def get_wiki_summary(term):
         return wikipedia.summary(search_results[0], sentences=2, auto_suggest=False)
     except: return None
 
+def get_random_examples():
+    """Wikipedia'dan rastgele gerçek dünya örnekleri çeker."""
+    wikipedia.set_lang("tr")
+    try:
+        random_titles = wikipedia.random(pages=3)
+        return [[wikipedia.summary(t, sentences=1, auto_suggest=False)] for t in random_titles]
+    except:
+        return [["Oppenheimer filmi geçen yıl vizyona girdi."], ["Sefiller romanı çok satıldı."]]
+
 @spaces.GPU
 def refine_label_with_llm(entity_text, full_sentence, wiki_context, custom_label_definitions):
+    """LLM kullanarak bağlam analizi ve etiketleme yapar."""
     if not IS_LLM_ENABLED: return "MISC", "LLM Aktif Değil"
     
     device = "cuda" if torch.cuda.is_available() else "cpu"
     llm_model.to(device)
 
-    # Dinamik Etiket Kurallarını Oluşturma
+    # Dinamik Etiket Kuralları Oluşturma
     label_rules = ""
     for k, v in custom_label_definitions.items():
         label_rules += f"### {k}\n- TANIM: {v['tanim']}\n- ANAHTAR KELİMELER: {', '.join(v['anahtar_kelimeler'])}\n\n"
 
-    prompt = f"""Sen yüksek hassasiyetli bir veri sınıflandırma uzmanısın.
-Görevin, analiz edilen varlığı aşağıdaki sistematik metodolojiyi kullanarak kategorize etmektir.
+    prompt = f"""Sen uzman bir veri sınıflandırma sistemisin.
+GÖREV: Aşağıdaki varlığı, sağlanan bağlamlara göre en uygun etikete yerleştir.
 
 ETİKET TANIMLARI:
 {label_rules}
 
-ANALİZ VERİLERİ:
+VERİLER:
 - HEDEF VARLIK: {entity_text}
 - ORİJİNAL CÜMLE: "{full_sentence}"
 - HARİCİ BİLGİ (Wikipedia): "{wiki_context}"
 
-SİSTEMATİK ANALİZ ADIMLARI (Auto-CoT):
-1. Bağlamsal Kanıt Toplama: Orijinal cümle içerisinde hedef varlığı niteleyen doğrudan ipuçlarını (yanındaki tür isimleri, eylemler, sıfatlar) saptanır.
-2. Bilgi Entegrasyonu: Wikipedia verisinden varlığın genel kimliğini ve kategorisini belirle.
-3. Kaynak Hiyerarşisi ve Çelişki Denetimi: Eğer cümledeki yerel bağlam (birincil kaynak) varlığı belirli bir kategoriye (örn: kitap) işaret ediyorsa; ancak harici bilgi (ikincil kaynak) farklı bir kategori (örn: film) sunuyorsa, birincil kaynağın spesifik beyanına öncelik ver.
-4. Sınıflandırma Mantığı: Sentezlenen en güvenilir veriyi 'ETİKET TANIMLARI'ndaki anahtar kelimelerle sistematik olarak eşleştir.
-5. Doğrulama: Kararın, varlığın cümle içindeki kullanım amacıyla (fonksiyonel bağlam) tutarlı olduğunu teyit et.
+ANALİZ ADIMLARI (Auto-CoT):
+1. Cümle içindeki ipuçlarını (birincil kaynak) ve Wikipedia verisini (ikincil kaynak) karşılaştır.
+2. Çelişki varsa cümleye öncelik ver.
+3. Cevabında ASLA yıldız (*) veya markdown kullanma.
 
 ÇIKTI FORMATI:
-Analiz: [Mantıksal çıkarım sürecini ve kaynak tercih sebebini açıklayan kısa analiz]
-Cevap: [Sadece ETIKET_ADI]"""
+Analiz: [Analiz süreci]
+Cevap: [SADECE_ETIKET_ADI]"""
 
     messages = [{"role": "user", "content": prompt}]
     text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
     model_inputs = tokenizer([text], return_tensors="pt").to(device)
 
     try:
-        # Daha temiz bir üretim için max_new_tokens ve temperature ayarları
-        generated_ids = llm_model.generate(
-            model_inputs.input_ids, 
-            max_new_tokens=300, 
-            do_sample=False, 
-            temperature=0.1
-        )
+        generated_ids = llm_model.generate(model_inputs.input_ids, max_new_tokens=250, do_sample=False, temperature=0.1)
         response_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
         full_output = tokenizer.batch_decode(response_ids, skip_special_tokens=True)[0].strip()
         
-         # Optimize Edilmiş Etiket Ayıklama
+        # Temizlik: Yıldızları kaldır ve etiketi ayıkla
+        clean_output = full_output.replace("*", "")
         final_label = "MISC"
         valid_keys = list(custom_label_definitions.keys())
-        
-        # Regex Açıklaması: 
-        # Cevap kelimesinden sonra gelebilecek yıldız(*), iki nokta(:) ve boşlukları(\s) kapsar.
-        # Yakalanan grup ([A-Z_]+) sadece büyük harf ve alt tire içerir.
-        match = re.search(r"Cevap[:\s\*]+([A-Z_]+)", full_output, re.IGNORECASE)
+        match = re.search(r"Cevap:\s*([A-Z_]+)", clean_output, re.IGNORECASE)
         
         if match:
             extracted = match.group(1).upper().strip()
-            if extracted in valid_keys: 
-                final_label = extracted
+            if extracted in valid_keys: final_label = extracted
+        elif any(k in clean_output.upper() for k in valid_keys):
+            for k in valid_keys: 
+                if k in clean_output.upper(): final_label = k; break
         
-        # FALLBACK: Eğer yukarıdaki regex yakalayamazsa (Model 'Cevap:' demeyi unutursa)
-        if final_label == "MISC":
-            # Metnin en sonuna odaklanarak geçerli etiketlerden birini ara
-            upper_output = full_output.upper()
-            for key in valid_keys:
-                if key in upper_output:
-                    final_label = key
-                    # Not: Birden fazla etiket geçerse sonuncuyu/ilkini alma tercihi yapılabilir.
-                    break
-        
-        return final_label, full_output
+        return final_label, clean_output
     except Exception as e:
         return "MISC", f"Hata: {str(e)}"
 
 # --- 3. ANA İŞLEM HATTI ---
 def process_ner(text):
-    logs = ["🚀 <b>Sistem Başlatıldı:</b> Metin analiz ediliyor..."]
-    yield logs, []
-
+    current_logs = ["🚀 <b>Analiz Başlatıldı...</b>"]
+    final_results = []
+    
     custom_labels = {
-    "MOVIE": {
-        "tanim": "Sinematik ve görsel sanat eserleri, kurgusal yapımlar, sahne sanatları.",
-        "anahtar_kelimeler": ["film", "dizi", "sinema", "belgesel", "sinematografik"],
-        "ornekler": ["Oppenheimer", "Hababam Sınıfı", "Inception", "Yüzüklerin Efendisi"]
-    },
-    "BOOK": {
-        "tanim": "Yazılı edebiyat ürünleri, basılı materyaller, ciltli veya dijital kitaplar.",
-        "anahtar_kelimeler": ["kitap", "roman", "dergi", "makale", "hikaye", "yayın"],
-        "ornekler": ["Nutuk", "Sefiller", "Çalıkuşu", "Suç ve Ceza"]
-    },
-    "SOFTWARE": {
-        "tanim": "Dijital kod tabanlı sistemler, bilgisayar programları, algoritmalar.",
-        "anahtar_kelimeler": ["yazılım", "program", "algoritma", "kod", "app", "uygulama", "işletim sistemi", "framework"],
-        "ornekler": ["Windows 11", "Artificial Intelligence", "AI", "Python", "Adobe Photoshop", "Android"]
-    },
-    "AWARD": {
-        "tanim": "Resmi törenlerle verilen takdir, ödül ve onur simgeleri.",
-        "anahtar_kelimeler": ["ödül", "festival", "madalya", "nişan", "birincilik", "yarışma", "tören"],
-        "ornekler": ["Nobel Barış Ödülü", "Altın Portakal", "Şampiyonlar Ligi Kupası","Oscar Ödülü"]
-    },
-    "PRODUCT": {
-        "tanim": "Fiziksel olarak üretilen, markası olan ticari ürün ve cihazlar.",
-        "anahtar_kelimeler": ["ürün", "cihaz", "model", "marka", "donanım", "telefon", "bilgisayar", "araç"],
-        "ornekler": ["iPhone 13", "Tesla Model 3", "PlayStation 5"]
-    },
-    "NORP": {
-        "tanim": "Milliyet, din, etnik grup veya siyasi topluluk tanımları.",
-        "anahtar_kelimeler": ["halk", "millet", "etnik", "din", "vatandaş", "soy", "topluluk", "ırk"],
-        "ornekler": ["Ruslar", "Türkler", "Müslümanlar", "Slavlar"]
-    },
-    "GPE": {
-        "tanim": "Siyasi sınırları olan ülkeler, şehirler ve idari bölgeler.",
-        "anahtar_kelimeler": ["ülke", "şehir", "kent", "eyalet", "başkent", "ilçe", "vatan"],
-        "ornekler": ["Türkiye", "Ankara", "Polonya", "İstanbul"]
+        "MOVIE": {"tanim": "Film, dizi ve sinema eserleri.", "anahtar_kelimeler": ["film", "yönetmen", "vizyon"]},
+        "BOOK": {"tanim": "Roman, kitap ve yazılı eserler.", "anahtar_kelimeler": ["roman", "yazar", "edebiyat"]},
+        "SOFTWARE": {"tanim": "Yazılım, uygulama ve kod sistemleri.", "anahtar_kelimeler": ["yazılım", "algoritma", "kod"]},
+        "AWARD": {"tanim": "Resmi ödüller ve başarı nişanları.", "anahtar_kelimeler": ["ödül", "madalya", "oscar"]},
+        "PRODUCT": {"tanim": "Ticari ürünler ve cihazlar.", "anahtar_kelimeler": ["marka", "cihaz", "model"]},
+        "NORP": {"tanim": "Milliyet, din veya etnik gruplar.", "anahtar_kelimeler": ["halk", "millet", "topluluk"]},
+        "GPE": {"tanim": "Ülkeler, şehirler ve bölgeler.", "anahtar_kelimeler": ["ülke", "şehir", "başkent"]}
     }
-}
-
 
     initial_results = ner_pipe(text)
-    final_results = []
-
     for entity in initial_results:
         word = entity['word'].replace(" ", " ").strip()
         label = entity['entity_group']
         
         if label in ["PER", "ORG", "LOC"]:
             res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": label, "Kaynak": "Model"}
-            logs.append(f"✅ <b>{word}</b>: {label} (Doğrudan Tespit)")
+            current_logs.append(f"✅ <b>{word}</b>: {label} (Doğrudan Tespit)")
         elif label == "MISC":
-            logs.append(f"🔍 <b>Analiz Başladı:</b> '{word}' (MISC) inceleniyor...")
-            yield logs, [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
+            current_logs.append(f"🔍 <b>Belirsiz Varlık:</b> '{word}' inceleniyor...")
+            yield "<br>".join(current_logs), [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
             
             wiki_text = get_wiki_summary(word)
             if wiki_text:
-                logs.append(f"<div style='border-left: 3px solid #007bff; padding-left: 10px; color: #555;'>🌐 <b>Wiki:</b> {wiki_text}</div>")
-                new_label, raw_llm_response = refine_label_with_llm(word, text, wiki_text, custom_labels)
-                logs.append(f"<div style='border-left: 3px solid #28a745; padding-left: 10px; font-style: italic;'>🧠 <b>CoT Analizi:</b> {raw_llm_response}</div>")
+                new_label, cot_text = refine_label_with_llm(word, text, wiki_text, custom_labels)
+                current_logs.append(f"<div style='margin-left:20px; color:#444;'>🧠 {cot_text}</div>")
                 res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": new_label, "Kaynak": "RAG+LLM"}
             else:
-                logs.append(f"⚠️ '{word}' için Wikipedia kaydı bulunamadı.")
                 res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": "MISC", "Kaynak": "Model"}
-        else:
-            res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": label, "Kaynak": "Model"}
-
+        
         final_results.append(res)
-        yield logs, [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
+        # Tablo çıktısında Nihai Etiket bold yapılır
+        table_out = [[r["Varlık"], r["İlk Etiket"], f"<b>{r['Nihai Etiket']}</b>", r["Kaynak"]] for r in final_results]
+        yield "<br>".join(current_logs), table_out
 
-    logs.append("✨ <b>Analiz Tamamlandı.</b>")
-    yield logs, [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
+    current_logs.append("✨ <b>Analiz Tamamlandı.</b>")
+    yield "<br>".join(current_logs), [[r["Varlık"], r["İlk Etiket"], f"<b>{r['Nihai Etiket']}</b>", r["Kaynak"]] for r in final_results]
 
-# --- 4. GÖRSEL ARAYÜZ ---
-with gr.Blocks(title=" RAG-NER System") as demo:
-    gr.Markdown("#  RAGNER  Sistemi")
+# --- 4. GRADIO ARAYÜZÜ ---
+with gr.Blocks(title="Expert RAG-NER") as demo:
+    gr.Markdown("# 🚀 RAG-NER Uzman Karar Destek Sistemi")
     
     with gr.Tab("Metin Analizi"):
-        input_text = gr.Textbox(label="Metin Girişi", lines=4)
-        gr.Examples(
-            examples=[
-                "Nobel Barış Ödülü'nü kazanan yazar, son romanı 'Gizli Bahçe' ile büyük beğeni topladı.",
-                "Oppenheimer filmini izlemek için dün gece Bayraktar-AI yazılımını kullanarak bilet aldık.",
-                "Türkiye'nin başkenti Ankara'da düzenlenen teknoloji festivalinde birçok ödül verildi."
-            ],
-            inputs=input_text
-        )
-        submit_btn = gr.Button("Analiz Et", variant="primary")
+        txt_input = gr.Textbox(label="Analiz Edilecek Metin", lines=3)
+        gr.Examples(examples=get_random_examples(), inputs=txt_input)
         
         with gr.Row():
-            # Güncellenen Alt Alta Log Görünümü
-            log_output = gr.HTML(label="İşlem Adımları", value="Sistem Hazır.")
-            table_output = gr.Dataframe(headers=["Varlık", "İlk Etiket", "Nihai Etiket", "Kaynak"], scale=2)
-
-    with gr.Tab("İş Akışı"):
-        gr.Markdown("### 🛠 Algoritma Adımları\n1. NER ile Varlık Tespiti\n2. MISC Etiket Filtreleme\n3. Wikipedia RAG Süreci\n4. CoT & Çelişki Yönetimi ile LLM Kararı")
-
-    def update_ui(text):
-        for logs, table in process_ner(text):
-            # Logları alt alta, düzgün bir liste formatında birleştiriyoruz
-            log_html = "<div style='display: flex; flex-direction: column; gap: 10px; background: #f9f9f9; padding: 15px; border-radius: 8px; border: 1px solid #ddd; height: 450px; overflow-y: auto; font-family: Segoe UI, sans-serif;'>"
-            for m in logs:
-                log_html += f"<div style='border-bottom: 1px solid #eee; padding-bottom: 5px;'>{m}</div>"
-            log_html += "</div>"
-            yield log_html, table
-
-    submit_btn.click(update_ui, inputs=input_text, outputs=[log_output, table_output])
+            log_view = gr.HTML(label="Sistem Günlüğü")
+            table_view = gr.Dataframe(headers=["Varlık", "İlk Etiket", "Nihai Etiket", "Kaynak"], datatype="markdown")
+        
+        run_btn = gr.Button("Analiz Et", variant="primary")
+        run_btn.click(process_ner, inputs=txt_input, outputs=[log_view, table_view])
 
 if __name__ == "__main__":
-    demo.launch(server_name="0.0.0.0", server_port=7860, auth=("admin", "1113"))
+    demo.launch()