Update app.py

app.py

@@ -37,6 +37,7 @@ def refine_label_with_llm(entity_text, full_sentence, wiki_context, custom_label
     for k, v in custom_label_definitions.items():
         label_rules += f"### {k}\n- TANIM: {v['tanim']}\n- ANAHTAR KELİMELER: {', '.join(v['anahtar_kelimeler'])}\n- ÖRNEKLER: {v['ornekler']}\n\n"
 
+    # Çelişki Yönetimi ve CoT Mantığı Eklenmiş Prompt
     prompt = f"""Sen uzman bir veri sınıflandırma sistemisin. 
 Görevin, aşağıdaki BAĞLAM'ı okumak ve ETİKET TANIMLARI'ndan hangisinin varlığa en uygun olduğunu belirlemektir.
 
@@ -49,14 +50,13 @@ VERİLER:
 - WIKIPEDIA BAĞLAMI: "{wiki_context}"
 
 GÖREV ADIMLARI (Chain of Thought):
-1. Orijinal cümledeki bağlamı analiz et. Varlığın hemen yanında belirleyici bir anahtar kelime var mı?
-2. Wikipedia bağlamını analiz et. Varlık bir eser mi, topluluk mu, ödül mü yoksa dijital bir araç mı?
-3. Wikipedia'daki kavramları ETİKET TANIMLARI'ndaki anahtar kelimeler ve örneklerle karşılaştır.
-4. Elde ettiğin bulguları sentezle ve kararını ver.
-5. Özellikle 'Ödül' kelimesi geçen varlıklar için 'AWARD' etiketini, 'Film' kelimesi geçen varlıklar için 'MOVIE' etiketini önceliklendir.
+1. **Orijinal Cümle Analizi:** Cümle içinde varlığın yanında 'roman', 'kitap', 'film', 'yazılım' gibi tür belirleyici anahtar kelimeler var mı?
+2. **Wikipedia Analizi:** Wikipedia bağlamı varlık hakkında ne diyor?
+3. **Çelişki Kontrolü (KRİTİK):** Eğer Wikipedia bağlamı 'FİLM' diyorsa ancak orijinal cümle içinde 'ROMAN' veya 'KİTAP' ifadesi geçiyorsa, Wikipedia bilgisini ikinci plana at ve orijinal cümledeki türü (BOOK) önceliklendir.
+4. **Eşleştirme:** Elde edilen en güvenilir bağlamı ETİKET TANIMLARI ile karşılaştır.
 
 ÇIKTI FORMATI:
-Analiz: [Buraya adım adım analizini yaz]
+Analiz: [Buraya Wikipedia ve Cümle arasındaki çelişki kontrolünü de içeren adım adım analizini yaz]
 Cevap: [Sadece ETIKET_ADI]"""
 
     messages = [{"role": "user", "content": prompt}]
@@ -64,7 +64,7 @@ Cevap: [Sadece ETIKET_ADI]"""
     model_inputs = tokenizer([text], return_tensors="pt").to(device)
 
     try:
-        generated_ids = llm_model.generate(model_inputs.input_ids, max_new_tokens=300, do_sample=False, temperature=0.1)
+        generated_ids = llm_model.generate(model_inputs.input_ids, max_new_tokens=350, do_sample=False, temperature=0.1)
         response_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
         full_output = tokenizer.batch_decode(response_ids, skip_special_tokens=True)[0].strip()
         
@@ -86,44 +86,29 @@ Cevap: [Sadece ETIKET_ADI]"""
 
 # --- 3. ANA İŞLEM HATTI ---
 def process_ner(text):
-    logs = ["🚀 CoT & Uzman Sistem Analizi Başlatıldı..."]
+    logs = ["🚀 <b>Sistem Başlatıldı:</b> Metin analiz ediliyor..."]
     yield logs, []
 
     custom_labels = {
         "MOVIE": {
-            "tanim": "Sinematik ve görsel sanat eserleri, kurgusal yapımlar, sahne sanatları.",
-            "anahtar_kelimeler": ["film", "dizi", "sinema", "yönetmen", "yapım", "belgesel", "sinematografik", "oyuncu"],
-            "ornekler": "Oppenheimer, Hababam Sınıfı, Inception, Yüzüklerin Efendisi"
+            "tanim": "Sinematik eserler, kurgusal görsel yapımlar ve tiyatro oyunları.",
+            "anahtar_kelimeler": ["film", "dizi", "sinema", "yönetmen", "belgesel", "vizyon", "gişe"],
+            "ornekler": "Oppenheimer, Inception"
         },
         "BOOK": {
-            "tanim": "Yazılı edebiyat ürünleri, basılı materyaller, ciltli veya dijital kitaplar.",
-            "anahtar_kelimeler": ["kitap", "roman", "yazar", "edebiyat", "tefrika", "dergi", "makale", "basım", "yayın"],
-            "ornekler": "Nutuk, Sefiller, Çalıkuşu, Suç ve Ceza"
+            "tanim": "Yazılı edebi eserler, romanlar ve basılı yayınlar.",
+            "anahtar_kelimeler": ["kitap", "roman", "yazar", "edebiyat", "hikaye", "tefrika", "basım"],
+            "ornekler": "Nutuk, Sefiller, Gizli Bahçe"
         },
         "SOFTWARE": {
-            "tanim": "Dijital kod tabanlı sistemler, bilgisayar programları, algoritmalar.",
-            "anahtar_kelimeler": ["yazılım", "program", "algoritma", "kod", "app", "uygulama", "işletim sistemi", "framework"],
-            "ornekler": "Windows 11, Bayraktar-AI, Python, Adobe Photoshop"
+            "tanim": "Dijital kod tabanlı sistemler, uygulamalar ve algoritmalar.",
+            "anahtar_kelimeler": ["yazılım", "program", "algoritma", "kod", "uygulama", "app", "işletim sistemi"],
+            "ornekler": "Windows 11, Bayraktar-AI"
         },
         "AWARD": {
-            "tanim": "Resmi törenlerle verilen takdir, ödül ve onur simgeleri.",
-            "anahtar_kelimeler": ["ödül", "festival", "madalya", "nişan", "birincilik", "yarışma", "oscar", "tören", "kupası"],
-            "ornekler": "Nobel Barış Ödülü, Altın Portakal, Şampiyonlar Ligi Kupası"
-        },
-        "PRODUCT": {
-            "tanim": "Fiziksel olarak üretilen, markası olan ticari ürün ve cihazlar.",
-            "anahtar_kelimeler": ["ürün", "cihaz", "model", "marka", "donanım", "telefon", "bilgisayar", "araç"],
-            "ornekler": "iPhone 13, Tesla Model 3, PlayStation 5"
-        },
-        "NORP": {
-            "tanim": "Milliyet, din, etnik grup veya siyasi topluluk tanımları.",
-            "anahtar_kelimeler": ["halk", "millet", "etnik", "din", "vatandaş", "soy", "topluluk", "ırk"],
-            "ornekler": "Ruslar, Türkler, Müslümanlar, Slavlar"
-        },
-        "GPE": {
-            "tanim": "Siyasi sınırları olan ülkeler, şehirler ve idari bölgeler.",
-            "anahtar_kelimeler": ["ülke", "şehir", "kent", "eyalet", "başkent", "ilçe", "vatan"],
-            "ornekler": "Türkiye, Ankara, Polonya, İstanbul"
+            "tanim": "Resmi törenlerle verilen başarı nişanları ve ödüller.",
+            "anahtar_kelimeler": ["ödül", "festival", "madalya", "nişan", "oscar", "tören", "kupa"],
+            "ornekler": "Nobel Barış Ödülü, Altın Portakal"
         }
     }
 
@@ -136,19 +121,19 @@ def process_ner(text):
         
         if label in ["PER", "ORG", "LOC"]:
             res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": label, "Kaynak": "Model"}
-            logs.append(f"✅ {word} ({label})")
+            logs.append(f"✅ <b>{word}</b>: {label} (Doğrudan Tespit)")
         elif label == "MISC":
-            logs.append(f"🧠 CoT Analizi: <b>{word}</b>")
+            logs.append(f"🔍 <b>Analiz Başladı:</b> '{word}' (MISC) inceleniyor...")
             yield logs, [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
             
             wiki_text = get_wiki_summary(word)
             if wiki_text:
-                logs.append(f"<div style='border-left: 4px solid #007bff; background: #f0f7ff; padding: 5px;'>🌐 <b>Wiki:</b> {wiki_text}</div>")
+                logs.append(f"<div style='border-left: 3px solid #007bff; padding-left: 10px; color: #555;'>🌐 <b>Wiki:</b> {wiki_text}</div>")
                 new_label, raw_llm_response = refine_label_with_llm(word, text, wiki_text, custom_labels)
-                logs.append(f"<div style='border-left: 4px solid #28a745; background: #f4fff4; padding: 5px;'>🔍 <b>Düşünce Zinciri:</b> {raw_llm_response}</div>")
+                logs.append(f"<div style='border-left: 3px solid #28a745; padding-left: 10px; font-style: italic;'>🧠 <b>CoT Analizi:</b> {raw_llm_response}</div>")
                 res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": new_label, "Kaynak": "RAG+LLM"}
             else:
-                logs.append(f"❌ {word} için Wiki bağlamı yok.")
+                logs.append(f"⚠️ '{word}' için Wikipedia kaydı bulunamadı.")
                 res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": "MISC", "Kaynak": "Model"}
         else:
             res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": label, "Kaynak": "Model"}
@@ -156,82 +141,43 @@ def process_ner(text):
         final_results.append(res)
         yield logs, [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
 
-    logs.append("✨ Analiz tamamlandı.")
+    logs.append("✨ <b>Analiz Tamamlandı.</b>")
     yield logs, [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
 
-# --- 4. ARAYÜZ ---
-with gr.Blocks(title="NER RAG CoT") as demo:
-    gr.Markdown("# 🚀 Uzman Veri Sınıflandırma Sistemi (CoT & RAG)")
+# --- 4. GÖRSEL ARAYÜZ ---
+with gr.Blocks(title="Final RAG-NER System") as demo:
+    gr.Markdown("# 🚀 Uzman NER & RAG Sistemi")
     
-    with gr.Tab("Metin Analizi"): # Ana analiz sekmesi
-        with gr.Row():
-            input_text = gr.Textbox(label="Metin Girişi", lines=5)
-        
-        # 1-) Gradio Örnekleri
+    with gr.Tab("Metin Analizi"):
+        input_text = gr.Textbox(label="Metin Girişi", lines=4)
         gr.Examples(
             examples=[
-                "Türkiye'nin ilk yerli yazılımı olan Milli-Yaz, yeni nesil telefonlarda kullanılacak.", # SOFTWARE, PRODUCT, GPE
-                "Nobel Barış Ödülü'nü kazanan yazar, son romanı 'Gizli Bahçe' ile büyük beğeni topladı.", # AWARD, BOOK, PERSON
-                "Geçen yıl vizyona giren Oppenheimer filmi, gişede rekorlar kırdı ve birçok ödül aldı." # MOVIE, AWARD
+                "Nobel Barış Ödülü'nü kazanan yazar, son romanı 'Gizli Bahçe' ile büyük beğeni topladı.",
+                "Oppenheimer filmini izlemek için dün gece Bayraktar-AI yazılımını kullanarak bilet aldık.",
+                "Türkiye'nin başkenti Ankara'da düzenlenen teknoloji festivalinde birçok ödül verildi."
             ],
-            inputs=input_text,
-            outputs=[input_text], # Örnek tıklandığında input_text'i doldurur
-            fn=lambda x: x, # Basit bir passthrough fonksiyonu
-            cache_examples=False,
+            inputs=input_text
         )
-
-        with gr.Row():
-            with gr.Column(scale=1):
-                log_output = gr.HTML(label="Sistem Günlüğü", value="Sistem Hazır.")
-            with gr.Column(scale=2):
-                table_output = gr.Dataframe(headers=["Varlık", "İlk Etiket", "Nihai Etiket", "Kaynak"])
-        
         submit_btn = gr.Button("Analiz Et", variant="primary")
-        submit_btn.click(process_ner, inputs=input_text, outputs=[log_output, table_output])
-
-    with gr.Tab("Algoritma / İş Akışı"): # Yeni iş akışı sekmesi
-        gr.Markdown("""
-        ### 📊 Sistemin İş Akışı ve Algoritması
-
-        Bu sistem, metinlerdeki adlandırılmış varlıkları (kişi, yer, kurum vb.) tespit etmek ve özellikle `MISC` (Çeşitli) olarak etiketlenmiş belirsiz varlıkları, harici bilgi (Wikipedia) ve gelişmiş yapay zeka (LLM) kullanarak daha spesifik kategorilere ayırmak için tasarlanmıştır.
-
-        ---
-
-        #### 🧩 **Adım 1: İlk Etiketleme (NER Modeli)**
-        - **Model:** `xlm-roberta-large-finetuned-conll03-english` (Hugging Face Transformers)
-        - **İşlev:** Gelen metni tarar ve içindeki varlıkları önceden tanımlanmış etiketlere (PER: Kişi, ORG: Kurum, LOC: Konum, MISC: Çeşitli vb.) ayırır.
-        - **Çıktı:** Her varlık için bir başlangıç etiketi ve varlığın kendisi.
-
-        #### 🔍 **Adım 2: MISC Etiketi Kontrolü**
-        - **İşlev:** İlk etiketleme sonucunda, `PER`, `ORG`, `LOC` gibi yüksek başarımlı etiketler doğrudan kabul edilir ve LLM sürecine sokulmaz.
-        - **Odak Noktası:** Yalnızca `MISC` olarak etiketlenmiş varlıklar için derinlemesine analiz başlatılır.
-
-        #### 🌐 **Adım 3: Wikipedia Bilgi Edinimi (RAG)**
-        - **Araç:** `wikipedia` kütüphanesi.
-        - **İşlev:** `MISC` etiketli her varlık için Wikipedia'da kısa bir özet (summary) aranır. Bu özet, varlık hakkında ek bağlamsal bilgi sağlar.
-        - **Çıktı:** Varlıkla ilgili 2 cümlelik Wikipedia özeti (bulunamazsa boş).
-
-        #### 🧠 **Adım 4: Büyük Dil Modeli (LLM) ile Detaylı Sınıflandırma (CoT)**
-        - **Model:** `Qwen/Qwen2.5-1.5B-Instruct` (Hugging Face Transformers)
-        - **Teknik:** **Chain of Thought (CoT - Düşünce Zinciri)** ve **Detaylı Etiket Sözlüğü**.
-        - **İşlev:**
-            1. **Uzman Prompt:** LLM'e "uzman bir sınıflandırma sistemi" olduğu rolü atanır.
-            2. **Detaylı Etiket Rehberi:** Sistem, her kategori (MOVIE, SOFTWARE, AWARD vb.) için `TANIM`, `ANAHTAR KELİMELER` ve `ÖRNEKLER` içeren zengin bir rehberle beslenir.
-            3. **Çoklu Bağlam Analizi:** LLM, hem orijinal cümlenin tamamını hem de Wikipedia özetini dikkate alır. Özellikle orijinal cümledeki varlığın hemen yanındaki kelimeler (örn: "Oppenheimer filmi"ndeki "filmi" kelimesi) kritik rol oynar.
-            4. **Adım Adım Akıl Yürütme (CoT):** LLM'den, kararını verirken "Orijinal cümleyi analiz et, Wiki'yi analiz et, rehberle karşılaştır, sentezle" gibi adımları takip etmesi istenir. Bu süreç, modelin mantığını loglarda şeffaf bir şekilde görmemizi sağlar.
-            5. **Öncelikli Kurallar:** "Film kelimesi geçiyorsa MOVIE etiketini önceliklendir" gibi spesifik kurallar, modelin yanlış kararlarını azaltmak için prompt'a dahil edilmiştir.
-        - **Çıktı:** `Analiz: [Modelin düşünce zinciri]` ve `Cevap: [Kesin Etiket]` formatında bir yanıt.
-
-        #### ✨ **Adım 5: Nihai Etiket Ataması**
-        - **İşlev:** LLM'den gelen `Cevap: ETIKET_ADI` çıktısı alınır ve varlığın `Nihai Etiket` değeri olarak atanır.
-        - **Loglama:** Her adım, kullanıcının süreci takip etmesi için detaylı olarak günlüğe kaydedilir (Wikipedia bilgisi, LLM'in Düşünce Zinciri).
-
-        ---
-
-        ### 🎯 Hedef
-        Bu iş akışı, temel NER modelinin sınırlamalarını aşarak, belirsiz (`MISC`) varlıkları harici bilgi ve gelişmiş yapay zeka yöntemleriyle doğru ve güvenilir bir şekilde sınıflandırmayı hedefler.
-        """)
-
-    # --- SİSTEMİ BAŞLAT ---
-    if __name__ == "__main__":
-        demo.launch(server_name="0.0.0.0", server_port=7860, auth=("admin", "1113"))
+        
+        with gr.Row():
+            # Güncellenen Alt Alta Log Görünümü
+            log_output = gr.HTML(label="İşlem Adımları", value="Sistem Hazır.")
+            table_output = gr.Dataframe(headers=["Varlık", "İlk Etiket", "Nihai Etiket", "Kaynak"], scale=2)
+
+    with gr.Tab("İş Akışı"):
+        gr.Markdown("### 🛠 Algoritma Adımları\n1. NER ile Varlık Tespiti\n2. MISC Etiket Filtreleme\n3. Wikipedia RAG Süreci\n4. CoT & Çelişki Yönetimi ile LLM Kararı")
+
+    def update_ui(text):
+        for logs, table in process_ner(text):
+            # Logları alt alta, düzgün bir liste formatında birleştiriyoruz
+            log_html = "<div style='display: flex; flex-direction: column; gap: 10px; background: #f9f9f9; padding: 15px; border-radius: 8px; border: 1px solid #ddd; height: 450px; overflow-y: auto; font-family: Segoe UI, sans-serif;'>"
+            for m in logs:
+                log_html += f"<div style='border-bottom: 1px solid #eee; padding-bottom: 5px;'>{m}</div>"
+            log_html += "</div>"
+            yield log_html, table
+
+    submit_btn.click(update_ui, inputs=input_text, outputs=[log_output, table_output])
+
+if __name__ == "__main__":
+    demo.launch(server_name="0.0.0.0", server_port=7860, auth=("admin", "1113"))