Update app.py

app.py

@@ -3,10 +3,9 @@ import wikipedia
 import spaces
 import os
 import re
-import json
 import gradio as gr
 from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
-from labels_config import CUSTOM_LABEL_DEFINITIONS
+from labels_config import custom_label_definitions
 
 # --- 1. MODELLERİN HAZIRLANMASI ---
 ner_pipe = pipeline("ner", model="xlm-roberta-large-finetuned-conll03-english", aggregation_strategy="simple", device=-1)
@@ -14,16 +13,9 @@ model_id = "Qwen/Qwen2.5-1.5B-Instruct"
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 
 try:
-    # Bellek optimizasyonu için device_map auto ve bfloat16 kullanıldı
-    llm_model = AutoModelForCausalLM.from_pretrained(
-        model_id, 
-        torch_dtype=torch.bfloat16, 
-        device_map="auto", 
-        trust_remote_code=True
-    )
+    llm_model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="cpu", trust_remote_code=True)
     IS_LLM_ENABLED = True
 except Exception as e:
-    print(f"Model yükleme hatası: {e}")
     IS_LLM_ENABLED = False
 
 # --- 2. YARDIMCI FONKSİYONLAR ---
@@ -46,78 +38,97 @@ def get_random_examples():
         return [["Oppenheimer filmi geçen yıl vizyona girdi."], ["Sefiller romanı Victor Hugo tarafından yazılmıştır."]]
 
 @spaces.GPU
-def refine_labels_batch(misc_items, full_sentence):
-    """
-    MISC etiketli varlıkları toplu olarak CoT protokolüyle işler.
-    misc_items: list of dict -> [{'word': '...', 'wiki': '...'}, ...]
-    """
-    if not IS_LLM_ENABLED or not misc_items: return []
+def refine_label_with_llm(entity_text, full_sentence, wiki_context, custom_label_definitions):
+    if not IS_LLM_ENABLED: return "MISC", "LLM Aktif Değil"
     
     device = "cuda" if torch.cuda.is_available() else "cpu"
+    llm_model.to(device)
 
-    # Etiket kurallarını metne dönüştür
+    # 1. Etiket Tanımları (Bilgi Kaynağı)
     label_rules = ""
-    for k, v in CUSTOM_LABEL_DEFINITIONS.items():
+    for k, v in custom_label_definitions.items():
         label_rules += f"### {k}\n- TANIM: {v['tanim']}\n- ANAHTARLAR: {', '.join(v['anahtar_kelimeler'])}\n\n"
 
-    # Hedef varlıkları listele
-    targets_text = ""
-    for i, item in enumerate(misc_items):
-        targets_text += f"\nVARLIK {i+1}: {item['word']}\nWIKI BİLGİSİ: {item['wiki']}\n"
-
-    prompt = f"""Sen yüksek hassasiyetli bir semantik analiz uzmanısın. 
-Görevin, sana verilen listedeki varlıkları aşağıdaki 4 adımlı Sistematik CoT protokolüne göre sınıflandırmaktır.
+    # 2. Sistematik CoT ve Kuralların Tanımlanması
+    prompt = f"""Sen yüksek hassasiyetli bir semantik analiz uzmanısın.
+Görevin, '[[{entity_text}]]' varlığını aşağıdaki 4 adımlı Sistematik CoT protokolüne göre sınıflandırmaktır.
 
 ETİKET TANIMLARI:
 {label_rules}
 
 SİSTEMATİK CoT ADIMLARI:
-1. Sentaktik İnceleme (Cümle bağlamı)
-2. Bilgi Entegrasyonu (Wikipedia verisi)
-3. Çelişki ve Hiyerarşi Denetimi (Cümle bilgisi Wikipedia'dan üstündür)
-4. Etiket Eşleşmesi
+1. **Sentaktik İnceleme:** Cümle içinde varlığın sağındaki ve solundaki kelimeleri (niteleyicileri) tespit et. Varlık bir fiille mi (yazıldı, vizyona girdi) yoksa bir isimle mi (yazılımı, ödülü) ilişkili?
+2. **Bilgi Entegrasyonu:** Wikipedia verisindeki genel tanımı oku. Varlığın tarihsel veya teknik kimliğini belirle.
+3. **Çelişki ve Hiyerarşi Denetimi:** Wikipedia bilgisi ile cümledeki kullanım amacı çelişiyor mu? (Örn: Wiki 'film' diyor ama cümle 'kitap' diyorsa, cümledeki kullanım esastır).
+4. **Etiket Eşleşmesi:** Elde edilen nihai kanıtları, 'ETİKET TANIMLARI'ndaki en yakın kategoriyle eşleştir ve son kararı ver.
 
 REFERANS ANALİZLER (FEW-SHOT):
-Örnek 1: 'Inception' | Cümle: 'Inception filmini izledim' | Wiki: '2010 yapımı film' -> Cevap: MOVIE
-Örnek 2: 'Gizli Bahçe' | Cümle: 'Yazar son romanı Gizli Bahçe ile...' | Wiki: '1993 yapımı film' -> Cevap: BOOK (Cümle öncelikli)
+Örnek 1 (Tam Uyum):
+VARLIK: 'Inception'
+CÜMLE: "Dün gece Inception filmini tekrar izledim."
+WIKI: "Inception, Christopher Nolan tarafından yönetilen 2010 yapımı bilimkurgu filmidir."
+ANALİZ: 
+- Adım 1: Cümlede 'film' ve 'izlemek' kelimeleri görsel esere işaret ediyor.
+- Adım 2: Wiki verisi varlığın bir film olduğunu doğruluyor.
+- Adım 3: Kaynaklar arasında çelişki yok.
+- Adım 4: MOVIE etiketi uygundur.
+CEVAP: MOVIE
+
+Örnek 2 (Kritik Çelişki):
+VARLIK: 'Gizli Bahçe'
+CÜMLE: "Yazar son romanı 'Gizli Bahçe' ile ödül aldı."
+WIKI: "Gizli Bahçe: 1993 yapımı bir dram filmidir."
+ANALİZ: 
+- Adım 1: Cümlede 'roman' ve 'yazar' kelimeleri varlığı doğrudan kitap olarak niteliyor.
+- Adım 2: Wiki verisi bu ismi bir film (movie) olarak gösteriyor.
+- Adım 3: ÇELİŞKİ TESPİT EDİLDİ. Kaynak hiyerarşisi gereği cümledeki 'roman' ifadesi Wikipedia'dan daha önceliklidir.
+- Adım 4: BOOK etiketi uygundur.
+CEVAP: BOOK
 
 GÜNCEL GÖREV:
-ORİJİNAL CÜMLE: "{full_sentence}"
-ANALİZ EDİLECEK VARLIKLAR:
-{targets_text}
+- HEDEF VARLIK: {entity_text}
+- ORİJİNAL CÜMLE: "{full_sentence}"
+- HARİCİ BİLGİ (Wikipedia): "{wiki_context}"
+
+ÇIKTI KURALLARI:
+- Cevabında asla yıldız (*) veya markdown kullanma.
+- Analiz adımlarını yukarıdaki 4 adımlı protokole göre yaz.
 
-ÇIKTI FORMATI: 
-Sadece aşağıdaki JSON yapısını döndür, başka açıklama ekleme:
-[
-  {{"varlik": "VARLIK_ADI", "analiz": "Adım 1-2-3-4 özeti", "karar": "ETIKET_ADI"}},
-  ...
-]"""
+ÇIKTI FORMATI:
+Analiz: [4 Adımlı CoT Analizi]
+Cevap: [SADECE_ETIKET_ADI]"""
 
     messages = [{"role": "user", "content": prompt}]
     text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
     model_inputs = tokenizer([text], return_tensors="pt").to(device)
 
     try:
-        generated_ids = llm_model.generate(model_inputs.input_ids, max_new_tokens=1000, do_sample=False, temperature=0.1)
+        generated_ids = llm_model.generate(model_inputs.input_ids, max_new_tokens=450, do_sample=False, temperature=0.1)
         response_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
         full_output = tokenizer.batch_decode(response_ids, skip_special_tokens=True)[0].strip()
         
-        # JSON Ayıklama (Regex ile güvenli hale getirildi)
-        json_match = re.search(r'\[\s*\{.*\}\s*\]', full_output, re.DOTALL)
-        if json_match:
-            return json.loads(json_match.group(0))
-        return []
+        # Markdown temizliği ve Etiket Ayıklama
+        clean_output = full_output.replace("*", "")
+        final_label = "MISC"
+        valid_keys = list(custom_label_definitions.keys())
+        match = re.search(r"Cevap:\s*([A-Z_]+)", clean_output, re.IGNORECASE)
+        
+        if match:
+            extracted = match.group(1).upper().strip()
+            if extracted in valid_keys: final_label = extracted
+            
+        return final_label, clean_output
     except Exception as e:
-        print(f"Batch Hatası: {e}")
-        return []
+        return "MISC", f"Hata: {str(e)}"
 
 # --- 3. ANA İŞLEM HATTI ---
 def process_ner(text):
     current_logs = ["🚀 <b>Sistem Başlatıldı:</b> Metin analiz ediliyor..."]
     final_results = []
-    misc_buffer = [] 
-    
-    # 1. Aşama: Hızlı Tespit ve MISC Toplama
+    yield "<br>".join(current_logs), []
+
+   
+
     initial_results = ner_pipe(text)
 
     for entity in initial_results:
@@ -125,41 +136,29 @@ def process_ner(text):
         label = entity['entity_group']
         
         if label in ["PER", "ORG", "LOC"]:
-            final_results.append({"Varlık": word, "İlk": label, "Nihai": label, "Kaynak": "Model"})
+            res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": label, "Kaynak": "Model"}
             current_logs.append(f"✅ <b>{word}</b>: {label} (Doğrudan Tespit)")
         elif label == "MISC":
-            current_logs.append(f"🔍 <b>Wiki Sorgulanıyor:</b> '{word}'")
-            yield "<br>".join(current_logs), [[r["Varlık"], r["İlk"], r["Nihai"], r["Kaynak"]] for r in final_results]
+            current_logs.append(f"🔍 <b>Analiz Başladı:</b> '{word}'")
+            yield "<br>".join(current_logs), [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
             
             wiki_text = get_wiki_summary(word)
-            misc_buffer.append({"word": word, "wiki": wiki_text or "Bilgi yok."})
-            current_logs.append(f"📦 <b>Kuyruğa Alındı:</b> {word}")
-
-    # 2. Aşama: Batch LLM İşleme
-    if misc_buffer:
-        current_logs.append(f"🧠 <b>Toplu Analiz Başladı:</b> {len(misc_buffer)} varlık CoT ile işleniyor...")
-        yield "<br>".join(current_logs), [[r["Varlık"], r["İlk"], r["Nihai"], r["Kaynak"]] for r in final_results]
-        
-        llm_responses = refine_labels_batch(misc_buffer, text)
+            if wiki_text:
+                current_logs.append(f"<div style='margin-left:20px; border-left:2px solid #007bff; padding-left:10px; color:#555;'>🌐 <b>Wiki:</b> {wiki_text}</div>")
+                new_label, cot_text = refine_label_with_llm(word, text, wiki_text, custom_labels_definitions)
+                current_logs.append(f"<div style='margin-left:20px; border-left:2px solid #28a745; padding-left:10px;'>🧠 <b>CoT Analizi:</b> {cot_text}</div>")
+                res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": new_label, "Kaynak": "RAG+LLM"}
+            else:
+                current_logs.append(f"⚠️ '{word}' için Wikipedia kaydı bulunamadı.")
+                res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": "MISC", "Kaynak": "Model"}
         
-        for item in misc_buffer:
-            # LLM yanıtları içinden doğru varlığı eşleştir
-            match = next((res for res in llm_responses if res.get('varlik','').lower() in item['word'].lower()), None)
-            
-            final_label = match['karar'] if match else "MISC"
-            cot_summary = match['analiz'] if match else "Analiz yapılamadı."
-            
-            final_results.append({
-                "Varlık": item['word'],
-                "İlk": "MISC",
-                "Nihai": final_label,
-                "Kaynak": "RAG+Batch LLM"
-            })
-            current_logs.append(f"<div style='margin-left:20px; border-left:2px solid #28a745; padding-left:10px;'>💡 <b>{item['word']}</b> -> {final_label}<br><small>{cot_summary}</small></div>")
+        final_results.append(res)
+        # Tablo çıktısında Nihai Etiket bold yapılır
+        table_display = [[r["Varlık"], r["İlk Etiket"], f"<b>{r['Nihai Etiket']}</b>", r["Kaynak"]] for r in final_results]
+        yield "<br>".join(current_logs), table_display
 
     current_logs.append("✨ <b>Analiz Tamamlandı.</b>")
-    table_display = [[r["Varlık"], r["İlk"], f"<b>{r['Nihai']}</b>", r["Kaynak"]] for r in final_results]
-    yield "<br>".join(current_logs), table_display
+    yield "<br>".join(current_logs), [[r["Varlık"], r["İlk Etiket"], f"<b>{r['Nihai Etiket']}</b>", r["Kaynak"]] for r in final_results]
 
 # --- 4. GRADIO ARAYÜZÜ ---
 with gr.Blocks(title="RAG-NER Uzman Karar Destek Sistemi") as demo:
@@ -172,6 +171,7 @@ with gr.Blocks(title="RAG-NER Uzman Karar Destek Sistemi") as demo:
             lines=3
         )
         
+        # EKSİK OLAN ÖRNEKLER BÖLÜMÜ BURADA TANIMLANDI
         examples_list = [
             ["Türk yönetmen Nuri Bilge Ceylan, Venedik Film Festivali'nde Altın Aslan ödülünü kazandığı Kış Uykusu filmiyle uluslararası üne kavuştu."],
             ["Amerikalı yazar George Orwell'in ünlü kitabı 1984, Apple şirketinin Macintosh tanıtım reklamında ilham kaynağı olarak kullanılmış ve Windows işletim sistemine karşı bir metafor haline gelmişti."],
@@ -185,7 +185,9 @@ with gr.Blocks(title="RAG-NER Uzman Karar Destek Sistemi") as demo:
         )
         
         with gr.Row():
+            # Log çıktısı için HTML bileşeni
             log_output = gr.HTML(label="Sistem Günlüğü")
+            # Tablo çıktısı (Markdown desteği ile kalın yazıları gösterir)
             table_output = gr.Dataframe(
                 headers=["Varlık", "İlk Etiket", "Nihai Etiket", "Kaynak"], 
                 datatype="markdown",
@@ -194,6 +196,7 @@ with gr.Blocks(title="RAG-NER Uzman Karar Destek Sistemi") as demo:
         
         btn = gr.Button("Analiz Et", variant="primary")
         
+        # Buton fonksiyonu
         btn.click(
             process_ner, 
             inputs=input_text, 
@@ -202,6 +205,7 @@ with gr.Blocks(title="RAG-NER Uzman Karar Destek Sistemi") as demo:
 
 # --- 5. KULLANICI DENETİMİ (LOGIN) ---
 if __name__ == "__main__":
+  
     demo.launch(
         auth=("admin", "1113"),
         auth_message="Lütfen uzman paneline erişmek için giriş yapın."