Update app.py

app.py

@@ -3,9 +3,10 @@ import wikipedia
 import spaces
 import os
 import re
+import json
 import gradio as gr
 from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
-from labels_config import CUSTOM_LABELS
+from labels_config import CUSTOM_LABEL_DEFINITIONS
 
 # --- 1. MODELLERİN HAZIRLANMASI ---
 ner_pipe = pipeline("ner", model="xlm-roberta-large-finetuned-conll03-english", aggregation_strategy="simple", device=-1)
@@ -13,9 +14,16 @@ model_id = "Qwen/Qwen2.5-1.5B-Instruct"
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 
 try:
-    llm_model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="cpu", trust_remote_code=True)
+    # Bellek optimizasyonu için device_map auto ve bfloat16 kullanıldı
+    llm_model = AutoModelForCausalLM.from_pretrained(
+        model_id, 
+        torch_dtype=torch.bfloat16, 
+        device_map="auto", 
+        trust_remote_code=True
+    )
     IS_LLM_ENABLED = True
 except Exception as e:
+    print(f"Model yükleme hatası: {e}")
     IS_LLM_ENABLED = False
 
 # --- 2. YARDIMCI FONKSİYONLAR ---
@@ -37,8 +45,6 @@ def get_random_examples():
     except:
         return [["Oppenheimer filmi geçen yıl vizyona girdi."], ["Sefiller romanı Victor Hugo tarafından yazılmıştır."]]
 
-
-
 @spaces.GPU
 def refine_labels_batch(misc_items, full_sentence):
     """
@@ -48,7 +54,6 @@ def refine_labels_batch(misc_items, full_sentence):
     if not IS_LLM_ENABLED or not misc_items: return []
     
     device = "cuda" if torch.cuda.is_available() else "cpu"
-    llm_model.to(device)
 
     # Etiket kurallarını metne dönüştür
     label_rules = ""
@@ -97,8 +102,8 @@ Sadece aşağıdaki JSON yapısını döndür, başka açıklama ekleme:
         response_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
         full_output = tokenizer.batch_decode(response_ids, skip_special_tokens=True)[0].strip()
         
-        # JSON Ayıklama
-        json_match = re.search(r'\[.*\]', full_output, re.DOTALL)
+        # JSON Ayıklama (Regex ile güvenli hale getirildi)
+        json_match = re.search(r'\[\s*\{.*\}\s*\]', full_output, re.DOTALL)
         if json_match:
             return json.loads(json_match.group(0))
         return []
@@ -106,93 +111,55 @@ Sadece aşağıdaki JSON yapısını döndür, başka açıklama ekleme:
         print(f"Batch Hatası: {e}")
         return []
 
+# --- 3. ANA İŞLEM HATTI ---
 def process_ner(text):
     current_logs = ["🚀 <b>Sistem Başlatıldı:</b> Metin analiz ediliyor..."]
     final_results = []
-    misc_buffer = [] # Toplanacak MISC varlıklar
+    misc_buffer = [] 
     
+    # 1. Aşama: Hızlı Tespit ve MISC Toplama
     initial_results = ner_pipe(text)
 
-    # 1. Aşama: Hızlı Tespit ve MISC Toplama
     for entity in initial_results:
         word = entity['word'].replace(" ", " ").strip()
         label = entity['entity_group']
         
         if label in ["PER", "ORG", "LOC"]:
             final_results.append({"Varlık": word, "İlk": label, "Nihai": label, "Kaynak": "Model"})
-            current_logs.append(f"✅ <b>{word}</b>: {label}")
+            current_logs.append(f"✅ <b>{word}</b>: {label} (Doğrudan Tespit)")
         elif label == "MISC":
+            current_logs.append(f"🔍 <b>Wiki Sorgulanıyor:</b> '{word}'")
+            yield "<br>".join(current_logs), [[r["Varlık"], r["İlk"], r["Nihai"], r["Kaynak"]] for r in final_results]
+            
             wiki_text = get_wiki_summary(word)
             misc_buffer.append({"word": word, "wiki": wiki_text or "Bilgi yok."})
-            current_logs.append(f"🔍 <b>Kuyruğa Alındı:</b> '{word}' (Wiki sorgulandı)")
-
-    yield "<br>".join(current_logs), [[r["Varlık"], r["İlk"], r["Nihai"], r["Kaynak"]] for r in final_results]
+            current_logs.append(f"📦 <b>Kuyruğa Alındı:</b> {word}")
 
     # 2. Aşama: Batch LLM İşleme
     if misc_buffer:
-        current_logs.append(f"🧠 <b>Batch İşlem:</b> {len(misc_buffer)} varlık CoT ile analiz ediliyor...")
+        current_logs.append(f"🧠 <b>Toplu Analiz Başladı:</b> {len(misc_buffer)} varlık CoT ile işleniyor...")
         yield "<br>".join(current_logs), [[r["Varlık"], r["İlk"], r["Nihai"], r["Kaynak"]] for r in final_results]
         
         llm_responses = refine_labels_batch(misc_buffer, text)
         
-        for res in llm_responses:
+        for item in misc_buffer:
+            # LLM yanıtları içinden doğru varlığı eşleştir
+            match = next((res for res in llm_responses if res.get('varlik','').lower() in item['word'].lower()), None)
+            
+            final_label = match['karar'] if match else "MISC"
+            cot_summary = match['analiz'] if match else "Analiz yapılamadı."
+            
             final_results.append({
-                "Varlık": res['varlik'],
+                "Varlık": item['word'],
                 "İlk": "MISC",
-                "Nihai": res['karar'],
+                "Nihai": final_label,
                 "Kaynak": "RAG+Batch LLM"
             })
-            current_logs.append(f"<div style='color:#28a745;'>💡 <b>{res['varlik']}</b> analizi tamamlandı.</div>")
+            current_logs.append(f"<div style='margin-left:20px; border-left:2px solid #28a745; padding-left:10px;'>💡 <b>{item['word']}</b> -> {final_label}<br><small>{cot_summary}</small></div>")
 
     current_logs.append("✨ <b>Analiz Tamamlandı.</b>")
     table_display = [[r["Varlık"], r["İlk"], f"<b>{r['Nihai']}</b>", r["Kaynak"]] for r in final_results]
     yield "<br>".join(current_logs), table_display
-# --- 3. ANA İŞLEM HATTI ---
-def process_ner(text):
-    current_logs = ["🚀 <b>Sistem Başlatıldı:</b> Metin analiz ediliyor..."]
-    final_results = []
-    yield "<br>".join(current_logs), []
-
-    custom_labels = {
-        "MOVIE": {"tanim": "Sinematik eserler.", "anahtar_kelimeler": ["film", "dizi"], "ornekler": ["Inception", "Ezel"]},
-        "BOOK": {"tanim": "Yazılı edebi eserler.", "anahtar_kelimeler": ["kitap", "roman"], "ornekler": ["Sefiller", "Nutuk"]},
-        "SOFTWARE": {"tanim": "Dijital sistemler.", "anahtar_kelimeler": ["yazılım", "kod"], "ornekler": ["Linux", "Python"]},
-        "AWARD": {"tanim": "Resmi ödüller.", "anahtar_kelimeler": ["ödül", "oscar"], "ornekler": ["Nobel", "Altın Portakal"]},
-        "PRODUCT": {"tanim": "Ticari ürünler.", "anahtar_kelimeler": ["marka", "model"], "ornekler": ["iPhone", "Tesla"]},
-        "NORP": {"tanim": "Etnik ve dini gruplar.", "anahtar_kelimeler": ["millet", "topluluk"], "ornekler": ["Türkler", "Ruslar"]},
-        "GPE": {"tanim": "Siyasi bölgeler.", "anahtar_kelimeler": ["ülke", "şehir"], "ornekler": ["Türkiye", "İstanbul"]}
-    }
-
-    initial_results = ner_pipe(text)
-
-    for entity in initial_results:
-        word = entity['word'].replace(" ", " ").strip()
-        label = entity['entity_group']
-        
-        if label in ["PER", "ORG", "LOC"]:
-            res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": label, "Kaynak": "Model"}
-            current_logs.append(f"✅ <b>{word}</b>: {label} (Doğrudan Tespit)")
-        elif label == "MISC":
-            current_logs.append(f"🔍 <b>Analiz Başladı:</b> '{word}'")
-            yield "<br>".join(current_logs), [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
-            
-            wiki_text = get_wiki_summary(word)
-            if wiki_text:
-                current_logs.append(f"<div style='margin-left:20px; border-left:2px solid #007bff; padding-left:10px; color:#555;'>🌐 <b>Wiki:</b> {wiki_text}</div>")
-                new_label, cot_text = refine_label_with_llm(word, text, wiki_text, custom_labels)
-                current_logs.append(f"<div style='margin-left:20px; border-left:2px solid #28a745; padding-left:10px;'>🧠 <b>CoT Analizi:</b> {cot_text}</div>")
-                res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": new_label, "Kaynak": "RAG+LLM"}
-            else:
-                current_logs.append(f"⚠️ '{word}' için Wikipedia kaydı bulunamadı.")
-                res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": "MISC", "Kaynak": "Model"}
-        
-        final_results.append(res)
-        # Tablo çıktısında Nihai Etiket bold yapılır
-        table_display = [[r["Varlık"], r["İlk Etiket"], f"<b>{r['Nihai Etiket']}</b>", r["Kaynak"]] for r in final_results]
-        yield "<br>".join(current_logs), table_display
-
-    current_logs.append("✨ <b>Analiz Tamamlandı.</b>")
-    yield "<br>".join(current_logs), [[r["Varlık"], r["İlk Etiket"], f"<b>{r['Nihai Etiket']}</b>", r["Kaynak"]] for r in final_results]
 
 # --- 4. GRADIO ARAYÜZÜ ---
 with gr.Blocks(title="RAG-NER Uzman Karar Destek Sistemi") as demo:
@@ -205,7 +172,6 @@ with gr.Blocks(title="RAG-NER Uzman Karar Destek Sistemi") as demo:
             lines=3
         )
         
-        # EKSİK OLAN ÖRNEKLER BÖLÜMÜ BURADA TANIMLANDI
         examples_list = [
             ["Türk yönetmen Nuri Bilge Ceylan, Venedik Film Festivali'nde Altın Aslan ödülünü kazandığı Kış Uykusu filmiyle uluslararası üne kavuştu."],
             ["Amerikalı yazar George Orwell'in ünlü kitabı 1984, Apple şirketinin Macintosh tanıtım reklamında ilham kaynağı olarak kullanılmış ve Windows işletim sistemine karşı bir metafor haline gelmişti."],
@@ -219,9 +185,7 @@ with gr.Blocks(title="RAG-NER Uzman Karar Destek Sistemi") as demo:
         )
         
         with gr.Row():
-            # Log çıktısı için HTML bileşeni
             log_output = gr.HTML(label="Sistem Günlüğü")
-            # Tablo çıktısı (Markdown desteği ile kalın yazıları gösterir)
             table_output = gr.Dataframe(
                 headers=["Varlık", "İlk Etiket", "Nihai Etiket", "Kaynak"], 
                 datatype="markdown",
@@ -230,7 +194,6 @@ with gr.Blocks(title="RAG-NER Uzman Karar Destek Sistemi") as demo:
         
         btn = gr.Button("Analiz Et", variant="primary")
         
-        # Buton fonksiyonu
         btn.click(
             process_ner, 
             inputs=input_text, 
@@ -239,7 +202,6 @@ with gr.Blocks(title="RAG-NER Uzman Karar Destek Sistemi") as demo:
 
 # --- 5. KULLANICI DENETİMİ (LOGIN) ---
 if __name__ == "__main__":
-  
     demo.launch(
         auth=("admin", "1113"),
         auth_message="Lütfen uzman paneline erişmek için giriş yapın."