Update ner_logic.py

ner_logic.py

@@ -1,23 +1,57 @@
 import torch
 import json
 import re
-from transformers import AutoTokenizer, AutoModelForCausalLM
+import wikipedia
+from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
 from labels_config import CUSTOM_LABELS
 from prompts import SYSTEM_COT_PROMPT
 import spaces
 
-# Global modeller (Örnek olarak Qwen kullanılmıştır)
-tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-1.5B-Instruct")
-llm_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-1.5B-Instruct", torch_dtype="auto", device_map="auto")
+# Dil ayarını Türkçe yapalım
+wikipedia.set_lang("tr")
+
+# 1. NER Modeli (Standart etiketler için)
+ner_pipe = pipeline(
+    "ner", 
+    model="xlm-roberta-large-finetuned-conll03-english", 
+    aggregation_strategy="simple",
+    device=0 if torch.cuda.is_available() else -1
+)
+
+# 2. LLM Modeli ve Tokenizer (Muhakeme için)
+model_name = "Qwen/Qwen2.5-1.5B-Instruct"
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+llm_model = AutoModelForCausalLM.from_pretrained(
+    model_name, 
+    dtype="auto", 
+    device_map="auto"
+)
+
+def get_wiki_summary(query):
+    """Wikipedia'dan varlık hakkında kısa özet getirir."""
+    try:
+        # En yakın başlığı bul
+        search_results = wikipedia.search(query)
+        if not search_results:
+            return None
+        # İlk sonucun özetini al
+        summary = wikipedia.summary(search_results[0], sentences=2, auto_suggest=False)
+        return summary
+    except:
+        return None
 
 @spaces.GPU
 def refine_labels_batch(misc_items, full_sentence):
-    if not misc_items: return []
+    """MISC varlıkları LLM ile yeniden analiz eder."""
+    if not misc_items: 
+        return []
     
+    # Label kurallarını metne dönüştür
     label_rules = ""
     for k, v in CUSTOM_LABELS.items():
         label_rules += f"### {k}\nTANIM: {v['tanim']}\nANAHTARLAR: {', '.join(v['anahtar_kelimeler'])}\n\n"
     
+    # Analiz edilecek varlıkları metne dönüştür
     targets_text = "".join([f"- VARLIK: {item['word']} | WIKI: {item['wiki']}\n" for item in misc_items])
     
     final_prompt = SYSTEM_COT_PROMPT.format(
@@ -31,23 +65,36 @@ def refine_labels_batch(misc_items, full_sentence):
     model_inputs = tokenizer([text], return_tensors="pt").to(llm_model.device)
     
     try:
-        generated_ids = llm_model.generate(model_inputs.input_ids, max_new_tokens=1500, do_sample=False)
+        generated_ids = llm_model.generate(
+            model_inputs.input_ids, 
+            max_new_tokens=1500, 
+            do_sample=False
+        )
         output = tokenizer.batch_decode(generated_ids[:, model_inputs.input_ids.shape[1]:], skip_special_tokens=True)[0]
         
+        # JSON bloğunu ayıkla
         json_match = re.search(r'\[\s*\{.*\}\s*\]', output, re.DOTALL)
+        
         if json_match:
             raw_json = json_match.group(0).strip()
-            if raw_json.count('{') > raw_json.count('}'): raw_json += "}]"
+            
+            # Basit JSON tamamlama
+            if raw_json.count('{') > raw_json.count('}'):
+                raw_json += "}]"
             
             results = json.loads(raw_json)
-            # app.py uyumu için anahtar kontrolü
+            
+            # app.py'de KeyError almamak için anahtar kontrolü
             for r in results:
                 if 'karar' not in r: r['karar'] = "MISC"
-                if 'reasoning' not in r: r['reasoning'] = "Analiz adımları oluşturulamadı."
+                if 'reasoning' not in r: r['reasoning'] = "Analiz süreci tamamlanamadı."
+                if 'varlik' not in r: r['varlik'] = "Bilinmeyen"
+                
             return results
         else:
-            print(f"Format Hatası: {output}")
+            print(f"LLM Yanlış Format Döndürdü: {output}")
             return []
+
     except Exception as e:
-        print(f"Hata: {str(e)}")
+        print(f"Süreç Hatası: {str(e)}")
         return []