Update ner_logic.py

ner_logic.py

@@ -1,42 +1,22 @@
 import torch
-import wikipedia  # Hata almamak için pip install wikipedia yapılmalı
-import re
 import json
-import spaces
-from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
+import re
+from transformers import AutoTokenizer, AutoModelForCausalLM
 from labels_config import CUSTOM_LABELS
 from prompts import SYSTEM_COT_PROMPT
+import spaces
 
-# --- MODELLER ---
-ner_pipe = pipeline("ner", model="xlm-roberta-large-finetuned-conll03-english", aggregation_strategy="simple", device=-1)
-model_id = "Qwen/Qwen2.5-1.5B-Instruct"
-tokenizer = AutoTokenizer.from_pretrained(model_id)
-llm_model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True)
-
-def get_wiki_summary(term):
-    """Wikipedia'dan bilgi çeken kritik fonksiyon."""
-    try:
-        wikipedia.set_lang("tr")
-        search_results = wikipedia.search(term)
-        if not search_results: 
-            return "Wikipedia'da bu terim için sonuç bulunamadı."
-        # İlk sonucun özetini al
-        summary = wikipedia.summary(search_results[0], sentences=2, auto_suggest=False)
-        return summary
-    except Exception as e:
-        return f"Wikipedia sorgu hatası: {str(e)}"
+# Global modeller (Örnek olarak Qwen kullanılmıştır)
+tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-1.5B-Instruct")
+llm_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-1.5B-Instruct", torch_dtype="auto", device_map="auto")
 
 @spaces.GPU
 def refine_labels_batch(misc_items, full_sentence):
-    if not misc_items: 
-        return []
-    
-    device = "cuda" if torch.cuda.is_available() else "cpu"
+    if not misc_items: return []
     
-    # Label kurallarını oluşturma
     label_rules = ""
     for k, v in CUSTOM_LABELS.items():
-        label_rules += f"### {k}\nTANIM: {v['tanim']}\nANAHTARLAR: {', '.join(v['anahtar_kelimeler'])}\nORNEKLER: {', '.join(v.get('ornekler', []))}\n\n"
+        label_rules += f"### {k}\nTANIM: {v['tanim']}\nANAHTARLAR: {', '.join(v['anahtar_kelimeler'])}\n\n"
     
     targets_text = "".join([f"- VARLIK: {item['word']} | WIKI: {item['wiki']}\n" for item in misc_items])
     
@@ -48,37 +28,26 @@ def refine_labels_batch(misc_items, full_sentence):
     
     messages = [{"role": "user", "content": final_prompt}]
     text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
-    model_inputs = tokenizer([text], return_tensors="pt").to(device)
+    model_inputs = tokenizer([text], return_tensors="pt").to(llm_model.device)
     
     try:
-        # LLM Üretimi
-        generated_ids = llm_model.generate(
-            model_inputs.input_ids, 
-            max_new_tokens=1500, 
-            do_sample=False
-        )
+        generated_ids = llm_model.generate(model_inputs.input_ids, max_new_tokens=1500, do_sample=False)
         output = tokenizer.batch_decode(generated_ids[:, model_inputs.input_ids.shape[1]:], skip_special_tokens=True)[0]
         
-        # JSON bloğunu ayıklamak için regex kullan (try bloğu içinde kalmalı)
-        json_match = re.search(r'\[.*\]', output, re.DOTALL)
-        
+        json_match = re.search(r'\[\s*\{.*\}\s*\]', output, re.DOTALL)
         if json_match:
-            raw_json = json_match.group(0)
+            raw_json = json_match.group(0).strip()
+            if raw_json.count('{') > raw_json.count('}'): raw_json += "}]"
             
-            # Eksik parantez kontrolü ve tamamlama
-            if raw_json.count('{') > raw_json.count('}'):
-                raw_json += "}]"
-            
-            # JSON Parse işlemi
             results = json.loads(raw_json)
+            # app.py uyumu için anahtar kontrolü
+            for r in results:
+                if 'karar' not in r: r['karar'] = "MISC"
+                if 'reasoning' not in r: r['reasoning'] = "Analiz adımları oluşturulamadı."
             return results
         else:
-            print(f"LLM Yanlış Format Döndürdü: {output}")
+            print(f"Format Hatası: {output}")
             return []
-
-    except json.JSONDecodeError as e:
-        print(f"JSON Çözümleme Hatası: {str(e)}")
-        return []
     except Exception as e:
-        print(f"Süreç Hatası: {str(e)}")
+        print(f"Hata: {str(e)}")
         return []