Update ner_logic.py

ner_logic.py

@@ -1,122 +1,51 @@
 import torch
-import wikipedia
 import re
 import json
 import spaces
 from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 from labels_config import CUSTOM_LABELS
+from prompts import SYSTEM_COT_PROMPT  # Harici prompt modulu
 
-# --- 1. MODEL YÜKLEME ---
-# NER Modeli: Varlıkları tespit eder
-ner_pipe = pipeline(
-    "ner", 
-    model="xlm-roberta-large-finetuned-conll03-english", 
-    aggregation_strategy="simple", 
-    device=-1
-)
-
-# LLM Modeli: Karar destek ve CoT analizi yapar
+# Modellerin yuklenmesi (XLMR ve Qwen)
+ner_pipe = pipeline("ner", model="xlm-roberta-large-finetuned-conll03-english", aggregation_strategy="simple", device=-1)
 model_id = "Qwen/Qwen2.5-1.5B-Instruct"
 tokenizer = AutoTokenizer.from_pretrained(model_id)
-
-try:
-    llm_model = AutoModelForCausalLM.from_pretrained(
-        model_id, 
-        torch_dtype=torch.bfloat16, 
-        device_map="auto", 
-        trust_remote_code=True
-    )
-    IS_LLM_ENABLED = True
-except Exception as e:
-    print(f"LLM Yükleme Hatası: {e}")
-    IS_LLM_ENABLED = False
-
-# --- 2. YARDIMCI FONKSİYONLAR ---
-
-def get_wiki_summary(term):
-    """Wikipedia'dan terim hakkında özet bilgi çeker."""
-    try:
-        wikipedia.set_lang("tr")
-        search_results = wikipedia.search(term)
-        if not search_results: return None
-        # İlk sonucun özetini al
-        return wikipedia.summary(search_results[0], sentences=2, auto_suggest=False)
-    except:
-        return None
+llm_model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True)
 
 @spaces.GPU
 def refine_labels_batch(misc_items, full_sentence):
-    """
-    Birden fazla MISC varlığını tek bir GPU çağrısında analiz eder.
-    Her varlık için ayrı ayrı Reasoning (Akıl Yürütme) üretir.
-    """
-    if not IS_LLM_ENABLED or not misc_items:
-        return []
-    
+    if not misc_items: return []
     device = "cuda" if torch.cuda.is_available() else "cpu"
+    
+    # Etiket kurallari metni oluşturma
+    label_rules = "".join([f"### {k}: {v['tanim']}\n" for k, v in CUSTOM_LABELS.items()])
+    
+    # Varlik ve Wiki metni oluşturma
+    targets_text = "".join([f"- VARLIK: {item['word']} | WIKI: {item['wiki']}\n" for item in misc_items])
+
+    # Harici promptu doldurma
+    final_prompt = SYSTEM_COT_PROMPT.format(
+        label_rules=label_rules,
+        full_sentence=full_sentence,
+        targets=targets_text
+    )
 
-    # Etiket tanımlarını LLM'e aktarılacak metne dönüştür
-    label_rules = ""
-    for k, v in CUSTOM_LABELS.items():
-        label_rules += f"### {k}\nTANIM: {v['tanim']}\nANAHTARLAR: {', '.join(v['anahtar_kelimeler'])}\n\n"
-
-    # Analiz edilecek varlıkları listele
-    targets_text = ""
-    for i, item in enumerate(misc_items):
-        targets_text += f"VARLIK {i+1}: {item['word']}\nWIKIPEDIA BİLGİSİ: {item['wiki']}\n---\n"
-
-    prompt = f"""Sen bir semantik analiz uzmanısın. Aşağıdaki varlıkları orijinal cümledeki bağlamına ve Wikipedia bilgilerine dayanarak sınıflandır.
-
-ETİKET TANIMLARI:
-{label_rules}
-
-ORİJİNAL CÜMLE: "{full_sentence}"
-
-GÖREV:
-Aşağıdaki her varlık için 4 adımlı (Sentaktik, Bilgi Entegrasyonu, Çelişki Denetimi, Karar) bir Reasoning süreci oluştur ve en uygun etiketi ata.
-Çıktıyı SADECE aşağıdaki JSON formatında ver, başka metin yazma:
-
-[
-  {{
-    "varlik": "Varlık Adı",
-    "reasoning": "1. Sentaktik İnceleme... 2. Bilgi Entegrasyonu... 3. Çelişki Denetimi... 4. Karar...",
-    "karar": "ETIKET_ADI"
-  }}
-]
-
-ANALİZ EDİLECEK VARLIKLAR:
-{targets_text}"""
-
-    # Chat Template Uygula
-    messages = [{"role": "user", "content": prompt}]
-    input_text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
-    model_inputs = tokenizer([input_text], return_tensors="pt").to(device)
+    messages = [{"role": "user", "content": final_prompt}]
+    text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+    model_inputs = tokenizer([text], return_tensors="pt").to(device)
 
     try:
-        # Üretim ayarları
-        generated_ids = llm_model.generate(
-            model_inputs.input_ids, 
-            max_new_tokens=1500, 
-            do_sample=False, 
-            temperature=0.1
-        )
+        generated_ids = llm_model.generate(model_inputs.input_ids, max_new_tokens=1500, do_sample=False)
+        output = tokenizer.batch_decode(generated_ids[:, model_inputs.input_ids.shape[1]:], skip_special_tokens=True)[0]
         
-        # Yanıtı çözümle
-        response_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
-        full_output = tokenizer.batch_decode(response_ids, skip_special_tokens=True)[0].strip()
-        
-        # JSON Bloğunu Ayıkla
-        json_match = re.search(r'\[\s*\{.*\}\s*\]', full_output, re.DOTALL)
+        json_match = re.search(r'\[\s*\{.*\}\s*\]', output, re.DOTALL)
         if json_match:
-            parsed_data = json.loads(json_match.group(0))
-            # Güvenlik Kontrolü: 'karar' alanının etiket listesinde olduğunu doğrula
-            valid_labels = list(CUSTOM_LABELS.keys())
-            for entry in parsed_data:
-                if entry['karar'] not in valid_labels:
-                    entry['karar'] = "MISC"
-            return parsed_data
-            
+            results = json.loads(json_match.group(0))
+            # Karar alaninda True/False temizligi
+            for r in results:
+                if not isinstance(r.get("karar"), str) or r["karar"] in ["True", "False"]:
+                    r["karar"] = "MISC"
+            return results
         return []
-    except Exception as e:
-        print(f"LLM İşleme Hatası: {e}")
+    except:
         return []