Update ner_logic.py

ner_logic.py

@@ -6,46 +6,117 @@ import spaces
 from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 from labels_config import CUSTOM_LABELS
 
-# Modeller
-ner_pipe = pipeline("ner", model="xlm-roberta-large-finetuned-conll03-english", aggregation_strategy="simple", device=-1)
+# --- 1. MODEL YÜKLEME ---
+# NER Modeli: Varlıkları tespit eder
+ner_pipe = pipeline(
+    "ner", 
+    model="xlm-roberta-large-finetuned-conll03-english", 
+    aggregation_strategy="simple", 
+    device=-1
+)
+
+# LLM Modeli: Karar destek ve CoT analizi yapar
 model_id = "Qwen/Qwen2.5-1.5B-Instruct"
 tokenizer = AutoTokenizer.from_pretrained(model_id)
-llm_model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True)
+
+try:
+    llm_model = AutoModelForCausalLM.from_pretrained(
+        model_id, 
+        torch_dtype=torch.bfloat16, 
+        device_map="auto", 
+        trust_remote_code=True
+    )
+    IS_LLM_ENABLED = True
+except Exception as e:
+    print(f"LLM Yükleme Hatası: {e}")
+    IS_LLM_ENABLED = False
+
+# --- 2. YARDIMCI FONKSİYONLAR ---
 
 def get_wiki_summary(term):
+    """Wikipedia'dan terim hakkında özet bilgi çeker."""
     try:
         wikipedia.set_lang("tr")
         search_results = wikipedia.search(term)
         if not search_results: return None
+        # İlk sonucun özetini al
         return wikipedia.summary(search_results[0], sentences=2, auto_suggest=False)
-    except: return None
+    except:
+        return None
 
 @spaces.GPU
 def refine_labels_batch(misc_items, full_sentence):
-    if not misc_items: return []
-    device = "cuda" if torch.cuda.is_available() else "cpu"
+    """
+    Birden fazla MISC varlığını tek bir GPU çağrısında analiz eder.
+    Her varlık için ayrı ayrı Reasoning (Akıl Yürütme) üretir.
+    """
+    if not IS_LLM_ENABLED or not misc_items:
+        return []
     
-    label_rules = "".join([f"### {k}: {v['tanim']}\n" for k, v in CUSTOM_LABELS.items()])
-    targets = "".join([f"- VARLIK: {item['word']} | WIKI: {item['wiki']}\n" for item in misc_items])
+    device = "cuda" if torch.cuda.is_available() else "cpu"
 
-    prompt = f"""CÜMLE: "{full_sentence}"
-Aşağıdaki varlıkları analiz et. Her biri için SADECE şu JSON formatında yanıt ver:
-[{{ "varlik": "...", "analiz": "4 adımlı kısa CoT", "karar": "ETIKET" }}]
+    # Etiket tanımlarını LLM'e aktarılacak metne dönüştür
+    label_rules = ""
+    for k, v in CUSTOM_LABELS.items():
+        label_rules += f"### {k}\nTANIM: {v['tanim']}\nANAHTARLAR: {', '.join(v['anahtar_kelimeler'])}\n\n"
 
-VARLIKLAR:
-{targets}
+    # Analiz edilecek varlıkları listele
+    targets_text = ""
+    for i, item in enumerate(misc_items):
+        targets_text += f"VARLIK {i+1}: {item['word']}\nWIKIPEDIA BİLGİSİ: {item['wiki']}\n---\n"
 
-ETİKETLER:
+    prompt = f"""Sen bir semantik analiz uzmanısın. Aşağıdaki varlıkları orijinal cümledeki bağlamına ve Wikipedia bilgilerine dayanarak sınıflandır.
+
+ETİKET TANIMLARI:
 {label_rules}
 
-NOT: 'karar' alanına asla True/False yazma, sadece yukarıdaki etiket isimlerinden birini yaz."""
+ORİJİNAL CÜMLE: "{full_sentence}"
+
+GÖREV:
+Aşağıdaki her varlık için 4 adımlı (Sentaktik, Bilgi Entegrasyonu, Çelişki Denetimi, Karar) bir Reasoning süreci oluştur ve en uygun etiketi ata.
+Çıktıyı SADECE aşağıdaki JSON formatında ver, başka metin yazma:
+
+[
+  {{
+    "varlik": "Varlık Adı",
+    "reasoning": "1. Sentaktik İnceleme... 2. Bilgi Entegrasyonu... 3. Çelişki Denetimi... 4. Karar...",
+    "karar": "ETIKET_ADI"
+  }}
+]
+
+ANALİZ EDİLECEK VARLIKLAR:
+{targets_text}"""
 
-    inputs = tokenizer.apply_chat_template([{"role": "user", "content": prompt}], tokenize=False, add_generation_prompt=True)
-    model_inputs = tokenizer([inputs], return_tensors="pt").to(device)
+    # Chat Template Uygula
+    messages = [{"role": "user", "content": prompt}]
+    input_text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+    model_inputs = tokenizer([input_text], return_tensors="pt").to(device)
 
     try:
-        generated_ids = llm_model.generate(model_inputs.input_ids, max_new_tokens=1000, do_sample=False)
-        output = tokenizer.batch_decode(generated_ids[:, model_inputs.input_ids.shape[1]:], skip_special_tokens=True)[0]
-        json_match = re.search(r'\[\s*\{.*\}\s*\]', output, re.DOTALL)
-        return json.loads(json_match.group(0)) if json_match else []
-    except: return []
+        # Üretim ayarları
+        generated_ids = llm_model.generate(
+            model_inputs.input_ids, 
+            max_new_tokens=1500, 
+            do_sample=False, 
+            temperature=0.1
+        )
+        
+        # Yanıtı çözümle
+        response_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
+        full_output = tokenizer.batch_decode(response_ids, skip_special_tokens=True)[0].strip()
+        
+        # JSON Bloğunu Ayıkla
+        json_match = re.search(r'\[\s*\{.*\}\s*\]', full_output, re.DOTALL)
+        if json_match:
+            parsed_data = json.loads(json_match.group(0))
+            # Güvenlik Kontrolü: 'karar' alanının etiket listesinde olduğunu doğrula
+            valid_labels = list(CUSTOM_LABELS.keys())
+            for entry in parsed_data:
+                if entry['karar'] not in valid_labels:
+                    entry['karar'] = "MISC"
+            return parsed_data
+            
+        return []
+    except Exception as e:
+        print(f"LLM İşleme Hatası: {e}")
+        return []