Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
|
@@ -45,51 +45,58 @@ def refine_label_with_llm(entity_text, wiki_context, custom_label_definitions):
|
|
| 45 |
if next(gen_pipe.model.parameters()).device.type != "cuda":
|
| 46 |
gen_pipe.model.to("cuda")
|
| 47 |
|
| 48 |
-
|
|
|
|
| 49 |
|
| 50 |
-
prompt = f"""
|
| 51 |
|
| 52 |
-
|
| 53 |
{label_defs_str}
|
| 54 |
|
| 55 |
GÖREV:
|
| 56 |
VARLIK: {entity_text}
|
| 57 |
-
|
| 58 |
|
| 59 |
-
|
| 60 |
-
1.
|
| 61 |
-
2.
|
|
|
|
| 62 |
|
| 63 |
-
|
| 64 |
-
|
|
|
|
| 65 |
|
| 66 |
messages = [{"role": "user", "content": prompt}]
|
| 67 |
try:
|
| 68 |
-
|
|
|
|
| 69 |
full_output = outputs[0]["generated_text"][-1]["content"].strip()
|
| 70 |
|
| 71 |
-
#
|
| 72 |
final_label = "MISC"
|
| 73 |
valid_keys = list(custom_label_definitions.keys())
|
| 74 |
|
| 75 |
-
#
|
| 76 |
-
|
| 77 |
-
|
| 78 |
-
|
| 79 |
-
|
| 80 |
-
|
|
|
|
|
|
|
| 81 |
|
| 82 |
-
#
|
| 83 |
if final_label == "MISC":
|
| 84 |
-
|
| 85 |
-
|
| 86 |
-
|
|
|
|
|
|
|
| 87 |
break
|
| 88 |
-
|
| 89 |
-
return final_label, full_output
|
| 90 |
-
except:
|
| 91 |
-
return "MISC", "LLM Hatası"
|
| 92 |
|
|
|
|
|
|
|
|
|
|
| 93 |
# --- 3. ANA SÜREÇ ---
|
| 94 |
|
| 95 |
def process_ner(text):
|
|
|
|
| 45 |
if next(gen_pipe.model.parameters()).device.type != "cuda":
|
| 46 |
gen_pipe.model.to("cuda")
|
| 47 |
|
| 48 |
+
# Tanımları daha vurgulu hale getiriyoruz
|
| 49 |
+
label_defs_str = "\n".join([f"KATEGORİ: {k} -> TANIM: {v}" for k, v in custom_label_definitions.items()])
|
| 50 |
|
| 51 |
+
prompt = f"""Bir dil bilimci gibi davran ve aşağıdaki Wikipedia bağlamını analiz ederek varlığı EN UYGUN kategoriye yerleştir.
|
| 52 |
|
| 53 |
+
KATEGORİ LİSTESİ VE TANIMLAR:
|
| 54 |
{label_defs_str}
|
| 55 |
|
| 56 |
GÖREV:
|
| 57 |
VARLIK: {entity_text}
|
| 58 |
+
WIKIPEDIA BAĞLAMI: {wiki_context}
|
| 59 |
|
| 60 |
+
ADIM ADIM ANALİZ:
|
| 61 |
+
1. Wikipedia bağlamındaki 'roman', 'film', 'ödül', 'yazılım', 'millet' gibi anahtar kelimeleri tespit et.
|
| 62 |
+
2. Bu kelimelerin hangi KATEGORİ tanımına uyduğunu belirle.
|
| 63 |
+
3. Sadece kategori listesindeki anahtar kelimeyi (Örn: BOOK, SOFTWARE, NORP) cevap olarak seç.
|
| 64 |
|
| 65 |
+
ANALİZ SONUCU:
|
| 66 |
+
Gerekçe: [Burada bağlamdaki anahtar kelimeyi ve seçtiğin kategoriyi açıkla]
|
| 67 |
+
Cevap: [Sadece Kategori Adı]"""
|
| 68 |
|
| 69 |
messages = [{"role": "user", "content": prompt}]
|
| 70 |
try:
|
| 71 |
+
# Daha uzun cevap üretmesine izin veriyoruz ki analizi görelim
|
| 72 |
+
outputs = gen_pipe(messages, max_new_tokens=150, do_sample=False, temperature=0.1)
|
| 73 |
full_output = outputs[0]["generated_text"][-1]["content"].strip()
|
| 74 |
|
| 75 |
+
# --- ANALİZİN SONUCA DÖNÜŞTÜRÜLMESİ (HATA TOLERANSLI) ---
|
| 76 |
final_label = "MISC"
|
| 77 |
valid_keys = list(custom_label_definitions.keys())
|
| 78 |
|
| 79 |
+
# Strateji 1: 'Cevap:' satırını ara
|
| 80 |
+
lines = full_output.split('\n')
|
| 81 |
+
for line in reversed(lines): # Sondan başla (genelde cevap sondadır)
|
| 82 |
+
if "Cevap:" in line:
|
| 83 |
+
found = re.sub(r'[^A-Z]', '', line.split("Cevap:")[-1].strip().upper())
|
| 84 |
+
if found in valid_keys:
|
| 85 |
+
final_label = found
|
| 86 |
+
break
|
| 87 |
|
| 88 |
+
# Strateji 2: Eğer hala MISC ise, tüm çıktıda geçerli etiketleri tara
|
| 89 |
if final_label == "MISC":
|
| 90 |
+
# Çıktıdaki kelimeleri tek tek kontrol et
|
| 91 |
+
words_in_output = re.findall(r'\b[A-Z_]{3,}\b', full_output.upper())
|
| 92 |
+
for w in words_in_output:
|
| 93 |
+
if w in valid_keys:
|
| 94 |
+
final_label = w
|
| 95 |
break
|
|
|
|
|
|
|
|
|
|
|
|
|
| 96 |
|
| 97 |
+
return final_label, full_output
|
| 98 |
+
except Exception as e:
|
| 99 |
+
return "MISC", f"Hata: {str(e)}"
|
| 100 |
# --- 3. ANA SÜREÇ ---
|
| 101 |
|
| 102 |
def process_ner(text):
|