apak commited on
Commit
78790c0
·
verified ·
1 Parent(s): e1cbf3d

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +32 -25
app.py CHANGED
@@ -45,51 +45,58 @@ def refine_label_with_llm(entity_text, wiki_context, custom_label_definitions):
45
  if next(gen_pipe.model.parameters()).device.type != "cuda":
46
  gen_pipe.model.to("cuda")
47
 
48
- label_defs_str = "\n".join([f"- {k}: {v}" for k, v in custom_label_definitions.items()])
 
49
 
50
- prompt = f"""Görevin, Wikipedia bağlamını kullanarak varlığı en uygun etikete yerleştirmektir.
51
 
52
- ETİKET TANIMLARI:
53
  {label_defs_str}
54
 
55
  GÖREV:
56
  VARLIK: {entity_text}
57
- BAĞLAM: {wiki_context}
58
 
59
- Kurallar:
60
- 1. SADECE yukarıdaki etiketlerden birini seç.
61
- 2. Cevabını şu formatta bitir: 'Cevap: ETİKET_ADI'
 
62
 
63
- Gerekçe: [Analiz]
64
- Cevap:"""
 
65
 
66
  messages = [{"role": "user", "content": prompt}]
67
  try:
68
- outputs = gen_pipe(messages, max_new_tokens=100, do_sample=False, temperature=0.1)
 
69
  full_output = outputs[0]["generated_text"][-1]["content"].strip()
70
 
71
- # ETİKET AYIKLAMA MANTIĞI (GÜÇLENDİRİLDİ)
72
  final_label = "MISC"
73
  valid_keys = list(custom_label_definitions.keys())
74
 
75
- # Önce 'Cevap:' satırını ara
76
- match = re.search(r"Cevap:\s*([A-Z_]+)", full_output, re.IGNORECASE)
77
- if match:
78
- extracted = match.group(1).upper()
79
- if extracted in valid_keys:
80
- final_label = extracted
 
 
81
 
82
- # Eğer 'Cevap:' ile bulunamadıysa, tüm çıktı içinde etiket isimlerini tara
83
  if final_label == "MISC":
84
- for key in valid_keys:
85
- if key in full_output.upper():
86
- final_label = key
 
 
87
  break
88
-
89
- return final_label, full_output
90
- except:
91
- return "MISC", "LLM Hatası"
92
 
 
 
 
93
  # --- 3. ANA SÜREÇ ---
94
 
95
  def process_ner(text):
 
45
  if next(gen_pipe.model.parameters()).device.type != "cuda":
46
  gen_pipe.model.to("cuda")
47
 
48
+ # Tanımları daha vurgulu hale getiriyoruz
49
+ label_defs_str = "\n".join([f"KATEGORİ: {k} -> TANIM: {v}" for k, v in custom_label_definitions.items()])
50
 
51
+ prompt = f"""Bir dil bilimci gibi davran ve aşağıdaki Wikipedia bağlamını analiz ederek varlığı EN UYGUN kategoriye yerleştir.
52
 
53
+ KATEGORİ LİSTESİ VE TANIMLAR:
54
  {label_defs_str}
55
 
56
  GÖREV:
57
  VARLIK: {entity_text}
58
+ WIKIPEDIA BAĞLAMI: {wiki_context}
59
 
60
+ ADIM ADIM ANALİZ:
61
+ 1. Wikipedia bağlamındaki 'roman', 'film', 'ödül', 'yazılım', 'millet' gibi anahtar kelimeleri tespit et.
62
+ 2. Bu kelimelerin hangi KATEGORİ tanımına uyduğunu belirle.
63
+ 3. Sadece kategori listesindeki anahtar kelimeyi (Örn: BOOK, SOFTWARE, NORP) cevap olarak seç.
64
 
65
+ ANALİZ SONUCU:
66
+ Gerekçe: [Burada bağlamdaki anahtar kelimeyi ve seçtiğin kategoriyi açıkla]
67
+ Cevap: [Sadece Kategori Adı]"""
68
 
69
  messages = [{"role": "user", "content": prompt}]
70
  try:
71
+ # Daha uzun cevap üretmesine izin veriyoruz ki analizi görelim
72
+ outputs = gen_pipe(messages, max_new_tokens=150, do_sample=False, temperature=0.1)
73
  full_output = outputs[0]["generated_text"][-1]["content"].strip()
74
 
75
+ # --- ANALİZİN SONUCA DÖNÜŞTÜRÜLMESİ (HATA TOLERANSLI) ---
76
  final_label = "MISC"
77
  valid_keys = list(custom_label_definitions.keys())
78
 
79
+ # Strateji 1: 'Cevap:' satırını ara
80
+ lines = full_output.split('\n')
81
+ for line in reversed(lines): # Sondan başla (genelde cevap sondadır)
82
+ if "Cevap:" in line:
83
+ found = re.sub(r'[^A-Z]', '', line.split("Cevap:")[-1].strip().upper())
84
+ if found in valid_keys:
85
+ final_label = found
86
+ break
87
 
88
+ # Strateji 2: Eğer hala MISC ise, tüm çıktıda geçerli etiketleri tara
89
  if final_label == "MISC":
90
+ # Çıktıdaki kelimeleri tek tek kontrol et
91
+ words_in_output = re.findall(r'\b[A-Z_]{3,}\b', full_output.upper())
92
+ for w in words_in_output:
93
+ if w in valid_keys:
94
+ final_label = w
95
  break
 
 
 
 
96
 
97
+ return final_label, full_output
98
+ except Exception as e:
99
+ return "MISC", f"Hata: {str(e)}"
100
  # --- 3. ANA SÜREÇ ---
101
 
102
  def process_ner(text):