apak commited on
Commit
70af7a1
·
verified ·
1 Parent(s): 2d89f47

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +82 -55
app.py CHANGED
@@ -5,6 +5,7 @@ import os
5
  import re
6
  import gradio as gr
7
  from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 
8
 
9
  # --- 1. MODELLERİN HAZIRLANMASI ---
10
  ner_pipe = pipeline("ner", model="xlm-roberta-large-finetuned-conll03-english", aggregation_strategy="simple", device=-1)
@@ -36,90 +37,116 @@ def get_random_examples():
36
  except:
37
  return [["Oppenheimer filmi geçen yıl vizyona girdi."], ["Sefiller romanı Victor Hugo tarafından yazılmıştır."]]
38
 
 
 
39
  @spaces.GPU
40
- def refine_label_with_llm(entity_text, full_sentence, wiki_context, custom_label_definitions):
41
- if not IS_LLM_ENABLED: return "MISC", "LLM Aktif Değil"
 
 
 
 
42
 
43
  device = "cuda" if torch.cuda.is_available() else "cpu"
44
  llm_model.to(device)
45
 
46
- # 1. Etiket Tanımları (Bilgi Kaynağı)
47
  label_rules = ""
48
- for k, v in custom_label_definitions.items():
49
  label_rules += f"### {k}\n- TANIM: {v['tanim']}\n- ANAHTARLAR: {', '.join(v['anahtar_kelimeler'])}\n\n"
50
 
51
- # 2. Sistematik CoT ve Kuralların Tanımlanması
52
- prompt = f"""Sen yüksek hassasiyetli bir semantik analiz uzmanısın.
53
- Görevin, '[[{entity_text}]]' varlığını aşağıdaki 4 adımlı Sistematik CoT protokolüne göre sınıflandırmaktır.
 
 
 
 
54
 
55
  ETİKET TANIMLARI:
56
  {label_rules}
57
 
58
  SİSTEMATİK CoT ADIMLARI:
59
- 1. **Sentaktik İnceleme:** Cümle içinde varlığın sağındaki ve solundaki kelimeleri (niteleyicileri) tespit et. Varlık bir fiille mi (yazıldı, vizyona girdi) yoksa bir isimle mi (yazılımı, ödülü) ilişkili?
60
- 2. **Bilgi Entegrasyonu:** Wikipedia verisindeki genel tanımı oku. Varlığın tarihsel veya teknik kimliğini belirle.
61
- 3. **Çelişki ve Hiyerarşi Denetimi:** Wikipedia bilgisi ile cümledeki kullanım amacı çelişiyor mu? (Örn: Wiki 'film' diyor ama cümle 'kitap' diyorsa, cümledeki kullanım esastır).
62
- 4. **Etiket Eşleşmesi:** Elde edilen nihai kanıtları, 'ETİKET TANIMLARI'ndaki en yakın kategoriyle eşleştir ve son kararı ver.
63
 
64
  REFERANS ANALİZLER (FEW-SHOT):
65
- Örnek 1 (Tam Uyum):
66
- VARLIK: 'Inception'
67
- CÜMLE: "Dün gece Inception filmini tekrar izledim."
68
- WIKI: "Inception, Christopher Nolan tarafından yönetilen 2010 yapımı bilimkurgu filmidir."
69
- ANALİZ:
70
- - Adım 1: Cümlede 'film' ve 'izlemek' kelimeleri görsel esere işaret ediyor.
71
- - Adım 2: Wiki verisi varlığın bir film olduğunu doğruluyor.
72
- - Adım 3: Kaynaklar arasında çelişki yok.
73
- - Adım 4: MOVIE etiketi uygundur.
74
- CEVAP: MOVIE
75
-
76
- Örnek 2 (Kritik Çelişki):
77
- VARLIK: 'Gizli Bahçe'
78
- CÜMLE: "Yazar son romanı 'Gizli Bahçe' ile ödül aldı."
79
- WIKI: "Gizli Bahçe: 1993 yapımı bir dram filmidir."
80
- ANALİZ:
81
- - Adım 1: Cümlede 'roman' ve 'yazar' kelimeleri varlığı doğrudan kitap olarak niteliyor.
82
- - Adım 2: Wiki verisi bu ismi bir film (movie) olarak gösteriyor.
83
- - Adım 3: ÇELİŞKİ TESPİT EDİLDİ. Kaynak hiyerarşisi gereği cümledeki 'roman' ifadesi Wikipedia'dan daha önceliklidir.
84
- - Adım 4: BOOK etiketi uygundur.
85
- CEVAP: BOOK
86
 
87
  GÜNCEL GÖREV:
88
- - HEDEF VARLIK: {entity_text}
89
- - ORİJİNAL CÜMLE: "{full_sentence}"
90
- - HARİCİ BİLGİ (Wikipedia): "{wiki_context}"
91
-
92
- ÇIKTI KURALLARI:
93
- - Cevabında asla yıldız (*) veya markdown kullanma.
94
- - Analiz adımlarını yukarıdaki 4 adımlı protokole göre yaz.
95
 
96
- ÇIKTI FORMATI:
97
- Analiz: [4 Adımlı CoT Analizi]
98
- Cevap: [SADECE_ETIKET_ADI]"""
 
 
 
99
 
100
  messages = [{"role": "user", "content": prompt}]
101
  text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
102
  model_inputs = tokenizer([text], return_tensors="pt").to(device)
103
 
104
  try:
105
- generated_ids = llm_model.generate(model_inputs.input_ids, max_new_tokens=450, do_sample=False, temperature=0.1)
106
  response_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
107
  full_output = tokenizer.batch_decode(response_ids, skip_special_tokens=True)[0].strip()
108
 
109
- # Markdown temizliği ve Etiket Ayıklama
110
- clean_output = full_output.replace("*", "")
111
- final_label = "MISC"
112
- valid_keys = list(custom_label_definitions.keys())
113
- match = re.search(r"Cevap:\s*([A-Z_]+)", clean_output, re.IGNORECASE)
114
-
115
- if match:
116
- extracted = match.group(1).upper().strip()
117
- if extracted in valid_keys: final_label = extracted
118
-
119
- return final_label, clean_output
120
  except Exception as e:
121
- return "MISC", f"Hata: {str(e)}"
 
122
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
123
  # --- 3. ANA İŞLEM HATTI ---
124
  def process_ner(text):
125
  current_logs = ["🚀 <b>Sistem Başlatıldı:</b> Metin analiz ediliyor..."]
 
5
  import re
6
  import gradio as gr
7
  from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
8
+ from labels_config import CUSTOM_LABELS
9
 
10
  # --- 1. MODELLERİN HAZIRLANMASI ---
11
  ner_pipe = pipeline("ner", model="xlm-roberta-large-finetuned-conll03-english", aggregation_strategy="simple", device=-1)
 
37
  except:
38
  return [["Oppenheimer filmi geçen yıl vizyona girdi."], ["Sefiller romanı Victor Hugo tarafından yazılmıştır."]]
39
 
40
+
41
+
42
  @spaces.GPU
43
+ def refine_labels_batch(misc_items, full_sentence):
44
+ """
45
+ MISC etiketli varlıkları toplu olarak CoT protokolüyle işler.
46
+ misc_items: list of dict -> [{'word': '...', 'wiki': '...'}, ...]
47
+ """
48
+ if not IS_LLM_ENABLED or not misc_items: return []
49
 
50
  device = "cuda" if torch.cuda.is_available() else "cpu"
51
  llm_model.to(device)
52
 
53
+ # Etiket kurallarını metne dönüştür
54
  label_rules = ""
55
+ for k, v in CUSTOM_LABEL_DEFINITIONS.items():
56
  label_rules += f"### {k}\n- TANIM: {v['tanim']}\n- ANAHTARLAR: {', '.join(v['anahtar_kelimeler'])}\n\n"
57
 
58
+ # Hedef varlıkları listele
59
+ targets_text = ""
60
+ for i, item in enumerate(misc_items):
61
+ targets_text += f"\nVARLIK {i+1}: {item['word']}\nWIKI BİLGİSİ: {item['wiki']}\n"
62
+
63
+ prompt = f"""Sen yüksek hassasiyetli bir semantik analiz uzmanısın.
64
+ Görevin, sana verilen listedeki varlıkları aşağıdaki 4 adımlı Sistematik CoT protokolüne göre sınıflandırmaktır.
65
 
66
  ETİKET TANIMLARI:
67
  {label_rules}
68
 
69
  SİSTEMATİK CoT ADIMLARI:
70
+ 1. Sentaktik İnceleme (Cümle bağlamı)
71
+ 2. Bilgi Entegrasyonu (Wikipedia verisi)
72
+ 3. Çelişki ve Hiyerarşi Denetimi (Cümle bilgisi Wikipedia'dan üstündür)
73
+ 4. Etiket Eşleşmesi
74
 
75
  REFERANS ANALİZLER (FEW-SHOT):
76
+ Örnek 1: 'Inception' | Cümle: 'Inception filmini izledim' | Wiki: '2010 yapımı film' -> Cevap: MOVIE
77
+ Örnek 2: 'Gizli Bahçe' | Cümle: 'Yazar son romanı Gizli Bahçe ile...' | Wiki: '1993 yapımı film' -> Cevap: BOOK (Cümle öncelikli)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
78
 
79
  GÜNCEL GÖREV:
80
+ ORİJİNAL CÜMLE: "{full_sentence}"
81
+ ANALİZ EDİLECEK VARLIKLAR:
82
+ {targets_text}
 
 
 
 
83
 
84
+ ÇIKTI FORMATI:
85
+ Sadece aşağıdaki JSON yapısını döndür, başka açıklama ekleme:
86
+ [
87
+ {{"varlik": "VARLIK_ADI", "analiz": "Adım 1-2-3-4 özeti", "karar": "ETIKET_ADI"}},
88
+ ...
89
+ ]"""
90
 
91
  messages = [{"role": "user", "content": prompt}]
92
  text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
93
  model_inputs = tokenizer([text], return_tensors="pt").to(device)
94
 
95
  try:
96
+ generated_ids = llm_model.generate(model_inputs.input_ids, max_new_tokens=1000, do_sample=False, temperature=0.1)
97
  response_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
98
  full_output = tokenizer.batch_decode(response_ids, skip_special_tokens=True)[0].strip()
99
 
100
+ # JSON Ayıklama
101
+ json_match = re.search(r'\[.*\]', full_output, re.DOTALL)
102
+ if json_match:
103
+ return json.loads(json_match.group(0))
104
+ return []
 
 
 
 
 
 
105
  except Exception as e:
106
+ print(f"Batch Hatası: {e}")
107
+ return []
108
 
109
+ def process_ner(text):
110
+ current_logs = ["🚀 <b>Sistem Başlatıldı:</b> Metin analiz ediliyor..."]
111
+ final_results = []
112
+ misc_buffer = [] # Toplanacak MISC varlıklar
113
+
114
+ initial_results = ner_pipe(text)
115
+
116
+ # 1. Aşama: Hızlı Tespit ve MISC Toplama
117
+ for entity in initial_results:
118
+ word = entity['word'].replace(" ", " ").strip()
119
+ label = entity['entity_group']
120
+
121
+ if label in ["PER", "ORG", "LOC"]:
122
+ final_results.append({"Varlık": word, "İlk": label, "Nihai": label, "Kaynak": "Model"})
123
+ current_logs.append(f"✅ <b>{word}</b>: {label}")
124
+ elif label == "MISC":
125
+ wiki_text = get_wiki_summary(word)
126
+ misc_buffer.append({"word": word, "wiki": wiki_text or "Bilgi yok."})
127
+ current_logs.append(f"🔍 <b>Kuyruğa Alındı:</b> '{word}' (Wiki sorgulandı)")
128
+
129
+ yield "<br>".join(current_logs), [[r["Varlık"], r["İlk"], r["Nihai"], r["Kaynak"]] for r in final_results]
130
+
131
+ # 2. Aşama: Batch LLM İşleme
132
+ if misc_buffer:
133
+ current_logs.append(f"🧠 <b>Batch İşlem:</b> {len(misc_buffer)} varlık CoT ile analiz ediliyor...")
134
+ yield "<br>".join(current_logs), [[r["Varlık"], r["İlk"], r["Nihai"], r["Kaynak"]] for r in final_results]
135
+
136
+ llm_responses = refine_labels_batch(misc_buffer, text)
137
+
138
+ for res in llm_responses:
139
+ final_results.append({
140
+ "Varlık": res['varlik'],
141
+ "İlk": "MISC",
142
+ "Nihai": res['karar'],
143
+ "Kaynak": "RAG+Batch LLM"
144
+ })
145
+ current_logs.append(f"<div style='color:#28a745;'>💡 <b>{res['varlik']}</b> analizi tamamlandı.</div>")
146
+
147
+ current_logs.append("✨ <b>Analiz Tamamlandı.</b>")
148
+ table_display = [[r["Varlık"], r["İlk"], f"<b>{r['Nihai']}</b>", r["Kaynak"]] for r in final_results]
149
+ yield "<br>".join(current_logs), table_display
150
  # --- 3. ANA İŞLEM HATTI ---
151
  def process_ner(text):
152
  current_logs = ["🚀 <b>Sistem Başlatıldı:</b> Metin analiz ediliyor..."]