apak commited on
Commit
a11b1a3
·
verified ·
1 Parent(s): 78790c0

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +50 -40
app.py CHANGED
@@ -7,6 +7,7 @@ import gradio as gr
7
  from transformers import pipeline
8
 
9
  # --- 1. MODELLERİN HAZIRLANMASI ---
 
10
  ner_pipe = pipeline(
11
  "ner",
12
  model="xlm-roberta-large-finetuned-conll03-english",
@@ -14,6 +15,7 @@ ner_pipe = pipeline(
14
  device="cpu"
15
  )
16
 
 
17
  model_id = "Qwen/Qwen2.5-1.5B-Instruct"
18
  try:
19
  gen_pipe = pipeline(
@@ -27,91 +29,91 @@ try:
27
  except Exception as e:
28
  IS_LLM_ENABLED = False
29
 
30
- # --- 2. FONKSİYONLAR ---
31
 
32
  def get_wiki_summary(term):
 
33
  try:
34
  wikipedia.set_lang("tr")
35
  search_results = wikipedia.search(term)
36
  if not search_results: return None
 
37
  return wikipedia.summary(search_results[0], sentences=2, auto_suggest=False)
38
  except:
39
  return None
40
 
41
  @spaces.GPU
42
  def refine_label_with_llm(entity_text, wiki_context, custom_label_definitions):
 
43
  if not IS_LLM_ENABLED: return "MISC", "LLM Aktif Değil"
44
 
 
45
  if next(gen_pipe.model.parameters()).device.type != "cuda":
46
  gen_pipe.model.to("cuda")
47
 
48
- # Tanımları daha vurgulu hale getiriyoruz
49
  label_defs_str = "\n".join([f"KATEGORİ: {k} -> TANIM: {v}" for k, v in custom_label_definitions.items()])
50
 
51
- prompt = f"""Bir dil bilimci gibi davran ve aşağıdaki Wikipedia bağlamını analiz ederek varlığı EN UYGUN kategoriye yerleştir.
52
 
53
- KATEGORİ LİSTESİ VE TANIMLAR:
54
  {label_defs_str}
55
 
56
- GÖREV:
57
  VARLIK: {entity_text}
58
  WIKIPEDIA BAĞLAMI: {wiki_context}
59
 
60
- ADIM ADIM ANALİZ:
61
- 1. Wikipedia bağlamındaki 'roman', 'film', 'ödül', 'yazılım', 'millet' gibi anahtar kelimeleri tespit et.
62
- 2. Bu kelimelerin hangi KATEGORİ tanımına uyduğunu belirle.
63
- 3. Sadece kategori listesindeki anahtar kelimeyi (Örn: BOOK, SOFTWARE, NORP) cevap olarak seç.
64
 
65
- ANALİZ SONUCU:
66
- Gerekçe: [Burada bağlamdaki anahtar kelimeyi ve seçtiğin kategoriyi açıkla]
67
- Cevap: [Sadece Kategori Adı]"""
68
 
69
  messages = [{"role": "user", "content": prompt}]
70
  try:
71
- # Daha uzun cevap üretmesine izin veriyoruz ki analizi görelim
72
- outputs = gen_pipe(messages, max_new_tokens=150, do_sample=False, temperature=0.1)
73
  full_output = outputs[0]["generated_text"][-1]["content"].strip()
74
 
75
- # --- ANALİZİN SONUCA DÖNÜŞTÜRÜLMESİ (HATA TOLERANSLI) ---
76
  final_label = "MISC"
77
  valid_keys = list(custom_label_definitions.keys())
78
 
79
- # Strateji 1: 'Cevap:' satırını ara
80
  lines = full_output.split('\n')
81
- for line in reversed(lines): # Sondan başla (genelde cevap sondadır)
82
  if "Cevap:" in line:
83
  found = re.sub(r'[^A-Z]', '', line.split("Cevap:")[-1].strip().upper())
84
  if found in valid_keys:
85
  final_label = found
86
  break
87
 
88
- # Strateji 2: Eğer hala MISC ise, tüm çıktıda geçerli etiketleri tara
89
  if final_label == "MISC":
90
- # Çıktıdaki kelimeleri tek tek kontrol et
91
- words_in_output = re.findall(r'\b[A-Z_]{3,}\b', full_output.upper())
92
- for w in words_in_output:
93
- if w in valid_keys:
94
- final_label = w
95
  break
96
-
97
  return final_label, full_output
98
  except Exception as e:
99
  return "MISC", f"Hata: {str(e)}"
100
- # --- 3. ANA SÜREÇ ---
 
101
 
102
  def process_ner(text):
103
  logs = ["🚀 İşlem başlatıldı..."]
104
  yield logs, []
105
 
106
  custom_labels = {
107
- "SOFTWARE": "Bilgisayar programları, işletim sistemleri ve dijital araçlar.",
108
- "AWARD": "Ödüller, festivaller ve madalyalar.",
109
- "BOOK": "Kitaplar ve yazılı eserler.",
110
- "MOVIE": "Sinema filmleri ve görsel yapımlar.",
111
- "PRODUCT": "Ticari ürünler, somut cihazlar ve modeller.",
112
- "NORP": "Milliyetler, etnik gruplar veya topluluklar."
113
  }
114
 
 
115
  initial_results = ner_pipe(text)
116
  final_results = []
117
 
@@ -120,6 +122,7 @@ def process_ner(text):
120
  label = entity['entity_group']
121
  res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": label, "Kaynak": "Model"}
122
 
 
123
  if label == "MISC":
124
  standardized = word.strip().title()
125
  logs.append(f"⚠️ <b>{word}</b> için Wikipedia taranıyor...")
@@ -127,31 +130,37 @@ def process_ner(text):
127
 
128
  wiki_text = get_wiki_summary(standardized)
129
  if wiki_text:
130
- # Wikipedia bilgisini loglara yazdır
131
- logs.append(f"ℹ️ <b>Wiki Özeti:</b> {wiki_text[:150]}...")
132
- logs.append(f"🤖 LLM karar veriyor...")
133
  yield logs, [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
134
 
135
- new_label, reason = refine_label_with_llm(standardized, wiki_text, custom_labels)
 
 
 
 
 
136
  res["Nihai Etiket"] = new_label
137
  res["Kaynak"] = "RAG+LLM"
138
- logs.append(f"✅ <b>Sonuç:</b> {new_label}")
139
  else:
140
  logs.append(f"❌ '{word}' için Wikipedia bağlamı bulunamadı.")
141
 
142
  final_results.append(res)
 
143
  yield logs, [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
144
 
145
  logs.append("✨ Analiz başarıyla tamamlandı.")
146
  yield logs, [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
147
 
148
- # --- 4. ARAYÜZ TASARIMI (SABİT) ---
149
 
150
  with gr.Blocks(title="NER RAG v3") as demo:
151
  gr.Markdown("# 🚀 Gelişmiş NER & RAG Sistemi")
152
 
153
  with gr.Row():
154
- input_text = gr.Textbox(label="Analiz Edilecek Metin", lines=5)
155
 
156
  with gr.Row():
157
  with gr.Column(scale=1):
@@ -163,9 +172,10 @@ with gr.Blocks(title="NER RAG v3") as demo:
163
 
164
  def update_ui(text):
165
  for logs, table in process_ner(text):
166
- log_html = "<div style='background: #f0f4f8; padding: 10px; border-radius: 5px; font-family: sans-serif; height: 350px; overflow-y: auto;'>"
 
167
  for m in logs:
168
- log_html += f"<p style='margin: 0; border-bottom: 1px solid #ddd; padding: 4px 0;'>{m}</p>"
169
  log_html += "</div>"
170
  yield log_html, table
171
 
 
7
  from transformers import pipeline
8
 
9
  # --- 1. MODELLERİN HAZIRLANMASI ---
10
+ # NER Modeli (XLM-Roberta) CPU üzerinde yüklenir
11
  ner_pipe = pipeline(
12
  "ner",
13
  model="xlm-roberta-large-finetuned-conll03-english",
 
15
  device="cpu"
16
  )
17
 
18
+ # LLM Modeli (Qwen 2.5-1.5B)
19
  model_id = "Qwen/Qwen2.5-1.5B-Instruct"
20
  try:
21
  gen_pipe = pipeline(
 
29
  except Exception as e:
30
  IS_LLM_ENABLED = False
31
 
32
+ # --- 2. YARDIMCI FONKSİYONLAR ---
33
 
34
  def get_wiki_summary(term):
35
+ """Wikipedia'dan terim hakkında özet bilgi çeker."""
36
  try:
37
  wikipedia.set_lang("tr")
38
  search_results = wikipedia.search(term)
39
  if not search_results: return None
40
+ # En alakalı sonucun ilk 2 cümlesini getirir
41
  return wikipedia.summary(search_results[0], sentences=2, auto_suggest=False)
42
  except:
43
  return None
44
 
45
  @spaces.GPU
46
  def refine_label_with_llm(entity_text, wiki_context, custom_label_definitions):
47
+ """ZeroGPU kullanarak LLM üzerinden etiket doğrulaması yapar."""
48
  if not IS_LLM_ENABLED: return "MISC", "LLM Aktif Değil"
49
 
50
+ # Modeli anlık olarak GPU'ya taşı
51
  if next(gen_pipe.model.parameters()).device.type != "cuda":
52
  gen_pipe.model.to("cuda")
53
 
54
+ # Etiket tanımlarını LLM'in anlayacağı formata getir
55
  label_defs_str = "\n".join([f"KATEGORİ: {k} -> TANIM: {v}" for k, v in custom_label_definitions.items()])
56
 
57
+ prompt = f"""Aşağıdaki Wikipedia bağlamını analiz ederek varlığı EN UYGUN kategoriye yerleştir.
58
 
59
+ KATEGORİ LİSTESİ:
60
  {label_defs_str}
61
 
 
62
  VARLIK: {entity_text}
63
  WIKIPEDIA BAĞLAMI: {wiki_context}
64
 
65
+ ANALİZ KURALLARI:
66
+ 1. Önce Wikipedia bağlamındaki anahtar kelimeleri (roman, film, ödül, yazılım vb.) açıkla.
67
+ 2. Bu anahtar kelimeleri Kategori Listesi ile kıyasla.
68
+ 3. Cevabını SADECE şu formatta bitir: 'Cevap: ETİKET_ADI'
69
 
70
+ Gerekçe:"""
 
 
71
 
72
  messages = [{"role": "user", "content": prompt}]
73
  try:
74
+ outputs = gen_pipe(messages, max_new_tokens=200, do_sample=False, temperature=0.1)
 
75
  full_output = outputs[0]["generated_text"][-1]["content"].strip()
76
 
77
+ # --- GELİŞMİŞ ETİKET AYIKLAMA MANTIĞI ---
78
  final_label = "MISC"
79
  valid_keys = list(custom_label_definitions.keys())
80
 
81
+ # 1. Yöntem: 'Cevap:' satırını kontrol et
82
  lines = full_output.split('\n')
83
+ for line in reversed(lines):
84
  if "Cevap:" in line:
85
  found = re.sub(r'[^A-Z]', '', line.split("Cevap:")[-1].strip().upper())
86
  if found in valid_keys:
87
  final_label = found
88
  break
89
 
90
+ # 2. Yöntem (Yedek): Tüm metin içinde geçerli anahtar kelimeleri tara
91
  if final_label == "MISC":
92
+ for key in valid_keys:
93
+ if key in full_output.upper():
94
+ final_label = key
 
 
95
  break
96
+
97
  return final_label, full_output
98
  except Exception as e:
99
  return "MISC", f"Hata: {str(e)}"
100
+
101
+ # --- 3. ANA İŞLEM HATTI (PIPELINE) ---
102
 
103
  def process_ner(text):
104
  logs = ["🚀 İşlem başlatıldı..."]
105
  yield logs, []
106
 
107
  custom_labels = {
108
+ "SOFTWARE": "Bilgisayar programları, işletim sistemleri, mobil uygulamalar ve dijital araçlar.",
109
+ "AWARD": "Ödüller, festivaller, madalyalar ve onur nişanları.",
110
+ "BOOK": "Kitaplar, romanlar, yazılı eserler ve edebi yayınlar.",
111
+ "MOVIE": "Sinema filmleri, diziler ve görsel yapımlar.",
112
+ "PRODUCT": "Ticari ürünler, somut cihazlar, modeller ve markalar.",
113
+ "NORP": "Milliyetler, etnik gruplar, dini topluluklar veya siyasi gruplar."
114
  }
115
 
116
+ # İlk aşama: Standart NER
117
  initial_results = ner_pipe(text)
118
  final_results = []
119
 
 
122
  label = entity['entity_group']
123
  res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": label, "Kaynak": "Model"}
124
 
125
+ # Eğer etiket belirsizse (MISC), RAG sürecini başlat
126
  if label == "MISC":
127
  standardized = word.strip().title()
128
  logs.append(f"⚠️ <b>{word}</b> için Wikipedia taranıyor...")
 
130
 
131
  wiki_text = get_wiki_summary(standardized)
132
  if wiki_text:
133
+ # Wikipedia bilgisini log alanına yazdır
134
+ logs.append(f"ℹ️ <b>Wiki Özeti:</b> {wiki_text[:120]}...")
135
+ logs.append(f"🤖 LLM Analiz Ediyor...")
136
  yield logs, [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
137
 
138
+ # LLM Karar Mekanizması
139
+ new_label, raw_llm_response = refine_label_with_llm(standardized, wiki_text, custom_labels)
140
+
141
+ # Modelin ham yanıtını (Gerekçe + Cevap) loga yazdır
142
+ logs.append(f"<div style='color: #444; border-left: 3px solid #ffa500; padding-left: 8px; margin: 5px 0; font-size: 0.9em; background: #fff5e6;'><b>Model Yanıtı:</b><br>{raw_llm_response}</div>")
143
+
144
  res["Nihai Etiket"] = new_label
145
  res["Kaynak"] = "RAG+LLM"
146
+ logs.append(f"✅ <b>Nihai Karar:</b> {new_label}")
147
  else:
148
  logs.append(f"❌ '{word}' için Wikipedia bağlamı bulunamadı.")
149
 
150
  final_results.append(res)
151
+ # Her adımda tabloyu güncelle
152
  yield logs, [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
153
 
154
  logs.append("✨ Analiz başarıyla tamamlandı.")
155
  yield logs, [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
156
 
157
+ # --- 4. GRADIO ARAYÜZ TASARIMI ---
158
 
159
  with gr.Blocks(title="NER RAG v3") as demo:
160
  gr.Markdown("# 🚀 Gelişmiş NER & RAG Sistemi")
161
 
162
  with gr.Row():
163
+ input_text = gr.Textbox(label="Analiz Edilecek Metin", lines=5, placeholder="Buraya bir metin girin...")
164
 
165
  with gr.Row():
166
  with gr.Column(scale=1):
 
172
 
173
  def update_ui(text):
174
  for logs, table in process_ner(text):
175
+ # Logları HTML formatında düzenle
176
+ log_html = "<div style='background: #f0f4f8; padding: 10px; border-radius: 5px; font-family: sans-serif; height: 400px; overflow-y: auto;'>"
177
  for m in logs:
178
+ log_html += f"<div style='margin-bottom: 8px; border-bottom: 1px solid #dee2e6; padding-bottom: 4px;'>{m}</div>"
179
  log_html += "</div>"
180
  yield log_html, table
181