Update app.py

app.py

@@ -15,21 +15,34 @@ urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
 
 # --- 1. MODELLERİN HAZIRLANMASI ---
 ner_pipe = pipeline("ner", model="xlm-roberta-large-finetuned-conll03-english", aggregation_strategy="simple", device=-1)
+
+# Qwen modeli
 model_id = "Qwen/Qwen2.5-7B-Instruct"
-tokenizer = AutoTokenizer.from_pretrained(model_id)
 
-# LLM modelini yükle - RUNTIME ERROR KESİN ÇÖZÜMÜ
+# Tokenizer'ı yükle
+tokenizer = AutoTokenizer.from_pretrained(
+    model_id,
+    trust_remote_code=True,
+    padding_side="left"
+)
+
+# Eğer tokenizer'da pad_token yoksa eos_token'u kullan
+if tokenizer.pad_token is None:
+    tokenizer.pad_token = tokenizer.eos_token
+
+# LLM modelini yükle
 llm_model = None
 IS_LLM_ENABLED = False
 
 try:
-    print("📦 LLM modeli yükleniyor...")
+    print("📦 Qwen LLM modeli yükleniyor...")
+    print("⚠️ Bu işlem 7B model olduğu için biraz zaman alabilir...")
     
-    # Modeli doğrudan CPU'da yükle
+    # Qwen için özel yükleme
     llm_model = AutoModelForCausalLM.from_pretrained(
-        model_id, 
-        torch_dtype=torch.float32,
-        device_map="cpu",  # Doğrudan CPU'ya map et
+        model_id,
+        torch_dtype=torch.float16,  # float16 daha hızlı
+        device_map="cpu",  # CPU'da çalıştır
         trust_remote_code=True,
         low_cpu_mem_usage=True
     )
@@ -37,19 +50,19 @@ try:
     # Modeli evaluation moduna al
     llm_model.eval()
     
-    # Device'ı kontrol et
+    # Device kontrolü
     device = next(llm_model.parameters()).device
-    print(f"✅ LLM modeli yüklendi! Device: {device}")
+    print(f"✅ Qwen modeli yüklendi! Device: {device}")
     print(f"   Model dtype: {next(llm_model.parameters()).dtype}")
     
     IS_LLM_ENABLED = True
     
 except Exception as e:
     IS_LLM_ENABLED = False
-    print(f"⚠️ LLM yüklenemedi: {e}")
+    print(f"⚠️ Qwen yüklenemedi: {e}")
     print(traceback.format_exc())
 
-# --- 2. WIKIPEDIA API (DOĞRUDAN API KULLANIMI) ---
+# --- 2. WIKIPEDIA API ---
 
 def get_wiki_summary(term):
     """Türkçe Wikipedia'dan doğrudan API ile özet getirir"""
@@ -69,6 +82,10 @@ def get_wiki_summary(term):
         "Nobel": "Nobel Ödülü",
         "Amerika": "Amerika",
         "1984": "1984 (roman)",
+        "Apple": "Apple (şirket)",
+        "Windows": "Microsoft Windows",
+        "Linux": "Linux",
+        "Python": "Python (programlama dili)",
     }
     
     # Arama terimlerini hazırla
@@ -78,7 +95,6 @@ def get_wiki_summary(term):
             search_terms = [value, term]
             break
     
-    # Eğer özel durum yoksa, çoğul ve tekil dene
     if len(search_terms) == 1:
         if term.endswith("lar") or term.endswith("ler"):
             search_terms.append(term[:-3])
@@ -88,7 +104,6 @@ def get_wiki_summary(term):
     
     print(f"📝 Aranacak terimler: {search_terms}")
     
-    # Headers
     headers = {
         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
         'Accept': 'application/json',
@@ -99,8 +114,9 @@ def get_wiki_summary(term):
         print(f"🔎 '{search_term}' aranıyor...")
         
         try:
-            # 1. Önce sayfayı doğrudan kontrol et
             url = "https://tr.wikipedia.org/w/api.php"
+            
+            # Doğrudan sayfa kontrolü
             params = {
                 "action": "query",
                 "format": "json",
@@ -124,12 +140,11 @@ def get_wiki_summary(term):
                             extract = page_info.get('extract', '')
                             if extract and len(extract) > 20:
                                 print(f"✅ Doğrudan sayfa bulundu: '{search_term}'")
-                                print(f"   {extract[:100]}...")
                                 return extract
-                except json.JSONDecodeError:
-                    print(f"⚠️ JSON hatası, devam ediliyor...")
+                except:
+                    pass
             
-            # 2. Doğrudan bulunamazsa arama yap
+            # Arama yap
             search_params = {
                 "action": "query",
                 "format": "json",
@@ -147,49 +162,38 @@ def get_wiki_summary(term):
                     search_data = search_response.json()
                     search_results = search_data.get('query', {}).get('search', [])
                     
-                    if search_results:
-                        print(f"📊 '{search_term}' -> {len(search_results)} sonuç")
-                        
-                        for result in search_results:
-                            title = result.get('title', '')
-                            if title:
-                                print(f"📄 '{title}' deneniyor...")
-                                
-                                # Sayfa özetini al
-                                summary_params = {
-                                    "action": "query",
-                                    "format": "json",
-                                    "titles": title,
-                                    "prop": "extracts",
-                                    "exintro": True,
-                                    "explaintext": True,
-                                    "exsentences": 3,
-                                    "origin": "*"
-                                }
-                                
-                                summary_response = requests.get(url, params=summary_params, headers=headers, timeout=10, verify=False)
-                                
-                                if summary_response.status_code == 200:
-                                    try:
-                                        summary_data = summary_response.json()
-                                        pages = summary_data.get('query', {}).get('pages', {})
-                                        
-                                        for page_id, page_info in pages.items():
-                                            if page_id != "-1":
-                                                extract = page_info.get('extract', '')
-                                                if extract and len(extract) > 20:
-                                                    print(f"✅ '{search_term}' -> '{title}' bulundu")
-                                                    print(f"   {extract[:100]}...")
-                                                    return extract
-                                    except json.JSONDecodeError:
-                                        print(f"⚠️ JSON hatası")
-                                        
-                except json.JSONDecodeError:
-                    print(f"⚠️ Arama JSON hatası")
+                    for result in search_results:
+                        title = result.get('title', '')
+                        if title:
+                            summary_params = {
+                                "action": "query",
+                                "format": "json",
+                                "titles": title,
+                                "prop": "extracts",
+                                "exintro": True,
+                                "explaintext": True,
+                                "exsentences": 3,
+                                "origin": "*"
+                            }
+                            
+                            summary_response = requests.get(url, params=summary_params, headers=headers, timeout=10, verify=False)
+                            
+                            if summary_response.status_code == 200:
+                                try:
+                                    summary_data = summary_response.json()
+                                    pages = summary_data.get('query', {}).get('pages', {})
+                                    
+                                    for page_id, page_info in pages.items():
+                                        if page_id != "-1":
+                                            extract = page_info.get('extract', '')
+                                            if extract and len(extract) > 20:
+                                                print(f"✅ '{search_term}' -> '{title}' bulundu")
+                                                return extract
+                                except:
+                                    pass
+                except:
+                    pass
                     
-        except requests.exceptions.RequestException as e:
-            print(f"⚠️ Request hatası: {str(e)[:50]}")
-            continue
         except Exception as e:
             print(f"⚠️ Hata: {str(e)[:50]}")
             continue
@@ -233,7 +237,7 @@ def test_wikipedia_connection():
                             break
                 else:
                     logs.append(f"⚠️ Sayfa bulunamadı")
-            except json.JSONDecodeError:
+            except:
                 logs.append(f"❌ JSON parse hatası")
         else:
             logs.append(f"❌ API hatası: {response.status_code}")
@@ -243,26 +247,24 @@ def test_wikipedia_connection():
     
     return "\n".join(logs)
 
-# --- 3. LLM ANALİZ FONKSİYONU (RUNTIME ERROR KESİN ÇÖZÜM) ---
+# --- 3. LLM ANALİZ FONKSİYONU (QWEN İÇİN OPTİMİZE) ---
 
 @spaces.GPU
 def refine_label_with_llm(entity_text, full_sentence, wiki_context, custom_label_definitions):
-    """LLM ile etiket analizi yapar - RuntimeError kesin çözüm"""
-    global llm_model, IS_LLM_ENABLED
+    """Qwen ile etiket analizi yapar - RuntimeError çözümlü"""
+    global llm_model, IS_LLM_ENABLED, tokenizer
     
     if not IS_LLM_ENABLED or llm_model is None:
         return "MISC", "LLM Aktif Değil"
     
     try:
-        print(f"\n🧠 LLM analizi: '{entity_text}'")
+        print(f"\n🧠 Qwen LLM analizi: '{entity_text}'")
         
-        # Modelin CPU'da olduğundan emin ol
-        try:
-            # Modeli CPU'ya taşı (güvenlik için)
+        # Modeli CPU'da tut
+        if next(llm_model.parameters()).device.type != "cpu":
             llm_model.to("cpu")
-            torch.cuda.empty_cache() if torch.cuda.is_available() else None
-        except:
-            pass
+            if torch.cuda.is_available():
+                torch.cuda.empty_cache()
         
         # Etiket Tanımları
         label_rules = ""
@@ -270,101 +272,90 @@ def refine_label_with_llm(entity_text, full_sentence, wiki_context, custom_label
             anahtar_kelimeler = ', '.join(v['anahtar_kelimeler'])
             label_rules += f"### {k}\n- TANIM: {v['tanim']}\n- ANAHTARLAR: {anahtar_kelimeler}\n\n"
 
-        # Prompt oluştur
-        prompt = f"""Sen yüksek hassasiyetli bir semantik analiz uzmanısın.
-Görevin, '[[{entity_text}]]' varlığını aşağıdaki 4 adımlı Sistematik CoT protokolüne göre sınıflandırmaktır.
+        # Qwen için özel prompt formatı
+        prompt = f"""<|im_start|>system
+Sen bir NER (Named Entity Recognition) uzmanısın. Verilen varlığı analiz et ve doğru kategoriyi belirle.
+<|im_end|>
+<|im_start|>user
+Aşağıdaki varlığı analiz et ve hangi kategoriye ait olduğunu söyle.
+
+VARLIK: {entity_text}
+CÜMLE: {full_sentence}
+WIKIPEDIA BİLGİSİ: {wiki_context}
 
-ETİKET TANIMLARI:
+KATEGORİLER VE TANIMLARI:
 {label_rules}
 
-SİSTEMATİK CoT ADIMLARI:
-1. **Sentaktik İnceleme:** Cümle içinde varlığın sağındaki ve solundaki kelimeleri (niteleyicileri) tespit et.
-2. **Bilgi Entegrasyonu:** Wikipedia verisindeki genel tanımı oku.
-3. **Çelişki ve Hiyerarşi Denetimi:** Wikipedia bilgisi ile cümledeki kullanım amacı çelişiyor mu?
-4. **Etiket Eşleşmesi:** Elde edilen nihai kanıtları, 'ETİKET TANIMLARI'ndaki en yakın kategoriyle eşleştir.
-
-REFERANS ANALİZLER (FEW-SHOT):
-Örnek 1 (Tam Uyum):
-VARLIK: 'Inception'
-CÜMLE: "Dün gece Inception filmini tekrar izledim."
-WIKI: "Inception, Christopher Nolan tarafından yönetilen 2010 yapımı bilimkurgu filmidir."
-ANALİZ: 
-- Adım 1: Cümlede 'film' ve 'izlemek' kelimeleri görsel esere işaret ediyor.
-- Adım 2: Wiki verisi varlığın bir film olduğunu doğruluyor.
-- Adım 3: Kaynaklar arasında çelişki yok.
-- Adım 4: MOVIE etiketi uygundur.
-CEVAP: MOVIE
-
-Örnek 2 (Kritik Çelişki):
-VARLIK: 'Gizli Bahçe'
-CÜMLE: "Yazar son romanı 'Gizli Bahçe' ile ödül aldı."
-WIKI: "Gizli Bahçe: 1993 yapımı bir dram filmidir."
-ANALİZ: 
-- Adım 1: Cümlede 'roman' ve 'yazar' kelimeleri varlığı doğrudan kitap olarak niteliyor.
-- Adım 2: Wiki verisi bu ismi bir film (movie) olarak gösteriyor.
-- Adım 3: ÇELİŞKİ TESPİT EDİLDİ. Kaynak hiyerarşisi gereği cümledeki 'roman' ifadesi Wikipedia'dan daha önceliklidir.
-- Adım 4: BOOK etiketi uygundur.
-CEVAP: BOOK
-
-GÜNCEL GÖREV:
-- HEDEF VARLIK: {entity_text}
-- ORİJİNAL CÜMLE: "{full_sentence}"
-- HARİCİ BİLGİ (Wikipedia): "{wiki_context}"
-
-ÇIKTI KURALLARI:
-- Cevabında asla yıldız (*) veya markdown kullanma.
-- Analiz adımlarını yukarıdaki 4 adımlı protokole göre yaz.
-
-ÇIKTI FORMATI:
-Analiz: [4 Adımlı CoT Analizi]
-Cevap: [SADECE_ETIKET_ADI]"""
+Kurallar:
+1. Cümledeki bağlama göre karar ver
+2. Wikipedia bilgisiyle karşılaştır
+3. Çelişki varsa cümledeki kullanıma öncelik ver
+4. Sadece kategori adını yaz (MOVIE, BOOK, SOFTWARE, AWARD, PRODUCT, NORP, GPE)
 
-        # Tokenize et
-        messages = [{"role": "user", "content": prompt}]
-        text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
-        
-        # Tokenizer'ı CPU'da çalıştır
-        model_inputs = tokenizer([text], return_tensors="pt", padding=True, truncation=True)
-        model_inputs = {k: v.to("cpu") for k, v in model_inputs.items()}
+CEVAP:
+<|im_end|>
+<|im_start|>assistant
+"""
+
+        print(f"🔄 Qwen generate başlatılıyor...")
         
-        print(f"🔄 LLM generate başlatılıyor... (CPU)")
+        # Tokenize et
+        inputs = tokenizer(
+            prompt, 
+            return_tensors="pt", 
+            truncation=True, 
+            max_length=2048,
+            padding=True
+        )
+        inputs = {k: v.to("cpu") for k, v in inputs.items()}
         
-        # Generate işlemi - CPU'da
+        # Generate - CPU'da
         with torch.no_grad():
-            generated_ids = llm_model.generate(
-                model_inputs.input_ids,
-                max_new_tokens=450,
+            outputs = llm_model.generate(
+                inputs.input_ids,
+                max_new_tokens=200,
                 do_sample=False,
                 temperature=0.1,
+                top_p=0.9,
                 pad_token_id=tokenizer.eos_token_id,
                 eos_token_id=tokenizer.eos_token_id,
                 repetition_penalty=1.1
             )
         
         # Çıktıyı decode et
-        response_ids = generated_ids[0][len(model_inputs.input_ids[0]):]
-        full_output = tokenizer.decode(response_ids, skip_special_tokens=True).strip()
+        full_output = tokenizer.decode(outputs[0], skip_special_tokens=True)
+        
+        print(f"✅ Qwen çıktısı alındı")
+        
+        # Assistant kısmını bul
+        if "<|im_start|>assistant" in full_output:
+            response = full_output.split("<|im_start|>assistant")[-1].strip()
+        else:
+            response = full_output[len(prompt):].strip()
         
-        print(f"✅ LLM çıktısı alındı")
-        print(f"📝 Çıktı: {full_output[:100]}...")
+        print(f"📝 Çıktı: {response[:200]}...")
         
         # Etiket Ayıklama
-        clean_output = full_output.replace("*", "")
         final_label = "MISC"
         valid_keys = list(custom_label_definitions.keys())
-        match = re.search(r"Cevap:\s*([A-Z_]+)", clean_output, re.IGNORECASE)
         
-        if match:
-            extracted = match.group(1).upper().strip()
-            if extracted in valid_keys:
-                final_label = extracted
-                print(f"🏷️ Etiket: {final_label}")
-            else:
-                print(f"⚠️ Geçersiz etiket: {extracted}")
-        else:
-            print(f"⚠️ Etiket bulunamadı, MISC atanıyor")
-            
-        return final_label, clean_output
+        # Regex ile etiket bul
+        for label in valid_keys:
+            if re.search(rf'\b{label}\b', response, re.IGNORECASE):
+                final_label = label
+                print(f"🏷️ Etiket bulundu: {final_label}")
+                break
+        
+        # Eğer bulunamadıysa, tüm kelimeleri kontrol et
+        if final_label == "MISC":
+            words = re.findall(r'[A-Z_]+', response.upper())
+            for word in words:
+                if word in valid_keys:
+                    final_label = word
+                    print(f"🏷️ Kelime eşleşmesi: {final_label}")
+                    break
+        
+        return final_label, response
         
     except RuntimeError as e:
         print(f"❌ RuntimeError: {str(e)}")
@@ -448,13 +439,13 @@ def process_ner(text):
             
             if wiki_text and IS_LLM_ENABLED:
                 try:
-                    current_logs.append(f"🧠 <b>LLM analizi başlatılıyor:</b> '{word}'")
+                    current_logs.append(f"🧠 <b>Qwen LLM analizi başlatılıyor:</b> '{word}' (Bu işlem biraz zaman alabilir...)")
                     yield "<br>".join(current_logs), [[r["Varlık"], r["İlk Etiket"], r["Nihai Etiket"], r["Kaynak"]] for r in final_results]
                     
                     new_label, cot_text = refine_label_with_llm(word, text, wiki_text, custom_labels)
                     
                     cot_preview = cot_text[:300] + "..." if len(cot_text) > 300 else cot_text
-                    current_logs.append(f"🧠 <b>CoT Analizi:</b> {cot_preview}")
+                    current_logs.append(f"🧠 <b>LLM Çıktısı:</b> {cot_preview}")
                     
                     res = {"Varlık": word, "İlk Etiket": label, "Nihai Etiket": new_label, "Kaynak": "RAG+LLM"}
                     current_logs.append(f"🏷️ <b>Nihai Etiket:</b> {new_label}")
@@ -503,9 +494,9 @@ def test_single_term(term):
     return "\n".join(logs)
 
 def check_llm_status():
-    global IS_LLM_ENABLED, llm_model
+    global IS_LLM_ENABLED, llm_model, model_id
     
-    logs = ["=== LLM DURUM KONTROLÜ ==="]
+    logs = ["=== Qwen LLM DURUM KONTROLÜ ==="]
     logs.append(f"LLM Aktif: {IS_LLM_ENABLED}")
     logs.append(f"Model: {model_id}")
     
@@ -516,17 +507,19 @@ def check_llm_status():
             logs.append(f"Device: {device}")
             logs.append(f"Dtype: {dtype}")
             logs.append(f"CUDA Kullanılabilir: {torch.cuda.is_available()}")
+            logs.append(f"Model Boyutu: {sum(p.numel() for p in llm_model.parameters()):,} parametre")
         except Exception as e:
             logs.append(f"Device kontrol hatası: {str(e)}")
     else:
-        logs.append("Model yüklenmemiş!")
+        logs.append("❌ Model yüklenmemiş!")
     
     return "\n".join(logs)
 
 # --- 6. GRADIO ARAYÜZÜ ---
 
 with gr.Blocks(title="RAG-NER Uzman Karar Destek Sistemi") as demo:
-    gr.Markdown("# 🚀 RAG-NER Uzman Karar Destek Sistemi (Türkçe Wikipedia)")
+    gr.Markdown("# 🚀 RAG-NER Uzman Karar Destek Sistemi (Türkçe Wikipedia + Qwen)")
+    gr.Markdown(f"**LLM Modeli:** {model_id}")
     
     with gr.Tab("Metin Analizi"):
         input_text = gr.Textbox(
@@ -587,11 +580,11 @@ with gr.Blocks(title="RAG-NER Uzman Karar Destek Sistemi") as demo:
         )
         single_term_btn.click(test_single_term, inputs=single_term_input, outputs=single_term_output)
         
-        gr.Markdown("### 🧠 LLM Durum Kontrolü")
+        gr.Markdown("### 🧠 Qwen LLM Durum Kontrolü")
         with gr.Row():
-            llm_status_btn = gr.Button("LLM Durumunu Kontrol Et", variant="secondary")
+            llm_status_btn = gr.Button("Qwen Durumunu Kontrol Et", variant="secondary")
             llm_status_output = gr.Textbox(
-                label="LLM Durumu",
+                label="Qwen Durumu",
                 lines=8,
                 interactive=False
             )
@@ -608,7 +601,7 @@ if __name__ == "__main__":
     test_result = test_wikipedia_connection()
     print(test_result)
     
-    print("\n🧠 LLM durumu kontrol ediliyor...")
+    print("\n🧠 Qwen LLM durumu kontrol ediliyor...")
     print(check_llm_status())
     
     print("\n" + "="*50)