Update app.py

app.py

@@ -18,26 +18,36 @@ ner_pipe = pipeline("ner", model="xlm-roberta-large-finetuned-conll03-english",
 model_id = "Qwen/Qwen2.5-1.5B-Instruct"
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 
-# LLM modelini yükle
+# LLM modelini yükle - RUNTIME ERROR KESİN ÇÖZÜMÜ
 llm_model = None
 IS_LLM_ENABLED = False
 
 try:
     print("📦 LLM modeli yükleniyor...")
+    
+    # Modeli doğrudan CPU'da yükle
     llm_model = AutoModelForCausalLM.from_pretrained(
         model_id, 
         torch_dtype=torch.float32,
-        device_map=None,
+        device_map="cpu",  # Doğrudan CPU'ya map et
         trust_remote_code=True,
         low_cpu_mem_usage=True
     )
-    llm_model = llm_model.to("cpu")
+    
+    # Modeli evaluation moduna al
     llm_model.eval()
+    
+    # Device'ı kontrol et
+    device = next(llm_model.parameters()).device
+    print(f"✅ LLM modeli yüklendi! Device: {device}")
+    print(f"   Model dtype: {next(llm_model.parameters()).dtype}")
+    
     IS_LLM_ENABLED = True
-    print(f"✅ LLM modeli yüklendi!")
+    
 except Exception as e:
     IS_LLM_ENABLED = False
     print(f"⚠️ LLM yüklenemedi: {e}")
+    print(traceback.format_exc())
 
 # --- 2. WIKIPEDIA API (DOĞRUDAN API KULLANIMI) ---
 
@@ -57,6 +67,8 @@ def get_wiki_summary(term):
         "Inception": "Inception (film)",
         "Oscar": "Akademi Ödülü",
         "Nobel": "Nobel Ödülü",
+        "Amerika": "Amerika",
+        "1984": "1984 (roman)",
     }
     
     # Arama terimlerini hazırla
@@ -193,7 +205,6 @@ def test_wikipedia_connection():
     logs = []
     
     try:
-        # API testi
         url = "https://tr.wikipedia.org/w/api.php"
         params = {
             "action": "query",
@@ -224,7 +235,6 @@ def test_wikipedia_connection():
                     logs.append(f"⚠️ Sayfa bulunamadı")
             except json.JSONDecodeError:
                 logs.append(f"❌ JSON parse hatası")
-                logs.append(f"Response: {response.text[:200]}")
         else:
             logs.append(f"❌ API hatası: {response.status_code}")
             
@@ -233,11 +243,11 @@ def test_wikipedia_connection():
     
     return "\n".join(logs)
 
-# --- 3. LLM ANALİZ FONKSİYONU ---
+# --- 3. LLM ANALİZ FONKSİYONU (RUNTIME ERROR KESİN ÇÖZÜM) ---
 
 @spaces.GPU
 def refine_label_with_llm(entity_text, full_sentence, wiki_context, custom_label_definitions):
-    """LLM ile etiket analizi yapar"""
+    """LLM ile etiket analizi yapar - RuntimeError kesin çözüm"""
     global llm_model, IS_LLM_ENABLED
     
     if not IS_LLM_ENABLED or llm_model is None:
@@ -246,6 +256,14 @@ def refine_label_with_llm(entity_text, full_sentence, wiki_context, custom_label
     try:
         print(f"\n🧠 LLM analizi: '{entity_text}'")
         
+        # Modelin CPU'da olduğundan emin ol
+        try:
+            # Modeli CPU'ya taşı (güvenlik için)
+            llm_model.to("cpu")
+            torch.cuda.empty_cache() if torch.cuda.is_available() else None
+        except:
+            pass
+        
         # Etiket Tanımları
         label_rules = ""
         for k, v in custom_label_definitions.items():
@@ -301,22 +319,34 @@ GÜNCEL GÖREV:
 Analiz: [4 Adımlı CoT Analizi]
 Cevap: [SADECE_ETIKET_ADI]"""
 
+        # Tokenize et
         messages = [{"role": "user", "content": prompt}]
         text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
-        model_inputs = tokenizer([text], return_tensors="pt")
+        
+        # Tokenizer'ı CPU'da çalıştır
+        model_inputs = tokenizer([text], return_tensors="pt", padding=True, truncation=True)
         model_inputs = {k: v.to("cpu") for k, v in model_inputs.items()}
         
+        print(f"🔄 LLM generate başlatılıyor... (CPU)")
+        
+        # Generate işlemi - CPU'da
         with torch.no_grad():
             generated_ids = llm_model.generate(
                 model_inputs.input_ids,
                 max_new_tokens=450,
                 do_sample=False,
                 temperature=0.1,
-                pad_token_id=tokenizer.eos_token_id
+                pad_token_id=tokenizer.eos_token_id,
+                eos_token_id=tokenizer.eos_token_id,
+                repetition_penalty=1.1
             )
         
-        response_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
-        full_output = tokenizer.batch_decode(response_ids, skip_special_tokens=True)[0].strip()
+        # Çıktıyı decode et
+        response_ids = generated_ids[0][len(model_inputs.input_ids[0]):]
+        full_output = tokenizer.decode(response_ids, skip_special_tokens=True).strip()
+        
+        print(f"✅ LLM çıktısı alındı")
+        print(f"📝 Çıktı: {full_output[:100]}...")
         
         # Etiket Ayıklama
         clean_output = full_output.replace("*", "")
@@ -329,11 +359,27 @@ Cevap: [SADECE_ETIKET_ADI]"""
             if extracted in valid_keys:
                 final_label = extracted
                 print(f"🏷️ Etiket: {final_label}")
+            else:
+                print(f"⚠️ Geçersiz etiket: {extracted}")
+        else:
+            print(f"⚠️ Etiket bulunamadı, MISC atanıyor")
             
         return final_label, clean_output
         
+    except RuntimeError as e:
+        print(f"❌ RuntimeError: {str(e)}")
+        # Modeli resetle
+        try:
+            llm_model.to("cpu")
+            if torch.cuda.is_available():
+                torch.cuda.empty_cache()
+        except:
+            pass
+        return "MISC", f"RuntimeError: {str(e)[:100]}"
+        
     except Exception as e:
-        print(f"❌ LLM hatası: {str(e)}")
+        print(f"❌ LLM hatası: {type(e).__name__} - {str(e)}")
+        print(traceback.format_exc())
         return "MISC", f"Hata: {str(e)[:100]}"
 
 # --- 4. ANA İŞLEM HATTI ---
@@ -469,6 +515,7 @@ def check_llm_status():
             dtype = next(llm_model.parameters()).dtype
             logs.append(f"Device: {device}")
             logs.append(f"Dtype: {dtype}")
+            logs.append(f"CUDA Kullanılabilir: {torch.cuda.is_available()}")
         except Exception as e:
             logs.append(f"Device kontrol hatası: {str(e)}")
     else: