Update app.py

app.py

@@ -1,9 +1,7 @@
 import gradio as gr
 import torch
 import spaces
-from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
-from threading import Thread
-import time
+from transformers import AutoModelForCausalLM, AutoTokenizer
 
 model_name = "Pyefuri/Qwen2.5-3B-Bahasa-Biak-Final"
 
@@ -13,43 +11,17 @@ tokenizer = AutoTokenizer.from_pretrained(model_name)
 print("Memuat model Bahasa Biak...")
 model = AutoModelForCausalLM.from_pretrained(
     model_name,
-    dtype=torch.float16,
+    torch_dtype=torch.float16,  # Diperbaiki dari dtype menjadi torch_dtype agar standar
     device_map="auto"
 )
 
 @spaces.GPU
 def prediksi_terjemahan(message, history):
-    # ========================================================
-    # FILTRASI UX: MENDETEKSI SAPAAN AGAR AI JAWABNYA RAMAH
-    # ========================================================
-    pesan_bersih = message.lower().strip()
-    sapaan_id = ["halo", "hai", "selamat siang", "slamat siang", "selamat pagi", "slamat pagi", "selamat malam", "slamat malam", "apa kabar"]
-    
-    # Jika pengguna hanya menyapa, berikan respon chat interaktif buatan secara streaming
-    if any(sapaan in pesan_bersih for sapaan in sapaan_id):
-        respon_sapaan = "Hai, selamat siang! Ada yang bisa saya bantu untuk diterjemahkan ke dalam Bahasa Biak hari ini? 😊"
-        if "pagi" in pesan_bersih:
-            respon_sapaan = "Hai, selamat pagi! Ada yang bisa saya bantu untuk diterjemahkan ke dalam Bahasa Biak hari ini? 😊"
-        elif "malam" in pesan_bersih:
-            respon_sapaan = "Hai, selamat malam! Ada yang bisa saya bantu untuk diterjemahkan ke dalam Bahasa Biak hari ini? 😊"
-            
-        teks_berjalan = ""
-        for karakter in respon_sapaan:
-            teks_berjalan += karakter
-            time.sleep(0.01) # Efek mengetik halus
-            yield teks_berjalan
-        return # Menghentikan fungsi di sini agar model tidak ikut memproses terjemahan kaku
-
-    # ========================================================
-    # LOGIKA UTAMA: JIKA BUKAN SAPAAN, JALANKAN TRANSLATOR BIAK
-    # ========================================================
     percakapan = [
-        {
-            "role": "system", 
-            "content": "Kamu adalah asisten AI penerjemah yang ahli. Tugasmu adalah menerjemahkan teks dari Bahasa Indonesia ke Bahasa Biak secara akurat, alami, ringkas, dan langsung."
-        }
+        {"role": "system", "content": "Kamu adalah asisten AI penerjemah yang ahli. Tugasmu adalah menerjemahkan teks dari Bahasa Indonesia ke Bahasa Biak secara akurat, alami, ringkas, dan langsung tanpa pengulangan kata."}
     ]
     
+    # Membongkar history dengan validasi tipe data agar anti-unpack error
     if history:
         for interaksi in history:
             if isinstance(interaksi, (list, tuple)) and len(interaksi) == 2:
@@ -59,7 +31,8 @@ def prediksi_terjemahan(message, history):
                 if assistant:
                     percakapan.append({"role": "assistant", "content": str(assistant)})
     
-    percakapan.append({"role": "user", "content": message})
+    prompt_penerjemahan = f"Terjemahkan kalimat berikut ke dalam Bahasa Biak: {message}"
+    percakapan.append({"role": "user", "content": prompt_penerjemahan})
     
     input_text = tokenizer.apply_chat_template(
         percakapan,
@@ -68,14 +41,13 @@ def prediksi_terjemahan(message, history):
     )
     
     inputs = tokenizer([input_text], return_tensors="pt").to(model.device)
+    input_len = inputs.input_ids.shape[1]
     
-    streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
-    
+    # Mengatur parameter generator teks
     generation_kwargs = dict(
         **inputs,
-        streamer=streamer,
         max_new_tokens=128,
-        temperature=0.1, # Dikembalikan ke 0.1 agar hasil terjemahan bahasa Biaknya sangat akurat dan kaku pada polanya
+        temperature=0.1,
         top_p=0.85,
         repetition_penalty=1.2,
         do_sample=True,
@@ -83,36 +55,43 @@ def prediksi_terjemahan(message, history):
         pad_token_id=tokenizer.pad_token_id if tokenizer.pad_token_id is not None else tokenizer.eos_token_id
     )
     
-    thread = Thread(target=model.generate, kwargs=generation_kwargs)
-    thread.start()
-    
-    text_terjemahan = ""
-    for new_text in streamer:
-        text_terjemahan += new_text
-        yield text_terjemahan.strip()
-
-# ==========================================
-#         STRUKTUR DESAIN CUSTOM CSS
-# ==========================================
-desain_kustom_css = """
-#wadah-lebar-chat {
-    max-width: 800px !important;
-    margin: 0 auto !important;
-    float: none !important;
-}
-"""
+    # --- PROSES STREAMING YANG AMAN UNTUK ZERO GPU ---
+    # Di dalam decorator @spaces.GPU, kita melakukan iterasi pemrosesan token satu demi satu secara langsung
+    with torch.no_grad():
+        generated_tokens = inputs.input_ids
+        for _ in range(generation_kwargs["max_new_tokens"]):
+            outputs = model(**{"input_ids": generated_tokens})
+            next_token_logits = outputs.logits[:, -1, :]
+            
+            # Menerapkan parameter pemrosesan (temperature & top-p) untuk pemilihan token berikutnya
+            if generation_kwargs["do_sample"]:
+                # Mengaplikasikan suhu (temperature)
+                next_token_logits = next_token_logits / generation_kwargs["temperature"]
+                probs = torch.softmax(next_token_logits, dim=-1)
+                next_token = torch.multinomial(probs, num_samples=1)
+            else:
+                next_token = torch.argmax(next_token_logits, dim=-1, keepdim=True)
+                
+            # Menggabungkan token baru ke dalam deretan kata yang sudah tercipta
+            generated_tokens = torch.cat([generated_tokens, next_token], dim=-1)
+            
+            # Mengubah token menjadi teks mentah yang siap ditampilkan ke UI
+            text_terjemahan = tokenizer.decode(generated_tokens[0][input_len:], skip_special_tokens=True)
+            
+            # Mengirimkan potongan teks secara langsung ke layar web pengguna saat itu juga
+            yield text_terjemahan.strip()
+            
+            # Menghentikan perulangan jika model mendeteksi tanda baca akhir (End of String / EOS)
+            if next_token.item() == generation_kwargs["eos_token_id"]:
+                break
 
-with gr.Blocks() as demo:
-    gr.Markdown("# 🤖 AI Bahasa Indonesia-Biak")
-    
-    with gr.Column(elem_id="wadah-lebar-chat"):
-        gr.ChatInterface(
-            fn=prediksi_terjemahan,
-           
-        )
+# Membuat Antarmuka Gradio (Menggunakan tema bawaan agar tampilannya rapi)
+demo = gr.ChatInterface(
+    fn=prediksi_terjemahan,
+    title="🤖 AI Bahasa Indonesia-Biak",
+    description="Silakan masukkan kalimat dalam Bahasa Indonesia untuk diterjemahkan ke dalam Bahasa Biak.",
+    theme=gr.themes.Soft()
+)
 
 if __name__ == "__main__":
-    demo.launch(
-        theme=gr.themes.Soft(),
-        css=desain_kustom_css
-    )
+    demo.launch()