Update app.py

app.py

@@ -1,7 +1,9 @@
 import gradio as gr
 import torch
 import spaces
-from transformers import AutoModelForCausalLM, AutoTokenizer
+from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
+from threading import Thread
+import time
 
 model_name = "Pyefuri/Qwen2.5-3B-Bahasa-Biak-Final"
 
@@ -11,17 +13,43 @@ tokenizer = AutoTokenizer.from_pretrained(model_name)
 print("Memuat model Bahasa Biak...")
 model = AutoModelForCausalLM.from_pretrained(
     model_name,
-    torch_dtype=torch.float16,  # Diperbaiki dari dtype menjadi torch_dtype agar standar
+    dtype=torch.float16,
     device_map="auto"
 )
 
 @spaces.GPU
 def prediksi_terjemahan(message, history):
+    # ========================================================
+    # FILTRASI UX: MENDETEKSI SAPAAN AGAR AI JAWABNYA RAMAH
+    # ========================================================
+    pesan_bersih = message.lower().strip()
+    sapaan_id = ["halo", "hai", "selamat siang", "slamat siang", "selamat pagi", "slamat pagi", "selamat malam", "slamat malam", "apa kabar"]
+    
+    # Jika pengguna hanya menyapa, berikan respon chat interaktif buatan secara streaming
+    if any(sapaan in pesan_bersih for sapaan in sapaan_id):
+        respon_sapaan = "Hai, selamat siang! Ada yang bisa saya bantu untuk diterjemahkan ke dalam Bahasa Biak hari ini? 😊"
+        if "pagi" in pesan_bersih:
+            respon_sapaan = "Hai, selamat pagi! Ada yang bisa saya bantu untuk diterjemahkan ke dalam Bahasa Biak hari ini? 😊"
+        elif "malam" in pesan_bersih:
+            respon_sapaan = "Hai, selamat malam! Ada yang bisa saya bantu untuk diterjemahkan ke dalam Bahasa Biak hari ini? 😊"
+            
+        teks_berjalan = ""
+        for karakter in respon_sapaan:
+            teks_berjalan += karakter
+            time.sleep(0.01) # Efek mengetik halus
+            yield teks_berjalan
+        return # Menghentikan fungsi di sini agar model tidak ikut memproses terjemahan kaku
+
+    # ========================================================
+    # LOGIKA UTAMA: JIKA BUKAN SAPAAN, JALANKAN TRANSLATOR BIAK
+    # ========================================================
     percakapan = [
-        {"role": "system", "content": "Kamu adalah asisten AI penerjemah yang ahli. Tugasmu adalah menerjemahkan teks dari Bahasa Indonesia ke Bahasa Biak secara akurat, alami, ringkas, dan langsung tanpa pengulangan kata."}
+        {
+            "role": "system", 
+            "content": "Kamu adalah asisten AI penerjemah yang ahli. Tugasmu adalah menerjemahkan teks dari Bahasa Indonesia ke Bahasa Biak secara akurat, alami, ringkas, dan langsung."
+        }
     ]
     
-    # Membongkar history dengan validasi tipe data agar anti-unpack error
     if history:
         for interaksi in history:
             if isinstance(interaksi, (list, tuple)) and len(interaksi) == 2:
@@ -31,8 +59,7 @@ def prediksi_terjemahan(message, history):
                 if assistant:
                     percakapan.append({"role": "assistant", "content": str(assistant)})
     
-    prompt_penerjemahan = f"Terjemahkan kalimat berikut ke dalam Bahasa Biak: {message}"
-    percakapan.append({"role": "user", "content": prompt_penerjemahan})
+    percakapan.append({"role": "user", "content": message})
     
     input_text = tokenizer.apply_chat_template(
         percakapan,
@@ -41,13 +68,14 @@ def prediksi_terjemahan(message, history):
     )
     
     inputs = tokenizer([input_text], return_tensors="pt").to(model.device)
-    input_len = inputs.input_ids.shape[1]
     
-    # Mengatur parameter generator teks
+    streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
+    
     generation_kwargs = dict(
         **inputs,
+        streamer=streamer,
         max_new_tokens=128,
-        temperature=0.1,
+        temperature=0.1, # Dikembalikan ke 0.1 agar hasil terjemahan bahasa Biaknya sangat akurat dan kaku pada polanya
         top_p=0.85,
         repetition_penalty=1.2,
         do_sample=True,
@@ -55,43 +83,36 @@ def prediksi_terjemahan(message, history):
         pad_token_id=tokenizer.pad_token_id if tokenizer.pad_token_id is not None else tokenizer.eos_token_id
     )
     
-    # --- PROSES STREAMING YANG AMAN UNTUK ZERO GPU ---
-    # Di dalam decorator @spaces.GPU, kita melakukan iterasi pemrosesan token satu demi satu secara langsung
-    with torch.no_grad():
-        generated_tokens = inputs.input_ids
-        for _ in range(generation_kwargs["max_new_tokens"]):
-            outputs = model(**{"input_ids": generated_tokens})
-            next_token_logits = outputs.logits[:, -1, :]
-            
-            # Menerapkan parameter pemrosesan (temperature & top-p) untuk pemilihan token berikutnya
-            if generation_kwargs["do_sample"]:
-                # Mengaplikasikan suhu (temperature)
-                next_token_logits = next_token_logits / generation_kwargs["temperature"]
-                probs = torch.softmax(next_token_logits, dim=-1)
-                next_token = torch.multinomial(probs, num_samples=1)
-            else:
-                next_token = torch.argmax(next_token_logits, dim=-1, keepdim=True)
-                
-            # Menggabungkan token baru ke dalam deretan kata yang sudah tercipta
-            generated_tokens = torch.cat([generated_tokens, next_token], dim=-1)
-            
-            # Mengubah token menjadi teks mentah yang siap ditampilkan ke UI
-            text_terjemahan = tokenizer.decode(generated_tokens[0][input_len:], skip_special_tokens=True)
-            
-            # Mengirimkan potongan teks secara langsung ke layar web pengguna saat itu juga
-            yield text_terjemahan.strip()
-            
-            # Menghentikan perulangan jika model mendeteksi tanda baca akhir (End of String / EOS)
-            if next_token.item() == generation_kwargs["eos_token_id"]:
-                break
+    thread = Thread(target=model.generate, kwargs=generation_kwargs)
+    thread.start()
+    
+    text_terjemahan = ""
+    for new_text in streamer:
+        text_terjemahan += new_text
+        yield text_terjemahan.strip()
 
-# Membuat Antarmuka Gradio (Menggunakan tema bawaan agar tampilannya rapi)
-demo = gr.ChatInterface(
-    fn=prediksi_terjemahan,
-    title="🤖 AI Bahasa Indonesia-Biak",
-    description="Silakan masukkan kalimat dalam Bahasa Indonesia untuk diterjemahkan ke dalam Bahasa Biak.",
-    theme=gr.themes.Soft()
-)
+# ==========================================
+#         STRUKTUR DESAIN CUSTOM CSS
+# ==========================================
+desain_kustom_css = """
+#wadah-lebar-chat {
+    max-width: 800px !important;
+    margin: 0 auto !important;
+    float: none !important;
+}
+"""
+
+with gr.Blocks() as demo:
+    gr.Markdown("# 🤖 AI Bahasa Indonesia-Biak")
+    
+    with gr.Column(elem_id="wadah-lebar-chat"):
+        gr.ChatInterface(
+            fn=prediksi_terjemahan,
+            
+        )
 
 if __name__ == "__main__":
-    demo.launch()
+    demo.launch(
+        theme=gr.themes.Soft(),
+        css=desain_kustom_css
+    )