Update app.py

app.py

@@ -11,17 +11,26 @@ tokenizer = AutoTokenizer.from_pretrained(model_name)
 print("Memuat model Bahasa Biak...")
 model = AutoModelForCausalLM.from_pretrained(
     model_name,
-    dtype=torch.float16,
+    torch_dtype=torch.float16,
     device_map="auto"
 )
 
 @spaces.GPU
 def prediksi_terjemahan(message, history):
+    # PERUBAHAN UTAMA: Instruksi sistem diubah agar AI bersikap interaktif dan ramah layaknya ChatGPT
     percakapan = [
-        {"role": "system", "content": "Kamu adalah asisten AI penerjemah yang ahli. Tugasmu adalah menerjemahkan teks dari Bahasa Indonesia ke Bahasa Biak secara akurat, alami, ringkas, dan langsung tanpa pengulangan kata."}
+        {
+            "role": "system", 
+            "content": (
+                "Kamu adalah asisten AI chat interaktif sekaligus penerjemah yang ramah untuk Bahasa Indonesia dan Bahasa Biak. "
+                "Jika pengguna menyapa (seperti selamat pagi, siang, atau malam), jawablah sapaan tersebut dengan ramah, "
+                "sopan, dan tawarkan bantuan menggunakan gaya bahasa santai atau padanannya yang tepat. "
+                "Jika pengguna memberikan kalimat berita/tanya untuk diterjemahkan, berikan terjemahan ke Bahasa Biak secara alami."
+            )
+        }
     ]
     
-    # Solusi Pengaman Gradio Lama: Membongkar history dengan validasi tipe data agar anti-unpack error
+    # Membongkar history dengan validasi tipe data agar anti-unpack error
     if history:
         for interaksi in history:
             if isinstance(interaksi, (list, tuple)) and len(interaksi) == 2:
@@ -31,8 +40,8 @@ def prediksi_terjemahan(message, history):
                 if assistant:
                     percakapan.append({"role": "assistant", "content": str(assistant)})
     
-    prompt_penerjemahan = f"Terjemahkan kalimat berikut ke dalam Bahasa Biak: {message}"
-    percakapan.append({"role": "user", "content": prompt_penerjemahan})
+    # Memasukkan pesan terbaru dari pengguna
+    percakapan.append({"role": "user", "content": message})
     
     input_text = tokenizer.apply_chat_template(
         percakapan,
@@ -41,36 +50,49 @@ def prediksi_terjemahan(message, history):
     )
     
     inputs = tokenizer([input_text], return_tensors="pt").to(model.device)
+    input_len = inputs.input_ids.shape[1]
     
-    with torch.no_grad():
-        generated_ids = model.generate(
-            **inputs,
-            max_new_tokens=128,
-            temperature=0.1,
-            top_p=0.85,
-            repetition_penalty=1.2,
-            do_sample=True,
-            eos_token_id=tokenizer.eos_token_id,
-            pad_token_id=tokenizer.pad_token_id if tokenizer.pad_token_id is not None else tokenizer.eos_token_id
-        )
-    
-    generated_ids = [
-        output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, generated_ids)
-    ]
-    
-    respons = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
-    
-    # Memastikan output berupa string bersih murni
-    if respons and len(respons) > 0:
-        return str(respons[0]).strip()
+    generation_kwargs = dict(
+        **inputs,
+        max_new_tokens=128,
+        temperature=0.4,  # Menaikkan sedikit dari 0.1 ke 0.4 agar jawaban AI lebih variatif & tidak kaku
+        top_p=0.85,
+        repetition_penalty=1.2,
+        do_sample=True,
+        eos_token_id=tokenizer.eos_token_id,
+        pad_token_id=tokenizer.pad_token_id if tokenizer.pad_token_id is not None else tokenizer.eos_token_id
+    )
     
-    return "Maaf, terjadi kesalahan saat memproses terjemahan."
+    # PROSES STREAMING (Mengalirkan kata per kata secara bertahap ke UI)
+    with torch.no_grad():
+        generated_tokens = inputs.input_ids
+        for _ in range(generation_kwargs["max_new_tokens"]):
+            outputs = model(**{"input_ids": generated_tokens})
+            next_token_logits = outputs.logits[:, -1, :]
+            
+            if generation_kwargs["do_sample"]:
+                next_token_logits = next_token_logits / generation_kwargs["temperature"]
+                probs = torch.softmax(next_token_logits, dim=-1)
+                next_token = torch.multinomial(probs, num_samples=1)
+            else:
+                next_token = torch.argmax(next_token_logits, dim=-1, keepdim=True)
+                
+            generated_tokens = torch.cat([generated_tokens, next_token], dim=-1)
+            
+            # Memotong token input agar hanya mengambil teks baru dari AI
+            text_terjemahan = tokenizer.decode(generated_tokens[0][input_len:], skip_special_tokens=True)
+            
+            yield text_terjemahan.strip()
+            
+            if next_token.item() == generation_kwargs["eos_token_id"]:
+                break
 
-# Membuat Antarmuka Gradio (Menghapus parameter 'type' agar kompatibel dengan server lama)
+# Membuat Antarmuka Gradio dengan tambahan contoh sapaan interaktif di bagian bawah
 demo = gr.ChatInterface(
     fn=prediksi_terjemahan,
-    title="🤖  AI Bahasa Indonesia-Biak",
-    description="Silakan masukkan kalimat dalam Bahasa Indonesia untuk diterjemahkan ke dalam Bahasa Biak."
+    title="🤖 AI Bahasa Indonesia-Biak",
+    description="Ketik kalimat sapaan atau teks Bahasa Indonesia untuk berinteraksi langsung dengan AI.",
+   
 )
 
 if __name__ == "__main__":