Update app.py

app.py

@@ -3,30 +3,28 @@ import torch
 from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
 from threading import Thread
 
-# Menggunakan Phi-3.5-mini-instruct (3.8B Parameter)
-model_id = "microsoft/Phi-3.5-mini-instruct"
+# Model PALING KECIL BANGET & PALING KENCENG di CPU Space
+model_id = "HuggingFaceTB/SmolLM2-135M-Instruct"
 
-print("Memuat Tokenizer & Model Phi-3.5 ke RAM (Bakal butuh waktu agak lama)...")
+print("Memuat Model Paling Kecil di Dunia (SmolLM2-135M)...")
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 model = AutoModelForCausalLM.from_pretrained(
     model_id,
-    dtype=torch.float32,     # Menggunakan 'dtype' (versi baru yang direkomendasikan)
-    device_map="cpu"         # Sekarang aman karena accelerate sudah dipasang
+    dtype=torch.float32,
+    device_map="cpu"
 )
-print("Phi-3.5 Berhasil Dimuat dan Siap Beraksi!")
+print("Model Terkecil Siap Beraksi Tanpa Delay!")
 
-def chat_phi(message, history):
+def chat_smol(message, history):
     conversation = []
     
-    # Menyusun riwayat percakapan terdahulu
+    # Masukkan riwayat chat
     for user_msg, ai_msg in history:
         conversation.append({"role": "user", "content": user_msg})
         conversation.append({"role": "assistant", "content": ai_msg})
         
-    # Memasukkan prompt baru dari user
     conversation.append({"role": "user", "content": message})
     
-    # Mengonversi pesan sesuai dengan template chat khusus dari Microsoft Phi
     input_ids = tokenizer.apply_chat_template(
         conversation, 
         tokenize=True, 
@@ -34,18 +32,16 @@ def chat_phi(message, history):
         return_tensors="pt"
     ).to("cpu")
     
-    # Menggunakan Streamer agar output teks muncul mengetik secara real-time
     streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
     
     generation_kwargs = dict(
         input_ids=input_ids,
         streamer=streamer,
-        max_new_tokens=512,
-        temperature=0.7,
+        max_new_tokens=250, # Dibatasi biar makin instan jawabannya
+        temperature=0.6,
         top_p=0.9
     )
     
-    # Menjalankan inferensi di background thread agar UI tidak mengalami freeze/stuck
     thread = Thread(target=model.generate, kwargs=generation_kwargs)
     thread.start()
     
@@ -54,12 +50,12 @@ def chat_phi(message, history):
         partial_text += new_text
         yield partial_text
 
-# Mengaktifkan antarmuka Chatbot menggunakan UI Gradio yang baru
+# Tampilan UI Chatbot Gradio
 demo = ui.ChatInterface(
-    fn=chat_phi,
-    title="🧠 Phi-3.5 Mini Instruct Chatbot",
-    description="Merasakan kekuatan model penalaran 3.8B buatan Microsoft, berjalan stabil langsung dari CPU Hugging Face Space Gratisan."
-) # Baris theme="soft" DIHAPUS agar tidak error
+    fn=chat_smol,
+    title="⚡ Ultra Micro Chatbot (SmolLM2)",
+    description="Menggunakan model 135M Parameter. Ini adalah spek paling ringan, dijamin langsung merespon secepat kilat tanpa loading lama!"
+)
 
 if __name__ == "__main__":
     demo.launch()