idkWhatToUse commited on
Commit
7d92fae
·
verified ·
1 Parent(s): b93cc3a

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +3 -4
app.py CHANGED
@@ -56,8 +56,7 @@ tok = AutoTokenizer.from_pretrained(LLM)
56
  llm = AutoModelForCausalLM.from_pretrained(
57
  LLM,
58
  torch_dtype=torch.float32,
59
- device_map="cpu"
60
- )
61
 
62
  def llm_reply(prompt):
63
  inputs = tok(prompt, return_tensors="pt")
@@ -178,8 +177,8 @@ ui = gr.ChatInterface(
178
  fn=chatbot,
179
  title="台南垃圾分類智慧助理(圖片 + 聊天)",
180
  description=(
181
- "你可以傳圖片讓我判斷物品,或直接輸入問題。我會根據 271 類回收資料、官方 Q&A、和 LLM 回答你。\n"
182
- "支援多輪對話,可追問!"
183
  ),
184
  multimodal=True,
185
  )
 
56
  llm = AutoModelForCausalLM.from_pretrained(
57
  LLM,
58
  torch_dtype=torch.float32,
59
+ ).to("cpu")
 
60
 
61
  def llm_reply(prompt):
62
  inputs = tok(prompt, return_tensors="pt")
 
177
  fn=chatbot,
178
  title="台南垃圾分類智慧助理(圖片 + 聊天)",
179
  description=(
180
+ "你可以傳圖片讓我判斷物品,或直接輸入問題。我會根據回收資料、官方 Q&A、和 LLM 回答你。\n"
181
+ "支援多輪對話!"
182
  ),
183
  multimodal=True,
184
  )