idkWhatToUse commited on
Commit
411a6ae
·
verified ·
1 Parent(s): 37b48ea

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +3 -3
app.py CHANGED
@@ -53,12 +53,12 @@ with torch.no_grad():
53
 
54
  # ========== 4. (可選)小型 LLM 作 fallback ==========
55
  # 若 Space 免費 CPU 撐不住,可以先註解掉這段,或回傳簡單文字
56
- llm_name = "google/gemma-2b-it"
57
  tokenizer = AutoTokenizer.from_pretrained(llm_name)
58
  llm_model = AutoModelForCausalLM.from_pretrained(llm_name)
59
 
60
  def llm_fallback(query: str) -> str:
61
- prompt = f"你是一位台灣垃圾分類助理,請用簡單中文回答以下問題,並遵守台灣常見垃圾分類規則:{query}"
62
  inputs = tokenizer(prompt, return_tensors="pt")
63
  outputs = llm_model.generate(**inputs, max_new_tokens=120)
64
  return tokenizer.decode(outputs[0], skip_special_tokens=True)
@@ -180,7 +180,7 @@ demo = gr.Interface(
180
  outputs=gr.Markdown(),
181
  title="台南垃圾分類智慧助理(CLIP + 271 類回收資料)",
182
  description=(
183
- "● 上傳圖片,我會幫你猜這是什麼,並從 271 項回收資料中找最接近的物品,提供回收方式。\n"
184
  "● 可以同時輸入文字,例如「這個要怎麼回收?」或「這個是可回收嗎?」\n"
185
  "● 也可以只輸入文字,查詢常見的垃圾分類 / 回收問答。\n"
186
  )
 
53
 
54
  # ========== 4. (可選)小型 LLM 作 fallback ==========
55
  # 若 Space 免費 CPU 撐不住,可以先註解掉這段,或回傳簡單文字
56
+ llm_name = "microsoft/phi-2"
57
  tokenizer = AutoTokenizer.from_pretrained(llm_name)
58
  llm_model = AutoModelForCausalLM.from_pretrained(llm_name)
59
 
60
  def llm_fallback(query: str) -> str:
61
+ prompt = f"你是一位垃圾分類助理,請用簡單中文回答以下問題,並遵守常見垃圾分類規則:{query}"
62
  inputs = tokenizer(prompt, return_tensors="pt")
63
  outputs = llm_model.generate(**inputs, max_new_tokens=120)
64
  return tokenizer.decode(outputs[0], skip_special_tokens=True)
 
180
  outputs=gr.Markdown(),
181
  title="台南垃圾分類智慧助理(CLIP + 271 類回收資料)",
182
  description=(
183
+ "● 上傳圖片,我會幫你猜這是什麼,並從回收資料中找最接近的物品,提供回收方式。\n"
184
  "● 可以同時輸入文字,例如「這個要怎麼回收?」或「這個是可回收嗎?」\n"
185
  "● 也可以只輸入文字,查詢常見的垃圾分類 / 回收問答。\n"
186
  )