Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
|
@@ -53,12 +53,12 @@ with torch.no_grad():
|
|
| 53 |
|
| 54 |
# ========== 4. (可選)小型 LLM 作 fallback ==========
|
| 55 |
# 若 Space 免費 CPU 撐不住,可以先註解掉這段,或回傳簡單文字
|
| 56 |
-
llm_name = "
|
| 57 |
tokenizer = AutoTokenizer.from_pretrained(llm_name)
|
| 58 |
llm_model = AutoModelForCausalLM.from_pretrained(llm_name)
|
| 59 |
|
| 60 |
def llm_fallback(query: str) -> str:
|
| 61 |
-
prompt = f"你是一位
|
| 62 |
inputs = tokenizer(prompt, return_tensors="pt")
|
| 63 |
outputs = llm_model.generate(**inputs, max_new_tokens=120)
|
| 64 |
return tokenizer.decode(outputs[0], skip_special_tokens=True)
|
|
@@ -180,7 +180,7 @@ demo = gr.Interface(
|
|
| 180 |
outputs=gr.Markdown(),
|
| 181 |
title="台南垃圾分類智慧助理(CLIP + 271 類回收資料)",
|
| 182 |
description=(
|
| 183 |
-
"● 上傳圖片,我會幫你猜這是什麼,並從
|
| 184 |
"● 可以同時輸入文字,例如「這個要怎麼回收?」或「這個是可回收嗎?」\n"
|
| 185 |
"● 也可以只輸入文字,查詢常見的垃圾分類 / 回收問答。\n"
|
| 186 |
)
|
|
|
|
| 53 |
|
| 54 |
# ========== 4. (可選)小型 LLM 作 fallback ==========
|
| 55 |
# 若 Space 免費 CPU 撐不住,可以先註解掉這段,或回傳簡單文字
|
| 56 |
+
llm_name = "microsoft/phi-2"
|
| 57 |
tokenizer = AutoTokenizer.from_pretrained(llm_name)
|
| 58 |
llm_model = AutoModelForCausalLM.from_pretrained(llm_name)
|
| 59 |
|
| 60 |
def llm_fallback(query: str) -> str:
|
| 61 |
+
prompt = f"你是一位垃圾分類助理,請用簡單中文回答以下問題,並遵守常見垃圾分類規則:{query}"
|
| 62 |
inputs = tokenizer(prompt, return_tensors="pt")
|
| 63 |
outputs = llm_model.generate(**inputs, max_new_tokens=120)
|
| 64 |
return tokenizer.decode(outputs[0], skip_special_tokens=True)
|
|
|
|
| 180 |
outputs=gr.Markdown(),
|
| 181 |
title="台南垃圾分類智慧助理(CLIP + 271 類回收資料)",
|
| 182 |
description=(
|
| 183 |
+
"● 上傳圖片,我會幫你猜這是什麼,並從回收資料中找最接近的物品,提供回收方式。\n"
|
| 184 |
"● 可以同時輸入文字,例如「這個要怎麼回收?」或「這個是可回收嗎?」\n"
|
| 185 |
"● 也可以只輸入文字,查詢常見的垃圾分類 / 回收問答。\n"
|
| 186 |
)
|