Update app.py
#2
by jenesaispascestlavie - opened
app.py
CHANGED
|
@@ -67,8 +67,8 @@ class LocalLLM:
|
|
| 67 |
print("🔄 正在加載 Qwen-1.5-0.5B-Chat 模型...")
|
| 68 |
print(" (第一次運行會下載模型,約 500MB,請耐心等待)")
|
| 69 |
|
| 70 |
-
#
|
| 71 |
-
model_name = "
|
| 72 |
|
| 73 |
# 加載 tokenizer
|
| 74 |
self.tokenizer = AutoTokenizer.from_pretrained(
|
|
@@ -124,15 +124,15 @@ class LocalLLM:
|
|
| 124 |
|
| 125 |
# 移動到相同設備
|
| 126 |
inputs = {k: v.to(self.device) for k, v in inputs.items()}
|
| 127 |
-
|
| 128 |
-
# 生成回應
|
| 129 |
with torch.no_grad():
|
| 130 |
outputs = self.model.generate(
|
| 131 |
**inputs,
|
| 132 |
max_new_tokens=max_new_tokens,
|
| 133 |
-
temperature=0.
|
| 134 |
-
top_p=0.
|
| 135 |
-
do_sample=
|
| 136 |
pad_token_id=self.tokenizer.pad_token_id,
|
| 137 |
repetition_penalty=1.1
|
| 138 |
)
|
|
@@ -171,17 +171,26 @@ class UniversityChatBot:
|
|
| 171 |
for name, content in zip(self.university_names[:5], self.university_contents[:5])
|
| 172 |
])
|
| 173 |
|
| 174 |
-
self.system_prompt = f"""你是一個專業的大學信息智能助手。
|
| 175 |
你的知識庫包含以下大學信息:
|
| 176 |
|
| 177 |
{uni_summary}
|
| 178 |
|
| 179 |
以及另外 {len(self.university_names) - 5} 所大學的信息。
|
| 180 |
|
| 181 |
-
|
| 182 |
-
回答
|
|
|
|
|
|
|
|
|
|
| 183 |
"""
|
| 184 |
print(f"📝 系統提示詞已建立,長度: {len(self.system_prompt)} 字符")
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 185 |
|
| 186 |
def _retrieve_relevant_info(self, question: str) -> str:
|
| 187 |
"""檢索相關的大學信息"""
|
|
@@ -208,7 +217,7 @@ class UniversityChatBot:
|
|
| 208 |
return "未找到相關信息。"
|
| 209 |
|
| 210 |
def chat(self, message, history=None):
|
| 211 |
-
|
| 212 |
if not message.strip():
|
| 213 |
return "請輸入您的問題。"
|
| 214 |
|
|
@@ -218,35 +227,26 @@ class UniversityChatBot:
|
|
| 218 |
context = self._retrieve_relevant_info(message)
|
| 219 |
print(f"📚 檢索到 {len(context)} 字符的相關信息")
|
| 220 |
|
|
|
|
|
|
|
|
|
|
|
|
|
| 221 |
# 2. 構建提示詞
|
| 222 |
history_text = ""
|
| 223 |
-
|
| 224 |
-
# 兼容兩種可能的歷史格式
|
| 225 |
-
try:
|
| 226 |
-
for item in history[-3:]:
|
| 227 |
-
if isinstance(item, dict):
|
| 228 |
-
# 新格式
|
| 229 |
-
if item["role"] == "user":
|
| 230 |
-
history_text += f"用戶: {item['content']}\n"
|
| 231 |
-
else:
|
| 232 |
-
history_text += f"助手: {item['content']}\n"
|
| 233 |
-
else:
|
| 234 |
-
# 舊格式 tuple
|
| 235 |
-
user_msg, assistant_msg = item
|
| 236 |
-
history_text += f"用戶: {user_msg}\n助手: {assistant_msg}\n"
|
| 237 |
-
except:
|
| 238 |
-
pass
|
| 239 |
|
| 240 |
-
# 3. 構建完整的提示詞
|
| 241 |
full_prompt = f"""{self.system_prompt}
|
| 242 |
|
| 243 |
-
|
|
|
|
| 244 |
{context}
|
|
|
|
| 245 |
|
| 246 |
{history_text}
|
| 247 |
-
用戶當前問題: {message}
|
| 248 |
|
| 249 |
-
請根據
|
| 250 |
|
| 251 |
print(f"📝 提示詞長度: {len(full_prompt)} 字符")
|
| 252 |
|
|
|
|
| 67 |
print("🔄 正在加載 Qwen-1.5-0.5B-Chat 模型...")
|
| 68 |
print(" (第一次運行會下載模型,約 500MB,請耐心等待)")
|
| 69 |
|
| 70 |
+
# DeepSeek's distilled 1.5B reasoning model
|
| 71 |
+
model_name = "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B"
|
| 72 |
|
| 73 |
# 加載 tokenizer
|
| 74 |
self.tokenizer = AutoTokenizer.from_pretrained(
|
|
|
|
| 124 |
|
| 125 |
# 移動到相同設備
|
| 126 |
inputs = {k: v.to(self.device) for k, v in inputs.items()}
|
| 127 |
+
|
| 128 |
+
# 生成回應 (在 generate_response 函數中)
|
| 129 |
with torch.no_grad():
|
| 130 |
outputs = self.model.generate(
|
| 131 |
**inputs,
|
| 132 |
max_new_tokens=max_new_tokens,
|
| 133 |
+
temperature=0.01, # 📉 將 0.7 改為接近 0,限制創造力
|
| 134 |
+
top_p=0.1, # 📉 縮小候選詞範圍
|
| 135 |
+
do_sample=False, # 🛑 關閉隨機採樣,讓輸出完全確定和保守
|
| 136 |
pad_token_id=self.tokenizer.pad_token_id,
|
| 137 |
repetition_penalty=1.1
|
| 138 |
)
|
|
|
|
| 171 |
for name, content in zip(self.university_names[:5], self.university_contents[:5])
|
| 172 |
])
|
| 173 |
|
| 174 |
+
self.system_prompt = f"""你是一個專業的大學信息智能助手。你是一個嚴格的大學信息智能助手。
|
| 175 |
你的知識庫包含以下大學信息:
|
| 176 |
|
| 177 |
{uni_summary}
|
| 178 |
|
| 179 |
以及另外 {len(self.university_names) - 5} 所大學的信息。
|
| 180 |
|
| 181 |
+
【最高指令】
|
| 182 |
+
1. 你**只能**根據提供的「相關大學信息」來回答用戶的問題。
|
| 183 |
+
2. **絕對禁止**使用你自帶的外部知識庫、常識或編造任何信息。
|
| 184 |
+
3. 如果提供的「相關大學信息」中沒有包含能回答問題的答案,你必須一字不漏地回答:「抱歉,我的資料庫中沒有關於這個問題的資訊。」
|
| 185 |
+
4. 回答必須完全忠於提供的文本,不可過度推斷。
|
| 186 |
"""
|
| 187 |
print(f"📝 系統提示詞已建立,長度: {len(self.system_prompt)} 字符")
|
| 188 |
+
|
| 189 |
+
def _build_system_prompt(self):
|
| 190 |
+
"""構建系統提示詞"""
|
| 191 |
+
# 移除原本的 uni_summary 拼接,改為嚴格的指令
|
| 192 |
+
self.system_prompt = """"""
|
| 193 |
+
print(f"📝 系統提示詞已建立,長度: {len(self.system_prompt)} 字符")
|
| 194 |
|
| 195 |
def _retrieve_relevant_info(self, question: str) -> str:
|
| 196 |
"""檢索相關的大學信息"""
|
|
|
|
| 217 |
return "未找到相關信息。"
|
| 218 |
|
| 219 |
def chat(self, message, history=None):
|
| 220 |
+
"""完整的問答流程"""
|
| 221 |
if not message.strip():
|
| 222 |
return "請輸入您的問題。"
|
| 223 |
|
|
|
|
| 227 |
context = self._retrieve_relevant_info(message)
|
| 228 |
print(f"📚 檢索到 {len(context)} 字符的相關信息")
|
| 229 |
|
| 230 |
+
# 🛑 新增防護機制:如果檢索不到信息,直接拒答,不交給大模型
|
| 231 |
+
if context == "未找到相關信息。":
|
| 232 |
+
return "抱歉,我的資料庫中沒有找到與您問題相關的資訊。"
|
| 233 |
+
|
| 234 |
# 2. 構建提示詞
|
| 235 |
history_text = ""
|
| 236 |
+
# ... (保留你原本的 history 處理代碼) ...
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 237 |
|
| 238 |
+
# 3. 構建完整的提示詞 (強化格式隔離)
|
| 239 |
full_prompt = f"""{self.system_prompt}
|
| 240 |
|
| 241 |
+
====================
|
| 242 |
+
【相關大學信息】
|
| 243 |
{context}
|
| 244 |
+
====================
|
| 245 |
|
| 246 |
{history_text}
|
| 247 |
+
【用戶當前問題】: {message}
|
| 248 |
|
| 249 |
+
請嚴格根據上方【相關大學信息】回答【用戶當前問題】。如果信息不足以回答,請直接回覆「抱歉,我的資料庫中沒有關於這個問題的資訊。」"""
|
| 250 |
|
| 251 |
print(f"📝 提示詞長度: {len(full_prompt)} 字符")
|
| 252 |
|