Files changed (1) hide show
  1. app.py +31 -31
app.py CHANGED
@@ -67,8 +67,8 @@ class LocalLLM:
67
  print("🔄 正在加載 Qwen-1.5-0.5B-Chat 模型...")
68
  print(" (第一次運行會下載模型,約 500MB,請耐心等待)")
69
 
70
- # 使用 Qwen 模型,中文能力更強
71
- model_name = "Qwen/Qwen1.5-0.5B-Chat"
72
 
73
  # 加載 tokenizer
74
  self.tokenizer = AutoTokenizer.from_pretrained(
@@ -124,15 +124,15 @@ class LocalLLM:
124
 
125
  # 移動到相同設備
126
  inputs = {k: v.to(self.device) for k, v in inputs.items()}
127
-
128
- # 生成回應
129
  with torch.no_grad():
130
  outputs = self.model.generate(
131
  **inputs,
132
  max_new_tokens=max_new_tokens,
133
- temperature=0.7,
134
- top_p=0.9,
135
- do_sample=True,
136
  pad_token_id=self.tokenizer.pad_token_id,
137
  repetition_penalty=1.1
138
  )
@@ -171,17 +171,26 @@ class UniversityChatBot:
171
  for name, content in zip(self.university_names[:5], self.university_contents[:5])
172
  ])
173
 
174
- self.system_prompt = f"""你是一個專業的大學信息智能助手。
175
  你的知識庫包含以下大學信息:
176
 
177
  {uni_summary}
178
 
179
  以及另外 {len(self.university_names) - 5} 所大學的信息。
180
 
181
- 請基於以上信息回答用戶問題。如果你不知道答案,就誠實地說不知道,不要編造信息。
182
- 回答時請保持專業、友善、有幫助的態度。
 
 
 
183
  """
184
  print(f"📝 系統提示詞已建立,長度: {len(self.system_prompt)} 字符")
 
 
 
 
 
 
185
 
186
  def _retrieve_relevant_info(self, question: str) -> str:
187
  """檢索相關的大學信息"""
@@ -208,7 +217,7 @@ class UniversityChatBot:
208
  return "未找到相關信息。"
209
 
210
  def chat(self, message, history=None):
211
- """完整的問答流程"""
212
  if not message.strip():
213
  return "請輸入您的問題。"
214
 
@@ -218,35 +227,26 @@ class UniversityChatBot:
218
  context = self._retrieve_relevant_info(message)
219
  print(f"📚 檢索到 {len(context)} 字符的相關信息")
220
 
 
 
 
 
221
  # 2. 構建提示詞
222
  history_text = ""
223
- if history:
224
- # 兼容兩種可能的歷史格式
225
- try:
226
- for item in history[-3:]:
227
- if isinstance(item, dict):
228
- # 新格式
229
- if item["role"] == "user":
230
- history_text += f"用戶: {item['content']}\n"
231
- else:
232
- history_text += f"助手: {item['content']}\n"
233
- else:
234
- # 舊格式 tuple
235
- user_msg, assistant_msg = item
236
- history_text += f"用戶: {user_msg}\n助手: {assistant_msg}\n"
237
- except:
238
- pass
239
 
240
- # 3. 構建完整的提示詞
241
  full_prompt = f"""{self.system_prompt}
242
 
243
- 相關大學信息:
 
244
  {context}
 
245
 
246
  {history_text}
247
- 用戶當前問題: {message}
248
 
249
- 請根據以上信息回答用戶的問題。"""
250
 
251
  print(f"📝 提示詞長度: {len(full_prompt)} 字符")
252
 
 
67
  print("🔄 正在加載 Qwen-1.5-0.5B-Chat 模型...")
68
  print(" (第一次運行會下載模型,約 500MB,請耐心等待)")
69
 
70
+ # DeepSeek's distilled 1.5B reasoning model
71
+ model_name = "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B"
72
 
73
  # 加載 tokenizer
74
  self.tokenizer = AutoTokenizer.from_pretrained(
 
124
 
125
  # 移動到相同設備
126
  inputs = {k: v.to(self.device) for k, v in inputs.items()}
127
+
128
+ # 生成回應 (在 generate_response 函數中)
129
  with torch.no_grad():
130
  outputs = self.model.generate(
131
  **inputs,
132
  max_new_tokens=max_new_tokens,
133
+ temperature=0.01, # 📉 將 0.7 改為接近 0,限制創造力
134
+ top_p=0.1, # 📉 縮小候選詞範圍
135
+ do_sample=False, # 🛑 關閉隨機採樣,讓輸出完全確定和保守
136
  pad_token_id=self.tokenizer.pad_token_id,
137
  repetition_penalty=1.1
138
  )
 
171
  for name, content in zip(self.university_names[:5], self.university_contents[:5])
172
  ])
173
 
174
+ self.system_prompt = f"""你是一個專業的大學信息智能助手。你是一個嚴格的大學信息智能助手。
175
  你的知識庫包含以下大學信息:
176
 
177
  {uni_summary}
178
 
179
  以及另外 {len(self.university_names) - 5} 所大學的信息。
180
 
181
+ 【最高指令】
182
+ 1. 你**只能**根據提供的「相關大學信息」來回答用戶的問題。
183
+ 2. **絕對禁止**使用你自帶的外部知識庫、常識或編造任何信息。
184
+ 3. 如果提供的「相關大學信息」中沒有包含能回答問題的答案,你必須一字不漏地回答:「抱歉,我的資料庫中沒有關於這個問題的資訊。」
185
+ 4. 回答必須完全忠於提供的文本,不可過度推斷。
186
  """
187
  print(f"📝 系統提示詞已建立,長度: {len(self.system_prompt)} 字符")
188
+
189
+ def _build_system_prompt(self):
190
+ """構建系統提示詞"""
191
+ # 移除原本的 uni_summary 拼接,改為嚴格的指令
192
+ self.system_prompt = """"""
193
+ print(f"📝 系統提示詞已建立,長度: {len(self.system_prompt)} 字符")
194
 
195
  def _retrieve_relevant_info(self, question: str) -> str:
196
  """檢索相關的大學信息"""
 
217
  return "未找到相關信息。"
218
 
219
  def chat(self, message, history=None):
220
+ """完整的問答流程"""
221
  if not message.strip():
222
  return "請輸入您的問題。"
223
 
 
227
  context = self._retrieve_relevant_info(message)
228
  print(f"📚 檢索到 {len(context)} 字符的相關信息")
229
 
230
+ # 🛑 新增防護機制:如果檢索不到信息,直接拒答,不交給大模型
231
+ if context == "未找到相關信息。":
232
+ return "抱歉,我的資料庫中沒有找到與您問題相關的資訊。"
233
+
234
  # 2. 構建提示詞
235
  history_text = ""
236
+ # ... (保留你原本的 history 處理代碼) ...
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
237
 
238
+ # 3. 構建完整的提示詞 (強化格式隔離)
239
  full_prompt = f"""{self.system_prompt}
240
 
241
+ ====================
242
+ 【相關大學信息】
243
  {context}
244
+ ====================
245
 
246
  {history_text}
247
+ 【用戶當前問題】: {message}
248
 
249
+ 請嚴格根據上方【相關大學信息】回答【用戶當前問題】。如果信息不足以回答,請直接回覆「抱歉,我的資料庫中沒有關於這個問題的資訊。」"""
250
 
251
  print(f"📝 提示詞長度: {len(full_prompt)} 字符")
252