Spaces:
Sleeping
Sleeping
Update server.py
Browse files
server.py
CHANGED
|
@@ -23,7 +23,7 @@ JSON_SOURCE = "database.json"
|
|
| 23 |
logging.basicConfig(level=logging.INFO)
|
| 24 |
logger = logging.getLogger(__name__)
|
| 25 |
|
| 26 |
-
app = FastAPI(title="Hebrew Smart Home Technician", version="
|
| 27 |
|
| 28 |
app.add_middleware(
|
| 29 |
CORSMiddleware,
|
|
@@ -83,12 +83,10 @@ def expand_query(query: str) -> List[str]:
|
|
| 83 |
root = w[1:] if len(w) > 3 and w.startswith('ה') else w
|
| 84 |
search_terms.add(root)
|
| 85 |
|
| 86 |
-
# מיפוי מונחים
|
| 87 |
for key, values in SEARCH_MAP.items():
|
| 88 |
if key in root:
|
| 89 |
search_terms.update(values)
|
| 90 |
|
| 91 |
-
# טיפול מיוחד במספרים (למשל: 18 -> D18, GPIO18, Pin 18)
|
| 92 |
if w.isdigit():
|
| 93 |
search_terms.add(w)
|
| 94 |
search_terms.add(f"D{w}")
|
|
@@ -97,7 +95,38 @@ def expand_query(query: str) -> List[str]:
|
|
| 97 |
|
| 98 |
return list(search_terms)
|
| 99 |
|
| 100 |
-
def
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 101 |
conn = sqlite3.connect(DB_FILE)
|
| 102 |
cursor = conn.cursor()
|
| 103 |
|
|
@@ -114,21 +143,18 @@ def query_knowledge_base(query: str) -> str:
|
|
| 114 |
if row_id not in seen_ids:
|
| 115 |
score = 1
|
| 116 |
|
| 117 |
-
# 1. תעדוף שרטוטים
|
| 118 |
is_schematic = "Schematic" in content or "Connections" in content
|
| 119 |
is_tech_query = any(x in query for x in ["שרטוט", "חיבור", "פין", "לאן", "מחובר"])
|
| 120 |
|
| 121 |
if is_schematic and is_tech_query:
|
| 122 |
score += 100
|
| 123 |
|
| 124 |
-
# 2. תעדוף מספרים (בנפרד מה-IF הקודם כדי למנוע שגיאת תחביר)
|
| 125 |
numbers_in_query = [int(s) for s in query.split() if s.isdigit()]
|
| 126 |
for num in numbers_in_query:
|
| 127 |
if str(num) in content:
|
| 128 |
score += 50
|
| 129 |
|
| 130 |
-
|
| 131 |
-
if term.lower() in topic.lower():
|
| 132 |
score += 10
|
| 133 |
|
| 134 |
results.append((score, content))
|
|
@@ -139,9 +165,15 @@ def query_knowledge_base(query: str) -> str:
|
|
| 139 |
results.sort(key=lambda x: x[0], reverse=True)
|
| 140 |
|
| 141 |
if results:
|
| 142 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 143 |
|
| 144 |
-
return "
|
| 145 |
|
| 146 |
def save_message(role: str, content: str):
|
| 147 |
try:
|
|
@@ -197,20 +229,21 @@ async def chat_completions(request: ChatCompletionRequest):
|
|
| 197 |
context = ""
|
| 198 |
if last_user_msg:
|
| 199 |
save_message("user", last_user_msg.content)
|
| 200 |
-
|
|
|
|
| 201 |
|
| 202 |
if context:
|
| 203 |
sys_msg = (
|
| 204 |
"תפקידך: טכנאי מומחה לפרויקט 'בית חכם תלם'.\n"
|
| 205 |
"הנחיות:\n"
|
| 206 |
-
"1. ענה אך ורק בעברית. תרגם כל מונח טכני מאנגלית לעברית
|
| 207 |
-
"2.
|
| 208 |
-
"3. א
|
| 209 |
-
"4. א
|
| 210 |
-
f"\nמידע
|
| 211 |
)
|
| 212 |
else:
|
| 213 |
-
sys_msg = "אתה עוזר חכם לפרויקט תלם. ענה בעברית. לא נמצא מידע ספציפי
|
| 214 |
|
| 215 |
if request.messages[0].role == "system":
|
| 216 |
request.messages[0].content = sys_msg
|
|
@@ -225,11 +258,11 @@ async def chat_completions(request: ChatCompletionRequest):
|
|
| 225 |
gen_kwargs = dict(
|
| 226 |
inputs=prompt_ids,
|
| 227 |
max_new_tokens=request.max_tokens,
|
| 228 |
-
temperature=0.
|
| 229 |
top_p=0.9,
|
| 230 |
do_sample=True,
|
| 231 |
pad_token_id=tokenizer.eos_token_id,
|
| 232 |
-
repetition_penalty=1.
|
| 233 |
)
|
| 234 |
|
| 235 |
if request.stream:
|
|
|
|
| 23 |
logging.basicConfig(level=logging.INFO)
|
| 24 |
logger = logging.getLogger(__name__)
|
| 25 |
|
| 26 |
+
app = FastAPI(title="Hebrew Smart Home Technician", version="9.0.0")
|
| 27 |
|
| 28 |
app.add_middleware(
|
| 29 |
CORSMiddleware,
|
|
|
|
| 83 |
root = w[1:] if len(w) > 3 and w.startswith('ה') else w
|
| 84 |
search_terms.add(root)
|
| 85 |
|
|
|
|
| 86 |
for key, values in SEARCH_MAP.items():
|
| 87 |
if key in root:
|
| 88 |
search_terms.update(values)
|
| 89 |
|
|
|
|
| 90 |
if w.isdigit():
|
| 91 |
search_terms.add(w)
|
| 92 |
search_terms.add(f"D{w}")
|
|
|
|
| 95 |
|
| 96 |
return list(search_terms)
|
| 97 |
|
| 98 |
+
def filter_schematic_context(full_context: str, query_terms: List[str]) -> str:
|
| 99 |
+
"""
|
| 100 |
+
מסנן את השרטוט: משאיר רק שורות שרלוונטיות לשאלה.
|
| 101 |
+
זה מונע מהמודל להתבלבל מעודף מידע.
|
| 102 |
+
"""
|
| 103 |
+
lines = full_context.split('\n')
|
| 104 |
+
relevant_lines = []
|
| 105 |
+
|
| 106 |
+
# מילים שחייבות להופיע תמיד אם זה שרטוט (כותרות וכו')
|
| 107 |
+
header_terms = ["Schematic Connections", "connects to"]
|
| 108 |
+
|
| 109 |
+
# זיהוי אם המשתמש שאל על רכיב ספציפי
|
| 110 |
+
target_terms = [t.lower() for t in query_terms if len(t) > 1] # מונחים מהשאלה
|
| 111 |
+
|
| 112 |
+
for line in lines:
|
| 113 |
+
line_lower = line.lower()
|
| 114 |
+
|
| 115 |
+
# תמיד לשמור כותרות
|
| 116 |
+
if any(h.lower() in line_lower for h in header_terms) and len(line) < 50:
|
| 117 |
+
relevant_lines.append(line)
|
| 118 |
+
continue
|
| 119 |
+
|
| 120 |
+
# אם השורה מכילה אחד ממונחי החיפוש (למשל "LCD1" או "18")
|
| 121 |
+
if any(t in line_lower for t in target_terms):
|
| 122 |
+
relevant_lines.append(line)
|
| 123 |
+
|
| 124 |
+
if not relevant_lines:
|
| 125 |
+
return full_context # אם לא מצאנו כלום, נחזיר הכל ליתר ביטחון
|
| 126 |
+
|
| 127 |
+
return "\n".join(relevant_lines)
|
| 128 |
+
|
| 129 |
+
def query_knowledge_base(query: str) -> Tuple[str, List[str]]:
|
| 130 |
conn = sqlite3.connect(DB_FILE)
|
| 131 |
cursor = conn.cursor()
|
| 132 |
|
|
|
|
| 143 |
if row_id not in seen_ids:
|
| 144 |
score = 1
|
| 145 |
|
|
|
|
| 146 |
is_schematic = "Schematic" in content or "Connections" in content
|
| 147 |
is_tech_query = any(x in query for x in ["שרטוט", "חיבור", "פין", "לאן", "מחובר"])
|
| 148 |
|
| 149 |
if is_schematic and is_tech_query:
|
| 150 |
score += 100
|
| 151 |
|
|
|
|
| 152 |
numbers_in_query = [int(s) for s in query.split() if s.isdigit()]
|
| 153 |
for num in numbers_in_query:
|
| 154 |
if str(num) in content:
|
| 155 |
score += 50
|
| 156 |
|
| 157 |
+
elif term.lower() in topic.lower():
|
|
|
|
| 158 |
score += 10
|
| 159 |
|
| 160 |
results.append((score, content))
|
|
|
|
| 165 |
results.sort(key=lambda x: x[0], reverse=True)
|
| 166 |
|
| 167 |
if results:
|
| 168 |
+
best_content = results[0][1]
|
| 169 |
+
# אם זה שרטוט, נפעיל את הסינון החכם
|
| 170 |
+
if "Schematic" in best_content:
|
| 171 |
+
filtered = filter_schematic_context(best_content, search_terms)
|
| 172 |
+
logger.info(f"📉 Filtered context from {len(best_content)} to {len(filtered)} chars")
|
| 173 |
+
return filtered, search_terms
|
| 174 |
+
return best_content, search_terms
|
| 175 |
|
| 176 |
+
return "", search_terms
|
| 177 |
|
| 178 |
def save_message(role: str, content: str):
|
| 179 |
try:
|
|
|
|
| 229 |
context = ""
|
| 230 |
if last_user_msg:
|
| 231 |
save_message("user", last_user_msg.content)
|
| 232 |
+
# קבלת הקשר מסונן ונקי
|
| 233 |
+
context, _ = query_knowledge_base(last_user_msg.content)
|
| 234 |
|
| 235 |
if context:
|
| 236 |
sys_msg = (
|
| 237 |
"תפקידך: טכנאי מומחה לפרויקט 'בית חכם תלם'.\n"
|
| 238 |
"הנחיות:\n"
|
| 239 |
+
"1. ענה אך ורק בעברית. תרגם כל מונח טכני מאנגלית לעברית (למשל 'Connects' -> 'מחובר').\n"
|
| 240 |
+
"2. במידע המצורף יש רשימת חיבורים. השתמש רק בשורות שמופיעות שם כדי לענות.\n"
|
| 241 |
+
"3. אל תמציא מידע. ענה קצר ולעניין.\n"
|
| 242 |
+
"4. דוגמה: אם כתוב 'LCD1 Pin RX connects to U4', ענה: 'פין RX של המסך מחובר לרכיב U4'.\n"
|
| 243 |
+
f"\nמידע רלוונטי בלבד (Context):\n{context}"
|
| 244 |
)
|
| 245 |
else:
|
| 246 |
+
sys_msg = "אתה עוזר חכם לפרויקט תלם. ענה בעברית. לא נמצא מידע ספציפי, נסה לענות באופן כללי או אמור שאינך יודע."
|
| 247 |
|
| 248 |
if request.messages[0].role == "system":
|
| 249 |
request.messages[0].content = sys_msg
|
|
|
|
| 258 |
gen_kwargs = dict(
|
| 259 |
inputs=prompt_ids,
|
| 260 |
max_new_tokens=request.max_tokens,
|
| 261 |
+
temperature=0.2,
|
| 262 |
top_p=0.9,
|
| 263 |
do_sample=True,
|
| 264 |
pad_token_id=tokenizer.eos_token_id,
|
| 265 |
+
repetition_penalty=1.0 # ביטול ענישה מלא למניעת ג'יבריש כמו "uret"
|
| 266 |
)
|
| 267 |
|
| 268 |
if request.stream:
|