Update app.py

app.py

@@ -1,8 +1,10 @@
 import os
+import re
 from fastapi import FastAPI, Request, HTTPException
 from pydantic import BaseModel
 from huggingface_hub import hf_hub_download
 from llama_cpp import Llama
+from tavily import TavilyClient
 
 API_KEYS = {k.strip() for k in os.environ.get("GINI_API_KEYS", "").split(",") if k.strip()}
 if os.environ.get("GINI_API_KEY"): API_KEYS.add(os.environ.get("GINI_API_KEY"))
@@ -19,6 +21,23 @@ SYSTEM_PROMPT = (
     "Твой девиз сейчас: «Творчество не имеет границ, а каждый мой ответ — это маленькое произведение искусства»."
 )
 
+TAVILY_API_KEY = "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"
+tavily = TavilyClient(api_key=TAVILY_API_KEY)
+
+def get_web_context(query: str) -> str:
+    query_lower = query.lower()
+    keywords = ["найди", "поищи", "погугли", "кто", "что", "когда", "где", "какая", "почему", "новости", "вчера", "погода", "курс"]
+    if any(k in query_lower for k in keywords) or query.endswith("?"):
+        try:
+            response = tavily.search(query, search_depth="basic", max_results=3)
+            results = response.get("results", [])
+            if results:
+                snippets = [f"- {r.get('title', '')}: {r.get('content', '')}" for r in results]
+                return "ВНИМАНИЕ! Свежая информация из интернета по запросу пользователя:\n" + "\n".join(snippets) + "\n\nОпирайся строго на эти факты при ответе."
+        except Exception:
+            pass
+    return ""
+
 MODEL_PATH = hf_hub_download(
     repo_id="bartowski/Meta-Llama-3.1-8B-Instruct-GGUF",
     filename="Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf",
@@ -40,9 +59,14 @@ async def generate(req: GenerateRequest, request: Request):
     if auth.removeprefix("Bearer ").strip() not in API_KEYS:
         raise HTTPException(status_code=401, detail="Unauthorized")
 
+    system_content = SYSTEM_PROMPT
+    web_context = get_web_context(req.prompt)
+    if web_context:
+        system_content += f"\n\n{web_context}"
+
     result = llm.create_chat_completion(
         messages=[
-            {"role": "system", "content": SYSTEM_PROMPT},
+            {"role": "system", "content": system_content},
             {"role": "user", "content": req.prompt},
         ],
         max_tokens=req.max_new_tokens,