remake web search tool

src/ui/callbacks.py

@@ -1,11 +1,8 @@
-# src/ui/callbacks.py
-
 import os
-import re
-import urllib.parse
 
 import gradio as gr
-import httpx
+import PyPDF2  # Для нормального чтения PDF
+from duckduckgo_search import DDGS  # Официальная библиотека поиска
 
 from src.core.engine import engine
 from src.utils.helpers import get_clean_text
@@ -32,41 +29,27 @@ def set_interactive(is_interactive):
 
 
 def web_search(query: str, max_results: int = 3) -> list:
-    headers = {
-        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
-    }
-    url = f"https://html.duckduckgo.com/html/?q={urllib.parse.quote(query)}"
+    """
+    Чистый и надежный поиск через API duckduckgo-search.
+    Никаких костылей с регулярками и парсингом HTML.
+    """
     try:
-        response = httpx.get(url, headers=headers, timeout=5.0)
-        if response.status_code != 200:
-            return []
-        html = response.text
-        titles = re.findall(r'<a class="result__a" href="([^"]+)">([^<]+)</a>', html)
-        snippets = re.findall(r'<td class="result-snippet">([\s\S]*?)</td>', html)
-        results = []
-        for i in range(min(len(titles), len(snippets), max_results)):
-            url_match = re.search(r"uddg=([^&]+)", titles[i][0])
-            raw_url = (
-                urllib.parse.unquote(url_match.group(1)) if url_match else titles[i][0]
-            )
-            snippet_clean = (
-                re.sub(r"<[^>]+>", "", snippets[i])
-                .strip()
-                .replace("&amp;", "&")
-                .replace("&quot;", '"')
-                .replace("&lt;", "<")
-                .replace("&gt;", ">")
-            )
-            results.append(
-                {
-                    "title": titles[i][1].strip(),
-                    "url": raw_url,
-                    "snippet": snippet_clean,
-                }
-            )
-        return results
+        with DDGS() as ddgs:
+            # DDGS возвращает генератор, конвертируем в список
+            results = list(ddgs.text(query, max_results=max_results))
+
+            formatted_results = []
+            for r in results:
+                formatted_results.append(
+                    {
+                        "title": r.get("title", ""),
+                        "url": r.get("href", ""),
+                        "snippet": r.get("body", ""),
+                    }
+                )
+            return formatted_results
     except Exception as e:
-        print(f"Ошибка поиска: {e}")
+        print(f"Ошибка DDGS: {e}")
         return []
 
 
@@ -76,20 +59,36 @@ def bot_response(
     messages = [{"role": "system", "content": system_prompt}]
     file_info, file_content = "", ""
 
-    # 1. Чтение файла
+    # ==========================================
+    # 1. УМНОЕ ЧТЕНИЕ ФАЙЛОВ (Исправлен баг с PDF)
+    # ==========================================
     if uploaded_file and os.path.exists(uploaded_file):
         filename = os.path.basename(uploaded_file)
         size_kb = os.path.getsize(uploaded_file) / 1024
         file_info = f"📎 **Файл прочитан:** `{filename}` ({size_kb:.1f} KB)"
+
         try:
-            with open(uploaded_file, "r", encoding="utf-8", errors="ignore") as f:
-                file_content = f.read(40000)
-                if len(file_content) >= 40000:
-                    file_info += " *(загружен первый сегмент)*"
+            # Если это PDF - используем PyPDF2
+            if filename.lower().endswith(".pdf"):
+                with open(uploaded_file, "rb") as f:
+                    pdf_reader = PyPDF2.PdfReader(f)
+                    text_parts = [
+                        page.extract_text() or "" for page in pdf_reader.pages
+                    ]
+                    file_content = "\n".join(text_parts)[:40000]
+            # Иначе читаем как обычный текст
+            else:
+                with open(uploaded_file, "r", encoding="utf-8", errors="ignore") as f:
+                    file_content = f.read(40000)
+
+            if len(file_content) >= 40000:
+                file_info += " *(загружен первый сегмент)*"
         except Exception as e:
             file_info = f"❌ **Ошибка файла:** `{filename}` ({e})"
 
-    # 2. Формирование контекста диалога
+    # ==========================================
+    # 2. ФОРМИРОВАНИЕ ИСТОРИИ
+    # ==========================================
     for msg in history[-7:]:
         messages.append(
             {"role": msg["role"], "content": get_clean_text(msg["content"])}
@@ -98,33 +97,82 @@ def bot_response(
     history.append({"role": "assistant", "content": "⏳ Инициализация..."})
     yield history
 
-    # 3. Веб-поиск
+    # ==========================================
+    # 3. АГЕНТСКИЙ ВЕБ-ПОИСК (LLM ДУМАЕТ САМА)
+    # ==========================================
     search_info = ""
     if use_search:
-        user_query = next(
-            (msg["content"] for msg in reversed(messages) if msg["role"] == "user"), ""
-        )
-        if user_query:
-            search_info = f'🌐 Ищем: *"{user_query}"*...'
-            history[-1]["content"] = (
-                f"{file_info + '\n' if file_info else ''}{search_info}"
+        history[-1]["content"] = (
+            file_info + "\n" if file_info else ""
+        ) + "🤔 Агент анализирует необходимость поиска..."
+        yield history
+
+        # Скрытый "внутренний диалог" LLM: просим ее саму написать запрос
+        agent_messages = [
+            {
+                "role": "system",
+                "content": (
+                    "Ты AI-агент. Оцени, нужен ли поиск в интернете для ответа на последний вопрос пользователя. "
+                    "Если вопрос требует свежих новостей, фактов или данных извне — напиши ТОЛЬКО поисковый запрос (2-5 слов, без кавычек и лишних слов). "
+                    "Если поиск не нужен (это простое общение, приветствие, или ответ есть в тексте файла) — ответь ровно одним словом: NO_SEARCH."
+                ),
+            }
+        ]
+
+        # Даем агенту последние 3 сообщения, чтобы он понял контекст разговора
+        for msg in history[-3:]:
+            if msg["role"] == "user":
+                agent_messages.append({"role": "user", "content": msg["content"]})
+
+        try:
+            # Делаем быстрый, скрытый запрос к модели (stream=False)
+            eval_response = engine.generate(
+                messages=agent_messages,
+                max_tokens=20,
+                temperature=0.1,  # Низкая температура, чтобы Агент не фантазировал, а был точным
+                stream=False,
             )
-            yield history
-
-            search_results = web_search(user_query)
-            if search_results:
-                search_info = f"🌐 Найдено {len(search_results)} результатов."
-                search_context = "Результаты поиска:\n" + "".join(
-                    [
-                        f"{i}. {r['title']} ({r['url']})\n{r['snippet']}\n\n"
-                        for i, r in enumerate(search_results, 1)
-                    ]
+
+            generated_query = eval_response["choices"][0]["message"]["content"].strip()
+            generated_query = generated_query.replace('"', "").replace(
+                "'", ""
+            )  # Очищаем запрос от случайных кавычек
+
+            # Если Агент решил, что поиск нужен
+            if generated_query and "NO_SEARCH" not in generated_query.upper():
+                search_info = f'🌐 Агент ищет: *"{generated_query}"*...'
+                history[-1]["content"] = (
+                    f"{file_info + '\n' if file_info else ''}{search_info}"
                 )
-                messages.append({"role": "system", "content": search_context})
+                yield history
+
+                search_results = web_search(generated_query)
+
+                if search_results:
+                    search_info = f'🌐 Найдено {len(search_results)} результатов по запросу *"{generated_query}"*'
+
+                    search_context = (
+                        "СВЕЖИЕ РЕЗУЛЬТАТЫ ПОИСКА ИЗ ИНТЕРНЕТА ДЛЯ ТВОЕГО ОТВЕТА:\n\n"
+                    )
+                    for i, r in enumerate(search_results, 1):
+                        search_context += f"{i}. {r['title']} ({r['url']})\nСниппет: {r['snippet']}\n\n"
+
+                    # Незаметно подсовываем результаты в системный промпт основной модели
+                    messages.append({"role": "system", "content": search_context})
+                else:
+                    search_info = (
+                        f'🌐 Поиск по запросу *"{generated_query}"* не дал результатов.'
+                    )
             else:
-                search_info = "🌐 Ничего не найдено."
+                search_info = "⚡ Агент решил отвечать на основе собственных знаний (поиск не потребовался)."
+
+        except Exception as e:
+            print(f"Ошибка при логике Агента: {e}")
+            pass  # Если скрытый запрос упал, просто продолжаем стандартную генерацию без поиска
 
-    # Инжект файла
+    # ==========================================
+    # 4. ИНЖЕКТ ФАЙЛА В КОНТЕКСТ
+    # ==========================================
     if file_content:
         messages.append(
             {
@@ -133,6 +181,7 @@ def bot_response(
             }
         )
 
+    # Формируем красивую плашку статуса перед финальным ответом
     status_header = (file_info + "\n" if file_info else "") + (
         search_info + "\n" if search_info else ""
     )
@@ -142,7 +191,9 @@ def bot_response(
     history[-1]["content"] = status_header + "⏳ Генерация ответа..."
     yield history
 
-    # 4. Стриминг ответа от LLM
+    # ==========================================
+    # 5. СТРИМИНГ ФИНАЛЬНОГО ОТВЕТА
+    # ==========================================
     try:
         stream = engine.generate(
             messages=messages,
@@ -155,6 +206,7 @@ def bot_response(
             delta = chunk["choices"][0].get("delta", {})
             if delta.get("content"):
                 partial_text += delta["content"]
+                # Показываем текст под плашкой статусов
                 history[-1]["content"] = status_header + partial_text
                 yield history
     except Exception as e:

src/ui/styles.py

@@ -30,7 +30,7 @@ body, .gradio-container {
 textarea {
     background-color: #2f2f2f !important;
     border: 1px solid #424242 !important;
-    border-radius: 24px !important;
+    border-radius: 1.5rem !important;
     color: #ffffff !important;
     padding: 12px 18px !important;
 }
@@ -40,7 +40,7 @@ textarea:focus {
 
 /* Кнопка отправки */
 .gr-button-primary {
-    border-radius: 24px !important;
+    border-radius: 1.5rem !important;
     background-color: #ececec !important;
     color: #171717 !important;
     font-weight: bold !important;