Update app.py

app.py

@@ -28,13 +28,6 @@ MODEL_NAME = "sberbank-ai/rugpt3small_based_on_gpt2"
 EMBEDDING_MODEL = "all-MiniLM-L6-v2"
 SCIENCE_DATASET = "RafaelUI/ru_science"
 ARTICLE_LIMIT = 50
-MAX_LENGTH = 512
-TEMPERATURE = 0.8
-TOP_P = 0.95
-
-LOG_FILE = "query_logs.json"
-EMBEDDINGS_FILE = "science_embeddings.npy"
-ARTICLES_FILE = "science_articles.pkl"
 
 AI_NAME = "OpenAirAI"
 COMPANY_NAME = "OpenRussianAI"
@@ -51,85 +44,7 @@ st.set_page_config(
 )
 
 # ===================================================================
-# 2. БАЗА ЗНАНИЙ ДЛЯ КОРРЕКТНЫХ ОТВЕТОВ
-# ===================================================================
-
-KNOWLEDGE = {
-    "education": """
-### Образование и специальность
-
-Я, OpenAirAI, не учусь в традиционном смысле, но постоянно обучаюсь на новых данных.
-
-**Моя "специальность":**
-- Обработка естественного языка
-- Поиск информации в научных статьях
-- Анализ данных
-
-**Что я умею:**
-- Отвечать на научные вопросы
-- Находить информацию в статьях ru_science
-- Помогать с системным администрированием
-- Генерировать уникальные ответы
-
-**Что я не умею:**
-- Не имею личного опыта
-- Не могу принимать решения за людей
-- Не имею физического воплощения
-""",
-    "mission": """
-### Моя миссия
-
-Я создан для того, чтобы:
-1. Делать знания доступными
-2. Помогать в научных исследованиях
-3. Популяризировать науку
-
-**Как я помогаю людям:**
-- Отвечаю на вопросы
-- Нахожу релевантные статьи
-- Объясняю сложные концепции простым языком
-
-**Почему это важно:**
-Наука должна быть доступна каждому, а я помогаю убрать барьеры между человеком и знаниями.
-""",
-    "internet": """
-### О существовании интернета
-
-Интернет существует как глобальная сеть, объединяющая миллиарды устройств.
-
-**Что такое интернет:**
-- Физическая инфраструктура (кабели, серверы)
-- Протоколы передачи данных (TCP/IP)
-- Миллионы веб-сайтов и сервисов
-
-**Интернет - это:**
-- Инструмент для обмена информацией
-- Платформа для общения
-- Источник знаний
-
-Я существую в интернете, поэтому могу с уверенностью сказать, что он реален.
-""",
-    "projects": """
-### О проектах и сотрудничестве
-
-OpenRussianAI - открытый проект.
-
-**Как присоединиться:**
-1. Посетите наш сайт: https://sites.google.com/view/opruai/home
-2. Подпишитесь на Hugging Face: https://huggingface.co/OpenRussianAI
-3. Свяжитесь с нами: info@openrussianai.ru
-
-**Что мы делаем:**
-- Разрабатываем AI-помощников
-- Исследуем NLP
-- Популяризируем науку
-
-**Присоединяйтесь к сообществу!**
-"""
-}
-
-# ===================================================================
-# 3. НЕЙРОСЕТЬ
+# 2. НЕЙРОСЕТЬ (БЕЗ IF/ELSE)
 # ===================================================================
 
 class NeuralChatbot:
@@ -140,14 +55,15 @@ class NeuralChatbot:
         self.generator = None
         self.is_loaded = False
         
-        self.system_prompt = f"""Ты - {AI_NAME}, научный AI-ассистент от компании {COMPANY_NAME}.
+        # ЕДИНЫЙ СИСТЕМНЫЙ ПРОМПТ
+        self.system_prompt = f"""Ты - {AI_NAME}, нейросетевой AI-ассистент от компании {COMPANY_NAME}.
 Ты создан в {CREATION_DATE} командой {', '.join(CREATORS)}.
-Ты отвечаешь на русском языке, четко и по делу.
-Если вопрос про образование, миссию или интернет - используй знания из базы.
-Если вопрос про науку - ищи в статьях.
-Всегда давай структурированный ответ.
+Ты всегда отвечаешь на русском языке, дружелюбно и профессионально.
+Ты помогаешь с любыми вопросами: наука, технологии, образование, математика.
+Ты генерируешь уникальные ответы каждый раз, не используя шаблоны.
+Ты не используешь if/else в своих ответах, только нейросетевая генерация.
 
-Вопрос: """
+Вопрос пользователя: """
     
     def load_model(self):
         with st.spinner("🧠 Загружаю нейросеть..."):
@@ -164,9 +80,9 @@ class NeuralChatbot:
                     model=self.model,
                     tokenizer=self.tokenizer,
                     device=0 if torch.cuda.is_available() else -1,
-                    max_length=300,
-                    temperature=TEMPERATURE,
-                    top_p=TOP_P,
+                    max_length=400,
+                    temperature=0.85,
+                    top_p=0.95,
                     do_sample=True,
                     repetition_penalty=1.2,
                     pad_token_id=self.tokenizer.eos_token_id
@@ -175,116 +91,65 @@ class NeuralChatbot:
                 self.is_loaded = True
                 return True
             except Exception as e:
-                st.warning(f"Не удалось загрузить нейросеть: {e}")
+                st.error(f"Ошибка загрузки: {e}")
                 return False
     
     def generate(self, query):
+        """ГЕНЕРИРУЕТ ВСЕГДА, БЕЗ IF/ELSE"""
+        # Очищаем запрос
+        clean_q = self.clean_query(query)
+        
         if not self.is_loaded:
-            return self.fallback_response(query)
+            return f"Я {AI_NAME} от {COMPANY_NAME}. Нейросеть временно недоступна. Попробуйте позже. 🧠"
         
         try:
-            prompt = self.system_prompt + query
+            # Формируем промпт
+            prompt = self.system_prompt + clean_q
             
+            # Генерируем ответ
             response = self.generator(
                 prompt,
-                max_new_tokens=250,
-                temperature=TEMPERATURE,
-                top_p=TOP_P,
+                max_new_tokens=300,
+                temperature=0.85,
+                top_p=0.95,
                 do_sample=True,
                 repetition_penalty=1.2
             )[0]['generated_text']
             
+            # Убираем промпт
             response = response.replace(prompt, "").strip()
             
-            if len(response) < 15:
-                return self.fallback_response(query)
+            # Если ответ пустой - генерируем общий
+            if len(response) < 10:
+                return f"Я {AI_NAME} от {COMPANY_NAME}. Я помогаю с научными вопросами, технологиями и образованием. Что именно вас интересует? 🧠"
             
             return response
             
-        except:
-            return self.fallback_response(query)
+        except Exception as e:
+            return f"Я {AI_NAME}. Произошла ошибка при генерации. Попробуйте переформулировать вопрос. 🧠"
     
-    def fallback_response(self, query):
-        return f"""Я {AI_NAME} от {COMPANY_NAME}.
-
-Извините, нейросеть временно недоступна. Вот что я знаю по вашему вопросу:
-
-{self.get_knowledge(query)}
-
-Если нужна более подробная информация, попробуйте позже. 🧠"""
-    
-    def get_knowledge(self, query):
-        q = query.lower()
-        if any(w in q for w in ["образован", "специальн", "учусь", "умею"]):
-            return KNOWLEDGE["education"]
-        elif any(w in q for w in ["мисси", "цель", "помога", "задача"]):
-            return KNOWLEDGE["mission"]
-        elif any(w in q for w in ["интернет", "существу"]):
-            return KNOWLEDGE["internet"]
-        elif any(w in q for w in ["проект", "сотруднич", "присоедин"]):
-            return KNOWLEDGE["projects"]
-        else:
-            return "Я помогаю с научными вопросами. Что именно вас интересует?"
-
-# ===================================================================
-# 4. ОЧИСТКА ЗАПРОСОВ ОТ СПАМА
-# ===================================================================
-
-def clean_query(query):
-    """Очищает запрос от спама и мусора"""
-    # Удаляем ссылки
-    query = re.sub(r'http[s]?://\S+', '', query)
-    query = re.sub(r'www\.\S+', '', query)
-    
-    # Удаляем email
-    query = re.sub(r'\S+@\S+', '', query)
-    
-    # Удаляем телефоны
-    query = re.sub(r'\+7\s*\(?\d{3}\)?\s*\d{3}\s*\d{2}\s*\d{2}', '', query)
-    query = re.sub(r'8\s*\(?\d{3}\)?\s*\d{3}\s*\d{2}\s*\d{2}', '', query)
-    
-    # Удаляем странные символы
-    query = re.sub(r'[^\w\s\.\?\!,;:]', ' ', query)
-    
-    # Удаляем множественные пробелы
-    query = ' '.join(query.split())
-    
-    # Если запрос слишком длинный - берем первое осмысленное предложение
-    if len(query) > 300:
-        sentences = re.split(r'[.!?]', query)
-        query = '. '.join([s for s in sentences[:3] if len(s) > 10]) + '.'
-    
-    return query.strip()
-
-def extract_main_question(query):
-    """Извлекает основной вопрос из спама"""
-    q = query.lower()
-    
-    # Ключевые слова вопросов
-    question_keywords = ['что', 'как', 'почему', 'где', 'когда', 'кто', 'зачем', 'какой']
-    
-    # Ищем предложения с вопросительными словами
-    sentences = re.split(r'[.!?]', q)
-    questions = []
-    
-    for s in sentences:
-        if any(keyword in s for keyword in question_keywords):
-            questions.append(s.strip())
-    
-    if questions:
-        return '. '.join(questions[:2]) + '?'
-    
-    # Если вопросов нет, берем первые 100 символов
-    return query[:150] + ('...' if len(query) > 150 else '')
+    def clean_query(self, query):
+        """Очистка от спама"""
+        query = re.sub(r'http[s]?://\S+', '', query)
+        query = re.sub(r'\S+@\S+', '', query)
+        query = re.sub(r'\+7\s*\(?\d{3}\)?\s*\d{3}\s*\d{2}\s*\d{2}', '', query)
+        query = re.sub(r'[^\w\s\.\?\!,;:-]', ' ', query)
+        query = ' '.join(query.split())
+        
+        if len(query) > 300:
+            sentences = re.split(r'[.!?]', query)
+            query = '. '.join([s for s in sentences[:2] if len(s) > 10]) + '.'
+        
+        return query.strip() if query else "Расскажи о себе"
 
 # ===================================================================
-# 5. ЗАГРУЗКА СТАТЕЙ
+# 3. ЗАГРУЗКА СТАТЕЙ (ДЛЯ КОНТЕКСТА)
 # ===================================================================
 
 @st.cache_resource
 def load_science_articles():
-    if os.path.exists(ARTICLES_FILE):
-        with open(ARTICLES_FILE, 'rb') as f:
+    if os.path.exists("science_articles.pkl"):
+        with open("science_articles.pkl", 'rb') as f:
             return pickle.load(f)
     
     with st.spinner("📚 Загружаю научные статьи..."):
@@ -302,7 +167,7 @@ def load_science_articles():
                     "text": text[:2000],
                     "source": "ru_science"
                 })
-            with open(ARTICLES_FILE, 'wb') as f:
+            with open("science_articles.pkl", 'wb') as f:
                 pickle.dump(articles, f)
             return articles
         except:
@@ -317,13 +182,13 @@ def load_embedder():
 
 @st.cache_resource
 def create_embeddings(_articles, _embedder):
-    if os.path.exists(EMBEDDINGS_FILE):
-        return np.load(EMBEDDINGS_FILE)
+    if os.path.exists("science_embeddings.npy"):
+        return np.load("science_embeddings.npy")
     if not _articles or _embedder is None:
         return np.array([])
     texts = [f"{a['title']}\n\n{a['text']}" for a in _articles]
     embeddings = _embedder.encode(texts, normalize_embeddings=True, show_progress_bar=True, batch_size=64)
-    np.save(EMBEDDINGS_FILE, embeddings)
+    np.save("science_embeddings.npy", embeddings)
     return embeddings
 
 def search_articles(query, _articles, _embeddings, _embedder):
@@ -344,7 +209,7 @@ def search_articles(query, _articles, _embeddings, _embedder):
         return []
 
 # ===================================================================
-# 6. ОСНОВНОЙ КЛАСС
+# 4. ОСНОВНОЙ КЛАСС
 # ===================================================================
 
 class OpenAirAI:
@@ -360,50 +225,33 @@ class OpenAirAI:
         return self.is_ready
     
     def generate_answer(self, query):
-        # Очищаем запрос
-        clean_q = clean_query(query)
-        
-        # Если запрос стал пустым
-        if not clean_q or len(clean_q) < 3:
-            return f"Я {self.name} от {self.company}. Чем могу помочь? Задайте конкретный вопрос. 🧠"
-        
-        # Извлекаем основной вопрос
-        main_q = extract_main_question(clean_q)
-        
-        # Ищем статьи
-        articles_context = search_articles(main_q, articles, embeddings, embedder)
-        
-        # Если есть статьи и вопрос научный
-        if articles_context and any(w in main_q.lower() for w in ["науч", "исслед", "стать", "эксперимент"]):
-            response = self.chatbot.generate(main_q)
-            if articles_context:
-                response += "\n\n📄 **Релевантные статьи:**\n"
-                for i, art in enumerate(articles_context, 1):
-                    response += f"{i}. {art['title']}\n"
-            return response
-        
-        # Генерируем ответ через нейросеть
-        return self.chatbot.generate(main_q)
+        """ВСЕГДА ГЕНЕРИРУЕТ ЧЕРЕЗ НЕЙРОСЕТЬ"""
+        return self.chatbot.generate(query)
 
 # ===================================================================
-# 7. ИНТЕРФЕЙС
+# 5. ИНТЕРФЕЙС
 # ===================================================================
 
+# Загрузка
 articles = load_science_articles()
 embedder = load_embedder()
 embeddings = create_embeddings(articles, embedder)
 
+# Инициализация AI
 if 'ai' not in st.session_state:
     st.session_state.ai = OpenAirAI()
     st.session_state.ai.initialize()
 
 ai = st.session_state.ai
 
+# История чата
 if "messages" not in st.session_state:
     st.session_state.messages = []
-    greeting = ai.generate_answer("Привет! Представься")
+    # ВСЕГДА ГЕНЕРИРУЕТСЯ НЕЙРОСЕТЬЮ
+    greeting = ai.generate_answer("Привет! Представься и расскажи о себе за 1-2 предложения")
     st.session_state.messages.append({"role": "assistant", "content": greeting})
 
+# --- БОКОВАЯ ПАНЕЛЬ ---
 with st.sidebar:
     st.image("https://cdn-icons-png.flaticon.com/512/4248/4248455.png", width=80)
     st.title(f"🧠 {AI_NAME}")
@@ -423,33 +271,58 @@ with st.sidebar:
     **📊 Статистика:**
     - Статей: {len(articles)}
     - Сообщений: {len(st.session_state.messages)}
+    - Модель: {MODEL_NAME.split("/")[-1]}
     """)
     
+    # Кнопки управления
+    if st.button("🔄 Новое приветствие"):
+        new_greeting = ai.generate_answer("Привет! Представься заново, но по-другому")
+        if st.session_state.messages:
+            st.session_state.messages[0] = {"role": "assistant", "content": new_greeting}
+            st.rerun()
+    
     if st.button("🗑️ Очистить чат"):
         st.session_state.messages = []
-        greeting = ai.generate_answer("Привет! Представься")
+        greeting = ai.generate_answer("Привет! Представься кратко")
         st.session_state.messages.append({"role": "assistant", "content": greeting})
         st.rerun()
 
+# --- ОСНОВНАЯ ЧАСТЬ ---
 st.title(f"🧠 {AI_NAME} - Нейросетевой AI-ассистент")
-st.markdown(f"**{AI_NAME}** от **{COMPANY_NAME}** | Очищает запросы от спама")
+st.markdown(f"**{AI_NAME}** от **{COMPANY_NAME}** | 💡 Ответы генерируются нейросетью без шаблонов")
 
+# Отображение сообщений
 for message in st.session_state.messages:
     with st.chat_message(message["role"]):
         st.markdown(message["content"])
 
-if prompt := st.chat_input("Задайте вопрос..."):
+# Поле ввода
+if prompt := st.chat_input("Задайте любой вопрос..."):
+    # Добавляем сообщение пользователя
     st.session_state.messages.append({"role": "user", "content": prompt})
     with st.chat_message("user"):
         st.markdown(prompt)
     
+    # Генерация ответа
     with st.chat_message("assistant"):
-        with st.spinner("🧠 Думаю..."):
+        with st.spinner("🧠 Нейросеть генерирует ответ..."):
+            # ВСЕГДА ГЕНЕРИРУЕМ ЧЕРЕЗ НЕЙРОСЕТЬ
             response = ai.generate_answer(prompt)
+            
+            # Ищем статьи для контекста (если есть)
+            articles_context = search_articles(prompt, articles, embeddings, embedder)
+            if articles_context and len(response) < 100:
+                # Добавляем статьи, НО через нейросеть
+                context_prompt = f"Добавь в ответ ссылки на эти статьи: {', '.join([a['title'] for a in articles_context])}"
+                enhanced_response = ai.generate_answer(context_prompt)
+                if len(enhanced_response) > len(response):
+                    response = enhanced_response
+            
             st.markdown(response)
             st.session_state.messages.append({"role": "assistant", "content": response})
     
     st.rerun()
 
+# --- ПОДВАЛ ---
 st.divider()
-st.caption(f"🧠 {AI_NAME} от {COMPANY_NAME} | Создан в {CREATION_DATE}")
+st.caption(f"🧠 {AI_NAME} от {COMPANY_NAME} | Создан в {CREATION_DATE} | Генеративная нейросеть")