Update app.py

app.py

@@ -5,6 +5,7 @@ from langdetect import detect
 import re
 
 # Инициализация мультиязычной модели
+# (Можно заменить на другую модель, если нужна ещё более быстрая или иная точность)
 model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
 kw_model = KeyBERT(model)
 
@@ -19,27 +20,31 @@ STOP_WORDS = {
     # Добавьте другие языки, если необходимо
 }
 
-def detect_language(text):
+def detect_language(text: str) -> str:
     """
-    Определение языка текста.
+    Определение языка текста с помощью langdetect.
+    Если язык определить не удалось, возвращаем 'en' (английский) по умолчанию.
     """
     try:
         return detect(text)
     except:
-        return "en"  # По умолчанию английский
+        return "en"
 
-def clean_text(text, lang):
+def clean_text(text: str, lang: str) -> str:
     """
-    Удаление стоп-слов из текста на основе языка.
+    Удаление из текста стоп-слов на основе определённого языка.
     """
     stop_words = STOP_WORDS.get(lang, [])
     words = text.split()
     cleaned_text = " ".join([word for word in words if word.lower() not in stop_words])
     return cleaned_text
 
-def segment_text(text, max_segment_length=1000):
+def segment_text(text: str, max_segment_length: int = 2000) -> list:
     """
-    Разделение текста на сегменты по предложениям.
+    Разделение текста на сегменты по предложениям, чтобы KeyBERT
+    мог обрабатывать длинные тексты по частям.
+    Увеличили max_segment_length до 2000 (ранее было 1000),
+    чтобы уменьшить общее число сегментов и улучшить скорость.
     """
     sentences = re.split(r'(?<=[.!?]) +', text)
     segments = []
@@ -51,52 +56,84 @@ def segment_text(text, max_segment_length=1000):
         else:
             segments.append(current_segment.strip())
             current_segment = sentence
-    
+
     if current_segment:
         segments.append(current_segment.strip())
 
     return segments
 
-def postprocess_keywords(keywords, min_score=0.65):
+def postprocess_keywords(keywords: list, min_score: float = 0.5) -> list:
     """
-    Постобработка ключевых слов: удаление вложенных, коротких и низкорейтинговых фраз.
+    Постобработка ключевых слов:
+      - убираем дубли и слишком низкий score,
+      - НЕ исключаем однословные фразы (раньше исключали),
+      - при желании можно смягчить логику удаления "вложенных" фраз.
     """
     unique_keywords = []
     seen = set()
-    
+
+    # Сортируем по длине фразы (от самых длинных к коротким),
+    # чтобы при проверке "вложенности" не выкидывать большие фразы первыми.
     for kw in sorted(keywords, key=lambda x: len(x[0]), reverse=True):
-        if kw[0] not in seen and kw[1] >= min_score:
-            if not any(kw[0] in u_kw["keyword"] for u_kw in unique_keywords):
-                unique_keywords.append({"keyword": kw[0], "score": kw[1]})
-                seen.add(kw[0])
-
-    filtered_keywords = [
-        kw for kw in unique_keywords if len(kw["keyword"].split()) > 1
-    ]
+        phrase, score = kw[0], kw[1]
+        if phrase not in seen and score >= min_score:
+            # Если хотим менее агрессивно исключать частичные совпадения,
+            # можно убрать проверку "phrase in u_kw".
+            if not any(phrase in u_kw["keyword"] for u_kw in unique_keywords):
+                unique_keywords.append({"keyword": phrase, "score": score})
+                seen.add(phrase)
+
+    # Раньше здесь отсеивали короткие фразы:
+    # filtered_keywords = [kw for kw in unique_keywords if len(kw["keyword"].split()) > 1]
+    # Теперь разрешаем и однословные:
+    filtered_keywords = unique_keywords
+
     return filtered_keywords
 
-def evaluate_keywords(keywords, text_length):
+def evaluate_keywords(keywords: list, text_length: int) -> dict:
     """
-    Оценка качества ключевых слов.
+    Оценка качества ключевых слов:
+      - average_score: средний рейтинг ключевых слов
+      - coverage: кол-во ключевых слов на 100 символов
     """
+    if not keywords:
+        return {"average_score": 0, "coverage": 0}
     avg_score = sum([kw["score"] for kw in keywords]) / len(keywords)
-    coverage = len(keywords) / (text_length / 100)  # Ключевые слова на 100 символов текста
+    coverage = len(keywords) / (text_length / 100.0)
     return {"average_score": avg_score, "coverage": coverage}
 
-
-def extract_keywords_interface(text, top_n=15, diversity=0.4, max_ngram=3):
+def extract_keywords_interface(text: str,
+                              top_n: int = 20,
+                              diversity: float = 0.3,
+                              max_ngram: int = 3) -> dict:
     """
     Извлечение ключевых слов через Gradio интерфейс.
+    Изменения по умолчанию:
+      - top_n=20 (было 15), чтобы извлекать больше ключей
+      - diversity=0.3 (было 0.4), чтобы не "выбрасывать" слишком похожие варианты
+      - max_segment_length внутри segment_text увеличен до 2000
+      - min_score=0.5 внутри postprocess_keywords
     """
     if not text or not text.strip():
-        return []
-
-    # Определение языка текста
+        return {
+            "keywords": [],
+            "metrics": {
+                "average_score": 0,
+                "coverage": 0
+            }
+        }
+
+    # 1. Определяем язык
     lang = detect_language(text)
+
+    # 2. Очищаем текст от базовых стоп-слов
     cleaned_text = clean_text(text, lang)
-    segments = segment_text(cleaned_text)
-    all_keywords = []
 
+    # 3. Сегментируем текст на большие блоки
+    segments = segment_text(cleaned_text, max_segment_length=2000)
+
+    # 4. Извлекаем ключи из каждого сегмента
+    all_keywords = []
     for segment in segments:
         keywords = kw_model.extract_keywords(
             segment,
@@ -106,13 +143,15 @@ def extract_keywords_interface(text, top_n=15, diversity=0.4, max_ngram=3):
         )
         all_keywords.extend(keywords)
 
-    # Постобработка ключевых слов
-    processed_keywords = postprocess_keywords(all_keywords)
+    # 5. Постобработка ключевых слов (снижение min_score и др.)
+    processed_keywords = postprocess_keywords(all_keywords, min_score=0.5)
+
+    # 6. Метрики: средний score + coverage
+    metrics = evaluate_keywords(processed_keywords, len(text))
 
-    # Возвращаем результат
     return {
         "keywords": [{"keyword": kw["keyword"], "score": kw["score"]} for kw in processed_keywords],
-        "metrics": evaluate_keywords(processed_keywords, len(text))
+        "metrics": metrics
     }
 
 # Gradio интерфейс
@@ -120,8 +159,8 @@ iface = gr.Interface(
     fn=extract_keywords_interface,
     inputs=[
         gr.Textbox(label="Введите текст", lines=10, placeholder="Введите текст для извлечения ключевых слов"),
-        gr.Slider(5, 50, value=15, step=1, label="Количество ключевых слов (top_n)"),
-        gr.Slider(0.0, 1.0, value=0.4, step=0.1, label="Разнообразие ключевых слов (diversity)"),
+        gr.Slider(5, 50, value=20, step=1, label="Количество ключевых слов (top_n)"),
+        gr.Slider(0.0, 1.0, value=0.3, step=0.1, label="Разнообразие ключевых слов (diversity)"),
         gr.Slider(1, 3, value=3, step=1, label="Максимальная длина фраз (n-gram)")
     ],
     outputs="json",