Update app.py

app.py

@@ -1,11 +1,52 @@
 import gradio as gr
 from keybert import KeyBERT
 from sentence_transformers import SentenceTransformer
+from nltk.tokenize import sent_tokenize
 
 # Инициализация модели
 model = SentenceTransformer('all-mpnet-base-v2')
 kw_model = KeyBERT(model)
 
+def segment_text(text, max_segment_length=1000):
+    """
+    Разделение текста на блоки, предпочтительно по предложениям.
+    """
+    sentences = sent_tokenize(text)
+    segments = []
+    current_segment = ""
+    
+    for sentence in sentences:
+        if len(current_segment) + len(sentence) <= max_segment_length:
+            current_segment += " " + sentence
+        else:
+            segments.append(current_segment.strip())
+            current_segment = sentence
+    
+    if current_segment:
+        segments.append(current_segment.strip())
+    
+    return segments
+
+def postprocess_keywords(keywords):
+    """
+    Постобработка ключевых слов: удаление вложенных ключей и коротких/шумных фраз.
+    """
+    unique_keywords = []
+    seen = set()
+    
+    for kw in sorted(keywords, key=lambda x: len(x[0]), reverse=True):
+        if kw[0] not in seen:
+            # Удаляем вложенные ключи
+            if not any(kw[0] in u_kw[0] for u_kw in unique_keywords):
+                unique_keywords.append(kw)
+                seen.add(kw[0])
+    
+    # Удаляем слишком короткие ключевые слова
+    filtered_keywords = [
+        kw for kw in unique_keywords if len(kw[0].split()) > 1
+    ]
+    return filtered_keywords
+
 def extract_keywords_interface(text, top_n=10, diversity=0.5, max_ngram=3):
     """
     Извлечение ключевых слов через Gradio интерфейс.
@@ -14,7 +55,7 @@ def extract_keywords_interface(text, top_n=10, diversity=0.5, max_ngram=3):
         return []
 
     # Разбиваем текст на блоки
-    segments = [text[i:i+1000] for i in range(0, len(text), 1000)]
+    segments = segment_text(text, max_segment_length=1000)
     all_keywords = []
 
     for segment in segments:
@@ -26,27 +67,23 @@ def extract_keywords_interface(text, top_n=10, diversity=0.5, max_ngram=3):
         )
         all_keywords.extend(keywords)
 
-    # Удаляем дубликаты
-    seen = set()
-    unique_keywords = []
-    for kw in all_keywords:
-        if kw[0] not in seen:
-            seen.add(kw[0])
-            unique_keywords.append(kw)
+    # Постобработка: удаление повторений и вложений
+    processed_keywords = postprocess_keywords(all_keywords)
 
-    return [{"keyword": kw[0], "score": kw[1]} for kw in unique_keywords]
+    return [{"keyword": kw[0], "score": kw[1]} for kw in processed_keywords]
 
 # Gradio интерфейс
 iface = gr.Interface(
     fn=extract_keywords_interface,
     inputs=[
-        gr.Textbox(label="Введите текст", lines=10),
+        gr.Textbox(label="Введите текст", lines=10, placeholder="Введите текст для извлечения ключевых слов"),
         gr.Slider(5, 50, value=10, step=1, label="Количество ключевых слов (top_n)"),
         gr.Slider(0.0, 1.0, value=0.5, step=0.1, label="Разнообразие ключевых слов (diversity)"),
         gr.Slider(1, 3, value=3, step=1, label="Максимальная длина фраз (n-gram)")
     ],
     outputs="json",
-    title="KeyBERT Extractor"
+    title="KeyBERT Extractor",
+    description="Введите текст, настройте параметры и получите ключевые слова"
 )
 
 if __name__ == "__main__":