Update app.py

app.py

@@ -1,50 +1,47 @@
-import gradio as gr
 from keybert import KeyBERT
-from nltk.tokenize import sent_tokenize
-
-# Инициализируем KeyBERT с заданной моделью
 from sentence_transformers import SentenceTransformer
-model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
+
+# Инициализация модели KeyBERT
+model = SentenceTransformer('all-mpnet-base-v2')  # Мощная модель для эмбеддингов
 kw_model = KeyBERT(model)
 
-# Функция извлечения ключевых слов
-def extract_keywords(text, top_n=10, diversity=0.5, use_maxsum=False, max_ngram=3):
+def segment_text(text, segment_size=1000):
+    """
+    Разделение текста на блоки фиксированного размера.
+    """
+    return [text[i:i+segment_size] for i in range(0, len(text), segment_size)]
+
+def extract_keywords(text, top_n=50, diversity=0.5, max_ngram=3):
+    """
+    Извлечение ключевых слов из текста с сегментацией на блоки.
+    """
     if not text or not text.strip():
         return []
-    
-    # Разбиваем текст на абзацы
-    segments = sent_tokenize(text)
-    
+
+    # Сегментируем текст на блоки по 500-1000 символов
+    segments = segment_text(text, segment_size=1000)
+
     all_keywords = []
+
+    # Извлекаем ключевые слова из каждого сегмента
     for segment in segments:
         keywords = kw_model.extract_keywords(
             segment,
-            keyphrase_ngram_range=(1, max_ngram),
-            top_n=top_n,
-            diversity=diversity,
-            use_maxsum=use_maxsum,
-            stop_words="english"
+            keyphrase_ngram_range=(1, max_ngram),  # 1-3 слова
+            top_n=top_n,                          # Максимальное число ключевых слов
+            diversity=diversity,                  # Разнообразие ключевых слов
+            stop_words=None                       # Без удаления стоп-слов
         )
         all_keywords.extend(keywords)
-    
-    # Убираем дубликаты
-    unique_keywords = list(set(all_keywords))
-    return unique_keywords  # возвращаем список кортежей (ключевое слово, оценка)
-
-# Создаем Gradio интерфейс
-iface = gr.Interface(
-    fn=extract_keywords,
-    inputs=[
-        gr.Textbox(label="Enter text", lines=10, placeholder="Введите текст здесь"),
-        gr.Slider(5, 50, value=10, step=1, label="Количество ключевых слов (top_n)"),
-        gr.Slider(0.0, 1.0, value=0.5, step=0.1, label="Разнообразие ключевых слов (diversity)"),
-        gr.Checkbox(label="Использовать MaxSum", value=False),
-        gr.Slider(1, 3, value=3, step=1, label="Максимальная длина фраз (n-gram)")
-    ],
-    outputs="json",
-    title="KeyBERT Extractor",
-    description="Введите текст, настройте параметры и извлеките ключевые слова"
-)
-
-if __name__ == "__main__":
-    iface.launch()
+
+    # Удаляем дубликаты ключевых слов
+    unique_keywords = list({kw[0]: kw for kw in all_keywords}.values())
+
+    # Преобразуем результат в JSON-формат
+    result = [{"keyword": kw[0], "score": kw[1]} for kw in unique_keywords]
+    return result
+
+# Пример использования
+text = "Ваш текст здесь. Это длинный текст, который нужно разбить и обработать."
+result = extract_keywords(text)
+print(result)