Update app.py

app.py

@@ -1,14 +1,13 @@
 import gradio as gr
 from keybert import KeyBERT
 from sentence_transformers import SentenceTransformer
-from nltk.tokenize import sent_tokenize
 from langdetect import detect
-import nltk
+import re
 
-# Загружаем ресурсы для токенизации
-nltk.download('punkt')
+# Инициализация модели
+model = SentenceTransformer('all-mpnet-base-v2')
+kw_model = KeyBERT(model)
 
-# Поддерживаемые языки
 SUPPORTED_LANGUAGES = {
     "en": "english",
     "es": "spanish",
@@ -19,10 +18,6 @@ SUPPORTED_LANGUAGES = {
     "ar": "arabic"
 }
 
-# Инициализация модели
-model = SentenceTransformer('all-mpnet-base-v2')
-kw_model = KeyBERT(model)
-
 def detect_language(text):
     """
     Определение языка текста.
@@ -31,17 +26,20 @@ def detect_language(text):
         lang = detect(text)
         return SUPPORTED_LANGUAGES.get(lang, "english")  # По умолчанию английский
     except:
-        return "english"  # Если язык не определён
+        return "english"
 
 def segment_text(text, max_segment_length=1000):
     """
-    Разделение текста на блоки, предпочтительно по предложениям.
+    Разделение текста на блоки по предложениям без использования punkt.
     """
-    language = detect_language(text)
-    sentences = sent_tokenize(text, language=language)  # Учитываем язык токенизации
+    # Определяем язык (может быть полезно для будущих улучшений)
+    detect_language(text)
+
+    # Разбиваем текст на предложения по точкам, восклицательным и вопросительным знакам
+    sentences = re.split(r'(?<=[.!?]) +', text)
     segments = []
     current_segment = ""
-    
+
     for sentence in sentences:
         if len(current_segment) + len(sentence) <= max_segment_length:
             current_segment += " " + sentence
@@ -51,7 +49,7 @@ def segment_text(text, max_segment_length=1000):
     
     if current_segment:
         segments.append(current_segment.strip())
-    
+
     return segments
 
 def postprocess_keywords(keywords):
@@ -63,12 +61,10 @@ def postprocess_keywords(keywords):
     
     for kw in sorted(keywords, key=lambda x: len(x[0]), reverse=True):
         if kw[0] not in seen:
-            # Удаляем вложенные ключи
             if not any(kw[0] in u_kw[0] for u_kw in unique_keywords):
                 unique_keywords.append(kw)
                 seen.add(kw[0])
-    
-    # Удаляем слишком короткие ключевые слова
+
     filtered_keywords = [
         kw for kw in unique_keywords if len(kw[0].split()) > 1
     ]
@@ -94,7 +90,6 @@ def extract_keywords_interface(text, top_n=10, diversity=0.5, max_ngram=3):
         )
         all_keywords.extend(keywords)
 
-    # Постобработка: удаление повторений и вложений
     processed_keywords = postprocess_keywords(all_keywords)
 
     return [{"keyword": kw[0], "score": kw[1]} for kw in processed_keywords]