Update app.py

app.py

@@ -4,16 +4,39 @@ from sentence_transformers import SentenceTransformer
 from langdetect import detect
 import re
 
-# Инициализация модели
-model = SentenceTransformer('all-mpnet-base-v2')
+# Инициализация мультиязычной модели
+model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
 kw_model = KeyBERT(model)
 
+# Стоп-слова для разных языков
+STOP_WORDS = {
+    "en": ["the", "and", "for", "of", "a", "in", "on", "at", "to", "is"],
+    "es": ["en", "de", "y", "el", "la", "un", "una", "con", "es", "por"],
+    "fr": ["le", "la", "un", "une", "et", "de", "en", "avec", "est"],
+    "pt": ["em", "de", "e", "o", "a", "com", "é", "por"],
+    "de": ["der", "die", "das", "und", "ein", "eine", "mit", "ist", "zu"],
+    "ar": ["في", "من", "و", "على", "مع", "إلى", "هو", "عن"],
+    # Добавьте другие языки, если необходимо
+}
+
 def detect_language(text):
+    """
+    Определение языка текста.
+    """
     try:
         return detect(text)
     except:
         return "en"  # По умолчанию английский
 
+def clean_text(text, lang):
+    """
+    Удаление стоп-слов из текста на основе языка.
+    """
+    stop_words = STOP_WORDS.get(lang, [])
+    words = text.split()
+    cleaned_text = " ".join([word for word in words if word.lower() not in stop_words])
+    return cleaned_text
+
 def segment_text(text, max_segment_length=1000):
     """
     Разделение текста на сегменты по предложениям.
@@ -36,7 +59,7 @@ def segment_text(text, max_segment_length=1000):
 
 def postprocess_keywords(keywords, min_score=0.65):
     """
-    Постобработка ключевых слов.
+    Улучшенная постобработка ключевых слов.
     """
     unique_keywords = []
     seen = set()
@@ -49,14 +72,24 @@ def postprocess_keywords(keywords, min_score=0.65):
 
     return [kw for kw in unique_keywords if len(kw[0].split()) > 1]
 
+def evaluate_keywords(keywords, text_length):
+    """
+    Оценка качества ключевых слов.
+    """
+    avg_score = sum([kw["score"] for kw in keywords]) / len(keywords)
+    coverage = len(keywords) / (text_length / 100)  # Ключевые слова на 100 символов
+    return {"average_score": avg_score, "coverage": coverage}
+
 def extract_keywords_interface(text, top_n=15, diversity=0.4, max_ngram=3):
     """
-    Извлечение ключевых слов через Gradio интерфейс.
+    Извлечение ключевых слов через Gradio интерфейс с улучшенной фильтрацией.
     """
     if not text or not text.strip():
         return []
 
-    segments = segment_text(text)
+    lang = detect_language(text)
+    cleaned_text = clean_text(text, lang)
+    segments = segment_text(cleaned_text)
     all_keywords = []
 
     for segment in segments:
@@ -69,20 +102,25 @@ def extract_keywords_interface(text, top_n=15, diversity=0.4, max_ngram=3):
         all_keywords.extend(keywords)
 
     processed_keywords = postprocess_keywords(all_keywords)
+    metrics = evaluate_keywords(processed_keywords, len(text))
 
-    return [{"keyword": kw[0], "score": kw[1]} for kw in processed_keywords]
+    return {
+        "keywords": [{"keyword": kw[0], "score": kw[1]} for kw in processed_keywords],
+        "metrics": metrics
+    }
 
+# Gradio интерфейс
 iface = gr.Interface(
     fn=extract_keywords_interface,
     inputs=[
-        gr.Textbox(label="Введите текст", lines=10),
-        gr.Slider(5, 50, value=10, step=1, label="Количество ключевых слов (top_n)"),
+        gr.Textbox(label="Введите текст", lines=10, placeholder="Введите текст для извлечения ключевых слов"),
+        gr.Slider(5, 50, value=15, step=1, label="Количество ключевых слов (top_n)"),
         gr.Slider(0.0, 1.0, value=0.4, step=0.1, label="Разнообразие ключевых слов (diversity)"),
         gr.Slider(1, 3, value=3, step=1, label="Максимальная длина фраз (n-gram)")
     ],
     outputs="json",
     title="KeyBERT Extractor",
-    description="Извлечение ключевых слов с мультиязычной поддержкой"
+    description="Извлечение ключевых слов мирового уровня с поддержкой мультиязычности"
 )
 
 if __name__ == "__main__":