Update app.py

app.py

@@ -1,6 +1,13 @@
 import streamlit as st
 from transformers import AutoTokenizer, AutoModelForSequenceClassification
 import torch
+import re
+from nltk.tokenize import RegexpTokenizer
+from bs4 import BeautifulSoup as bs
+from nltk.corpus import stopwords
+import nltk
+nltk.download('stopwords')
+nltk.download('punkt')
 
 # Замените 'username/имя-вашей-модели' на путь к вашей модели на Hugging Face
 model_name = 'Yerzhxn/class_vac'
@@ -13,6 +20,25 @@ model = AutoModelForSequenceClassification.from_pretrained(model_name)
 device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
 model.to(device)
 
+def preprocess(sentence):
+    soup = bs(sentence, features="html.parser")
+    sentence = soup.get_text()
+    soup = bs(sentence, features="html.parser")
+    sentence = soup.get_text()
+
+    sentence = str(sentence)
+    sentence = sentence.lower()
+    sentence = sentence.replace('{html}',"")
+    cleanr = re.compile('<.*?>')
+    cleantext = re.sub(cleanr, '', sentence)
+    rem_url = re.sub(r'http\S+', '',cleantext)
+    rem_num = re.sub('[0-9]+', '', rem_url)
+    tokenizer = RegexpTokenizer(r'\w+')
+    tokens = tokenizer.tokenize(rem_num)
+    filtered_words = [w for w in tokens if not w in stopwords.words('russian')]
+
+    return " ".join(filtered_words)
+
 # Интерфейс Streamlit
 st.title("Тестирование классификации текста")
 st.write("Введите текст, чтобы узнать предсказанный класс.")
@@ -21,7 +47,9 @@ st.write("Введите текст, чтобы узнать предсказа
 input_text = st.text_area("Введите текст здесь", "")
 
 if st.button("Предсказать"):
+    
     if input_text:
+        input_text = input_text.apply(lambda x: preprocess(x))
         # Преобразование текста в формат, подходящий для модели
         inputs = tokenizer(input_text, return_tensors="pt", truncation=True, padding=True)
         inputs = {key: value.to(device) for key, value in inputs.items()}