Update app.py

app.py

@@ -4,7 +4,7 @@ from PIL import Image
 import tempfile
 from gradio_client import Client, handle_file
 import torch
-from transformers import VitsModel, AutoTokenizer, pipeline
+from transformers import VitsModel, AutoTokenizer, pipeline, T5Tokenizer, T5ForConditionalGeneration
 import scipy.io.wavfile as wavfile
 import traceback
 import base64
@@ -26,10 +26,10 @@ try:
     translator = pipeline("translation", model="facebook/nllb-200-distilled-600M", device=device)
     print("Модель перевода (NLLB) загружена успешно!")
     
-    # Модель для генерации вопросов (с use_fast=False для избежания ошибки)
-    qg_tokenizer = AutoTokenizer.from_pretrained("iarfmoose/t5-base-question-generator", use_fast=False)
-    print("QG tokenizer загружен (slow mode)!")
-    qg_pipeline = pipeline("text2text-generation", model="iarfmoose/t5-base-question-generator", tokenizer=qg_tokenizer, device=device)
+    # Модель для генерации вопросов (явно используем T5Tokenizer - slow tokenizer)
+    print("Загрузка QG модели...")
+    qg_tokenizer = T5Tokenizer.from_pretrained("iarfmoose/t5-base-question-generator", legacy=False)
+    qg_model = T5ForConditionalGeneration.from_pretrained("iarfmoose/t5-base-question-generator").to(device)
     print("Модель генерации вопросов загружена!")
     
     # Модель для QA (извлечение ответов)
@@ -103,8 +103,6 @@ def inference(image: Image.Image, text: str):
         print(f"Подключение к {TALKING_HEAD_SPACE}...")
         client = Client(TALKING_HEAD_SPACE)
         
-        print("Доступные API методы:", client.view_api())
-        
         result = client.predict(
             image_path=handle_file(img_path),
             audio_path=handle_file(audio_path),
@@ -132,7 +130,7 @@ def inference(image: Image.Image, text: str):
             raise ValueError("Видео не сгенерировано! Проверьте API.")
         
         print(f"Видео сгенерировано: {video_path}")
-        error_msg = "✅ Бейне сәтті жасалды! "
+        error_msg = "✅ Бейне сәтті жасалды!"
         
     except Exception as e:
         error_msg = f"❌ Ошибка: {str(e)}"
@@ -152,7 +150,7 @@ def inference(image: Image.Image, text: str):
 
 def generate_interactive_lesson(text, video_path):
     try:
-        # Перевод текста на английский для QG и QA (модели на en)
+        # Перевод текста на английский для QG и QA
         english_text = translator(text, src_lang="rus_Cyrl", tgt_lang="eng_Latn")[0]['translation_text']
         print(f"English text: {english_text[:50]}...")
         
@@ -161,17 +159,22 @@ def generate_interactive_lesson(text, video_path):
         questions = []
         
         for sent in sentences:
-            # Генерация вопроса (формат для модели)
-            qg_input = f"<answer> {sent} <context> {english_text}"
-            generated = qg_pipeline(qg_input)[0]['generated_text']
-            question_en = generated.split("question: ")[-1].strip() if "question: " in generated else generated
+            # Генерация вопроса
+            qg_input = f"generate question: {sent}"
+            input_ids = qg_tokenizer.encode(qg_input, return_tensors="pt").to(device)
+            
+            with torch.no_grad():
+                outputs = qg_model.generate(input_ids, max_length=64)
+            
+            question_en = qg_tokenizer.decode(outputs[0], skip_special_tokens=True)
+            print(f"Generated question: {question_en}")
             
             # Извлечение правильного ответа
             qa_result = qa_pipeline(question=question_en, context=english_text)
             correct_answer_en = qa_result['answer']
             
-            # Неправильный ответ (placeholder)
-            wrong_answer_en = "Incorrect option"
+            # Неправильный ответ (простой пример)
+            wrong_answer_en = "Not mentioned in the text"
             
             # Перевод на казахский
             question = translator(question_en, src_lang="eng_Latn", tgt_lang="kaz_Cyrl")[0]['translation_text']
@@ -189,25 +192,41 @@ def generate_interactive_lesson(text, video_path):
             video_base64 = base64.b64encode(f.read()).decode('utf-8')
         
         # Строим HTML урока
-        html = """
+        html = """<!DOCTYPE html>
         <html>
-        <head><title>Интерактивный урок</title></head>
+        <head>
+            <meta charset="UTF-8">
+            <title>Интерактивный урок</title>
+            <style>
+                body { font-family: Arial, sans-serif; max-width: 800px; margin: 20px auto; padding: 20px; }
+                h1 { color: #333; }
+                video { margin: 20px 0; }
+                .question { background: #f5f5f5; padding: 15px; margin: 20px 0; border-radius: 5px; }
+                button { background: #4CAF50; color: white; padding: 10px 20px; border: none; border-radius: 4px; cursor: pointer; }
+                button:hover { background: #45a049; }
+                .feedback { margin-top: 10px; font-weight: bold; }
+            </style>
+        </head>
         <body>
-            <h1>Интерактивный урок</h1>
-            <video controls width="600">
+            <h1>Интерактивті сабақ</h1>
+            <video controls width="100%">
                 <source src="data:video/mp4;base64,{}" type="video/mp4">
             </video>
-            <p>Текст лекции: {}</p>
+            <p><strong>Дәріс мәтіні:</strong> {}</p>
+            <h2>Тесттер:</h2>
         """.format(video_base64, text.replace("\n", "<br>"))
         
         for i, q in enumerate(questions):
+            correct_escaped = q['correct'].replace("'", "\\'")
             html += f"""
-            <div>
-                <p>Сұрақ {i+1}: {q['question']}</p>
-                <input type="radio" name="q{i}" value="correct" id="correct{i}"> <label for="correct{i}">{q['correct']}</label><br>
-                <input type="radio" name="q{i}" value="wrong" id="wrong{i}"> <label for="wrong{i}">{q['wrong']}</label><br>
-                <button onclick="checkAnswer({i}, '{q['correct']}')">Тексеру</button>
-                <p id="feedback{i}"></p>
+            <div class="question">
+                <p><strong>Сұрақ {i+1}:</strong> {q['question']}</p>
+                <input type="radio" name="q{i}" value="correct" id="correct{i}"> 
+                <label for="correct{i}">{q['correct']}</label><br>
+                <input type="radio" name="q{i}" value="wrong" id="wrong{i}"> 
+                <label for="wrong{i}">{q['wrong']}</label><br><br>
+                <button onclick="checkAnswer({i}, '{correct_escaped}')">Тексеру</button>
+                <p class="feedback" id="feedback{i}"></p>
             </div>
             """
         
@@ -218,14 +237,15 @@ def generate_interactive_lesson(text, video_path):
                 var feedback = document.getElementById('feedback' + i);
                 if (selected) {
                     if (selected.value === 'correct') {
-                        feedback.innerHTML = 'Дұрыс!';
+                        feedback.innerHTML = '✅ Дұрыс!';
                         feedback.style.color = 'green';
                     } else {
-                        feedback.innerHTML = 'Қате. Дұрыс жауап: ' + correct;
+                        feedback.innerHTML = '❌ Қате. Дұрыс жауап: ' + correct;
                         feedback.style.color = 'red';
                     }
                 } else {
-                    feedback.innerHTML = 'Жауапты таңдаңыз!';
+                    feedback.innerHTML = '⚠️ Жауапты таңдаңыз!';
+                    feedback.style.color = 'orange';
                 }
             }
             </script>
@@ -233,44 +253,64 @@ def generate_interactive_lesson(text, video_path):
         </html>
         """
         
-        # Экранируем специальные символы вне f-строки
-        escaped_html = html.replace('`', r'\`').replace('$', r'\$')
+        # Экранируем для JavaScript
+        escaped_html = html.replace('\\', '\\\\').replace('`', '\\`').replace('$', '\\$')
         
-        # HTML для кнопки открытия в новой вкладке
+        # Кнопка для открытия в новой вкладке
         open_button_html = f"""
-        <button onclick="var w = window.open(); w.document.write(`{escaped_html}`);">Интерактивті сабақты жаңа қойындыда ашу</button>
+        <div style="text-align: center; padding: 20px;">
+            <button onclick="openLesson()" style="background: #2196F3; color: white; padding: 15px 30px; font-size: 16px; border: none; border-radius: 5px; cursor: pointer;">
+                📚 Интерактивті сабақты жаңа қойындыда ашу
+            </button>
+        </div>
+        <script>
+        function openLesson() {{
+            var w = window.open();
+            w.document.write(`{escaped_html}`);
+            w.document.close();
+        }}
+        </script>
         """
         
         return open_button_html
     
     except Exception as e:
-        return f"Қате: {str(e)}"
+        traceback.print_exc()
+        return f"<p style='color: red;'>❌ Қате: {str(e)}</p>"
 
 # Интерфейс Gradio
-title = "Бейне Оқытушы"
+title = "🎓 Бейне Оқытушы"
 description = """Суретіңізді жүктеп, дәріс мәтінін орыс тілінде енгізіңіз.
 Жасанды интеллект мәтінді қазақ тіліне аударады және сіздің қатысуыңызбен бейне дәріс жасайды!
+
 **Талаптар:**
-- Фото: бет анық көрінетін, алдыңғы жағынан түсірілген сурет
-- Мәтін: орыс тілінде, ең көбі 500 таңба"""
+- 📸 Фото: бет анық көрінетін, алдыңғы жағынан түсірілген сурет
+- 📝 Мәтін: орыс тілінде, ең көбі 500 таңба"""
 
-with gr.Blocks() as iface:
+with gr.Blocks(theme=gr.themes.Soft()) as iface:
     gr.Markdown(f"# {title}\n{description}")
     
-    image_input = gr.Image(type="pil", label="📸 Фото дәріскер")
-    text_input = gr.Textbox(lines=5, placeholder="Дәріс мәтінін орыс тілінде енгізіңіз (500 таңбаға дейін)...", label="📝Дәріс мәтіні (орыс тілінде)")
-    
-    generate_video_btn = gr.Button("Бейнені генерациялау")
-    
-    video_output = gr.Video(label="🎬 Дайын бейне (қазақ тілінде)")
-    status = gr.Textbox(label="ℹ️Мәртебесі", interactive=False)
-    
-    interactive_btn = gr.Button("Интерактивті сабақты жасау", visible=False)
+    with gr.Row():
+        with gr.Column():
+            image_input = gr.Image(type="pil", label="📸 Фото дәріскер")
+            text_input = gr.Textbox(
+                lines=5, 
+                placeholder="Мысалы: Сәлеметсіздер ме! Бүгін біз математика туралы сөйлесеміз...", 
+                label="📝 Дәріс мәтіні (орыс тілінде, 500 таңбаға дейін)"
+            )
+            generate_video_btn = gr.Button("🎬 Бейнені генерациялау", variant="primary")
+        
+        with gr.Column():
+            video_output = gr.Video(label="🎬 Дайын бейне (қазақ тілінде)")
+            status = gr.Textbox(label="ℹ️ Мәртебесі", interactive=False)
     
+    interactive_btn = gr.Button("📚 Интерактивті сабақты жасау", visible=False, variant="secondary")
     lesson_output = gr.HTML(label="Интерактивті сабақ", visible=False)
     
-    def show_interactive_btn(video, status):
-        return gr.update(visible=True)
+    def show_interactive_btn(video, status_msg):
+        if video and "✅" in status_msg:
+            return gr.update(visible=True)
+        return gr.update(visible=False)
     
     generate_video_btn.click(
         inference,