Update app.py

app.py

@@ -1,88 +1,134 @@
+import os
 import gradio as gr
-import sherpa_onnx
 import numpy as np
-import os
-import urllib.request
+import sherpa_onnx
 from huggingface_hub import hf_hub_download
 
-# ── Загрузка моделей ─────────────────────────────────────────
-encoder = hf_hub_download("exboogiman/stt", "stt-encoder.int8.onnx")
-decoder = hf_hub_download("exboogiman/stt", "stt-decoder.int8.onnx")
-tokens  = hf_hub_download("exboogiman/stt", "stt-tokens.txt")
-
-ten_vad_path = "/tmp/ten-vad.onnx"
-if not os.path.exists(ten_vad_path):
-    urllib.request.urlretrieve(
-        "https://github.com/k2-fsa/sherpa-onnx/releases/download/asr-models/ten-vad.onnx",
-        ten_vad_path,
-    )
-
-recognizer = sherpa_onnx.OfflineRecognizer.from_whisper(
-    encoder=encoder,
-    decoder=decoder,
-    tokens=tokens,
-    language="uz",
-    task="transcribe",
-    debug=False,
+# ── 1. Загрузка приватных моделей ────────────────────────────
+HF_TOKEN = os.environ.get("HF_TOKEN")
+REPO_ID = "exboogiman/streamingASR"
+
+print("Скачивание моделей...")
+encoder_path = hf_hub_download(repo_id=REPO_ID, filename="encoder-uzbek_fc.onnx", token=HF_TOKEN)
+decoder_path = hf_hub_download(repo_id=REPO_ID, filename="decoder-uzbek_fc.onnx", token=HF_TOKEN)
+joiner_path  = hf_hub_download(repo_id=REPO_ID, filename="joiner-uzbek_fc.onnx", token=HF_TOKEN)
+tokens_path  = hf_hub_download(repo_id=REPO_ID, filename="tokens.txt", token=HF_TOKEN)
+vad_path     = hf_hub_download(repo_id=REPO_ID, filename="silero_vad.onnx", token=HF_TOKEN)
+
+# ── 2. Инициализация компонентов ────────────────────────────
+recognizer = sherpa_onnx.OfflineRecognizer.from_transducer(
+    encoder=encoder_path,
+    decoder=decoder_path,
+    joiner=joiner_path,
+    tokens=tokens_path,
+    model_type="nemo_transducer",
+    num_threads=2,
+    sample_rate=16000,
+    feature_dim=80,
+    decoding_method="greedy_search",
 )
 
+# Настройки VAD
 vad_config = sherpa_onnx.VadModelConfig()
-vad_config.ten_vad.model                = ten_vad_path
-vad_config.ten_vad.threshold            = 0.5
-vad_config.ten_vad.min_silence_duration = 0.5
-vad_config.ten_vad.min_speech_duration  = 0.25
-vad_config.sample_rate                  = 16000
-
-vad = sherpa_onnx.VoiceActivityDetector(vad_config, buffer_size_in_seconds=30)
-
-
-# ── Транскрипция ─────────────────────────────────────────────
-def transcribe(stream, new_chunk):
-    sr, data = new_chunk
-
-    if data.ndim > 1:
-        data = data.mean(axis=1)
-
-    data = data.astype(np.float32) / 32768.0
-
-    if sr != 16000:
-        import librosa
-        data = librosa.resample(data, orig_sr=sr, target_sr=16000)
-
-    # Накапливаем буфер
-    stream = np.concatenate([stream, data]) if stream is not None else data
-
-    # Скармливаем VAD
-    vad.accept_waveform(data)
-
-    new_text = ""
+vad_config.silero_vad.model = vad_path
+vad_config.silero_vad.min_silence_duration = 0.3  # пауза 300мс = конец фразы
+vad_config.silero_vad.threshold = 0.5
+vad_config.sample_rate = 16000
+
+# ── 3. Логика стриминга ──────────────────────────────────────
+def initialize_state():
+    return {
+        "vad": sherpa_onnx.VoiceActivityDetector(vad_config, buffer_size_in_seconds=30),
+        "buffer": np.array([], dtype=np.float32),
+        "transcript": "",
+    }
+
+def transcribe_stream(audio, state):
+    if state is None:
+        state = initialize_state()
+        
+    if audio is None:
+        return state["transcript"], state
+        
+    sr, y = audio
+    
+    # Приводим к моно
+    if y.ndim > 1:
+        y = y.mean(axis=-1)
+        
+    # Приводим к float32 и нормализуем
+    samples = y.astype(np.float32)
+    if np.max(np.abs(samples)) > 1.0:
+        samples = samples / 32768.0
+        
+    # Добавляем новые семплы в буфер
+    state["buffer"] = np.concatenate([state["buffer"], samples])
+    
+    vad = state["vad"]
+    window_size = vad_config.silero_vad.window_size
+    
+    # Передаем в VAD фиксированными окнами
+    while len(state["buffer"]) >= window_size:
+        vad.accept_waveform(state["buffer"][:window_size])
+        state["buffer"] = state["buffer"][window_size:]
+        
+    # Если VAD вырезал законченную фразу — распознаем её офлайн-моделью
+    new_text_segments = []
     while not vad.empty():
-        segment = vad.front.samples
+        stream = recognizer.create_stream()
+        stream.accept_waveform(16000, vad.front.samples)
         vad.pop()
+        recognizer.decode_stream(stream)
+        text = stream.result.text.strip()
+        if text:
+            new_text_segments.append(text)
+            
+    # Если есть новые распознанные слова, добавляем их к общей истории
+    if new_text_segments:
+        added_text = " ".join(new_text_segments)
+        if state["transcript"]:
+            state["transcript"] += " " + added_text
+        else:
+            state["transcript"] = added_text
+            
+    return state["transcript"], state
+
+# ── 4. Описание интерфейса Gradio Blocks ─────────────────────
+with gr.Blocks(theme=gr.themes.Soft()) as demo:
+    gr.Markdown("# STT Streaming Demo (Uzbek)")
+    
+    # Состояние для сохранения VAD буфера между вызовами
+    state = gr.State()
+    
+    with gr.Row():
+        # Вход звука с микрофона с флагом streaming=True
+        input_audio = gr.Audio(
+            sources=["microphone"],
+            type="numpy",
+            streaming=True,
+            label="Говорите в микрофон"
+        )
+        # Поле вывода текста
+        output_text = gr.Textbox(
+            label="Распознанный текст",
+            interactive=False,
+            placeholder="Ваша речь отобразится здесь..."
+        )
+        
+    # Событие .stream срабатывает каждые ~0.5 сек по мере записи звука
+    input_audio.stream(
+        fn=transcribe_stream,
+        inputs=[input_audio, state],
+        outputs=[output_text, state],
+        show_progress="hidden"
+    )
+    
+    # Сброс состояния при очистке аудио
+    input_audio.clear(
+        fn=initialize_state,
+        inputs=[],
+        outputs=[state]
+    )
 
-        s = recognizer.create_stream()
-        s.accept_waveform(16000, segment)
-        recognizer.decode_stream(s)
-        result = s.result.text.strip()
-        if result:
-            new_text += result + " "
-
-    return stream, new_text
-
-
-demo = gr.Interface(
-    fn=transcribe,
-    inputs=[
-        gr.State(),
-        gr.Audio(sources=["microphone"], streaming=True, type="numpy"),
-    ],
-    outputs=[
-        gr.State(),
-        gr.Textbox(label="Транскрипция", lines=8, placeholder="Здесь появится текст..."),
-    ],
-    live=True,
-    title="🎙️ Kotib STT",
-    description="Говори в микрофон — текст появляется автоматически",
-)
-
-demo.launch()
+if __name__ == "__main__":
+    demo.launch()