add gradio demo: upload audio -> transcript + RTF

README.md

@@ -1,27 +1,62 @@
 ---
-title: Offlisten
-emoji: 🧠
-colorFrom: yellow
-colorTo: indigo
-sdk: static
+title: Offlisten ASR
+emoji: 🎙️
+colorFrom: indigo
+colorTo: gray
+sdk: gradio
+app_file: app.py
 pinned: false
 license: mit
-short_description: '# Offlisten 本地离线会议转写（MV3 扩展 + sherpa-onnx/SenseVoice 引擎）'
+short_description: Offline ASR demo for zh/en/ja/ko/yue, reports RTF
 ---
 
-# Nerfies
+# Offlisten ASR — 在线演示
 
-This is the repository that contains source code for the [Nerfies website](https://nerfies.github.io).
+把一段音频转成带标点的文字，并报出在 2 vCPU 上的 RTF。
 
-If you find Nerfies useful for your work please cite:
-```
-@article{park2021nerfies
-  author    = {Park, Keunhong and Sinha, Utkarsh and Barron, Jonathan T. and Bouaziz, Sofien and Goldman, Dan B and Seitz, Steven M. and Martin-Brualla, Ricardo},
-  title     = {Nerfies: Deformable Neural Radiance Fields},
-  journal   = {ICCV},
-  year      = {2021},
-}
-```
+**这不是产品。** 产品 Offlisten 是本地桌面端：WASAPI 抓系统声音、转写结果写本地文件、全程不联网。
+这个 Space 跑的是同一个 SenseVoice int8 模型，放在 Linux CPU 上，只用来让人先听到效果。
 
-# Website License
-<a rel="license" href="http://creativecommons.org/licenses/by-sa/4.0/"><img alt="Creative Commons License" style="border-width:0" src="https://i.creativecommons.org/l/by-sa/4.0/88x31.png" /></a><br />This work is licensed under a <a rel="license" href="http://creativecommons.org/licenses/by-sa/4.0/">Creative Commons Attribution-ShareAlike 4.0 International License</a>.
+## 会看到什么
+
+| 项 | 值 |
+|---|---|
+| 模型 | SenseVoice int8，229 MiB，中 / 英 / 日 / 韩 / 粤 |
+| 标点 | 模型自带，不需要单独标点模型 |
+| 硬件 | 免费 CPU Basic，2 vCPU / 16 GB |
+| 输出 | 转写文本 + 音频时长 + 耗时 + RTF |
+
+## 实测（本机 Windows，2 线程，不是 Space 硬件）
+
+用 `test_wavs/` 里五个语种各一条，走的就是本 Space 的 `transcribe()`：
+
+| 音频 | 时长 | 耗时 | RTF | 输出 |
+|---|---|---|---|---|
+| zh.wav | 5.6 s | 0.45 s | 0.080 | 开饭时间早上9点至下午5点。 |
+| en.wav | 7.2 s | 0.81 s | 0.114 | The tribal chieftain called for the boy and presented him with 50 pieces of code. |
+| ja.wav | 7.2 s | 0.61 s | 0.085 | うちの中学は弁当制で持っていきない場合は50円の学校販売のパンを買う。 |
+| ko.wav | 4.6 s | 0.39 s | 0.084 | 조금만 생각을 하면서 살면 훨씬 편할 거야. |
+| yue.wav | 5.1 s | 0.45 s | 0.088 | 呢几个字都表达唔到我想讲嘅意思。 |
+
+两个如实标注：
+
+- 官方示例对 `zh.wav` 输出「**开放**时间」，int8 量化 + 2 线程下这里是「**开饭**时间」。
+  重采样到 44.1 kHz 再喂回去，结果相同——说明不是重采样管线的问题，是模型在这段短音频上的真实取舍。
+- 上表是本机 CPU 的成绩；Space 的免费档是共享 2 vCPU，实测 RTF 可能更高，以页面里显示的数字为准。
+
+## 它不是产品的原因
+
+- 这里**必须上传音频**，产品是**不上传**的；
+- 这里只能处理整段文件，产品是实时抓取、边开边写；
+- 免费档闲置会休眠，第一名访客要等容器唤醒并加载 229 MiB 模型。
+
+## 模型从哪来
+
+默认从 `OFFLISTEN_MODEL_REPO`（默认 `ToothpasteLake/offlisten-models`）用 `hf_hub_download` 拉取，
+只取 `model.int8.onnx` 与 `tokens.txt`。要换成本地目录，设 `OFFLISTEN_MODEL_DIR` 指向含这两个文件的目录。
+
+许可证与来源见主仓库 `docs/distribution.md`；模型的原始许可见 SenseVoice 上游（Apache-2.0）。
+
+## 主仓库
+
+<https://github.com/peaceaddpaasion/Offlisten>

app.py

@@ -0,0 +1,162 @@
+"""Offlisten 在线演示：把一段音频转成带标点的文字，并报出 RTF。
+
+这不是产品。产品是本地运行的桌面端（WASAPI 采集、不联网）；这里跑的是同一个
+SenseVoice int8 模型在 Linux CPU 上的离线转写，用来证明模型与引擎的可用性。
+
+设计约束：
+- 免费 CPU Basic 档是 2 vCPU / 16 GB / 50 GB 非持久磁盘，容器会休眠后重建，
+  所以模型不写进镜像，改为运行时从 Hub 拉取并缓存在容器内。
+- 只接受 16 kHz 单声道交给模型；其它采样率在本地重采样，不依赖 ffmpeg。
+- 所有失败都给出能照做的下一步，不返回 500。
+"""
+
+import os
+import time
+
+import gradio as gr
+import numpy as np
+import sherpa_onnx
+
+MODEL_REPO = os.environ.get("OFFLISTEN_MODEL_REPO", "ToothpasteLake/offlisten-models")
+MODEL_SUBDIR = "sherpa-onnx-sense-voice-zh-en-ja-ko-yue-2024-07-17"
+TARGET_SR = 16000
+
+_state = {"recognizer": None, "error": None, "lang": None}
+
+
+def _find_model_files():
+    """返回 (model_path, tokens_path)。优先用镜像内已有的目录，其次从 Hub 拉。"""
+    local_dir = os.environ.get("OFFLISTEN_MODEL_DIR")
+    if local_dir:
+        m = os.path.join(local_dir, "model.int8.onnx")
+        t = os.path.join(local_dir, "tokens.txt")
+        if os.path.isfile(m) and os.path.isfile(t):
+            return m, t
+        raise RuntimeError("OFFLISTEN_MODEL_DIR 指向 %s，但里面没有 model.int8.onnx / tokens.txt" % local_dir)
+
+    from huggingface_hub import hf_hub_download
+
+    m = hf_hub_download(MODEL_REPO, "%s/model.int8.onnx" % MODEL_SUBDIR)
+    t = hf_hub_download(MODEL_REPO, "%s/tokens.txt" % MODEL_SUBDIR)
+    return m, t
+
+
+def get_recognizer(language):
+    """按语言惰性建识别器；同语言复用，避免每次请求都加载 229 MB。"""
+    if _state["recognizer"] is not None and _state["lang"] == language:
+        return _state["recognizer"]
+    if _state["error"]:
+        raise RuntimeError(_state["error"])
+    try:
+        model, tokens = _find_model_files()
+        _state["recognizer"] = sherpa_onnx.OfflineRecognizer.from_sense_voice(
+            model=model,
+            tokens=tokens,
+            language=language,
+            use_itn=True,
+            num_threads=int(os.environ.get("OFFLISTEN_THREADS", "2")),
+        )
+        _state["lang"] = language
+        return _state["recognizer"]
+    except Exception as e:
+        _state["error"] = "%s: %s" % (type(e).__name__, e)
+        raise
+
+
+def _load_audio(path):
+    """读成 float32 单声道 + 16 kHz。不依赖 ffmpeg。"""
+    import soundfile as sf
+
+    samples, sr = sf.read(path, dtype="float32", always_2d=True)
+    mono = samples.mean(axis=1)
+    if sr != TARGET_SR and len(mono) > 1:
+        n = int(round(len(mono) * TARGET_SR / float(sr)))
+        mono = np.interp(
+            np.linspace(0.0, len(mono) - 1, n), np.arange(len(mono)), mono
+        ).astype(np.float32)
+    return mono, TARGET_SR
+
+
+def transcribe(audio_path, language):
+    if not audio_path:
+        return "", "先上传一段音频，或直接用麦克风录一句。"
+
+    try:
+        samples, sr = _load_audio(audio_path)
+    except Exception as e:
+        return "", (
+            "读不了这个文件（%s）。请换成 wav / flac / ogg / mp3；"
+            "如果是从会议软件导出的 m4a，先用任意工具转成 wav。" % e
+        )
+
+    duration = len(samples) / float(sr)
+    if duration < 0.2:
+        return "", "音频只有 %.2f 秒，太短了。" % duration
+
+    try:
+        recognizer = get_recognizer(language)
+    except Exception as e:
+        return "", (
+            "模型没加载起来：%s\n\n"
+            "常见原因：模型仓库还没推上去（`%s`），或该仓库是私有的而 Space 没有读权限。"
+            % (e, MODEL_REPO)
+        )
+
+    started = time.perf_counter()
+    stream = recognizer.create_stream()
+    stream.accept_waveform(sr, samples)
+    recognizer.decode_stream(stream)
+    elapsed = time.perf_counter() - started
+
+    text = (stream.result.text or "").strip()
+    if not text:
+        return "", "这段音频里没识别出语音。确认它不是纯音乐或空白录音。"
+
+    rtf = elapsed / duration if duration > 0 else float("nan")
+    note = "音频 %.1f 秒，转写耗时 %.2f 秒，**RTF %.3f**（CPU Basic，2 vCPU，%s 线程）" % (
+        duration,
+        elapsed,
+        rtf,
+        os.environ.get("OFFLISTEN_THREADS", "2"),
+    )
+    return text, note
+
+
+INTRO = """\
+## 这是模型能力演示，不是产品
+
+产品 **Offlisten** 在本地跑：抓系统声音、写本地文件、全程不联网。
+这里把同一份 SenseVoice int8 模型放在服务器 CPU 上，只有一个目的——让你先听到效果，再决定要不要装。
+
+- 模型：SenseVoice int8（中 / 英 / 日 / 韩 / 粤），229 MiB，自带标点与逆文本正则
+- 语言选 `auto` 由模型自判；已知语种时指定会更稳
+- 上传的音频只���于本次转写，不留存
+"""
+
+
+def build():
+    with gr.Blocks(title="Offlisten ASR demo") as demo:
+        gr.Markdown(INTRO)
+        with gr.Row():
+            with gr.Column():
+                audio = gr.Audio(
+                    sources=["upload", "microphone"],
+                    type="filepath",
+                    label="音频（wav / flac / ogg / mp3，任意采样率）",
+                )
+                language = gr.Dropdown(
+                    ["auto", "zh", "en", "ja", "ko", "yue"],
+                    value="auto",
+                    label="语言",
+                )
+                run = gr.Button("转写", variant="primary")
+            with gr.Column():
+                text = gr.Textbox(label="转写结果", lines=10, show_copy_button=True)
+                note = gr.Markdown()
+        run.click(transcribe, inputs=[audio, language], outputs=[text, note])
+        audio.change(transcribe, inputs=[audio, language], outputs=[text, note])
+    return demo
+
+
+if __name__ == "__main__":
+    build().launch()

requirements.txt

@@ -0,0 +1,5 @@
+gradio>=5.0
+sherpa-onnx>=2.0.0,<3
+soundfile>=0.12
+huggingface_hub>=0.30
+numpy>=1.24