Spaces:
Runtime error
Runtime error
| title: Audio Decision Model (inspired by Jev) | |
| emoji: 🎧 | |
| colorFrom: indigo | |
| colorTo: blue | |
| sdk: docker | |
| app_port: 7860 | |
| pinned: false | |
| # Audio Decision Model | |
| **—— English below ——** | |
| Inspired by [TypeSafe AI’s Jev](https://typesafe.ai/blog/introducing-system-one-models-and-jev) | |
| 音声と質問を入力すると、`Noul`（Yes / No）・`Choice`（選択）・`Score`（数値）の構造化JSONで答えます。予約の取り消しやキーワード、音楽や動物の鳴き声など、発話内容と周囲の音について質問できます。 | |
| 質問と選択肢は画面上で編集できます。CloudはCPU上で[Qwen/Qwen3-ASR-0.6B](https://huggingface.co/Qwen/Qwen3-ASR-0.6B)、[sbintuitions/modernbert-ja-30m](https://huggingface.co/sbintuitions/modernbert-ja-30m)・[sbintuitions/modernbert-ja-130m](https://huggingface.co/sbintuitions/modernbert-ja-130m)、[laion/clap-htsat-unfused](https://huggingface.co/laion/clap-htsat-unfused)を組み合わせて処理します。Edge AIは量子化したONNXモデルをブラウザ上で実行し、入力データをクラウドへ送りません。 | |
| [モデルと構成図](https://huggingface.co/mocomoco-inc/AudioJev-AudioDecisionModel) · [mocomoco inc.](https://mocomoco.ai) | |
| ## 使い方 | |
| 1. CloudまたはEdge AIを選びます。 | |
| 2. 30秒以内の音声を録音・アップロードするか、サンプルを選びます。 | |
| 3. 質問と選択肢を編集して「実行する」を押します。 | |
| ## 評価 | |
| 予約・注文などの用件と、依頼・確認など発話の役割を音声から同時に答える評価では、事前に固定した240件のうち88.75%で両方正解しました。発話と周囲の音を組み合わせる質問や、自由に作成した質問全体の正答率は引き続き評価中です。 | |
| ## ライセンス | |
| [Qwen/Qwen3-ASR-0.6B](https://huggingface.co/Qwen/Qwen3-ASR-0.6B)と[laion/clap-htsat-unfused](https://huggingface.co/laion/clap-htsat-unfused)はApache-2.0、[sbintuitions/modernbert-ja-30m](https://huggingface.co/sbintuitions/modernbert-ja-30m)と[sbintuitions/modernbert-ja-130m](https://huggingface.co/sbintuitions/modernbert-ja-130m)はMITです。モデルに含まれるファイルごとの条件は[LICENSE.md](LICENSE.md)に記載しています。デモ内のサンプル音声の権利表示は`examples/ATTRIBUTION.json`にあります。 | |
| [Jev / TypeSafe AI](https://typesafe.ai/blog/introducing-system-one-models-and-jev)と[OpenJev / SemIf](https://github.com/TheoLeeCJ/SemIf)を参考にしています。 | |
| ## English | |
| Audio Decision Model takes an audio clip and editable natural-language questions and returns structured JSON with Yes/No, choice, or ordinal score answers. You can record audio, upload a file, or try a sample. Cloud mode runs on CPU and combines [Qwen/Qwen3-ASR-0.6B](https://huggingface.co/Qwen/Qwen3-ASR-0.6B), [sbintuitions/modernbert-ja-30m](https://huggingface.co/sbintuitions/modernbert-ja-30m), [sbintuitions/modernbert-ja-130m](https://huggingface.co/sbintuitions/modernbert-ja-130m), and [laion/clap-htsat-unfused](https://huggingface.co/laion/clap-htsat-unfused); Edge AI runs quantized ONNX models in your browser without sending your audio or questions to the cloud. | |
| In a fixed 240-item evaluation of reservation/order intent and speech act together, both answers were correct for 88.75% of items. Accuracy for arbitrary new questions and speech-plus-background-audio questions remains under evaluation. See [LICENSE.md](LICENSE.md) and the [Space files](https://huggingface.co/spaces/mocomoco-inc/AudioDecisionModel/tree/main) for model details and notices. The design draws inspiration from [Jev / TypeSafe AI](https://typesafe.ai/blog/introducing-system-one-models-and-jev) and [OpenJev / SemIf](https://github.com/TheoLeeCJ/SemIf). | |