README.md

metadata

title: Audio Decision Model (inspired by Jev)
emoji: 🎧
colorFrom: indigo
colorTo: blue
sdk: docker
app_port: 7860
pinned: false

Audio Decision Model

—— English below ——

Inspired by TypeSafe AI’s Jev

音声と質問を入力すると、Noul（Yes / No）・Choice（選択）・Score（数値）の構造化JSONで答えます。予約の取り消しやキーワード、音楽や動物の鳴き声など、発話内容と周囲の音について質問できます。

質問と選択肢は画面上で編集できます。CloudはCPU上でQwen/Qwen3-ASR-0.6B、sbintuitions/modernbert-ja-30m・sbintuitions/modernbert-ja-130m、laion/clap-htsat-unfusedを組み合わせて処理します。Edge AIは量子化したONNXモデルをブラウザ上で実行し、入力データをクラウドへ送りません。

モデルと構成図 · mocomoco inc.

使い方

1. CloudまたはEdge AIを選びます。
2. 30秒以内の音声を録音・アップロードするか、サンプルを選びます。
3. 質問と選択肢を編集して「実行する」を押します。

評価

予約・注文などの用件と、依頼・確認など発話の役割を音声から同時に答える評価では、事前に固定した240件のうち88.75%で両方正解しました。発話と周囲の音を組み合わせる質問や、自由に作成した質問全体の正答率は引き続き評価中です。

ライセンス

Qwen/Qwen3-ASR-0.6Bとlaion/clap-htsat-unfusedはApache-2.0、sbintuitions/modernbert-ja-30mとsbintuitions/modernbert-ja-130mはMITです。モデルに含まれるファイルごとの条件はLICENSE.mdに記載しています。デモ内のサンプル音声の権利表示はexamples/ATTRIBUTION.jsonにあります。

Jev / TypeSafe AIとOpenJev / SemIfを参考にしています。

English

Audio Decision Model takes an audio clip and editable natural-language questions and returns structured JSON with Yes/No, choice, or ordinal score answers. You can record audio, upload a file, or try a sample. Cloud mode runs on CPU and combines Qwen/Qwen3-ASR-0.6B, sbintuitions/modernbert-ja-30m, sbintuitions/modernbert-ja-130m, and laion/clap-htsat-unfused; Edge AI runs quantized ONNX models in your browser without sending your audio or questions to the cloud.

In a fixed 240-item evaluation of reservation/order intent and speech act together, both answers were correct for 88.75% of items. Accuracy for arbitrary new questions and speech-plus-background-audio questions remains under evaluation. See LICENSE.md and the Space files for model details and notices. The design draws inspiration from Jev / TypeSafe AI and OpenJev / SemIf.