---
title: Audio Decision Model (inspired by Jev)
emoji: 🎧
colorFrom: indigo
colorTo: blue
sdk: docker
app_port: 7860
pinned: false
---

# Audio Decision Model

**—— English below ——**

Inspired by [TypeSafe AI’s Jev](https://typesafe.ai/blog/introducing-system-one-models-and-jev)

音声と質問を入力すると、`Noul`（Yes / No）・`Choice`（選択）・`Score`（数値）の構造化JSONで答えます。予約の取り消しやキーワード、音楽や動物の鳴き声など、発話内容と周囲の音について質問できます。

質問と選択肢は画面上で編集できます。CloudはCPU上で[Qwen/Qwen3-ASR-0.6B](https://huggingface.co/Qwen/Qwen3-ASR-0.6B)、[sbintuitions/modernbert-ja-30m](https://huggingface.co/sbintuitions/modernbert-ja-30m)・[sbintuitions/modernbert-ja-130m](https://huggingface.co/sbintuitions/modernbert-ja-130m)、[laion/clap-htsat-unfused](https://huggingface.co/laion/clap-htsat-unfused)を組み合わせて処理します。Edge AIは量子化したONNXモデルをブラウザ上で実行し、入力データをクラウドへ送りません。

[モデルと構成図](https://huggingface.co/mocomoco-inc/AudioJev-AudioDecisionModel) · [mocomoco inc.](https://mocomoco.ai)

## 使い方

1. CloudまたはEdge AIを選びます。
2. 30秒以内の音声を録音・アップロードするか、サンプルを選びます。
3. 質問と選択肢を編集して「実行する」を押します。

## 評価

予約・注文などの用件と、依頼・確認など発話の役割を音声から同時に答える評価では、事前に固定した240件のうち88.75%で両方正解しました。発話と周囲の音を組み合わせる質問や、自由に作成した質問全体の正答率は引き続き評価中です。

## ライセンス

[Qwen/Qwen3-ASR-0.6B](https://huggingface.co/Qwen/Qwen3-ASR-0.6B)と[laion/clap-htsat-unfused](https://huggingface.co/laion/clap-htsat-unfused)はApache-2.0、[sbintuitions/modernbert-ja-30m](https://huggingface.co/sbintuitions/modernbert-ja-30m)と[sbintuitions/modernbert-ja-130m](https://huggingface.co/sbintuitions/modernbert-ja-130m)はMITです。モデルに含まれるファイルごとの条件は[LICENSE.md](LICENSE.md)に記載しています。デモ内のサンプル音声の権利表示は`examples/ATTRIBUTION.json`にあります。

[Jev / TypeSafe AI](https://typesafe.ai/blog/introducing-system-one-models-and-jev)と[OpenJev / SemIf](https://github.com/TheoLeeCJ/SemIf)を参考にしています。

## English

Audio Decision Model takes an audio clip and editable natural-language questions and returns structured JSON with Yes/No, choice, or ordinal score answers. You can record audio, upload a file, or try a sample. Cloud mode runs on CPU and combines [Qwen/Qwen3-ASR-0.6B](https://huggingface.co/Qwen/Qwen3-ASR-0.6B), [sbintuitions/modernbert-ja-30m](https://huggingface.co/sbintuitions/modernbert-ja-30m), [sbintuitions/modernbert-ja-130m](https://huggingface.co/sbintuitions/modernbert-ja-130m), and [laion/clap-htsat-unfused](https://huggingface.co/laion/clap-htsat-unfused); Edge AI runs quantized ONNX models in your browser without sending your audio or questions to the cloud.

In a fixed 240-item evaluation of reservation/order intent and speech act together, both answers were correct for 88.75% of items. Accuracy for arbitrary new questions and speech-plus-background-audio questions remains under evaluation. See [LICENSE.md](LICENSE.md) and the [Space files](https://huggingface.co/spaces/mocomoco-inc/AudioDecisionModel/tree/main) for model details and notices. The design draws inspiration from [Jev / TypeSafe AI](https://typesafe.ai/blog/introducing-system-one-models-and-jev) and [OpenJev / SemIf](https://github.com/TheoLeeCJ/SemIf).