| --- |
| language: |
| - ja |
| - en |
| license: other |
| license_name: audio-jev-mixed-terms |
| license_link: >- |
| https://huggingface.co/mocomoco-inc/AudioJev-AudioDecisionModel/blob/main/LICENSE.md |
| base_model: |
| - Qwen/Qwen3-ASR-0.6B |
| - laion/clap-htsat-unfused |
| - sbintuitions/modernbert-ja-30m |
| - sbintuitions/modernbert-ja-130m |
| tags: |
| - audio-jev |
| - audio-classification |
| - automatic-speech-recognition |
| - japanese |
| - on-device |
| - onnx |
| - decision-model |
| --- |
| |
| # AudioJev-AudioDecisionModel |
|
|
| **—— English below ——** |
|
|
| AudioJev-AudioDecisionModelは、音声に質問を投げると、答えを`Noul`（Yes/No）・`Choice`（選択）・`Score`（数値）の形で返すモデルです。「予約を取り消したい？」「犬の鳴き声がする？」といった質問を、同じ音声にまとめて指定できます。 |
|
|
| [デモを試す](https://huggingface.co/spaces/mocomoco-inc/AudioDecisionModel) · [ライセンス](LICENSE.md) |
|
|
| ## できること |
|
|
| 予約の変更や取り消し、特定の言葉が含まれるかといった発話内容への質問に加え、音楽、動物の鳴き声、環境音についても質問できます。発話と背景音の両方が必要な場合は、それぞれのモデルの判断を組み合わせます。Cloudとブラウザ上で動くEdge AIを用意しています。 |
|
|
| 入力は0.25〜30秒の音声と、任意の文脈・質問・選択肢です。出力には質問ごとの回答、選択肢スコア、使用したexpert、ルーティング重みが含まれます。 |
|
|
| ## モデルのしくみ |
|
|
| 質問文・文脈・選択肢を[sbintuitions/modernbert-ja-30m](https://huggingface.co/sbintuitions/modernbert-ja-30m)で読み、学習済みrouterが音声言語と非言語音の使い方を決めます。言語側は[Qwen/Qwen3-ASR-0.6B](https://huggingface.co/Qwen/Qwen3-ASR-0.6B)、非言語側は[laion/clap-htsat-unfused](https://huggingface.co/laion/clap-htsat-unfused)を基盤にし、両方が必要な質問では選択肢単位で結果を融合します。Cloudには日本語ASR適応重み、意味分類器、汎用typed head、[laion/clap-htsat-unfused](https://huggingface.co/laion/clap-htsat-unfused)の分類headを収録しています。Edge AIには量子化した音声塔・質問encoder・headと、FP32のrouterをONNX形式で収録しています。 |
|
|
| [](assets/cloud-edge-architecture.png) |
|
|
| CloudとEdge AIは同じ質問形式・結果JSONを使う別の実装です。現行の公開CloudデモはCPU上で動き、必要な言語タスクではASRと文字起こしを使用します。Edge AIはQwen3-ASRの**音声encoder**を使いますが、ASR decoderは使いません。文字起こしを経由せず、音声特徴と質問・選択肢の特徴から直接判断します。Edge AIはCloud全体を量子化したものではありません。[図のMermaidソース](assets/cloud-edge-architecture.mmd)も参照できます。 |
|
|
| | 実行方式 | モデル | 取得量の目安 | |
| |---|---|---:| |
| | Cloud | [Qwen/Qwen3-ASR-0.6B](https://huggingface.co/Qwen/Qwen3-ASR-0.6B) + [sbintuitions/modernbert-ja-130m](https://huggingface.co/sbintuitions/modernbert-ja-130m) + [laion/clap-htsat-unfused](https://huggingface.co/laion/clap-htsat-unfused) | 基盤モデルは各配布元から取得 | |
| | Edge AI | [Qwen/Qwen3-ASR-0.6B](https://huggingface.co/Qwen/Qwen3-ASR-0.6B)音声塔 + [sbintuitions/modernbert-ja-30m](https://huggingface.co/sbintuitions/modernbert-ja-30m) + [laion/clap-htsat-unfused](https://huggingface.co/laion/clap-htsat-unfused)（ONNX） | 「モデルを読み込む」で全体約289 MBを取得 | |
|
|
| ## 評価 |
|
|
| 予約・注文などの用件と、依頼・確認など発話の役割を音声から同時に答える評価では、事前に固定した240件のうち88.75%で両方正解しました。 |
|
|
| 発話と周囲の音を組み合わせる質問や、自由に作成した質問全体の正答率は引き続き評価中です。選択肢スコアは確率校正前の値です。VAD・話者分離・ストリーミングは現行モデルの構造化出力にまだ含まれません。 |
|
|
| ## 使い方と収録内容 |
|
|
| デモでは音声を録音またはアップロードし、質問・選択肢を編集してCloudとEdge AIの回答を試せます。モデルを取得する場合は以下を使用してください。 |
|
|
| ```python |
| from huggingface_hub import snapshot_download |
| |
| model_dir = snapshot_download("mocomoco-inc/AudioJev-AudioDecisionModel", token=True) |
| print(model_dir) |
| ``` |
|
|
| | ディレクトリ | 内容 | |
| |---|---| |
| | `edge/models/` | ブラウザ実行用ONNX、tokenizer、前処理設定、実行manifest | |
| | `cloud/qwen_asr_adaptation/` | [Qwen/Qwen3-ASR-0.6B](https://huggingface.co/Qwen/Qwen3-ASR-0.6B)の日本語適応重み | |
| | `cloud/semantic_v8/` | [sbintuitions/modernbert-ja-130m](https://huggingface.co/sbintuitions/modernbert-ja-130m)の意味分類器 | |
| | `cloud/typed_head/` | `Noul`・`Choice`・`Score`用の汎用head | |
| | `cloud/clap_heads/` | 広域音・動物8種の[laion/clap-htsat-unfused](https://huggingface.co/laion/clap-htsat-unfused) head | |
| | `MANIFEST.json` | 全ファイルのSHA-256と基盤モデルrevision | |
|
|
| Cloud実行には、ここに収録した適応重み・headに加え、[Qwen/Qwen3-ASR-0.6B](https://huggingface.co/Qwen/Qwen3-ASR-0.6B)と[laion/clap-htsat-unfused](https://huggingface.co/laion/clap-htsat-unfused)の基盤モデルを使用します。入出力の実装例は[デモのソース](https://huggingface.co/spaces/mocomoco-inc/AudioDecisionModel/tree/main)にあります。 |
|
|
| ## ライセンスとクレジット |
|
|
| このモデルは、以下の事前学習済みモデルを基盤にしています。 |
|
|
| | 基盤モデル | ライセンス | 本リポジトリに含まれるもの | |
| |---|---|---| |
| | [Qwen/Qwen3-ASR-0.6B](https://huggingface.co/Qwen/Qwen3-ASR-0.6B) | Apache-2.0 | Edge用の量子化音声塔、Cloud用の日本語ASR適応重み | |
| | [laion/clap-htsat-unfused](https://huggingface.co/laion/clap-htsat-unfused) | Apache-2.0 | Edge用の量子化音声塔、音カテゴリ・動物分類head | |
| | [sbintuitions/modernbert-ja-30m](https://huggingface.co/sbintuitions/modernbert-ja-30m) | MIT | Edge用の量子化質問encoderとtokenizer | |
| | [sbintuitions/modernbert-ja-130m](https://huggingface.co/sbintuitions/modernbert-ja-130m) | MIT | Cloud用の意味分類器 | |
|
|
| router、typed head、分類headなどmocomoco inc.が作成した部分も含まれます。基盤モデルのライセンス文とnoticeは`licenses/`に収録し、ファイルごとの条件と基盤モデルrevisionは[LICENSE.md](LICENSE.md)と[MANIFEST.json](MANIFEST.json)に記載しています。 |
|
|
| [Jev / TypeSafe AI](https://typesafe.ai/blog/introducing-system-one-models-and-jev)と[OpenJev / SemIf](https://github.com/TheoLeeCJ/SemIf)のアイデアを参考にしています。 |
|
|
| ## English |
|
|
| AudioJev-AudioDecisionModel answers questions about audio in structured JSON: `Noul` (Yes/No), `Choice` (selection), or `Score` (ordinal value). You can provide a 0.25–30 second clip, context, natural-language questions, and answer options. It covers speech-related tasks as well as music, animal calls, and environmental sounds. Questions that need both speech and background audio use both model paths. |
|
|
| The Cloud configuration combines [Qwen/Qwen3-ASR-0.6B](https://huggingface.co/Qwen/Qwen3-ASR-0.6B), [sbintuitions/modernbert-ja-130m](https://huggingface.co/sbintuitions/modernbert-ja-130m), and [laion/clap-htsat-unfused](https://huggingface.co/laion/clap-htsat-unfused). The Edge AI configuration includes quantized ONNX audio and text models for browser inference; loading all Edge components downloads about 289 MB. In a fixed 240-item evaluation of reservation/order intent and speech act together, both answers were correct for 88.75% of items. Accuracy across arbitrary new questions and speech-plus-background-audio questions remains under evaluation; option scores are not calibrated probabilities. |
|
|
| The public Cloud demo runs on CPU and uses ASR for language tasks that need a transcript. Edge AI uses the Qwen3-ASR **audio encoder without its ASR decoder**: it scores audio features against the question and answer options directly, without transcribing the clip. The two modes share an input/output contract and routing design, but Edge AI is not a quantized copy of the entire Cloud pipeline. |
|
|
| The repository also contains model components trained by mocomoco inc. [Qwen/Qwen3-ASR-0.6B](https://huggingface.co/Qwen/Qwen3-ASR-0.6B) and [laion/clap-htsat-unfused](https://huggingface.co/laion/clap-htsat-unfused) declare Apache-2.0, while [sbintuitions/modernbert-ja-30m](https://huggingface.co/sbintuitions/modernbert-ja-30m) and [sbintuitions/modernbert-ja-130m](https://huggingface.co/sbintuitions/modernbert-ja-130m) declare MIT. See [LICENSE.md](LICENSE.md), [`licenses/`](licenses/), and [MANIFEST.json](MANIFEST.json) for component provenance and notices. The design draws inspiration from [Jev / TypeSafe AI](https://typesafe.ai/blog/introducing-system-one-models-and-jev) and [OpenJev / SemIf](https://github.com/TheoLeeCJ/SemIf). |
