Transformers documentation

MOSS-Transcribe-Diarize

Transformers

はじめに

Transformers インストールクイックスタート

ベースクラス

モデル

プリプロセッサ

推論

Pipeline API

Generate API

最適化

モデルとチャットする

サービング

トレーニング

はじめに

カスタマイズ

パラメータ効率の良いファインチューニング

パフォーマンス

分散学習

ハードウェア

量子化

エコシステム統合

リソース

API

主要クラス

モデル

テキストモデル

ビジョンモデル

音声モデル

動画モデル

マルチモーダルモデル

強化学習モデル

時系列モデル

内部ヘルパー

リファレンス

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

このモデルは2026年10月14日にHugging Face Transformersに貢献されました。

MOSS-Transcribe-Diarize

概要

MOSS-Transcribe-Diarize 0.9B は、長時間の複数話者音声の文字起こし、話者分離、タイムスタンプ付与を目的としたエンドツーエンドの音声理解モデルです。Whisper 風のエンコーダー、4 倍フレームマージ処理、マルチモーダルプロジェクター、Qwen3 言語モデルを組み合わせています。

モデルのチェックポイントは、itazap/MOSS-Transcribe-Diarize-HF で利用できます。

主な機能には、以下が含まれます。

同時転写と話者分離を1パスで実行し、セグメントは[start][S01]text[end]の形式で出力されます。
長時間音声は、プロセッサの上流で Whisper-window チャンク分割により処理され、モデルがサンプルごとにチャンクを再構成します。
apply_transcription_request またはチャットテンプレートによるプロンプト可能な文字起こし。
50以上の言語にわたる多言語対応。

このモデルは、Hugging Face チームの Ita Zaporozhets によって提供されました。詳細については、モデルカードおよび OpenMOSS リポジトリを参照してください。

使用方法

以下のほとんどの例では、チャットテンプレートを構築する便利な関数であるapply_transcription_requestを使用しています。apply_chat_template呼び出しの同等な例については、チャットテンプレートによる高度な使用法を参照してください。

基本的な文字起こしと話者分離

各スピーカーのターンは、[start][S0N]text[end] セグメントとしてデコードされます。processor.decode は、デコードされた生の文字列、辞書のリストとして解析されたセグメント（return_format="parsed"）、または連結された文字起こしのみ（return_format="transcription_only"）を返すことができます。

from transformers import AutoProcessor, AutoModelForCausalLM

model_id = "itazap/MOSS-Transcribe-Diarize-HF"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

audio_url = "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/podcast_sample.wav"
inputs = processor.apply_transcription_request(audio_url)
inputs = inputs.to(model.device, dtype=model.dtype)

outputs = model.generate(**inputs, do_sample=False, max_new_tokens=512)
generated_ids = outputs[:, inputs.input_ids.shape[1] :]

decoded = processor.decode(generated_ids, skip_special_tokens=True)
print("RAW OUTPUT:", decoded)

parsed = processor.decode(generated_ids, return_format="parsed")[0]
print("\nPARSED (list of dicts):")
for segment in parsed:
    print(segment)

transcription = processor.decode(generated_ids, return_format="transcription_only")
print("\nTRANSCRIPTION ONLY:", transcription[0])

"""
RAW OUTPUT: ["[0.48][S01] Hey everyone, welcome back to the show.[2.43][2.46][S01] Today, we're talking about the best way to learn a new skill.[5.22][5.43][S01] I'm here with Jordan to dig into it.[7.14][8.40][S02] Thanks for having me.[9.42][9.63][S02] My take is that consistency beats intensity every single time.[12.87][13.14][S01] That makes sense.[13.92][13.92][S01] Even 20 minutes a day adds up over a few months.[16.17][16.32][S02] Exactly, and writing down small wins keeps you motivated along the way.[19.62]"]

PARSED (list of dicts):
{'Start': 0.48, 'End': 2.43, 'Speaker': 1, 'Content': 'Hey everyone, welcome back to the show.'}
{'Start': 2.46, 'End': 5.22, 'Speaker': 1, 'Content': "Today, we're talking about the best way to learn a new skill."}
{'Start': 5.43, 'End': 7.14, 'Speaker': 1, 'Content': "I'm here with Jordan to dig into it."}
{'Start': 8.4, 'End': 9.42, 'Speaker': 2, 'Content': 'Thanks for having me.'}
{'Start': 9.63, 'End': 12.87, 'Speaker': 2, 'Content': 'My take is that consistency beats intensity every single time.'}
{'Start': 13.14, 'End': 13.92, 'Speaker': 1, 'Content': 'That makes sense.'}
{'Start': 13.92, 'End': 16.17, 'Speaker': 1, 'Content': 'Even 20 minutes a day adds up over a few months.'}
{'Start': 16.32, 'End': 19.62, 'Speaker': 2, 'Content': 'Exactly, and writing down small wins keeps you motivated along the way.'}

TRANSCRIPTION ONLY: Hey everyone, welcome back to the show. Today, we're talking about the best way to learn a new skill. I'm here with Jordan to dig into it. Thanks for having me. My take is that consistency beats intensity every single time. That makes sense. Even 20 minutes a day adds up over a few months. Exactly, and writing down small wins keeps you motivated along the way.
"""

カスタムプロンプトとホットワード

apply_transcription_request は、特定の用語（固有名詞や分野固有の語彙など）への転写を偏向させるために keywords を受け取ります。これらはチャットテンプレート内で 热词列表：（「ホットワードリスト」）としてレンダリングされます。追加のコンテキストとして、カスタムの prompt を同時に渡すこともできます。

以下では、「Yorùbá」という単語が言及されている音声クリップの文字起こしを行い、キーワードとして渡した場合と渡さなかった場合を比較します。

from transformers import AutoProcessor, AutoModelForCausalLM

model_id = "itazap/MOSS-Transcribe-Diarize-HF"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

audio_url = "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/languages_sample.wav"

# Without keywords
inputs = processor.apply_transcription_request(audio_url)
inputs = inputs.to(model.device, dtype=model.dtype)
outputs = model.generate(**inputs, do_sample=False, max_new_tokens=128)
transcription = processor.decode(outputs[:, inputs.input_ids.shape[1] :], return_format="transcription_only")
print(f"WITHOUT keywords: {transcription[0]}")

# With keywords
inputs = processor.apply_transcription_request(audio_url, keywords=["Mandarin", "Yorùbá"])
inputs = inputs.to(model.device, dtype=model.dtype)
outputs = model.generate(**inputs, do_sample=False, max_new_tokens=128)
transcription = processor.decode(outputs[:, inputs.input_ids.shape[1] :], return_format="transcription_only")
print(f"WITH keywords   : {transcription[0]}")

"""
WITHOUT keywords: Let's talk about the most spoken languages in the world. Mandarin Chinese has the most native speakers, followed by Spanish, English, and Hindi. In West Africa, one of the most widely spoken languages is Yoruba, with over 50 million speakers.
WITH keywords   : Let's talk about the most spoken languages in the world. Mandarin Chinese has the most native speakers, followed by Spanish, English, and Hindi. In West Africa, one of the most widely spoken languages is Yorùbá, with over 50 million speakers.
"""

チャットテンプレートを使った高度な使い方

apply_transcription_request は、オーディオのみを含むユーザーターンを持つチャットテンプレートと同等です。

from transformers import AutoProcessor, AutoModelForCausalLM

model_id = "itazap/MOSS-Transcribe-Diarize-HF"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

audio_url = "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/intro_sample.wav"
conversation = [
    {
        "role": "user",
        "content": [
            {"type": "audio", "url": audio_url},
        ],
    },
]

inputs = processor.apply_chat_template(
    conversation,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
).to(model.device, dtype=model.dtype)

outputs = model.generate(**inputs, do_sample=False, max_new_tokens=128)
decoded = processor.decode(
    outputs[:, inputs.input_ids.shape[1] :],
    skip_special_tokens=True,
)
print(decoded)

バッチ推論

オーディオのリストを渡し、必要に応じて対応するプロンプトおよび/またはキーワードのリストを渡すことで、1回の呼び出しでバッチを転写できます。特定のサンプルでスキップする場合は、そのエントリをNoneに設定してください。

from transformers import AutoProcessor, AutoModelForCausalLM

model_id = "itazap/MOSS-Transcribe-Diarize-HF"
processor = AutoProcessor.from_pretrained(model_id)
# `from_pretrained` is used here for convenience, the model can also be built from a config directly.
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

audio = [
    "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/intro_sample.wav",
    "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/languages_sample.wav",
]
keywords = [None, ["Mandarin", "Yorùbá"]]

inputs = processor.apply_transcription_request(audio, keywords=keywords)
inputs = inputs.to(model.device, dtype=model.dtype)
outputs = model.generate(**inputs, do_sample=False, max_new_tokens=128)
transcription = processor.decode(outputs[:, inputs.input_ids.shape[1] :], return_format="transcription_only")
print(transcription)

トレーニング

labels が提供された場合、モデルが返す損失関数を用いて MOSS-Transcribe-Diarize を学習できます。ユーザーターンに音声、アシスタントターンに目標文字起こしを配置して会話を構築し、トークン化時に output_labels=True を設定すると、プロセッサがラベルを構築してくれます（音声トークンとパディングトークンは -100 でマスクされます）。

from transformers import AutoProcessor, AutoModelForCausalLM

model_id = "itazap/MOSS-Transcribe-Diarize-HF"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
model.train()

conversation = [
    [
        {
            "role": "user",
            "content": [
                {
                    "type": "audio",
                    "url": "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/intro_sample.wav",
                },
            ],
        },
        {
            "role": "assistant",
            "content": [
                {
                    "type": "text",
                    "text": "[0.00][S01] Mister quilter is apostle of the middle classes, and we are glad to welcome his gospel.[3.00]",
                },
            ],
        },
    ],
]
inputs = processor.apply_chat_template(
    conversation,
    tokenize=True,
    return_dict=True,
    output_labels=True,
).to(model.device, dtype=model.dtype)

loss = model(**inputs).loss
print("Loss:", loss.item())
loss.backward()

Torch compile

モデルは、推論/学習を高速化するためにコンパイルできます。device_map="auto" はフォワードパスを accelerate のフックでラップするため、再コンパイルが繰り返されます。代わりに、モデルを単一のデバイスに直接ロードしてください。

B200では、バッチサイズが4の場合に約2.1倍の高速化を確認しました。

import time

import torch

from transformers import AutoProcessor, AutoModelForCausalLM


model_id = "itazap/MOSS-Transcribe-Diarize-HF"

num_warmup = 5
num_runs = 20

# Load processor + model
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id).to("cuda")

# Prepare static inputs
audio_url = "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/intro_sample.wav"
inputs = processor.apply_transcription_request([audio_url] * 4).to(model.device, torch.bfloat16)

# Benchmark without compile
print("Warming up without compile...")
with torch.no_grad():
    for _ in range(num_warmup):
        _ = model(**inputs)

torch.accelerator.synchronize()

print("\nBenchmarking without torch.compile...")
torch.accelerator.synchronize()
start = time.time()
with torch.no_grad():
    for _ in range(num_runs):
        _ = model(**inputs)
torch.accelerator.synchronize()
no_compile_time = (time.time() - start) / num_runs
print(f"Average time without compile: {no_compile_time:.4f}s")

# Benchmark with compile
print("\nCompiling model...")
model = torch.compile(model)

print("Warming up with compile (includes graph capture)...")
with torch.no_grad():
    for _ in range(num_warmup):
        _ = model(**inputs)

torch.accelerator.synchronize()

print("\nBenchmarking with torch.compile...")
torch.accelerator.synchronize()
start = time.time()
with torch.no_grad():
    for _ in range(num_runs):
        _ = model(**inputs)
torch.accelerator.synchronize()
compile_time = (time.time() - start) / num_runs
print(f"Average time with compile: {compile_time:.4f}s")

speedup = no_compile_time / compile_time
print(f"\nSpeedup: {speedup:.2f}x")

自己回帰型文字起こしでは、model.forward を直接コンパイルするのではなく、CompileConfig オブジェクトを渡すことで、generate 内のトークンごとのフォワードパスを torch.compile が高速化します。

import torch
from transformers import AutoProcessor, AutoModelForCausalLM, CompileConfig

model_id = "itazap/MOSS-Transcribe-Diarize-HF"
num_warmup = 3

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id).to("cuda")

audio_url = "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/intro_sample.wav"
inputs = processor.apply_transcription_request([audio_url] * 4).to(model.device, torch.bfloat16)

compile_config = CompileConfig()

# Warmup
for _ in range(num_warmup):
    _ = model.generate(**inputs, max_new_tokens=128, cache_implementation="static", compile_config=compile_config)

# Apply model
generated_ids = model.generate(
    **inputs, max_new_tokens=128, cache_implementation="static", compile_config=compile_config
)
transcription = processor.decode(generated_ids[:, inputs.input_ids.shape[1] :], return_format="transcription_only")
print(transcription)

Transformers

MOSS-Transcribe-Diarize

概要

使用方法

基本的な文字起こしと話者分離

カスタムプロンプトとホットワード

チャットテンプレートを使った高度な使い方

バッチ推論

トレーニング

Torch compile

MossTranscribeDiarizeConfig

クラス transformers.MossTranscribeDiarizeConfig

MossTranscribeDiarizeAudioConfig

クラス transformers.MossTranscribeDiarizeAudioConfig

MossTranscribeDiarizeAudioModel

class transformers.MossTranscribeDiarizeAudioModel

forward

MossTranscribeDiarizeFeatureExtractor

class transformers.MossTranscribeDiarizeFeatureExtractor

__call__

MossTranscribeDiarizeProcessor

クラス transformers.MossTranscribeDiarizeProcessor

__call__

apply_chat_template

apply_transcription_request

MossTranscribeDiarizeModel

class transformers.MossTranscribeDiarizeModel

forward

get_audio_features

MossTranscribeDiarizeForConditionalGeneration

クラス transformers.MossTranscribeDiarizeForConditionalGeneration

forward

get_audio_features

call

call