パラメータ

• text (Union[str, list[str]]) — エンコード対象のシーケンスまたはシーケンスのバッチです。各シーケンスは文字列または文字列のリスト（事前トークン化済み文字列）であることができます。事前トークン化済み入力を渡す場合は、バッチ入力との曖昧さを避けるためにis_split_into_words=Trueを設定してください。
• audio (Union[numpy.ndarray, torch.Tensor, collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence[torch.Tensor]], 任意) — 準備対象のオーディオまたはオーディオのバッチです。各オーディオは NumPy 配列または PyTorch テンソルであることができます。 NumPy 配列/PyTorch テンソルの場合、各オーディオの形状は (C, T) である必要があります。ここで C はチャネル数、T はオーディオのサンプル長です。
• output_labels (bool、省略可、デフォルト: False) — 学習用のラベルを返すかどうか。
• return_tensors (str または TensorType, 省略可) — 設定すると、特定のフレームワークのテンソルを返します。使用可能な値は以下の通りです:
  • 'pt': PyTorchのtorch.Tensorオブジェクトを返します。
  • 'np': NumPyのnp.ndarrayオブジェクトを返します。
• **kwargs (ProcessingKwargs、任意) — 各モダリティ（テキスト、画像、動画、音声）の追加処理オプション。モデル固有のパラメータは上記にリストされています。サポートされている引数の完全なリストについては、TypedDictクラスを参照してください。

パラメータ

• audio (str、list[str]、np.ndarray、torch.Tensor、list[np.ndarray]、list[torch.Tensor]) — 文字起こしを行う音声です。文字列はローカルパスまたは URL として解釈され、チャットテンプレートローダーによって自動的に読み込まれます。NumPy 配列と PyTorch テンソルはそのまま転送されます。
• prompt (str または list[str]、省略可) — ユーザーターンに含めるカスタムプロンプトです。リストの場合、バッチの長さと一致する必要があります。None の場合、各サンプルは default_transcription_prompt を使用します。
• **kwargs — apply_chat_template() に転送される追加のキーワード引数（例: text_kwargs、audio_kwargs など）。 enable_thinking=True が渡されない限り、Thinking は無効になります（チャットテンプレートではデフォルトで有効になっています）。

パラメータ

• conversation (Union[list[Dict, [str, str]], list[list[dict[str, str]]]]) — フォーマット対象の会話です。
• chat_template (Optional[str]、省略可) — 会話を整形するために使用する Jinja テンプレートです。指定しない場合、トークナイザーのチャットテンプレートが使用されます。

パラメータ

• text (str または list[str]) — skip_special_tokens=False を指定してデコードされた、単一のテキストまたはテキストのバッチです。<spk:N> のスピーカータグは特殊トークンです。テキスト終了トークン以降のすべての内容は破棄されます。

パラメータ

• transcriptions (str または list[str]) — skip_special_tokens=False を指定してデコードされた、各録音の生成テキスト。<spk:N> タグを保持します。
• word_timestamp_logits (torch.Tensor、shape (batch_size, num_frames * upsampling_factor, vocab_size)) — 単語タイムスタンプヘッドの logits（generate(..., return_word_timestamp_logits=True) または model.get_word_timestamp_logits(...) の word_timestamp_logits）です。最後のクラスは CTC blank です。エンコーダフレームあたりのフレーム数である、このヘッドの upsampling_factor は、その shape から読み取られます。
• input_features_mask (torch.Tensor、形状 (batch_size, feature_sequence_length)) — プロセッサが返す、各録音の有効なスペクトログラムフレームのマスクです。その数によって録音の長さが決まるため、ヘッドのフレームのタイムステップもこれに基づいて設定されます。
• speaker_logits (torch.Tensor、形状 (batch_size, num_frames * subsampling_factor, num_speakers)、任意) — 話者分離モデルの logits（generate(..., return_word_timestamp_logits=True) の speaker_logits、または get_audio_features のもの）。これがない場合、各文字起こしは単一の話者としてアラインされ、話者分離の結果は返されません。
• language (str または list[str | None]、省略可) — トランスクリプトの言語です。全トランスクリプト共通で指定するか、トランスクリプトごとに指定します。None の場合は、文字体系から検出されます: "zh" と "ja" は文字単位でアラインメントされますが、"th" はサポートされていません。
• speaker_activity_threshold (float、任意、デフォルト値は 0.5)— 話者がアクティブと判定される確率の閾値。
• max_word_duration (float、任意、デフォルト値は 1.0) — アラインされた単語の最大持続時間（秒）。
• max_word_frames (int, 任意、デフォルト値は 12) — 話者分離セグメントにスナップされた単語の最大シフト量と持続時間（エンコーダーフレーム単位、1 フレームは最大 80 ms）。

パラメータ

• input_features (torch.Tensor、形状 (batch_size, sequence_length, feature_dim)、任意) — 入力音声特徴に対応するテンソルです。音声特徴は feature_extractor_class を使用して取得できます。詳細は feature_extractor_class.__call__ を参照してください（processor_class は音声の処理に feature_extractor_class を使用します）。
• attention_mask (torch.Tensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
  • マスクされていないトークンに対して1
  • マスクされたトークンに対しては 0 です。

  アテンションマスクとは?

• inputs_embeds (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)、任意) — input_ids を渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込み参照行列よりも、input_ids のインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。
• position_ids (torch.Tensor の形状 (batch_size, sequence_length), 、省略可) — 位置埋め込みにおける各入力シーケンスのトークンの位置のインデックス。範囲 [0, config.n_positions - 1].

  ポジションIDとは?

パラメータ

• input_features (torch.FloatTensor、shape (batch_size, feature_sequence_length, num_mel_bins)) — config.subsampling_factor の倍数のフレーム数にパディングされたログメルスペクトログラムです。オリジナルと同様に、config.diarization_config.chunk_length エンコーダーフレームより長い音声は、コンテキスト付きでチャンクごとにエンコードされます。
• input_features_mask (torch.Tensor、形状 (batch_size, feature_sequence_length)、任意) — 有効なスペクトログラムフレームのマスクです。パディングは右側に行う必要があります。

パラメータ

• inputs_embeds (torch.FloatTensor、shape (batch_size, num_frames, hidden_size)) — 音声認識エンコーダーの状態。音声モデルの asr_norm と話者埋め込みを適用する前のものです。
• attention_mask (torch.Tensor、形状 (batch_size, num_frames)、任意) — 有効なエンコーダーフレームのマスクです。

パラメータ

• input_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、省略可) — 語彙における入力シーケンスのトークンインデックスです。デフォルトではパディングは無視されます。

  インデックスはAutoTokenizerを使用して取得できます。詳細については、PreTrainedTokenizer.encode()およびPreTrainedTokenizer.call()を参照してください。

  入力IDとは何ですか？

• input_features (torch.FloatTensor、形状 (batch_size, sequence_length, feature_dim)、任意) — 入力音声特徴に対応するテンソルです。音声特徴は feature_extractor_class を使用して取得できます。詳細は feature_extractor_class.__call__ を参照してください（processor_class は音声の処理に feature_extractor_class を使用します）。
• input_features_mask (torch.Tensor、形状 (batch_size, feature_sequence_length)) — パディングされた特徴インデックスに対するアテンションの計算を回避するためのマスク。
• attention_mask (torch.Tensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
  • マスクされていないトークンに対して1
  • マスクされたトークンに対しては 0 です。

  アテンションマスクとは?

• position_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、任意) — 各入力シーケンスのトークンが位置埋め込み内で占める位置のインデックス。範囲 [0, config.n_positions - 1].

  ポジションIDとは?

• past_key_values (~cache_utils.Cache, 省略可) — 逐次デコードを高速化するために使用できる、事前計算された隠れ状態(自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー)。通常、これはデコードの以前の段階でモデルが返した past_key_values であり、 use_cache=True または config.use_cache=True.

  入力として許可されるのは Cache インスタンスのみです。kv cache ガイドを参照してください。 past_key_values が渡されない場合、デフォルトで DynamicCache が初期化されます。

  モデルは、入力として与えられたのと同じキャッシュ形式を出力します。

  past_key_values を使用する場合、すべての input_ids（形状 (batch_size, sequence_length)）ではなく、このモデルに過去のキー・バリュー状態が与えられていない未処理の input_ids（形状 (batch_size, unprocessed_length)）のみを入力することになります。

• inputs_embeds (torch.FloatTensor、形状 (batch_size, sequence_length, hidden_size)、任意) — input_ids を渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込みルックアップ行列よりも、input_ids のインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。
• use_cache (bool、任意) — True に設定すると、past_key_values のキーバリュー状態が返され、デコーディングの高速化に利用できます（past_key_values を参照）。

パラメータ

• input_features (torch.FloatTensor) — 生の音声波形から抽出されたメル特徴量の浮動小数点値。
• input_features_mask (torch.Tensor、shape (batch_size, feature_sequence_length)) — パディングされた特徴インデックスに対してアテンションを実行しないためのマスク。

パラメータ

• asr_last_hidden_state (torch.FloatTensor、shape (batch_size, num_frames, audio_config.hidden_size)) — input_features_mask に対して get_audio_features() が返す、正規化およびスピーカー埋め込み適用前の音声認識エンコーダーの出力です。
• input_features_mask (torch.Tensor、形状 (batch_size, feature_sequence_length)) — 有効なスペクトログラムフレームのマスクです。パディングは右側に行う必要があります。

パラメータ

• input_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、省略可) — 語彙における入力シーケンスのトークンインデックスです。デフォルトではパディングは無視されます。

  インデックスはAutoTokenizerを使用して取得できます。詳細については、PreTrainedTokenizer.encode()およびPreTrainedTokenizer.call()を参照してください。

  入力IDとは何ですか？

• input_features (torch.FloatTensor、形状 (batch_size, sequence_length, feature_dim)、任意) — 入力音声特徴に対応するテンソルです。音声特徴は feature_extractor_class を使用して取得できます。詳細は feature_extractor_class.__call__ を参照してください（processor_class は音声の処理に feature_extractor_class を使用します）。
• input_features_mask (torch.Tensor、形状 (batch_size, feature_sequence_length)) — パディングされた特徴インデックスに対するアテンションの計算を回避するためのマスク。
• attention_mask (torch.Tensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
  • マスクされていないトークンに対して1
  • マスクされたトークンに対しては 0 です。

  アテンションマスクとは?

• position_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、任意) — 各入力シーケンスのトークンが位置埋め込み内で占める位置のインデックス。範囲 [0, config.n_positions - 1].

  ポジションIDとは?

• past_key_values (~cache_utils.Cache, 省略可) — 逐次デコードを高速化するために使用できる、事前計算された隠れ状態(自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー)。通常、これはデコードの以前の段階でモデルが返した past_key_values であり、 use_cache=True または config.use_cache=True.

  入力として許可されるのは Cache インスタンスのみです。kv cache ガイドを参照してください。 past_key_values が渡されない場合、デフォルトで DynamicCache が初期化されます。

  モデルは、入力として与えられたのと同じキャッシュ形式を出力します。

  past_key_values を使用する場合、すべての input_ids（形状 (batch_size, sequence_length)）ではなく、このモデルに過去のキー・バリュー状態が与えられていない未処理の input_ids（形状 (batch_size, unprocessed_length)）のみを入力することになります。

• inputs_embeds (torch.FloatTensor、形状 (batch_size, sequence_length, hidden_size)、任意) — input_ids を渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込みルックアップ行列よりも、input_ids のインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。
• labels (torch.LongTensor、shape (batch_size, sequence_length)、任意) — マスク言語モデリング損失を計算するためのラベル。
• use_cache (bool、任意) — True に設定すると、past_key_values のキーバリュー状態が返され、デコーディングの高速化に利用できます（past_key_values を参照）。
• logits_to_keep (Union[int, torch.Tensor]、省略可、デフォルトは 0) — int の場合、最後の logits_to_keep トークンについて logits を計算します。0 の場合、すべての input_ids について logits を計算します（特殊ケース）。生成には最後のトークンの logits だけで十分であり、そのトークンのみについて計算することでメモリを節約できます。これは、長いシーケンスや大規模な語彙サイズの場合に特に顕著な効果があります。 torch.Tensor の場合、シーケンス長次元で保持するインデックスに対応する 1 次元テンソルである必要があります。これは、パックされたテンソル形式（バッチとシーケンス長を単一の次元にまとめた形式）を使用する場合に有用です。

パラメータ

• input_features (`of shape(batch_size, sequence_length, feature_dim)) -- The tensors corresponding to the input audio features. Audio features can be obtained using feature_extractor_class. See feature_extractor_class.call for details (processor_classusesfeature_extractor_class` for processing audios).
• input_features_mask (torch.Tensor、形状 (batch_size, feature_sequence_length)) — 有効なスペクトログラムフレームのマスクです。パディングは右側に行う必要があります。

パラメータ

• asr_last_hidden_state (torch.FloatTensor、shape (batch_size, num_frames, audio_config.hidden_size)) — input_features_mask に対して get_audio_features() が返す、正規化およびスピーカー埋め込み適用前の音声認識エンコーダーの出力です。
• input_features_mask (torch.Tensor、形状 (batch_size, feature_sequence_length)) — 有効なスペクトログラムフレームのマスクです。パディングは右側に行う必要があります。