パラメータ

• raw_speech (np.ndarray、list[float]、list[np.ndarray]、list[list[float]]) — パディング対象のシーケンスまたはシーケンスのバッチです。各シーケンスは、NumPy 配列、浮動小数点数の値のリスト、NumPy 配列のリスト、または浮動小数点数の値のリストのリストであることができます。モノラル音声（ステレオではなく、タイムステップごとに単一の浮動小数点数）である必要があります。
• truncation (bool、任意、デフォルトは True) — 入力シーケンスが max_length を超える場合、max_length まで切り詰めるための切り詰め処理を有効にします。
• pad_to_multiple_of (int, 省略可能, デフォルトは None) — 設定すると、シーケンスを指定された値の倍数にパディングします。

  これは、計算能力が>= 7.5（Volta）のNVIDIAハードウェアでTensor Coresの利用を有効にするために、また、シーケンス長が128の倍数であることで恩恵を受けるTPUにおいて、特に有用です。

• return_attention_mask (bool, 省略可能) — attention mask を返すかどうか。デフォルトのままにすると、特定の feature_extractor のデフォルトに従って attention mask が返されます。

  アテンションマスクとは?

  CohereAsr モデルでは、バッチ推論を行う際に attention_mask を常に渡す必要があります。これにより、微妙なバグを回避できます。

• return_tensors (str または TensorType, 省略可) — 設定すると、Python の整数のリストではなくテンソルを返します。指定可能な値は以下の通りです:
  • 'tf': TensorFlow の tf.constant オブジェクトを返します。
  • 'pt': PyTorchのtorch.Tensorオブジェクトを返します。
  • 'np': Numpy の np.ndarray オブジェクトを返します。
• sampling_rate (int, 任意) — raw_speech 入力がサンプリングされたレートです。サイレントエラーを防ぎ、自動音声認識パイプラインを有効にするため、forward 呼び出し時に sampling_rate を渡すことを強く推奨します。
• padding_value (float、任意、デフォルトは 0.0) — パディングの値やベクトルを埋めるために使用される値です。
• do_normalize (bool、任意、デフォルトはFalse) — 入力を平均0・分散1に正規化するかどうかを指定します。正規化を行うことで、モデルの性能を大幅に向上させることができます。
• device (str、任意、デフォルトは 'cpu') — _torch_extract_fbank_features メソッドにおいて、音声信号の log-mel スペクトログラムの計算に使用するデバイスを指定します。（例: “cpu”、“cuda”）
• return_token_timestamps (bool, 省略可, デフォルトは None) — 非推奨です。代わりに return_attention_mask を使用してください。これによりフレーム数を推定できます。

  入力raw_speechのフレーム数を返すかどうかを指定します。 これらのnum_framesは、モデルが単語レベルのタイムスタンプを計算するために使用できます。

パラメータ

• audio (Union[numpy.ndarray, torch.Tensor, collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence[torch.Tensor]]) — 準備対象のオーディオまたはオーディオのバッチです。各オーディオは NumPy 配列または PyTorch テンソルである必要があります。 NumPy 配列/PyTorch テンソルの場合、各オーディオの形状は (C, T) である必要があります。ここで C はチャネル数、T はオーディオのサンプル長です。
• language (str) — デコーダーのプロンプトを構築するために使用する言語コード（例: "en"、"es"、"fr"）。プロセッサは完全なデコーダープロンプトを構築し、音声特徴量とともに decoder_input_ids を返します。
• text (Union[str, list[str], list[list[str]]]、省略可) — エンコード対象のシーケンスまたはシーケンスのバッチです。各シーケンスは文字列、または文字列のリスト（事前トークン化済み文字列）であることができます。事前トークン化済みの入力を渡す場合は、バッチ入力との曖昧さを避けるために is_split_into_words=True を設定してください。
• punctuation (bool、デフォルトは True) — デコーダーのプロンプトで句読点を有効にするかどうかを指定します。
• sampling_rate (int, 任意) — 入力オーディオのサンプリングレート (Hz) です。これは、feature extractor が想定するサンプリングレート (デフォルトは 16000 Hz) と一致する必要があります。指定された場合、processor が想定するサンプリングレートと照合され、一致しない場合はエラーが発生します。指定されなかった場合、警告が表示され、デフォルトのサンプリングレートが使用されます。
• return_tensors (str または TensorType, 省略可) — 設定すると、特定のフレームワークのテンソルを返します。使用可能な値は以下の通りです:
  • 'pt': PyTorchのtorch.Tensorオブジェクトを返します。
  • 'np': NumPyのnp.ndarrayオブジェクトを返します。
• **kwargs (ProcessingKwargs、任意) — 各モダリティ（テキスト、画像、動画、音声）の追加処理オプション。モデル固有のパラメータは上記にリストされています。サポートされている引数の完全なリストについては、TypedDictクラスを参照してください。

パラメータ

• input_features (torch.FloatTensor、shape (batch_size, audio_length)) — 生の音声波形の浮動小数点値。生の音声波形は、.flac または .wav 形式のオーディオファイルを list[float] 型、numpy.ndarray 型、または torch.Tensor 型の配列として読み込むことで取得できます。例えば、torchcodec ライブラリ（pip install torchcodec）や soundfile ライブラリ（pip install soundfile）を通じて取得できます。input_features として配列を準備するには、パディングと torch.FloatTensor 型への変換のために AutoFeatureExtractor を使用してください。
• attention_mask (torch.LongTensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
  • マスクされていないトークンに対して1
  • マスクされたトークンに対しては 0 です。

  アテンションマスクとは?

• decoder_input_ids (torch.LongTensor の形状 (batch_size, target_sequence_length), 、任意) — 語彙におけるデコーダー入力シーケンスのトークンインデックスです。

  インデックスはAutoTokenizerを使用して取得できます。詳細については、PreTrainedTokenizer.encode()およびPreTrainedTokenizer.call()を参照してください。

  デコーダー入力IDとは何ですか？

• decoder_attention_mask (torch.LongTensor、shape (batch_size, target_sequence_length)、任意) — 特定のトークンインデックスに対するアテンションの計算を回避するためのマスクです。デフォルトでは因果マスクが使用され、モデルが未来を予測する際に過去の入力のみを参照できるようにします。
• encoder_outputs (tuple[tuple[torch.FloatTensor]], 任意) — (last_hidden_state, 任意: hidden_states, 任意: attentions) のタプル last_hidden_state は形状 (batch_size, sequence_length, hidden_size)、任意) で、エンコーダーの最終層の出力における隠れ状態のシーケンスです。デコーダーのクロスアテンションで使用されます。
• past_key_values (~cache_utils.EncoderDecoderCache, 省略可) — 逐次デコードを高速化するために使用できる、事前計算済みヒデンステート（セルフアテンションブロックおよびクロスアテンションブロックのキーとバリュー）。通常、これはデコードの以前の段階でモデルが返した past_key_values であり、 use_cache=True または config.use_cache=True.

  入力として許可されるのは Cache インスタンスのみです。kv cache ガイドを参照してください。 past_key_values が渡されない場合、デフォルトで DynamicCache が初期化されます。

  モデルは、入力として与えられたのと同じキャッシュ形式を出力します。

  past_key_values を使用する場合、すべての input_ids（形状 (batch_size, sequence_length)）ではなく、このモデルに過去のキー・バリュー状態が与えられていない未処理の input_ids（形状 (batch_size, unprocessed_length)）のみを入力することになります。

• decoder_inputs_embeds (tuple[torch.FloatTensor] の形状 (batch_size, target_sequence_length, hidden_size), 、任意) — 、任意で、 decoder_input_ids の代わりに、埋め込み表現を直接渡すこともできます。 past_key_values を使用する場合、最後の decoder_inputs_embeds のみを入力すれば十分です（ past_key_values). 、 decoder_input_ids のインデックスを関連するベクトルに変換する方法を、モデル内部の埋め込みルックアップ行列よりも細かく制御したい場合に便利です。

  decoder_input_ids と decoder_inputs_embeds の両方が設定されていない場合、decoder_inputs_embeds は inputs_embeds の値を採ります。

• decoder_position_ids (torch.LongTensor、shape (batch_size, target_sequence_length)) — 位置埋め込みにおける、各入力シーケンスのトークンの位置のインデックスです。config.decoder_config.max_position_embeddings までの位置埋め込みを計算するために使用されます。
• use_cache (bool、任意) — True に設定すると、past_key_values のキーバリュー状態が返され、デコーディングの高速化に利用できます（past_key_values を参照）。

パラメータ

• input_features (torch.FloatTensor、shape (batch_size, audio_length)) — 生の音声波形の浮動小数点値。生の音声波形は、.flac または .wav 形式のオーディオファイルを list[float] 型、numpy.ndarray 型、または torch.Tensor 型の配列として読み込むことで取得できます。例えば、torchcodec ライブラリ（pip install torchcodec）や soundfile ライブラリ（pip install soundfile）を通じて取得できます。input_features として配列を準備するには、パディングと torch.FloatTensor 型への変換のために AutoFeatureExtractor を使用してください。
• attention_mask (torch.LongTensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
  • マスクされていないトークンに対して1
  • マスクされたトークンに対しては 0 です。

  アテンションマスクとは?

• decoder_input_ids (torch.LongTensor の形状 (batch_size, target_sequence_length), 、任意) — 語彙におけるデコーダー入力シーケンスのトークンインデックスです。

  インデックスはAutoTokenizerを使用して取得できます。詳細については、PreTrainedTokenizer.encode()およびPreTrainedTokenizer.call()を参照してください。

  デコーダー入力IDとは何ですか？

• decoder_attention_mask (torch.LongTensor、shape (batch_size, target_sequence_length)、任意) — 特定のトークンインデックスに対するアテンションの計算を回避するためのマスクです。デフォルトでは因果マスクが使用され、モデルが未来を予測する際に過去の入力のみを参照できるようにします。
• encoder_outputs (tuple[tuple[torch.FloatTensor]], 任意) — (last_hidden_state, 任意: hidden_states, 任意: attentions) のタプル last_hidden_state は形状 (batch_size, sequence_length, hidden_size)、任意) で、エンコーダーの最終層の出力における隠れ状態のシーケンスです。デコーダーのクロスアテンションで使用されます。
• past_key_values (~cache_utils.EncoderDecoderCache, 省略可) — 逐次デコードを高速化するために使用できる、事前計算済みヒデンステート（セルフアテンションブロックおよびクロスアテンションブロックのキーとバリュー）。通常、これはデコードの以前の段階でモデルが返した past_key_values であり、 use_cache=True または config.use_cache=True.

  入力として許可されるのは Cache インスタンスのみです。kv cache ガイドを参照してください。 past_key_values が渡されない場合、デフォルトで DynamicCache が初期化されます。

  モデルは、入力として与えられたのと同じキャッシュ形式を出力します。

  past_key_values を使用する場合、すべての input_ids（形状 (batch_size, sequence_length)）ではなく、このモデルに過去のキー・バリュー状態が与えられていない未処理の input_ids（形状 (batch_size, unprocessed_length)）のみを入力することになります。

• decoder_inputs_embeds (tuple[torch.FloatTensor] の形状 (batch_size, target_sequence_length, hidden_size), 、任意) — 、任意で、 decoder_input_ids の代わりに、埋め込み表現を直接渡すこともできます。 past_key_values を使用する場合、最後の decoder_inputs_embeds のみを入力すれば十分です（ past_key_values). 、 decoder_input_ids のインデックスを関連するベクトルに変換する方法を、モデル内部の埋め込みルックアップ行列よりも細かく制御したい場合に便利です。

  decoder_input_ids と decoder_inputs_embeds の両方が設定されていない場合、decoder_inputs_embeds は inputs_embeds の値を採ります。

• decoder_position_ids (torch.LongTensor、shape (batch_size, target_sequence_length)) — 位置埋め込みにおける、各入力シーケンスのトークンの位置のインデックスです。config.decoder_config.max_position_embeddings までの位置埋め込みを計算するために使用されます。
• use_cache (bool、任意) — True に設定すると、past_key_values のキーバリュー状態が返され、デコーディングの高速化に利用できます（past_key_values を参照）。
• labels (torch.LongTensor、shape (batch_size, sequence_length)、任意) — マスク言語モデリング損失を計算するためのラベルです。インデックスは [0, ..., config.vocab_size] の範囲内であるか、-100 である必要があります（input_ids の docstring を参照）。インデックスが -100 に設定されたトークンは無視（マスク）され、損失は [0, ..., config.vocab_size] の範囲内のラベルを持つトークンに対してのみ計算されます。