# Wav2Vec2-Conformer

## 概要

Wav2Vec2-Conformerは、Changhan Wang、Yun Tang、Xutai Ma、Anne Wu、Sravya Popuri、Dmytro Okhonko、Juan Pino による [fairseq S2T: Fast Speech-to-Text Modeling with fairseq](https://huggingface.co/papers/2010.05171) の更新バージョンに追加されました。

モデルの公式な結果は、論文のTable 3とTable 4に記載されています。

Wav2Vec2-Conformerの重みは、Meta AIチームによって[Fairseqライブラリ](https://github.com/pytorch/fairseq/blob/main/examples/wav2vec/README.md#pre-trained-models)内で公開されました。

このモデルは[patrickvonplaten](https://huggingface.co/patrickvonplaten)によって提供されました。元のコードは[こちら](https://github.com/pytorch/fairseq/tree/main/examples/wav2vec)で確認できます。

注: Meta (FAIR) は [Wav2Vec2-BERT 2.0](./wav2vec2-bert) の新しいバージョンをリリースしました。450万時間の音声で事前学習されています。特に、[このガイド](https://huggingface.co/blog/fine-tune-w2v2-bert) に従うようなファインチューニングタスクでの使用を強くお勧めします。

## 使用のコツ

- Wav2Vec2-ConformerはWav2Vec2と同じアーキテクチャを踏襲していますが、[Conformer: Convolution-augmented Transformer for Speech Recognition](https://huggingface.co/papers/2005.08100)で紹介された*Conformer*ブロックに*Attention*ブロックを置き換えています。
- 同じ層数において、Wav2Vec2-ConformerはWav2Vec2よりも多くのパラメータを必要としますが、同時に
改善されたワードエラーレート
- Wav2Vec2-Conformerは、Wav2Vec2と同じトークナイザーと特徴抽出器を使用します。
- Wav2Vec2-Conformerは、`config.position_embeddings_type`を適切に設定することで、相対位置埋め込みなし、Transformer-XL風の位置埋め込み、または回転位置埋め込みのいずれかを 사용할 수 있습니다。

## リソース

- [音声分類タスクガイド](../tasks/audio_classification)
- [自動音声認識タスクガイド](../tasks/asr)

## Wav2Vec2ConformerConfig[[transformers.Wav2Vec2ConformerConfig]]

#### transformers.Wav2Vec2ConformerConfig[[transformers.Wav2Vec2ConformerConfig]]

```python
transformers.Wav2Vec2ConformerConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int | None = None, hidden_size: int = 768, num_hidden_layers: int = 12, num_attention_heads: int = 12, intermediate_size: int = 3072, hidden_act: str = 'gelu', hidden_dropout: float | int = 0.1, activation_dropout: float | int = 0.1, attention_dropout: float | int = 0.1, feat_proj_dropout: float | int = 0.0, feat_quantizer_dropout: float | int = 0.0, final_dropout: float | int = 0.1, layerdrop: float | int = 0.1, initializer_range: float = 0.02, layer_norm_eps: float = 1e-05, feat_extract_norm: str = 'group', feat_extract_activation: str = 'gelu', conv_dim: list[int] | tuple[int, ...] = (512, 512, 512, 512, 512, 512, 512), conv_stride: list[int] | tuple[int, ...] = (5, 2, 2, 2, 2, 2, 2), conv_kernel: list[int] | tuple[int, ...] = (10, 3, 3, 3, 3, 2, 2), conv_bias: bool = False, num_conv_pos_embeddings: int = 128, num_conv_pos_embedding_groups: int = 16, apply_spec_augment: bool = True, mask_time_prob: float | int = 0.05, mask_time_length: int = 10, mask_time_min_masks: int = 2, mask_feature_prob: float | int = 0.0, mask_feature_length: int = 10, mask_feature_min_masks: int = 0, num_codevectors_per_group: int = 320, num_codevector_groups: int = 2, contrastive_logits_temperature: float = 0.1, num_negatives: int = 100, codevector_dim: int = 256, proj_codevector_dim: int = 256, diversity_loss_weight: float = 0.1, ctc_loss_reduction: str = 'sum', ctc_zero_infinity: bool = False, use_weighted_layer_sum: bool = False, classifier_proj_size: int = 256, tdnn_dim: list[int] | tuple[int, ...] = (512, 512, 512, 512, 1500), tdnn_kernel: list[int] | tuple[int, ...] = (5, 3, 3, 1, 1), tdnn_dilation: list[int] | tuple[int, ...] = (1, 2, 3, 1, 1), xvector_output_dim: int = 512, pad_token_id: int | None = 0, bos_token_id: int | None = 1, eos_token_id: int | list[int] | None = 2, add_adapter: bool = False, adapter_kernel_size: int = 3, adapter_stride: int = 2, num_adapter_layers: int = 3, output_hidden_size: int | None = None, position_embeddings_type: str | None = 'relative', rotary_embedding_base: int = 10000, max_source_positions: int = 5000, conv_depthwise_kernel_size: int = 31, conformer_conv_dropout: float | int = 0.1)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/wav2vec2_conformer/configuration_wav2vec2_conformer.py#L27)

**パラメータ:**

vocab_size (`int`, *任意*) : モデルの語彙サイズ。`input_ids`で表現できるトークンの種類数を定義します。

hidden_size (`int`、*任意*、デフォルトは`768`) : 隠れ表現の次元数。

num_hidden_layers (`int`, *任意*, デフォルトは `12`) : Transformer デコーダーの隠れ層の数。

num_attention_heads (`int`、*任意*、デフォルトは `12`) : Transformer デコーダーの各アテンション層におけるアテンションヘッドの数。

intermediate_size (`int`、*任意*、デフォルトは `3072`) : MLP 表現の次元数。

hidden_act (`str`、*任意*、デフォルトは`gelu`) : デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、`"gelu"`、`"relu"`、`"silu"`など。

hidden_dropout (`Union[float, int]`、*任意*、デフォルト値は`0.1`) : embeddings、encoder、pooler 内のすべての全結合層における dropout 確率。

activation_dropout (`Union[float, int]`、*任意*、デフォルトは `0.1`) : 全結合層内の活性化の dropout 率。

attention_dropout (`Union[float, int]`、*任意*、デフォルトは`0.1`) : 注意確率のドロップアウト率。

feat_proj_dropout (`float`、*任意*、デフォルト値は 0.0) : 特徴量エンコーダーの出力に対する dropout 確率です。

feat_quantizer_dropout (`float`、*optional*、デフォルトは 0.0) : 量子化器によって使用される特徴量エンコーダーの出力に対する dropout 確率です。

final_dropout (`float`、*任意*、デフォルトは 0.1) : [Wav2Vec2ConformerForCTC](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerForCTC)の最終的な投影層の dropout 確率です。

layerdrop (`Union[float, int]`、*任意*、デフォルトは`0.1`) : LayerDrop の確率です。詳細については、[LayerDrop の論文](see https://huggingface.co/papers/1909.11556)を参照してください。

initializer_range (`float`、*任意*、デフォルトは`0.02`) : すべての重み行列を初期化するためのtruncated_normal_initializerの標準偏差です。

layer_norm_eps (`float`、*任意*、デフォルトは`1e-05`) : Layer Normalization 層で使用する epsilon。

feat_extract_norm (`str`、*任意*、デフォルトは `"group"`) : 特徴量エンコーダー内の 1 次元畳み込み層に適用される正規化の種類。`"group"` は最初の 1 次元畳み込み層のみをグループ正規化し、`"layer"` はすべての 1 次元畳み込み層をレイヤー正規化します。

feat_extract_activation (`str, `optional`, defaults to `"gelu"`) : The non-linear activation function (function or string) in the 1D convolutional layers of the feature extractor. If string, `"gelu"`, `"relu"`, `"selu"` and `"gelu_new"` are supported.

conv_dim (`tuple[int]` または `list[int]`、*optional*、デフォルトは `(512, 512, 512, 512, 512, 512, 512)`) : 特徴量エンコーダー内の各1次元畳み込み層の入力チャネル数と出力チャネル数を定義する整数のタプルです。*conv_dim* の長さが、1次元畳み込み層の数を定義します。

conv_stride (`tuple[int]` または `list[int]`、*任意*、デフォルトは `(5, 2, 2, 2, 2, 2, 2)`) : 特徴量エンコーダー内の各1次元畳み込み層のストライドを定義する整数のタプルです。*conv_stride* の長さが畳み込み層の数を定義し、*conv_dim* の長さと一致する必要があります。

conv_kernel (`tuple[int]` または `list[int]`、*任意*、デフォルト値は `(10, 3, 3, 3, 3, 3, 3)`) : 特徴量エンコーダー内の各1次元畳み込み層のカーネルサイズを定義する整数のタプルです。*conv_kernel* の長さが畳み込み層の数を定義し、*conv_dim* の長さと一致する必要があります。

conv_bias (`bool`、*任意*、デフォルトは`False`) : 1次元畳み込み層にバイアスがあるかどうか。

num_conv_pos_embeddings (`int`、*optional*、デフォルトは 128) : 畳み込み位置埋め込みの数。1 次元畳み込み位置埋め込み層のカーネルサイズを定義します。

num_conv_pos_embedding_groups (`int`、*optional*、デフォルトは 16) : 1 次元畳み込み位置埋め込み層のグループ数。

apply_spec_augment (`bool`、*任意*、デフォルトは`True`) : 特徴量エンコーダーの出力に*SpecAugment*データ拡張を適用するかどうか。参考として、[SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition](https://huggingface.co/papers/1904.08779)を参照してください。

mask_time_prob (`float`、*任意*、デフォルト値は 0.05) : 時間軸に沿った全特徴ベクトルの中で、マスクされる割合（0 から 1 の間）。マスク処理では、その軸に対して ''mask_time_prob*len(time_axis)/mask_time_length'' 個の独立したマスクが生成されます。マスクされるベクトル範囲の開始点として各特徴ベクトルが選択される確率から推論する場合、*mask_time_prob* は `prob_vector_start*mask_time_length` であるべきです。重複により、実際にマスクされるベクトルの割合が低下する可能性があります。これは `apply_spec_augment is True` の場合のみ関連します。

mask_time_length (`int`, *optional*, デフォルトは 10) : 時間軸に沿ったベクトルスパンの長さ。

mask_time_min_masks (`int`、*optional*、デフォルトは 2)、: `mask_feature_prob` に関係なく、時間軸に沿って生成される長さ `mask_feature_length` のマスクの最小数。各タイムステップごとに適用されます。''mask_time_prob*len(time_axis)/mask_time_length < mask_time_min_masks'' の場合のみ関連します。

mask_feature_prob (`float`、*任意*、デフォルト値は 0.0) : 特徴量軸に沿ったすべての特徴量ベクトルの中で、マスクされる割合（0 から 1 の間）。マスク処理では、軸に対して ''mask_feature_prob*len(feature_axis)/mask_time_length'' 個の独立したマスクが生成されます。マスクされるベクトルスパンの開始点として各特徴量ベクトルが選択される確率から推論する場合、*mask_feature_prob* は `prob_vector_start*mask_feature_length` であるべきです。重複により、実際にマスクされるベクトルの割合が減少する可能性があります。これは `apply_spec_augment is True` の場合のみ関連します。

mask_feature_prob (`Union[float, int]`、*任意*、デフォルトは `0.0`) : 特徴軸に沿ったすべての特徴ベクトルの中で、マスクされる割合（0 から 1 の間）。マスク処理では、軸に対して `mask_feature_prob*len(feature_axis)/mask_time_length` 個の独立したマスクが生成されます。マスクされるベクトル範囲の開始点として各特徴ベクトルが選択される確率から考えると、*mask_feature_prob* は `prob_vector_start*mask_feature_length` であるべきです。重複により、実際にマスクされるベクトルの割合が低下する可能性があります。これは `apply_spec_augment` が `True` の場合のみ関連します。

mask_feature_length (`int`, *任意*, デフォルトは 10) : 特徴量軸に沿ったベクトルスパンの長さ。

mask_feature_min_masks (`int`、*optional*、デフォルトは 0)、: `mask_feature_prob` に関係なく、各タイムステップにおいて、特徴軸に沿って生成される長さ `mask_feature_length` のマスクの最小数。''mask_feature_prob*len(feature_axis)/mask_feature_length < mask_feature_min_masks'' の場合のみ関連します。

num_codevectors_per_group (`int`、*optional*、デフォルトは 320) : 各量子化コードブック（グループ）のエントリ数。

num_codevectors_per_group (`int`、*optional*、デフォルトは 320) : 各量子化コードブック（グループ）のエントリ数。

num_codevector_groups (`int`, *optional*, デフォルトは 2) : 積コードベクトル量子化におけるコードベクトルグループの数。

contrastive_logits_temperature (`float`、*任意*、デフォルトは 0.1) : 対比損失における温度パラメータ *kappa*。

num_negatives (`int`、*optional*、デフォルトは 100) : 対比損失用のネガティブサンプルの数。

codevector_dim (`int`、*optional*、デフォルトは 256) : 量子化された特徴ベクトルの次元数。

proj_codevector_dim (`int`, *optional*, デフォルトは 256) : 量子化された特徴量と Transformer の特徴量の両方の最終的な射影の次元数。

diversity_loss_weight (`int`、*optional*、デフォルトは 0.1) : コードブック多様性損失コンポーネントの重み。

ctc_loss_reduction (`str`、*任意*、デフォルトは`sum`) : `torch.nn.CTCLoss`の出力に適用する集約方法を指定します。学習時のみ関連します。

ctc_zero_infinity (`bool`、*任意*、デフォルトは`False`) : `torch.nn.CTCLoss`の無限損失および関連する勾配をゼロにするかどうか。無限損失は、入力がターゲットにアラインされるほど短すぎる場合に主に発生します。[Wav2Vec2ConformerForCTC](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerForCTC)のインスタンスをトレーニングする場合にのみ関連します。

use_weighted_layer_sum (`bool`、*任意*、デフォルトは`False`) : 学習された重みを用いた層の出力の加重平均を使用するかどうか。[Wav2Vec2ConformerForSequenceClassification](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerForSequenceClassification)のインスタンスを使用する場合にのみ関連します。

classifier_proj_size (`int`、*optional*、デフォルトは 256) : 分類のためのトークン平均プーリングを行う前の射影の次元数。

tdnn_dim (`tuple[int]` または `list[int]`、*任意*、デフォルトは `(512, 512, 512, 512, 1500)`) : *XVector* モデルの *TDNN* モジュールにおける、各 1 次元畳み込み層の出力チャネル数を定義する整数のタプルです。*tdnn_dim* の長さが *TDNN* 層の数を定義します。

tdnn_kernel (`tuple[int]` または `list[int]`、*省略可能*、デフォルトは `(5, 3, 3, 1, 1)`) : *XVector* モデルの *TDNN* モジュール内の各1次元畳み込み層のカーネルサイズを定義する整数のタプル。*tdnn_kernel* の長さは *tdnn_dim* の長さと一致する必要があります。

tdnn_dilation (`tuple[int]` または `list[int]`、*省略可能*、デフォルト値は `(1, 2, 3, 1, 1)`) : *XVector* モデルの *TDNN* モジュール内の各 1 次元畳み込み層の膨張係数を定義する整数のタプル。*tdnn_dilation* の長さは *tdnn_dim* の長さと一致する必要があります。

xvector_output_dim (`int`、*任意*、デフォルトは 512) : *XVector*埋め込みベクトルの次元数。

pad_token_id (`int`, *任意*, デフォルトは `0`) : 語彙内でパディングに使用されるトークン ID。

bos_token_id (`int`, *任意*, デフォルトは `1`) : 語彙内でストリームの開始に使用されるトークン ID。

eos_token_id (`Union[int, list[int]]`、*任意*、デフォルトは`2`) : 語彙内でストリーム終了に使用されるトークン ID。

add_adapter (`bool`、*任意*、デフォルトは`False`) : Wav2Vec2Conformer Encoderの上に畳み込みネットワークをスタックするかどうか。SpeechEncoderDecoderモデルのWav2Vec2Conformerをウォームスタートする際に非常に有用です。

adapter_kernel_size (`int`、*任意*、デフォルト値は 3) : アダプターネットワーク内の畳み込み層のカーネルサイズ。`add_adapter is True` の場合のみ関連します。

adapter_stride (`int`, *任意*, デフォルトは 2) : アダプターネットワークの畳み込み層のストライド。`add_adapter is True` の場合のみ関連します。

num_adapter_layers (`int`, *optional*, デフォルト値は 3) : アダプターネットワークで使用すべき畳み込み層の数。`add_adapter is True` の場合のみ関連します。

output_hidden_size (`int`, *任意*) : エンコーダー出力層の次元数。定義されていない場合、*hidden-size*がデフォルト値として使用されます。`add_adapter is True`の場合にのみ関連します。

position_embeddings_type (`str`、*任意*、デフォルトは`"relative"`) : 相対位置埋め込みまたはロータリー位置埋め込みをそれぞれ指定するために、`relative`または`rotary`を指定できます。`None`のままにすると、相対位置埋め込みは適用されません。

rotary_embedding_base (`int`, *optional*, デフォルトは 10000) : `"rotary"` の位置埋め込みを使用する場合、埋め込みベースのサイズを定義します。

max_source_positions (`int`、*optional*、デフォルトは 5000) : `"relative"` の位置埋め込みを使用する場合、ソース入力の最大位置を定義します。

conv_depthwise_kernel_size (`int`, *optional*, デフォルトは 31) : Conformer ブロック内の畳み込み深度方向 1D レイヤーのカーネルサイズ。

conformer_conv_dropout (`float`、*optional*、デフォルトは 0.1) : Conformer ブロック内のすべての畳み込み層における dropout 確率。

これは、Wav2Vec2 ConformerModel の設定を保存するための設定クラスです。指定された引数に基づいて Wav2Vec2 Conformer モデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、[facebook/wav2vec2-conformer-rel-pos-large](https://huggingface.co/facebook/wav2vec2-conformer-rel-pos-large) と同様の設定が得られます。

設定オブジェクトは [PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) を継承し、モデルの出力を制御するために使用できます。詳細については、[PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) のドキュメントを参照してください。

例:

```python
>>> from transformers import Wav2Vec2ConformerConfig, Wav2Vec2ConformerModel

>>> # Initializing a Wav2Vec2Conformer facebook/wav2vec2-conformer-rel-pos-large style configuration
>>> configuration = Wav2Vec2ConformerConfig()

>>> # Initializing a model (with random weights) from the facebook/wav2vec2-conformer-rel-pos-large style configuration
>>> model = Wav2Vec2ConformerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## Wav2Vec2Conformer固有の出力[[transformers.models.wav2vec2_conformer.modeling_wav2vec2_conformer.Wav2Vec2ConformerForPreTrainingOutput]]

#### transformers.models.wav2vec2_conformer.modeling_wav2vec2_conformer.Wav2Vec2ConformerForPreTrainingOutput[[transformers.models.wav2vec2_conformer.modeling_wav2vec2_conformer.Wav2Vec2ConformerForPreTrainingOutput]]

```python
transformers.models.wav2vec2_conformer.modeling_wav2vec2_conformer.Wav2Vec2ConformerForPreTrainingOutput(loss: typing.Optional[torch.Tensor] = None, projected_states: typing.Optional[torch.Tensor] = None, projected_quantized_states: typing.Optional[torch.Tensor] = None, codevector_perplexity: typing.Optional[torch.Tensor] = None, hidden_states: tuple[torch.Tensor] | None = None, attentions: tuple[torch.Tensor] | None = None, contrastive_loss: typing.Optional[torch.Tensor] = None, diversity_loss: typing.Optional[torch.Tensor] = None)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/wav2vec2_conformer/modeling_wav2vec2_conformer.py#L46)

**パラメータ:**

loss (`*optional*`、`sample_negative_indices` が渡された場合に返されます、`torch.Tensor`、形状 `(1,)`) : [公式論文](https://huggingface.co/papers/2006.11477)に記載されている通り、対比損失 (L_m) と多様性損失 (L_d) の和として計算された総損失。

projected_states (`torch.Tensor`、形状 `(batch_size, sequence_length, config.proj_codevector_dim)`) : *config.proj_codevector_dim* に射影されたモデルの隠れ状態。マスクされた射影量子化状態の予測に使用できます。

projected_quantized_states (`torch.Tensor`、形状 `(batch_size, sequence_length, config.proj_codevector_dim)`) : 対比損失の正のターゲットベクトルを表す、*config.proj_codevector_dim* に射影された量子化抽出特徴量ベクトル。

codevector_perplexity (`torch.Tensor`、shape `(1,)`) : codevector分布のperplexity。codebookの多様性を測るために使用されます。

hidden_states (`tuple[torch.Tensor]`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) : `torch.Tensor` のタプル (モデルに埋め込み層がある場合はその出力用 1 つ、各層の出力用 1 つずつ) で、形状は `(batch_size, sequence_length, hidden_size)` です。各層の出力におけるモデルの隠れ状態と、任意の初期埋め込み出力です。

attentions (`tuple[torch.Tensor]`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) : `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。アテンションの softmax 後のアテンション重みで、セルフアテンションヘッドにおける加重平均の計算に使用されます。

contrastive_loss (`*optional*`、`sample_negative_indices` が渡された場合に返されます、`torch.Tensor`、形状 `(1,)`) : [公式論文](https://huggingface.co/papers/2006.11477)に記載されている対比損失 (L_m)。

diversity_loss (`*optional*`、`sample_negative_indices` が渡された場合に返されます、`torch.Tensor`、形状 `(1,)`) : [公式論文](https://huggingface.co/papers/2006.11477)に記載されている多様性損失 (L_d)。

[Wav2Vec2ConformerForPreTraining](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerForPreTraining)の出力型。潜在的な隠れ状態とアテンションを含む場合があります。

## Wav2Vec2ConformerModel[[transformers.Wav2Vec2ConformerModel]]

#### transformers.Wav2Vec2ConformerModel[[transformers.Wav2Vec2ConformerModel]]

```python
transformers.Wav2Vec2ConformerModel(config: Wav2Vec2ConformerConfig)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/wav2vec2_conformer/modeling_wav2vec2_conformer.py#L1078)

**パラメータ:**

config ([Wav2Vec2ConformerConfig](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerConfig)) : モデルのすべてのパラメータを含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを参照してください。

特定のヘッドを上に付加せず、生の隠れ状態を出力する、素のWav2Vec2 Conformerモデル。

このモデルは [PreTrainedModel](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.Wav2Vec2ConformerModel.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, mask_time_indices: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/wav2vec2_conformer/modeling_wav2vec2_conformer.py#L1149)

**パラメータ:**

input_values (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : 入力生の音声波形の浮動小数点数値。値は、`.flac` または `.wav` 形式のオーディオファイルを `list[float]`、`numpy.ndarray`、または `torch.Tensor` 型の配列として読み込むことで取得できます。*例えば*、torchcodec ライブラリ（`pip install torchcodec`）や soundfile ライブラリ（`pip install soundfile`）を通じて行います。`input_values` として配列を準備するには、パディングと `torch.Tensor` 型への変換のために [AutoProcessor](/docs/transformers/main/ja/model_doc/auto#transformers.AutoProcessor) を使用してください。詳細は [Wav2Vec2Processor.__call__()](/docs/transformers/main/ja/model_doc/wav2vec2#transformers.Wav2Vec2Processor.__call__) を参照してください。

attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

mask_time_indices (`torch.BoolTensor`、shape `(batch_size, sequence_length)`、*任意*) : 対比損失のために抽出特徴をマスクするインデックス。学習モードの場合、モデルは*config.proj_codevector_dim*空間でマスクされた抽出特徴を予測するように学習します。

**戻り値:** [Wav2Vec2BaseModelOutput](/docs/transformers/main/ja/model_doc/wav2vec2#transformers.modeling_outputs.Wav2Vec2BaseModelOutput) または `tuple(torch.Tensor)`

設定（[Wav2Vec2ConformerConfig](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerConfig)）と入力に応じて、さまざまな要素で構成される、[Wav2Vec2BaseModelOutput](/docs/transformers/main/ja/model_doc/wav2vec2#transformers.modeling_outputs.Wav2Vec2BaseModelOutput)または`torch.Tensor`のタプル（`return_dict=False`が渡された場合、または`config.return_dict=False`の場合）。

[Wav2Vec2ConformerModel](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerModel)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **last_hidden_state** (`torch.Tensor`、形状 `(batch_size, sequence_length, hidden_size)`) -- モデルの最終層の出力における隠れ状態のシーケンス。
- **extract_features** (`torch.Tensor`、形状 `(batch_size, sequence_length, conv_dim[-1])`) -- モデルの最後の畳み込み層から抽出された特徴ベクトルのシーケンス。
- **hidden_states** (`tuple(torch.Tensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込みの出力用 1 つ + 各レイヤーの出力用 1 つ）、形状は `(batch_size, sequence_length, hidden_size)`。

  各層の出力および初期埋め込み出力におけるモデルの隠れ状態。
- **attentions** (`tuple(torch.Tensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

## Wav2Vec2ConformerForCTC[[transformers.Wav2Vec2ConformerForCTC]]

#### transformers.Wav2Vec2ConformerForCTC[[transformers.Wav2Vec2ConformerForCTC]]

```python
transformers.Wav2Vec2ConformerForCTC(config: Wav2Vec2ConformerConfig, target_lang: str | None = None)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/wav2vec2_conformer/modeling_wav2vec2_conformer.py#L1403)

**パラメータ:**

config ([Wav2Vec2ConformerConfig](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerConfig)) : モデルのすべてのパラメータを含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを参照してください。

target_lang (`str`, *任意*) : アダプター重みの言語 ID。アダプター重みは adapter..safetensors または adapter..bin の形式で保存されます。[UniSpeechSatForCTC](/docs/transformers/main/ja/model_doc/unispeech-sat#transformers.UniSpeechSatForCTC) のインスタンスをアダプターと併用する場合にのみ関連します。デフォルトでは 'eng' が使用されます。

Connectionist Temporal Classification (CTC) 用の `language modeling` ヘッドを備えた Wav2Vec2Conformer モデル。

このモデルは [PreTrainedModel](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.Wav2Vec2ConformerForCTC.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/wav2vec2_conformer/modeling_wav2vec2_conformer.py#L1440)

**パラメータ:**

input_values (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : 入力生の音声波形の浮動小数点数値。値は、`.flac` または `.wav` 形式のオーディオファイルを `list[float]`、`numpy.ndarray`、または `torch.Tensor` 型の配列として読み込むことで取得できます。*例えば*、torchcodec ライブラリ（`pip install torchcodec`）や soundfile ライブラリ（`pip install soundfile`）を通じて行います。`input_values` として配列を準備するには、パディングと `torch.Tensor` 型への変換のために [AutoProcessor](/docs/transformers/main/ja/model_doc/auto#transformers.AutoProcessor) を使用してください。詳細は [Wav2Vec2Processor.__call__()](/docs/transformers/main/ja/model_doc/wav2vec2#transformers.Wav2Vec2Processor.__call__) を参照してください。

attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

labels (`torch.LongTensor`、形状 `(batch_size, target_length)`、*任意*) : Connectionist Temporal Classification のラベルです。なお、`target_length` は出力 logits のシーケンス長以下である必要があります。インデックスは `[-100, 0, ..., config.vocab_size - 1]` から選択されます。`-100` に設定されたすべてのラベルは無視（マスク）され、損失は `[0, ..., config.vocab_size - 1]` 内のラベルに対してのみ計算されます。

**戻り値:** [CausalLMOutput](/docs/transformers/main/ja/main_classes/output#transformers.modeling_outputs.CausalLMOutput) または `tuple(torch.Tensor)`

A [CausalLMOutput](/docs/transformers/main/ja/main_classes/output#transformers.modeling_outputs.CausalLMOutput) or a tuple of `torch.Tensor` (if `return_dict=False` is passed or when `config.return_dict=False`) comprising various elements depending on the configuration ([Wav2Vec2ConformerConfig](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerConfig)) and inputs.

[Wav2Vec2ConformerForCTC](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerForCTC)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **loss** (`torch.Tensor`、形状 `(1,)`、*任意*、`labels` が指定された場合に返されます) -- 言語モデリングの損失(次のトークンの予測用)。
- **logits** (`torch.Tensor`、形状 `(batch_size, sequence_length, config.vocab_size)`) -- 言語モデリングヘッドの予測スコア（SoftMax 適用前の各語彙トークンのスコア）。
- **hidden_states** (`tuple(torch.Tensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（モデルに埋め込み層がある場合はその出力用 1 つ、各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
- **attentions** (`tuple(torch.Tensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

例:

```python
>>> from transformers import AutoProcessor, Wav2Vec2ConformerForCTC
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> processor = AutoProcessor.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large")
>>> model = Wav2Vec2ConformerForCTC.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large")

>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> predicted_ids = torch.argmax(logits, dim=-1)

>>> # transcribe speech
>>> transcription = processor.batch_decode(predicted_ids)
>>> transcription[0]
...

>>> inputs["labels"] = processor(text=dataset[0]["text"], return_tensors="pt").input_ids

>>> # compute loss
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
...
```

## Wav2Vec2ConformerForSequenceClassification[[transformers.Wav2Vec2ConformerForSequenceClassification]]

#### transformers.Wav2Vec2ConformerForSequenceClassification[[transformers.Wav2Vec2ConformerForSequenceClassification]]

```python
transformers.Wav2Vec2ConformerForSequenceClassification(config: Wav2Vec2ConformerConfig)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/wav2vec2_conformer/modeling_wav2vec2_conformer.py#L1498)

**パラメータ:**

config ([Wav2Vec2ConformerConfig](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerConfig)) : モデルのすべてのパラメータを含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを参照してください。

SUPERB Keyword Spottingなどのタスク向けに、プーリングされた出力の上に線形層を配置したシーケンス分類ヘッドを備えたWav2Vec2Conformerモデル。

このモデルは [PreTrainedModel](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.Wav2Vec2ConformerForSequenceClassification.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/wav2vec2_conformer/modeling_wav2vec2_conformer.py#L1531)

**パラメータ:**

input_values (`torch.Tensor`、shape `(batch_size, sequence_length)`) : 入力生の音声波形の浮動小数点数値。値は、`.flac` または `.wav` 音声ファイルを `list[float]` 型、`numpy.ndarray`、または `torch.Tensor` 型の配列として読み込むことで取得できます。*例えば*、torchcodec ライブラリ（`pip install torchcodec`）や soundfile ライブラリ（`pip install soundfile`）を通じて取得できます。`input_values` として配列を準備するには、パディングと `torch.Tensor` 型への変換のために [AutoProcessor](/docs/transformers/main/ja/model_doc/auto#transformers.AutoProcessor) を使用してください。詳細は `Wav2Vec2ConformerProcessor.__call__` を参照してください。

attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

labels (`torch.LongTensor`、形状 `(batch_size,)`、*任意*) : シーケンス分類/回帰の損失を計算するためのラベル。インデックスは `[0, ..., config.num_labels - 1]` の範囲である必要があります。`config.num_labels == 1` の場合は回帰損失（平均二乗誤差）が計算され、`config.num_labels > 1` の場合は分類損失（クロスエントロピー）が計算されます。

**戻り値:** [SequenceClassifierOutput](/docs/transformers/main/ja/main_classes/output#transformers.modeling_outputs.SequenceClassifierOutput) または `tuple(torch.Tensor)`

設定（[Wav2Vec2ConformerConfig](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerConfig)）や入力に応じて、さまざまな要素で構成される [SequenceClassifierOutput](/docs/transformers/main/ja/main_classes/output#transformers.modeling_outputs.SequenceClassifierOutput) または `torch.Tensor` のタプル（`return_dict=False` が渡された場合、または `config.return_dict=False` の場合）。

[Wav2Vec2ConformerForSequenceClassification](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerForSequenceClassification)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **loss** (`torch.Tensor`、shape `(1,)`、*optional*、`labels` が指定された場合に返されます) -- 分類損失（config.num_labels==1 の場合は回帰損失）。
- **logits** (`torch.Tensor`、形状 `(batch_size, config.num_labels)`) -- SoftMax 適用前の分類（または config.num_labels==1 の場合は回帰）スコア。
- **hidden_states** (`tuple(torch.Tensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（モデルに埋め込み層がある場合はその出力用 1 つ、各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
- **attentions** (`tuple(torch.Tensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

単一ラベル分類の例:

```python
>>> import torch
>>> from transformers import AutoTokenizer, Wav2Vec2ConformerForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large")
>>> model = Wav2Vec2ConformerForSequenceClassification.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_id = logits.argmax().item()
>>> model.config.id2label[predicted_class_id]
...

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = Wav2Vec2ConformerForSequenceClassification.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large", num_labels=num_labels)

>>> labels = torch.tensor([1])
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...
```

マルチラベル分類の例:

```python
>>> import torch
>>> from transformers import AutoTokenizer, Wav2Vec2ConformerForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large")
>>> model = Wav2Vec2ConformerForSequenceClassification.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large", problem_type="multi_label_classification")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5]

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = Wav2Vec2ConformerForSequenceClassification.from_pretrained(
...     "facebook/wav2vec2-conformer-rel-pos-large", num_labels=num_labels, problem_type="multi_label_classification"
... )

>>> labels = torch.sum(
...     torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1
... ).to(torch.float)
>>> loss = model(**inputs, labels=labels).loss
```

## Wav2Vec2ConformerForAudioFrameClassification[[transformers.Wav2Vec2ConformerForAudioFrameClassification]]

#### transformers.Wav2Vec2ConformerForAudioFrameClassification[[transformers.Wav2Vec2ConformerForAudioFrameClassification]]

```python
transformers.Wav2Vec2ConformerForAudioFrameClassification(config: Wav2Vec2ConformerConfig)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/wav2vec2_conformer/modeling_wav2vec2_conformer.py#L1591)

**パラメータ:**

config ([Wav2Vec2ConformerConfig](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerConfig)) : モデルのすべてのパラメータを含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを参照してください。

話者分離などのタスクに対応するため、フレーム分類ヘッドを上部に備えた Wav2Vec2 Conformer モデル。

このモデルは [PreTrainedModel](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.Wav2Vec2ConformerForAudioFrameClassification.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/wav2vec2_conformer/modeling_wav2vec2_conformer.py#L1623)

**パラメータ:**

input_values (`torch.Tensor`、shape `(batch_size, sequence_length)`) : 入力生の音声波形の浮動小数点数値。値は、`.flac` または `.wav` 音声ファイルを `list[float]` 型、`numpy.ndarray`、または `torch.Tensor` 型の配列として読み込むことで取得できます。*例えば*、torchcodec ライブラリ（`pip install torchcodec`）や soundfile ライブラリ（`pip install soundfile`）を通じて取得できます。`input_values` として配列を準備するには、パディングと `torch.Tensor` 型への変換のために [AutoProcessor](/docs/transformers/main/ja/model_doc/auto#transformers.AutoProcessor) を使用してください。詳細は `Wav2Vec2ConformerProcessor.__call__` を参照してください。

attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

labels (`torch.LongTensor`、形状 `(batch_size,)`、*任意*) : シーケンス分類/回帰の損失を計算するためのラベル。インデックスは `[0, ..., config.num_labels - 1]` の範囲である必要があります。`config.num_labels == 1` の場合は回帰損失（平均二乗誤差）が計算され、`config.num_labels > 1` の場合は分類損失（クロスエントロピー）が計算されます。

**戻り値:** [TokenClassifierOutput](/docs/transformers/main/ja/main_classes/output#transformers.modeling_outputs.TokenClassifierOutput) または `tuple(torch.Tensor)`

設定（[Wav2Vec2ConformerConfig](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerConfig)）や入力に応じて、さまざまな要素で構成される、[TokenClassifierOutput](/docs/transformers/main/ja/main_classes/output#transformers.modeling_outputs.TokenClassifierOutput)または`torch.Tensor`のタプル（`return_dict=False`が渡された場合、または`config.return_dict=False`の場合）。

[Wav2Vec2ConformerForAudioFrameClassification](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerForAudioFrameClassification)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **loss** (`torch.Tensor`、形状 `(1,)`、*任意*、`labels` が指定された場合に返されます) -- 分類損失。
- **logits** (`torch.Tensor`、形状 `(batch_size, sequence_length, config.num_labels)`) -- SoftMax 適用前の分類スコア。
- **hidden_states** (`tuple(torch.Tensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（モデルに埋め込み層がある場合はその出力用 1 つ、各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
- **attentions** (`tuple(torch.Tensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

例:

```python
>>> from transformers import AutoFeatureExtractor, Wav2Vec2ConformerForAudioFrameClassification
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large")
>>> model = Wav2Vec2ConformerForAudioFrameClassification.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large")

>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], return_tensors="pt", sampling_rate=sampling_rate)
>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> probabilities = torch.sigmoid(logits[0])
>>> # labels is a one-hot array of shape (num_frames, num_speakers)
>>> labels = (probabilities > 0.5).long()
>>> labels[0].tolist()
...
```

## Wav2Vec2ConformerForXVector[[transformers.Wav2Vec2ConformerForXVector]]

#### transformers.Wav2Vec2ConformerForXVector[[transformers.Wav2Vec2ConformerForXVector]]

```python
transformers.Wav2Vec2ConformerForXVector(config: Wav2Vec2ConformerConfig)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/wav2vec2_conformer/modeling_wav2vec2_conformer.py#L1737)

**パラメータ:**

config ([Wav2Vec2ConformerConfig](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerConfig)) : モデルのすべてのパラメータを含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを参照してください。

話者認証などのタスクに対応するため、XVector特徴抽出ヘッドを上部に備えたWav2Vec2Conformerモデル。

このモデルは [PreTrainedModel](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.Wav2Vec2ConformerForXVector.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/wav2vec2_conformer/modeling_wav2vec2_conformer.py#L1787)

**パラメータ:**

input_values (`torch.Tensor`、shape `(batch_size, sequence_length)`) : 入力生の音声波形の浮動小数点数値。値は、`.flac` または `.wav` 音声ファイルを `list[float]` 型、`numpy.ndarray`、または `torch.Tensor` 型の配列として読み込むことで取得できます。*例えば*、torchcodec ライブラリ（`pip install torchcodec`）や soundfile ライブラリ（`pip install soundfile`）を通じて取得できます。`input_values` として配列を準備するには、パディングと `torch.Tensor` 型への変換のために [AutoProcessor](/docs/transformers/main/ja/model_doc/auto#transformers.AutoProcessor) を使用してください。詳細は `Wav2Vec2ConformerProcessor.__call__` を参照してください。

attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

labels (`torch.LongTensor`、形状 `(batch_size,)`、*任意*) : シーケンス分類/回帰の損失を計算するためのラベル。インデックスは `[0, ..., config.num_labels - 1]` の範囲である必要があります。`config.num_labels == 1` の場合は回帰損失（平均二乗誤差）が計算され、`config.num_labels > 1` の場合は分類損失（クロスエントロピー）が計算されます。

**戻り値:** [XVectorOutput](/docs/transformers/main/ja/main_classes/output#transformers.modeling_outputs.XVectorOutput) または `tuple(torch.Tensor)`

設定（[Wav2Vec2ConformerConfig](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerConfig)）や入力に応じて、さまざまな要素で構成される、[XVectorOutput](/docs/transformers/main/ja/main_classes/output#transformers.modeling_outputs.XVectorOutput)または`torch.Tensor`のタプル（`return_dict=False`が渡された場合、または`config.return_dict=False`の場合）。

[Wav2Vec2ConformerForXVector](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerForXVector)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **loss** (`torch.Tensor`、形状 `(1,)`、*任意*、`labels` が指定された場合に返されます) -- 分類損失。
- **logits** (`torch.Tensor`、形状 `(batch_size, config.xvector_output_dim)`) -- AMSoftmax 適用前の分類用隠れ状態。
- **embeddings** (`torch.Tensor`、形状 `(batch_size, config.xvector_output_dim)`) -- ベクトル類似度ベースの検索に使用される発話埋め込みです。
- **hidden_states** (`tuple(torch.Tensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込みの出力用 1 つ + 各レイヤーの出力用 1 つ）、形状は `(batch_size, sequence_length, hidden_size)`。

  各層の出力および初期埋め込み出力におけるモデルの隠れ状態。
- **attentions** (`tuple(torch.Tensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

例:

```python
>>> from transformers import AutoFeatureExtractor, Wav2Vec2ConformerForXVector
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large")
>>> model = Wav2Vec2ConformerForXVector.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large")

>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(
...     [d["array"] for d in dataset[:2]["audio"]], sampling_rate=sampling_rate, return_tensors="pt", padding=True
... )
>>> with torch.no_grad():
...     embeddings = model(**inputs).embeddings

>>> embeddings = torch.nn.functional.normalize(embeddings, dim=-1).cpu()

>>> # the resulting embeddings can be used for cosine similarity-based retrieval
>>> cosine_sim = torch.nn.CosineSimilarity(dim=-1)
>>> similarity = cosine_sim(embeddings[0], embeddings[1])
>>> threshold = 0.7  # the optimal threshold is dataset-dependent
>>> if similarity < threshold:
...     print("Speakers are not the same!")
>>> round(similarity.item(), 2)
...
```

## Wav2Vec2ConformerForPreTraining[[transformers.Wav2Vec2ConformerForPreTraining]]

#### transformers.Wav2Vec2ConformerForPreTraining[[transformers.Wav2Vec2ConformerForPreTraining]]

```python
transformers.Wav2Vec2ConformerForPreTraining(config: Wav2Vec2ConformerConfig)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/wav2vec2_conformer/modeling_wav2vec2_conformer.py#L1200)

**パラメータ:**

config ([Wav2Vec2ConformerConfig](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerConfig)) : モデルのすべてのパラメータを含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを参照してください。

量子化器と`VQ`ヘッドを備えたWav2Vec2Conformerモデル。

このモデルは [PreTrainedModel](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.Wav2Vec2ConformerForPreTraining.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, mask_time_indices: typing.Optional[torch.BoolTensor] = None, sampled_negative_indices: typing.Optional[torch.BoolTensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/wav2vec2_conformer/modeling_wav2vec2_conformer.py#L1248)

**パラメータ:**

input_values (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : 入力生の音声波形の浮動小数点数値。値は、`.flac` または `.wav` 形式のオーディオファイルを `list[float]`、`numpy.ndarray`、または `torch.Tensor` 型の配列として読み込むことで取得できます。*例えば*、torchcodec ライブラリ（`pip install torchcodec`）や soundfile ライブラリ（`pip install soundfile`）を通じて行います。`input_values` として配列を準備するには、パディングと `torch.Tensor` 型への変換のために [AutoProcessor](/docs/transformers/main/ja/model_doc/auto#transformers.AutoProcessor) を使用してください。詳細は [Wav2Vec2Processor.__call__()](/docs/transformers/main/ja/model_doc/wav2vec2#transformers.Wav2Vec2Processor.__call__) を参照してください。

attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

mask_time_indices (`torch.BoolTensor`、shape `(batch_size, sequence_length)`、*任意*) : 対比損失のために抽出特徴をマスクするインデックス。学習モードの場合、モデルは*config.proj_codevector_dim*空間でマスクされた抽出特徴を予測するように学習します。

sampled_negative_indices (`torch.BoolTensor`、形状 `(batch_size, sequence_length, num_negatives)`、*任意*) : 対比損失において負のサンプリングベクトルとして使用される量子化ターゲットベクトルを示すインデックスです。事前学習には必須の入力です。

**戻り値:** [Wav2Vec2ConformerForPreTrainingOutput](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.models.wav2vec2_conformer.modeling_wav2vec2_conformer.Wav2Vec2ConformerForPreTrainingOutput) または `tuple(torch.Tensor)`

設定（[Wav2Vec2ConformerConfig](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerConfig)）と入力に応じて、さまざまな要素で構成される [Wav2Vec2ConformerForPreTrainingOutput](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.models.wav2vec2_conformer.modeling_wav2vec2_conformer.Wav2Vec2ConformerForPreTrainingOutput) または `torch.Tensor` のタプル（`return_dict=False` が渡された場合、または `config.return_dict=False` の場合）。

[Wav2Vec2ConformerForPreTraining](/docs/transformers/main/ja/model_doc/wav2vec2-conformer#transformers.Wav2Vec2ConformerForPreTraining)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **loss** (`*optional*`, `sample_negative_indices` が渡された場合に返されます, `torch.Tensor`、形状 `(1,)`) -- [公式論文](https://huggingface.co/papers/2006.11477)に記載されている通り、対比損失 (L_m) と多様性損失 (L_d) の和として計算される総損失。
- **projected_states** (`torch.Tensor`、形状 `(batch_size, sequence_length, config.proj_codevector_dim)`) -- マスクされた投影量子化状態を予測するために使用できる、*config.proj_codevector_dim* へ投影されたモデルの隠れ状態です。
- **projected_quantized_states** (`torch.Tensor`、形状 `(batch_size, sequence_length, config.proj_codevector_dim)`) -- 対比損失の正のターゲットベクトルを表す、*config.proj_codevector_dim* に射影された量子化抽出特徴量ベクトル。
- **codevector_perplexity** (`torch.Tensor`、形状 `(1,)`) -- コードベクトル分布のパープレキシティ。コードブックの多様性を測定するために使用されます。
- **hidden_states** (`tuple[torch.Tensor]`、*optional*、`output_hidden_states=True` が渡された場合、または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（モデルに埋め込み層がある場合はその出力用 1 つ、各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
- **attentions** (`tuple[torch.Tensor]`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。
- **contrastive_loss** (`*optional*`, `sample_negative_indices` が渡された場合に返されます, `torch.Tensor`、形状 `(1,)`) -- [公式論文](https://huggingface.co/papers/2006.11477)に記載されている対比損失 (L_m)。
- **diversity_loss** (`*optional*`、`sample_negative_indices` が渡された場合に返されます。`torch.Tensor`、形状 `(1,)`) -- [公式論文](https://huggingface.co/papers/2006.11477)に記載されている多様性損失 (L_d) です。

例:

```python
>>> import torch
>>> from transformers import AutoFeatureExtractor, Wav2Vec2ConformerForPreTraining
>>> from transformers.models.wav2vec2_conformer.modeling_wav2vec2_conformer import _compute_mask_indices, _sample_negative_indices
>>> from datasets import load_dataset

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2_conformer-base")
>>> model = Wav2Vec2ConformerForPreTraining.from_pretrained("facebook/wav2vec2_conformer-base")

>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> input_values = feature_extractor(ds[0]["audio"]["array"], return_tensors="pt").input_values  # Batch size 1

>>> # compute masked indices
>>> batch_size, raw_sequence_length = input_values.shape
>>> sequence_length = model._get_feat_extract_output_lengths(raw_sequence_length).item()
>>> mask_time_indices = _compute_mask_indices(
...     shape=(batch_size, sequence_length), mask_prob=0.2, mask_length=2
... )
>>> sampled_negative_indices = _sample_negative_indices(
...     features_shape=(batch_size, sequence_length),
...     num_negatives=model.config.num_negatives,
...     mask_time_indices=mask_time_indices,
... )
>>> mask_time_indices = torch.tensor(data=mask_time_indices, device=input_values.device, dtype=torch.long)
>>> sampled_negative_indices = torch.tensor(
...     data=sampled_negative_indices, device=input_values.device, dtype=torch.long
... )

>>> with torch.no_grad():
...     outputs = model(input_values, mask_time_indices=mask_time_indices)

>>> # compute cosine similarity between predicted (=projected_states) and target (=projected_quantized_states)
>>> cosine_sim = torch.cosine_similarity(outputs.projected_states, outputs.projected_quantized_states, dim=-1)

>>> # show that cosine similarity is much higher than random
>>> cosine_sim[mask_time_indices.to(torch.bool)].mean() > 0.5
tensor(True)

>>> # for contrastive loss training model should be put into train mode
>>> model = model.train()
>>> loss = model(
...     input_values, mask_time_indices=mask_time_indices, sampled_negative_indices=sampled_negative_indices
... ).loss
```