Transformers documentation
Wav2Vec2-BERT
このモデルは2023年12月8日にHF papersで公開され、2024年1月18日にHugging Face Transformersに貢献されました。
Wav2Vec2-BERT
概要
Wav2Vec2-BERTモデルは、Meta AIのSeamless Communicationチームによって、Seamless: Multilingual Expressive and Streaming Speech Translationで提案されました。
このモデルは、143以上の言語にわたる450万時間のラベルなし音声データで事前学習されています。自動音声認識（ASR）や音声分類などの下流タスクに使用するには、ファインチューニングが必要です。
モデルの公式結果は、論文のセクション3.2.1に記載されています。
論文の抄録は以下の通りです。
自動音声翻訳の最近の進歩により、対応言語が大幅に拡大し、マルチモーダル機能が向上し、幅広いタスクや機能が実現可能になりました。とはいえ、現在の大規模な自動音声翻訳システムは、人間同士の対話と比較した際に、機械を介したコミュニケーションをシームレスに感じさせるための重要な機能を欠いています。本稿では、ストリーミング形式でエンドツーエンドの表現力豊かで多言語の翻訳を可能にするモデルファミリーを紹介します。まず、大規模な多言語・マルチモーダルモデルであるSeamlessM4Tの改良版であるSeamlessM4T v2を提供します。この新しいモデルは、更新されたUnitY2フレームワークを組み込み、より多くの低リソース言語データで学習されています。拡張されたSeamlessAlignは、合計76言語にわたる114,800時間の自動アラインメントデータを追加しています。SeamlessM4T v2は、私たちの最新の2つのモデルであるSeamlessExpressiveとSeamlessStreamingの基盤となります。SeamlessExpressiveは、声のスタイルやプロソディを保持した翻訳を可能にします。従来の表現力のある音声研究と比較して、私たちの研究は、話速やポーズなどのプロソディの未十分に探索された側面に対処すると同時に、声のスタイルも保持します。SeamlessStreamingについては、私たちのモデルはEfficient Monotonic Multihead Attention (EMMA)メカニズムを活用し、完全なソース発話を待たずに低レイテンシのターゲット翻訳を生成します。初の試みとして、SeamlessStreamingは、複数のソース言語とターゲット言語における同時音声対音声/テキスト翻訳を可能にします。これらのモデルの性能を理解するために、私たちは、プロソディ、レイテンシ、頑健性を評価するために、新規および既存の自動メトリクスの修正版を組み合わせました。人間による評価では、意味の保持、自然さ、表現力において最も関連性の高い属性を測定するために調整された既存のプロトコルを適応させました。私たちのモデルが安全かつ責任を持って使用できるようにするために、私たちは、マルチモーダル機械翻訳における初の既知のレッドチーミング活動、追加された毒性の検出と軽減のためのシステム、ジェンダーバイアスの体系的な評価、そしてディープフェイクの影響を軽減するために設計された聴覚的に聞き取れないローカライズドウォーターマーク機構を実装しました。その結果、SeamlessExpressiveとSeamlessStreamingの主要なコンポーネントを統合し、リアルタイムで表現力豊かな言語間コミュニケーションを可能にする初の公開システムであるSeamlessを構築しました。要するに、Seamlessは、ユニバーサル・スピーチ・トランスレーターをSFの概念から現実の技術へと変えるために必要な技術的基盤を垣間見ることができます。最後に、本稿の貢献——モデル、コード、ウォーターマーク検出器——は、以下のリンクから公開され、アクセス可能です。
このモデルはylacombeによって提供されました。元のコードはこちらで確認できます。
使用のコツ
- Wav2Vec2-BERT は Wav2Vec2-Conformer と同じアーキテクチャを踏襲していますが、causal な depthwise convolutional layer を採用し、生の波形ではなく音声の mel-spectrogram 表現を入力として使用します。
- Wav2Vec2-BERT は、
config.position_embeddings_typeに適切な値を設定することで、相対位置埋め込みなし、Shaw 型位置埋め込み、Transformer-XL 型位置埋め込み、または回転位置埋め込みのいずれかを利用できます。 - Wav2Vec2-BERTでは、単純な畳み込みネットワークの代わりに、Conformerベースのアダプターネットワークを導入しています。
リソース
- 英語の音声認識モデルのファインチューニング方法や、任意の言語の音声認識モデルのファインチューニング方法に関するこれらのノートブックを、ご自身に合わせて調整することもできます。
- 関連項目: 音声分類タスクガイド
Wav2Vec2BertConfig
クラス transformers.Wav2Vec2BertConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int | None = Nonehidden_size: int = 1024num_hidden_layers: int = 24num_attention_heads: int = 16intermediate_size: int = 4096feature_projection_input_dim: int = 160hidden_act: str = 'swish'hidden_dropout: float | int = 0.0activation_dropout: float | int = 0.0attention_dropout: float | int = 0.0feat_proj_dropout: float | int = 0.0final_dropout: float | int = 0.1layerdrop: float | int = 0.1initializer_range: float = 0.02layer_norm_eps: float = 1e-05apply_spec_augment: bool = Truemask_time_prob: float | int = 0.05mask_time_length: int = 10mask_time_min_masks: int = 2mask_feature_prob: float | int = 0.0mask_feature_length: int = 10mask_feature_min_masks: int = 0ctc_loss_reduction: str = 'sum'ctc_zero_infinity: bool = Falseuse_weighted_layer_sum: bool = Falseclassifier_proj_size: int = 768tdnn_dim: list[int] | tuple[int, ...] = (512, 512, 512, 512, 1500)tdnn_kernel: list[int] | tuple[int, ...] = (5, 3, 3, 1, 1)tdnn_dilation: list[int] | tuple[int, ...] = (1, 2, 3, 1, 1)xvector_output_dim: int = 512pad_token_id: int | None = 0bos_token_id: int | None = 1eos_token_id: int | list[int] | None = 2add_adapter: bool = Falseadapter_kernel_size: int = 3adapter_stride: int = 2num_adapter_layers: int = 1adapter_act: str = 'relu'use_intermediate_ffn_before_adapter: bool = Falseoutput_hidden_size: int | None = Noneposition_embeddings_type: typing.Optional[typing.Literal['rotary', 'relative', 'relative_key']] = 'relative_key'rotary_embedding_base: int = 10000max_source_positions: int = 5000left_max_position_embeddings: int = 64right_max_position_embeddings: int = 8conv_depthwise_kernel_size: int = 31conformer_conv_dropout: float | int = 0.1 )
パラメータ
- vocab_size (
int, 任意) — モデルの語彙サイズ。input_idsで表現できるトークンの種類数を定義します。 - hidden_size (
int、任意、デフォルトは1024) — 隠れ表現の次元数。 - num_hidden_layers (
int、任意、デフォルトは24) — Transformer デコーダーの隠れ層の数。 - num_attention_heads (
int、任意、デフォルトは16) — Transformer デコーダーの各アテンション層におけるアテンションヘッドの数。 - intermediate_size (
int、任意、デフォルトは4096) — MLP 表現の次元数。 - feature_projection_input_dim (
int, 任意、デフォルトは 160) — このモデルの入力次元、つまり SeamlessM4TFeatureExtractor または Wav2Vec2BertProcessor で入力オーディオを処理した後の次元です。 - hidden_act (
str、任意、デフォルトはswish) — デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、"gelu"、"relu"、"silu"など。 - hidden_dropout (
Union[float, int]、任意、デフォルト値は0.0) — embeddings、encoder、pooler 内のすべての全結合層における dropout 確率です。 - activation_dropout (
Union[float, int]、任意、デフォルトは0.0) — 全結合層内の活性化に対する dropout 率です。 - attention_dropout (
Union[float, int]、任意、デフォルトは0.0) — アテンション確率のドロップアウト率です。 - feat_proj_dropout (
float、任意、デフォルト値は 0.0) — 特徴量投影の dropout 確率です。 - final_dropout (
float、任意、デフォルト値は 0.1) — Wav2Vec2BertForCTC の最終的な投影層における dropout 確率です。 - layerdrop (
Union[float, int]、任意、デフォルトは0.1) — LayerDrop の確率です。詳細は [LayerDrop の論文](https://huggingface.co/papers/1909.11556 を参照)をご覧ください。 - initializer_range (
float、任意、デフォルトは0.02) — すべての重み行列を初期化するための truncated_normal_initializer の標準偏差です。 - layer_norm_eps (
float、任意、デフォルトは1e-05) — レイヤーノーマル層で使用する epsilon です。 - apply_spec_augment (
bool、任意、デフォルトはTrue) — 特徴量エンコーダーの出力に SpecAugment データ拡張を適用するかどうか。参考として、SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition を参照してください。 - mask_time_prob (
float, optional, defaults to 0.05) — Percentage (between 0 and 1) of all feature vectors along the time axis which will be masked. The masking procedure generatesmask_time_prob*len(time_axis)/mask_time_length ``independent masks over the axis. If reasoning from the probability of each feature vector to be chosen as the start of the vector span to be masked, *mask_time_prob* should beprob_vector_start*mask_time_length. Note that overlap may decrease the actual percentage of masked vectors. This is only relevant ifapply_spec_augment is True`. - mask_time_length (
int、任意、デフォルトは 10) — 時間軸に沿ったベクトル範囲の長さ。 - mask_time_min_masks (
int, 任意、デフォルトは 2) —mask_feature_lengthの長さを持つマスクのうち、mask_feature_probを問わず、時間軸に沿って各タイムステップで生成される最小数です。mask_time_prob*len(time_axis)/mask_time_length < mask_time_min_masksの場合のみ関連します。 - mask_feature_prob (
float、任意、デフォルト値は 0.0) — 特徴軸に沿ったすべての特徴ベクトルの中で、マスクされる割合（0 から 1 の間）。 このマスク処理では、軸に対してmask_feature_prob*len(feature_axis)/mask_time_length個の独立したマスクが生成されます。 マスクされるベクトル範囲の開始点として各特徴ベクトルが選択される確率から考えると、mask_feature_prob はprob_vector_start*mask_feature_lengthであるべきです。 重複により、実際にマスクされるベクトルの割合が減少する可能性があります。これはapply_spec_augment is Trueの場合のみ関連します。 - mask_feature_length (
int、任意、デフォルト値は 10)— 特徴量軸に沿ったベクトル範囲の長さ。 - mask_feature_min_masks (
int, 任意、デフォルト値は 0) —mask_feature_probに関係なく、各タイムステップにおいて、フィーチャー軸に沿って生成される長さmask_feature_lengthのマスクの最小数を指定します。mask_feature_prob*len(feature_axis)/mask_feature_length < mask_feature_min_masksの場合のみ関連します。 - ctc_loss_reduction (
str、省略可能、デフォルトはsum) —torch.nn.CTCLossの出力に適用する集約方法を指定します。学習時のみ関連します。 - ctc_zero_infinity (
bool、任意、デフォルトはFalse) —torch.nn.CTCLossの無限損失および関連する勾配をゼロにするかどうか。無限損失は、入力がターゲットにアラインされるほど短すぎる場合に主に発生します。Wav2Vec2BertForCTCのインスタンスをトレーニングする場合にのみ関連します。 - use_weighted_layer_sum (
bool、任意、デフォルトはFalse) — 学習された重みを用いた層出力の加重平均を使用するかどうか。Wav2Vec2BertForSequenceClassification のインスタンスを使用する場合にのみ関連します。 - classifier_proj_size (
int、任意、デフォルトは 768) — 分類のためのトークン平均プーリング前の射影の次元数。 - tdnn_dim (
tuple[int]またはlist[int]、任意、デフォルトは(512, 512, 512, 512, 1500)) — XVector モデルの TDNN モジュールにおける、各 1 次元畳み込み層の出力チャネル数を定義する整数のタプルです。tdnn_dim の長さが TDNN 層の数を定義します。 - tdnn_kernel (
tuple[int]またはlist[int]、省略可、デフォルトは(5, 3, 3, 1, 1)) — XVector モジュールの TDNN における、各 1 次元畳み込み層のカーネルサイズを定義する整数のタプルです。tdnn_kernel の長さは、tdnn_dim の長さと一致する必要があります。 - tdnn_dilation (
tuple[int]またはlist[int]、省略可能、デフォルトは(1, 2, 3, 1, 1)) — XVector モデルの TDNN モジュール内の各 1 次元畳み込み層のディレイション係数を定義する整数のタプルです。tdnn_dilation の長さは tdnn_dim の長さと一致する必要があります。 - xvector_output_dim (
int、任意、デフォルトは 512) — XVector 埋め込みベクトルの次元数。 - pad_token_id (
int、任意、デフォルトは0) — 語彙内でパディングに使用されるトークン ID。 - bos_token_id (
int、任意、デフォルトは1) — 語彙におけるストリーム開始に使用されるトークン ID。 - eos_token_id (
Union[int, list[int]]、任意、デフォルトは2) — 語彙内でストリーム終了に使用されるトークン ID。 - add_adapter (
bool、省略可、デフォルトはFalse) — Wav2Vec2Bert Encoderの上に畳み込みアテンションネットワークをスタックするかどうかを指定します。SpeechEncoderDecoderモデルのWav2Vec2Bertをウォームスタートする際に非常に有用です。 - adapter_kernel_size (
int、任意、デフォルトは 3) — アダプターネットワーク内の畳み込み層のカーネルサイズ。add_adapter is Trueの場合のみ関連します。 - adapter_stride (
int、省略可、デフォルト値は 2)— アダプターネットワーク内の畳み込み層のストライド。add_adapter is Trueの場合のみ関連します。 - num_adapter_layers (
int、任意、デフォルトは 1) — アダプターネットワークで使用すべき畳み込み層の数。add_adapter is Trueの場合のみ関連します。 - adapter_act (
strまたはfunction、省略可能、デフォルトは"relu") — アダプター層で使用する非線形活性化関数（関数または文字列）です。文字列の場合、"gelu"、"relu"、"selu"、"swish"、"gelu_new"がサポートされています。 - use_intermediate_ffn_before_adapter (
bool、任意、デフォルトはFalse) — Wav2Vec2Bert Encoder の上に、かつアダプターネットワークの前に、中間フィードフォワードブロックをスタックするかどうかを指定します。add_adapter is Trueの場合のみ関連します。 - output_hidden_size (
int, 任意) — エンコーダー出力層の次元数。定義されていない場合、デフォルトで hidden-size になります。add_adapter is Trueの場合のみ関連します。 - position_embeddings_type (
str, 省略可能, デフォルトは"relative_key") — 以下を指定できます。rotary、回転位置埋め込み用。- 相対位置埋め込み用の
relative。 relative_key、Shaw が Self-Attention with Relative Position Representations (Shaw et al.) で定義した相対位置埋め込み用。Noneの場合、相対位置埋め込みは適用されません。
- rotary_embedding_base (
int、任意、デフォルトは 10000) —"rotary"位置埋め込みを使用する場合、埋め込みベースのサイズを定義します。 - max_source_positions (
int、任意、デフォルト値は 5000)—"relative"の位置埋め込みを使用する場合、ソース入力の最大位置を定義します。 - left_max_position_embeddings (
int、任意、デフォルトは 64)—"relative_key"（Shaw とも呼ばれる）位置埋め込みを使用する場合、相対位置の左側のクリップ値を定義します。 - right_max_position_embeddings (
int、任意、デフォルト値は 8)—"relative_key"（Shaw とも呼ばれる）位置埋め込みを使用する場合、相対位置の右側のクリップ値を定義します。 - conv_depthwise_kernel_size (
int、任意、デフォルト値は 31) — Conformer ブロック内の 1 次元深度可変畳み込み層のカーネルサイズ。 - conformer_conv_dropout (
float、任意、デフォルト値は 0.1) — Conformer ブロック内のすべての畳み込み層における dropout 確率です。
これは、Wav2Vec2 BertModel の設定を保存するための設定クラスです。指定された引数に基づいて Wav2Vec2 Bert モデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、facebook/w2v-bert-2.0 と同様の設定が得られます。
設定オブジェクトはPreTrainedConfigを継承し、モデルの出力を制御するために使用できます。詳細については、PreTrainedConfigのドキュメントを参照してください。
例:
>>> from transformers import Wav2Vec2BertConfig, Wav2Vec2BertModel
>>> # Initializing a Wav2Vec2Bert facebook/wav2vec2-bert-rel-pos-large style configuration
>>> configuration = Wav2Vec2BertConfig()
>>> # Initializing a model (with random weights) from the facebook/wav2vec2-bert-rel-pos-large style configuration
>>> model = Wav2Vec2BertModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configWav2Vec2BertProcessor
クラス transformers.Wav2Vec2BertProcessor
< source >( feature_extractortokenizer )
Wav2Vec2BertProcessor を構築し、フィーチャーエクストラクターとトークナイザーを単一のプロセッサーにラップします。
Wav2Vec2BertProcessor は、Wav2Vec2FeatureExtractor と Wav2Vec2CTCTokenizer のすべての機能を提供します。詳細については、~Wav2Vec2FeatureExtractor および ~Wav2Vec2CTCTokenizer を参照してください。
__call__
< source >( audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), list[numpy.ndarray], list['torch.Tensor'], NoneType] = Nonetext: str | list[str] | None = None**kwargs: *<class 'transformers.models.wav2vec2_bert.processing_wav2vec2_bert.Wav2Vec2BertProcessorKwargs'> ) → BatchEncoding
パラメータ
- audio (
Union[numpy.ndarray, torch.Tensor, list[numpy.ndarray], list[torch.Tensor]], 任意) — 準備対象のオーディオまたはオーディオのバッチです。各オーディオは NumPy 配列または PyTorch テンソルである必要があります。 NumPy 配列/PyTorch テンソルの場合、各オーディオの形状は (C, T) である必要があります。ここで C はチャネル数、T はオーディオのサンプル長です。 - text (
Union[str, list[str]]、省略可) — エンコード対象のシーケンスまたはシーケンスのバッチです。各シーケンスは文字列、または文字列のリスト（事前トークン化済み文字列）であることができます。事前トークン化済みの入力を渡す場合は、バッチ入力との曖昧さを避けるためにis_split_into_words=Trueを設定してください。 - return_tensors (
strまたは TensorType, 省略可) — 設定すると、特定のフレームワークのテンソルを返します。使用可能な値は以下の通りです:'pt': PyTorchのtorch.Tensorオブジェクトを返します。'np': NumPyのnp.ndarrayオブジェクトを返します。
- **kwargs (ProcessingKwargs、任意) — 各モダリティ（テキスト、画像、動画、音声）の追加処理オプション。モデル固有のパラメータは上記にリストされています。サポートされている引数の完全なリストについては、TypedDictクラスを参照してください。
戻り値
以下のフィールドを持つBatchEncoding:
- input_features — モデルに与える音声入力特徴量。
audioがNoneでない場合に返されます。 - attention_mask —
audioがNoneでない場合、モデルがどのタイムスタンプに注意を払うべきかを指定するインデックスのリスト。textのみが指定されている場合、トークンアテンションマスクを返します。 - labels — モデルに渡すトークン ID のリスト。
textとaudioの両方がNoneでない場合に返されます。 - input_ids — モデルに与えるトークン ID のリスト。
textがNoneではなく、audioがNoneの場合に返されます。
input_features が None でない場合、このメソッドは input_features と kwargs を引数として、入力特徴量をパディングするために、SeamlessM4TFeatureExtractor の pad() に転送します。
labels が None でない場合、このメソッドは labels と kwargs を引数として、ラベルをパディングするために、PreTrainedTokenizer の pad() に転送します。
詳細については、上記の2つのメソッドのドキュメント文字列を参照してください。
from_pretrained
< source >( pretrained_model_name_or_path: str | os.PathLikecache_dir: str | os.PathLike | None = Noneforce_download: bool = Falselocal_files_only: bool = Falsetoken: str | bool | None = Nonerevision: str = 'main'**kwargs )
パラメータ
- pretrained_model_name_or_path (
strまたはos.PathLike) — 次のいずれかです:- 文字列、huggingface.co上のモデルリポジトリにホストされている事前学習済みfeature_extractorのmodel id
- save_pretrained() メソッドを使用して保存されたフィーチャーエクストラクターファイルを含むディレクトリへのパス。例:
./my_model_directory/ - 保存されたフィーチャーエクストラクターの
./my_model_directory/preprocessor_config.jsonのようなファイルへのパス
- **kwargs —
from_pretrained() と
~tokenization_utils_base.PreTrainedTokenizer.from_pretrainedの両方に渡される追加のキーワード引数。
事前学習済みモデルに関連付けられたプロセッサをインスタンス化します。
このクラスメソッドは、単にフィーチャーエクストラクターの from_pretrained()、イメージプロセッサーの ImageProcessingMixin、およびトークナイザーの
~tokenization_utils_base.PreTrainedTokenizer.from_pretrainedメソッドを呼び出しています。詳細については、上記のメソッドのドキュメント文字列を参照してください。
save_pretrained
< source >( save_directorypush_to_hub: bool = False**kwargs )
パラメータ
- save_directory (
strまたはos.PathLike) — フィーチャーエクストラクターの JSON ファイルとトークナイザーのファイルを保存するディレクトリです（存在しない場合は作成されます）。 - push_to_hub (
bool、省略可、デフォルトはFalse) — モデルを保存した後、Hugging Face モデルハブにプッシュするかどうかを指定します。プッシュ先のリポジトリはrepo_idで指定できます（指定しない場合、save_directoryの名前があなたのネームスペース内でデフォルトとして使用されます）。 - kwargs (
dict[str, Any]、省略可) — push_to_hub() メソッドに渡される追加のキーワード引数。
このプロセッサ（フィーチャーエクストラクター、トークナイザーなど）の属性を指定されたディレクトリに保存し、from_pretrained() メソッドによって再読み込みできるようにします。
このクラスメソッドは、save_pretrained()とsave_pretrained()を呼び出すだけです。詳細については、上記のメソッドのドキュメント文字列を参照してください。
このメソッドは、すべての引数を PreTrainedTokenizer の batch_decode() に転送します。詳細については、このメソッドのドキュメント文字列を参照してください。
このメソッドは、すべての引数を PreTrainedTokenizer の decode() に転送します。詳細については、このメソッドのドキュメント文字列を参照してください。
Wav2Vec2BertModel
class transformers.Wav2Vec2BertModel
< source >( config: Wav2Vec2BertConfig )
パラメータ
- config (Wav2Vec2BertConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連付けられた重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。
特定のヘッドを付加せずに生の隠れ状態を出力する、素のWav2Vec2 Bertモデル。
このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。
このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。
forward
< source >( input_features: typing.Optional[torch.Tensor]attention_mask: typing.Optional[torch.Tensor] = Nonemask_time_indices: typing.Optional[torch.FloatTensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Wav2Vec2BaseModelOutput or tuple(torch.FloatTensor)
パラメータ
- input_features (
torch.Tensor、形状(batch_size, sequence_length, feature_dim)、任意) — 入力音声特徴に対応するテンソルです。音声特徴は Wav2Vec2FeatureExtractor を使用して取得できます。詳細は Wav2Vec2FeatureExtractor.call() を参照してください（Wav2Vec2BertProcessor は音声の処理に Wav2Vec2FeatureExtractor を使用します）。 - attention_mask (
torch.Tensorの形状(batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。[0, 1]:- マスクされていないトークンに対して1
- マスクされたトークンに対しては 0 です。
- mask_time_indices (
torch.BoolTensor、shape(batch_size, sequence_length)、任意) — 対比損失のために抽出特徴をマスクするインデックスです。学習モードの場合、モデルは config.proj_codevector_dim 空間におけるマスクされた抽出特徴を予測するように学習します。
戻り値
Wav2Vec2BaseModelOutput または tuple(torch.FloatTensor)
torch.FloatTensor のタプル（return_dict=False が渡された場合、または config.return_dict=False の場合）、または Wav2Vec2BaseModelOutput。設定（Wav2Vec2BertConfig）や入力に応じて、さまざまな要素で構成されます。
Wav2Vec2BertModelのforwardメソッドは、__call__特殊メソッドをオーバーライドします。
この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく
Moduleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。
last_hidden_state (
torch.FloatTensor、shape(batch_size, sequence_length, hidden_size)) — モデルの最終層の出力における隠れ状態のシーケンス。extract_features (
torch.FloatTensor、形状(batch_size, sequence_length, conv_dim[-1])) — モデルの最後の畳み込み層から抽出された特徴ベクトルのシーケンス。hidden_states (
tuple(torch.FloatTensor)、optional、output_hidden_states=Trueが渡された場合またはconfig.output_hidden_states=Trueの場合に返される) —torch.FloatTensorのタプル（embeddings の出力用 1 つ + 各レイヤーの出力用 1 つ）、shape は(batch_size, sequence_length, hidden_size)。各層の出力および初期埋め込み出力におけるモデルの隠れ状態。
attentions (
tuple(torch.FloatTensor)、optional、output_attentions=Trueが渡された場合またはconfig.output_attentions=Trueの場合に返されます)—torch.FloatTensorのタプル（各レイヤーごとに1つ）、形状は(batch_size, num_heads, sequence_length, sequence_length)。アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。
Wav2Vec2BertForCTC
クラス transformers.Wav2Vec2BertForCTC
< source >( config: Wav2Vec2BertConfigtarget_lang: str | None = None )
パラメータ
- config (Wav2Vec2BertConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連付けられた重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。
- target_lang (
str, 任意) — アダプター重みの言語 ID。アダプター重みは adapter..safetensors または adapter. .bin の形式で保存されます。UniSpeechSatForCTC のインスタンスをアダプターと併用する場合にのみ関連します。デフォルトでは ‘eng’ が使用されます。
Connectionist Temporal Classification (CTC) 用の language modeling ヘッドを上部に備えた Wav2Vec2Bert モデル。
このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。
このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。
forward
< source >( input_features: typing.Optional[torch.Tensor]attention_mask: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → CausalLMOutput or tuple(torch.FloatTensor)
パラメータ
- input_features (
torch.Tensor、形状(batch_size, sequence_length, feature_dim)、任意) — 入力音声特徴に対応するテンソルです。音声特徴は Wav2Vec2FeatureExtractor を使用して取得できます。詳細は Wav2Vec2FeatureExtractor.call() を参照してください（Wav2Vec2BertProcessor は音声の処理に Wav2Vec2FeatureExtractor を使用します）。 - attention_mask (
torch.Tensorの形状(batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。[0, 1]:- マスクされていないトークンに対して1
- マスクされたトークンに対しては 0 です。
- labels (
torch.LongTensor、shape(batch_size, target_length)、任意) — Connectionist Temporal Classification 用のラベルです。target_lengthは、出力 logits のシーケンス長以下である必要があります。インデックスは[-100, 0, ..., config.vocab_size - 1]から選択されます。-100に設定されたすべてのラベルは無視（マスク）され、損失は[0, ..., config.vocab_size - 1]内のラベルに対してのみ計算されます。
戻り値
CausalLMOutput または tuple(torch.FloatTensor)
torch.FloatTensor のタプル（return_dict=False が渡された場合、または config.return_dict=False の場合）または CausalLMOutput。設定（Wav2Vec2BertConfig）と入力に応じて、さまざまな要素で構成されます。
Wav2Vec2BertForCTCのforwardメソッドは、__call__特殊メソッドをオーバーライドします。
この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく
Moduleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。
loss (
torch.FloatTensor、shape(1,)、optional、labelsが指定された場合に返されます) — 言語モデリングの損失（次のトークン予測用）。logits (
torch.FloatTensor、shape(batch_size, sequence_length, config.vocab_size)) — 言語モデリングヘッドの予測スコア（SoftMax 適用前の各語彙トークンのスコア）。hidden_states (
tuple(torch.FloatTensor)、optional、output_hidden_states=Trueが渡された場合またはconfig.output_hidden_states=Trueの場合に返されます)—torch.FloatTensorのタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は(batch_size, sequence_length, hidden_size)です。各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
attentions (
tuple(torch.FloatTensor)、optional、output_attentions=Trueが渡された場合またはconfig.output_attentions=Trueの場合に返されます)—torch.FloatTensorのタプル（各レイヤーごとに1つ）、形状は(batch_size, num_heads, sequence_length, sequence_length)。アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。
例:
>>> from transformers import AutoProcessor, Wav2Vec2BertForCTC
>>> from datasets import load_dataset
>>> import torch
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> processor = AutoProcessor.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForCTC.from_pretrained("facebook/w2v-bert-2.0")
>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_ids = torch.argmax(logits, dim=-1)
>>> # transcribe speech
>>> transcription = processor.batch_decode(predicted_ids)
>>> transcription[0]
...
>>> inputs["labels"] = processor(text=dataset[0]["text"], return_tensors="pt").input_ids
>>> # compute loss
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
...Wav2Vec2BertForSequenceClassification
クラス transformers.Wav2Vec2BertForSequenceClassification
< source >( config: Wav2Vec2BertConfig )
パラメータ
- config (Wav2Vec2BertConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連付けられた重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。
シーケンス分類ヘッド（プーリングされた出力に対する線形層）を上部に備えた Wav2Vec2Bert モデル。SUPERB Keyword Spotting のようなタスクに使用します。
このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。
このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。
forward
< source >( input_features: typing.Optional[torch.Tensor]attention_mask: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → SequenceClassifierOutput or tuple(torch.FloatTensor)
パラメータ
- input_features (
torch.Tensor、形状(batch_size, sequence_length, feature_dim)、任意) — 入力音声特徴に対応するテンソルです。音声特徴は Wav2Vec2FeatureExtractor を使用して取得できます。詳細は Wav2Vec2FeatureExtractor.call() を参照してください（Wav2Vec2BertProcessor は音声の処理に Wav2Vec2FeatureExtractor を使用します）。 - attention_mask (
torch.Tensorの形状(batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。[0, 1]:- マスクされていないトークンに対して1
- マスクされたトークンに対しては 0 です。
- labels (
torch.LongTensor、shape(batch_size,)、任意) — シーケンス分類/回帰の損失を計算するためのラベル。インデックスは[0, ..., config.num_labels - 1]の範囲である必要があります。config.num_labels == 1の場合は回帰損失(平均二乗誤差)が計算され、config.num_labels > 1の場合は分類損失(クロスエントロピー)が計算されます。
戻り値
SequenceClassifierOutput または tuple(torch.FloatTensor)
torch.FloatTensor のタプル、または return_dict=False が渡された場合、または config.return_dict=False の場合は torch.FloatTensor のタプル、または SequenceClassifierOutput を返します。設定 (Wav2Vec2BertConfig) と入力に応じて、さまざまな要素が含まれます。
Wav2Vec2BertForSequenceClassificationのforwardメソッドは、__call__特殊メソッドをオーバーライドします。
この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく
Moduleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。
loss (
torch.FloatTensor、shape(1,)、optional、labelsが指定された場合に返されます) — 分類損失（config.num_labels==1 の場合は回帰損失）。logits (
torch.FloatTensor、shape(batch_size, config.num_labels)) — SoftMax 適用前の分類スコア（config.num_labels==1 の場合は回帰スコア）。hidden_states (
tuple(torch.FloatTensor)、optional、output_hidden_states=Trueが渡された場合またはconfig.output_hidden_states=Trueの場合に返されます)—torch.FloatTensorのタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は(batch_size, sequence_length, hidden_size)です。各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
attentions (
tuple(torch.FloatTensor)、optional、output_attentions=Trueが渡された場合またはconfig.output_attentions=Trueの場合に返されます)—torch.FloatTensorのタプル（各レイヤーごとに1つ）、形状は(batch_size, num_heads, sequence_length, sequence_length)。アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。
単一ラベル分類の例:
>>> import torch
>>> from transformers import AutoTokenizer, Wav2Vec2BertForSequenceClassification
>>> tokenizer = AutoTokenizer.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForSequenceClassification.from_pretrained("facebook/w2v-bert-2.0")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_class_id = logits.argmax().item()
>>> model.config.id2label[predicted_class_id]
...
>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = Wav2Vec2BertForSequenceClassification.from_pretrained("facebook/w2v-bert-2.0", num_labels=num_labels)
>>> labels = torch.tensor([1])
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...マルチラベル分類の例:
>>> import torch
>>> from transformers import AutoTokenizer, Wav2Vec2BertForSequenceClassification
>>> tokenizer = AutoTokenizer.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForSequenceClassification.from_pretrained("facebook/w2v-bert-2.0", problem_type="multi_label_classification")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5]
>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = Wav2Vec2BertForSequenceClassification.from_pretrained(
... "facebook/w2v-bert-2.0", num_labels=num_labels, problem_type="multi_label_classification"
... )
>>> labels = torch.sum(
... torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1
... ).to(torch.float)
>>> loss = model(**inputs, labels=labels).lossWav2Vec2BertForAudioFrameClassification
class transformers.Wav2Vec2BertForAudioFrameClassification
< source >( config: Wav2Vec2BertConfig )
パラメータ
- config (Wav2Vec2BertConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連付けられた重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。
話者分離などのタスクに対応するため、フレーム分類ヘッドを上部に備えたWav2Vec2 Bertモデル。
このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。
このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。
forward
< source >( input_features: typing.Optional[torch.Tensor]attention_mask: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → TokenClassifierOutput or tuple(torch.FloatTensor)
パラメータ
- input_features (
torch.Tensor、形状(batch_size, sequence_length, feature_dim)、任意) — 入力音声特徴に対応するテンソルです。音声特徴は Wav2Vec2FeatureExtractor を使用して取得できます。詳細は Wav2Vec2FeatureExtractor.call() を参照してください（Wav2Vec2BertProcessor は音声の処理に Wav2Vec2FeatureExtractor を使用します）。 - attention_mask (
torch.Tensorの形状(batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。[0, 1]:- マスクされていないトークンに対して1
- マスクされたトークンに対しては 0 です。
- labels (
torch.LongTensor、shape(batch_size,)、任意) — シーケンス分類/回帰の損失を計算するためのラベル。インデックスは[0, ..., config.num_labels - 1]の範囲である必要があります。config.num_labels == 1の場合は回帰損失(平均二乗誤差)が計算され、config.num_labels > 1の場合は分類損失(クロスエントロピー)が計算されます。
戻り値
TokenClassifierOutput または tuple(torch.FloatTensor)
torch.FloatTensor のタプル、または TokenClassifierOutput（return_dict=False が渡された場合、または config.return_dict=False の場合）。設定（Wav2Vec2BertConfig）や入力に応じて、さまざまな要素で構成されます。
Wav2Vec2BertForAudioFrameClassificationのforwardメソッドは、__call__特殊メソッドをオーバーライドします。
この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく
Moduleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。
loss (
torch.FloatTensor、shape(1,)、optional、labelsが指定された場合に返されます) — 分類損失。logits (
torch.FloatTensor、shape(batch_size, sequence_length, config.num_labels)) — SoftMax 適用前の分類スコア。hidden_states (
tuple(torch.FloatTensor)、optional、output_hidden_states=Trueが渡された場合またはconfig.output_hidden_states=Trueの場合に返されます)—torch.FloatTensorのタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は(batch_size, sequence_length, hidden_size)です。各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
attentions (
tuple(torch.FloatTensor)、optional、output_attentions=Trueが渡された場合またはconfig.output_attentions=Trueの場合に返されます)—torch.FloatTensorのタプル（各レイヤーごとに1つ）、形状は(batch_size, num_heads, sequence_length, sequence_length)。アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。
例:
>>> from transformers import AutoFeatureExtractor, Wav2Vec2BertForAudioFrameClassification
>>> from datasets import load_dataset
>>> import torch
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForAudioFrameClassification.from_pretrained("facebook/w2v-bert-2.0")
>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], return_tensors="pt", sampling_rate=sampling_rate)
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> probabilities = torch.sigmoid(logits[0])
>>> # labels is a one-hot array of shape (num_frames, num_speakers)
>>> labels = (probabilities > 0.5).long()
>>> labels[0].tolist()
...Wav2Vec2BertForXVector
class transformers.Wav2Vec2BertForXVector
< source >( config: Wav2Vec2BertConfig )
パラメータ
- config (Wav2Vec2BertConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連付けられた重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。
話者認証などのタスクに対応するため、XVector特徴抽出ヘッドを上部に備えたWav2Vec2Bertモデル。
このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。
このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。
forward
< source >( input_features: typing.Optional[torch.Tensor]attention_mask: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → XVectorOutput or tuple(torch.FloatTensor)
パラメータ
- input_features (
torch.Tensor、形状(batch_size, sequence_length, feature_dim)、任意) — 入力音声特徴に対応するテンソルです。音声特徴は Wav2Vec2FeatureExtractor を使用して取得できます。詳細は Wav2Vec2FeatureExtractor.call() を参照してください（Wav2Vec2BertProcessor は音声の処理に Wav2Vec2FeatureExtractor を使用します）。 - attention_mask (
torch.Tensorの形状(batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。[0, 1]:- マスクされていないトークンに対して1
- マスクされたトークンに対しては 0 です。
- labels (
torch.LongTensor、shape(batch_size,)、任意) — シーケンス分類/回帰の損失を計算するためのラベル。インデックスは[0, ..., config.num_labels - 1]の範囲である必要があります。config.num_labels == 1の場合は回帰損失(平均二乗誤差)が計算され、config.num_labels > 1の場合は分類損失(クロスエントロピー)が計算されます。
戻り値
XVectorOutput または tuple(torch.FloatTensor)
torch.FloatTensor のタプル、または XVectorOutput（return_dict=False が渡された場合、または config.return_dict=False の場合）。設定（Wav2Vec2BertConfig）や入力に応じて、さまざまな要素で構成されます。
Wav2Vec2BertForXVectorのforwardメソッドは、__call__特殊メソッドをオーバーライドします。
この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく
Moduleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。
loss (
torch.FloatTensor、shape(1,)、optional、labelsが指定された場合に返されます) — 分類損失。logits (
torch.FloatTensor、shape(batch_size, config.xvector_output_dim)) — AMSoftmax 適用前の分類用隠れ状態。embeddings (
torch.FloatTensor、shape(batch_size, config.xvector_output_dim)) — ベクトル類似度ベースの検索に使用される発話の埋め込みです。hidden_states (
tuple(torch.FloatTensor)、optional、output_hidden_states=Trueが渡された場合またはconfig.output_hidden_states=Trueの場合に返される) —torch.FloatTensorのタプル（embeddings の出力用 1 つ + 各レイヤーの出力用 1 つ）、shape は(batch_size, sequence_length, hidden_size)。各層の出力および初期埋め込み出力におけるモデルの隠れ状態。
attentions (
tuple(torch.FloatTensor)、optional、output_attentions=Trueが渡された場合またはconfig.output_attentions=Trueの場合に返されます)—torch.FloatTensorのタプル（各レイヤーごとに1つ）、形状は(batch_size, num_heads, sequence_length, sequence_length)。アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。
例:
>>> from transformers import AutoFeatureExtractor, Wav2Vec2BertForXVector
>>> from datasets import load_dataset
>>> import torch
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForXVector.from_pretrained("facebook/w2v-bert-2.0")
>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(
... [d["array"] for d in dataset[:2]["audio"]], sampling_rate=sampling_rate, return_tensors="pt", padding=True
... )
>>> with torch.no_grad():
... embeddings = model(**inputs).embeddings
>>> embeddings = torch.nn.functional.normalize(embeddings, dim=-1).cpu()
>>> # the resulting embeddings can be used for cosine similarity-based retrieval
>>> cosine_sim = torch.nn.CosineSimilarity(dim=-1)
>>> similarity = cosine_sim(embeddings[0], embeddings[1])
>>> threshold = 0.7 # the optimal threshold is dataset-dependent
>>> if similarity < threshold:
... print("Speakers are not the same!")
>>> round(similarity.item(), 2)
...