# Dia ## 概要 [Dia](https://github.com/nari-labs/dia) は、[Nari Labs](https://huggingface.co/nari-labs) によって開発されたオープンソースのテキスト読み上げ（TTS）モデル（1.6B パラメータ）です。笑い声や咳などの非言語コミュニケーションを含むトランスクリプトから、非常にリアルな対話を生成できます。さらに、オーディオ条件付け（ボイスクローニング）を通じて、感情やトーンの制御も可能です。 **モデルアーキテクチャ:** Diaは、元のtransformerアーキテクチャに基づくエンコーダー・デコーダー型transformerです。ただし、回転位置埋め込み（RoPE）などのより現代的な機能も含まれています。テキスト部分（エンコーダー）にはバイトトークナイザーが使用され、音声部分（デコーダー）には事前学習済みコーデックモデル[DAC](./dac)が使用されます。DACは、音声を離散コードブックトークンにエンコードし、それを音声に戻してデコードします。 ## 使用のコツ ### テキストによる生成 ```python from transformers import AutoProcessor, DiaForConditionalGeneration model_checkpoint = "nari-labs/Dia-1.6B-0626" text = ["[S1] Dia is an open weights text to dialogue model."] model = DiaForConditionalGeneration.from_pretrained(model_checkpoint, device_map="auto") processor = AutoProcessor.from_pretrained(model_checkpoint) inputs = processor(text=text, padding=True, return_tensors="pt").to(model.device) outputs = model.generate(**inputs, max_new_tokens=256) # corresponds to around ~2s # save audio to a file outputs = processor.batch_decode(outputs) processor.save_audio(outputs, "example.wav") ``` ### テキストとオーディオによる生成（ボイスクローニング） ```python from datasets import Audio, load_dataset from transformers import AutoProcessor, DiaForConditionalGeneration model_checkpoint = "nari-labs/Dia-1.6B-0626" ds = load_dataset("hf-internal-testing/dailytalk-dummy", split="train") ds = ds.cast_column("audio", Audio(sampling_rate=44100)) audio = ds[-1]["audio"]["array"] # text is a transcript of the audio + additional text you want as new audio text = ["[S1] I know. It's going to save me a lot of money, I hope. [S2] I sure hope so for you."] processor = AutoProcessor.from_pretrained(model_checkpoint) model = DiaForConditionalGeneration.from_pretrained(model_checkpoint, device_map="auto") inputs = processor(text=text, audio=audio, padding=True, return_tensors="pt").to(model.device) prompt_len = processor.get_audio_prompt_len(inputs["decoder_attention_mask"]) outputs = model.generate(**inputs, max_new_tokens=256) # corresponds to around ~2s # retrieve actually generated audio and save to a file outputs = processor.batch_decode(outputs, audio_prompt_len=prompt_len) processor.save_audio(outputs, "example_with_audio.wav") ``` ### トレーニング ```python from datasets import Audio, load_dataset from transformers import AutoProcessor, DiaForConditionalGeneration model_checkpoint = "nari-labs/Dia-1.6B-0626" ds = load_dataset("hf-internal-testing/dailytalk-dummy", split="train") ds = ds.cast_column("audio", Audio(sampling_rate=44100)) audio = ds[-1]["audio"]["array"] # text is a transcript of the audio text = ["[S1] I know. It's going to save me a lot of money, I hope."] model = DiaForConditionalGeneration.from_pretrained(model_checkpoint, device_map="auto") processor = AutoProcessor.from_pretrained(model_checkpoint) inputs = processor( text=text, audio=audio, generation=False, output_labels=True, padding=True, return_tensors="pt" ).to(model.device) out = model(**inputs) out.loss.backward() ``` このモデルは、[Jaeyong Sung](https://huggingface.co/buttercrab)、[Arthur Zucker](https://huggingface.co/ArthurZ)、[Anton Vlasjuk](https://huggingface.co/AntonV) によって提供されました。元のコードは[こちら](https://github.com/nari-labs/dia/)で確認できます。 ## DiaConfig[[transformers.DiaConfig]] #### transformers.DiaConfig[[transformers.DiaConfig]] ```python transformers.DiaConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, is_encoder_decoder: bool = True, encoder_config: transformers.models.dia.configuration_dia.DiaEncoderConfig | dict | None = None, decoder_config: transformers.models.dia.configuration_dia.DiaDecoderConfig | dict | None = None, norm_eps: float = 1e-05, pad_token_id: int | None = None, eos_token_id: int | list[int] | None = None, bos_token_id: int | None = None, delay_pattern: list[int] | None = None, initializer_range: float = 0.02, use_cache: bool = True) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/dia/configuration_dia.py#L87) **パラメータ:** is_encoder_decoder (`bool`、*任意*、デフォルトは`True`) : モデルがエンコーダー/デコーダーとして使用されるかどうかを示します。 encoder_config (`Union[~models.dia.configuration_dia.DiaEncoderConfig, dict]`, *任意*) : エンコーダーのバックボーンの設定オブジェクトまたは辞書。 decoder_config (`Union[~models.dia.configuration_dia.DiaDecoderConfig, dict]`, *任意*) : デコーダーのバックボーンの設定オブジェクトまたは辞書。 norm_eps (`float`、*任意*、デフォルトは`1e-05`) : Layer Normalization 層で使用する epsilon。 pad_token_id (`int`, *任意*) : 語彙内でパディングに使用されるトークンID。 eos_token_id (`Union[int, list[int]]`、*任意*) : 語彙内でストリームの終了に使用されるトークン ID。 bos_token_id (`int`, *任意*) : 語彙内でストリームの開始に使用されるトークン ID。 delay_pattern (`list[int]`、*任意*、デフォルトは`[0, 8, 9, 10, 11, 12, 13, 14, 15]`) : デコーダーの遅延パターンです。このリストの長さは`decoder_config.num_channels`と一致する必要があります。 initializer_range (`float`、*任意*、デフォルトは`0.02`) : すべての重み行列を初期化するためのtruncated_normal_initializerの標準偏差です。 use_cache (`bool`、*任意*、デフォルトは `True`) : モデルが最後のキー/バリューアテンションを返すかどうか（すべてのモデルで利用されるわけではありません）。`config.is_decoder=True` の場合、またはモデルがデコーダー専用の生成モデルである場合にのみ関連します。 これは DiaModel の設定を保存するための設定クラスです。指定された引数に基づいて Dia モデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、[nari-labs/Dia-1.6B](https://huggingface.co/nari-labs/Dia-1.6B) と同様の設定が得られます。 設定オブジェクトは [PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) を継承し、モデルの出力を制御するために使用できます。詳細については、[PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) のドキュメントを参照してください。 例: ```python >>> from transformers import DiaConfig, DiaModel >>> # Initializing a DiaConfig with default values >>> configuration = DiaConfig() >>> # Initializing a DiaModel (with random weights) from the configuration >>> model = DiaModel(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` #### get_text_config[[transformers.DiaConfig.get_text_config]] ```python get_text_config(*args, **kwargs) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/dia/configuration_dia.py#L159) この場合、デコーダーは通常テキストバックボーンであるため、デフォルトでオーディオ設定を使用します ## DiaDecoderConfig[[transformers.DiaDecoderConfig]] #### transformers.DiaDecoderConfig[[transformers.DiaDecoderConfig]] ```python transformers.DiaDecoderConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, is_encoder_decoder: bool = True, max_position_embeddings: int = 3072, num_hidden_layers: int = 18, hidden_size: int = 2048, intermediate_size: int = 8192, num_attention_heads: int = 16, num_key_value_heads: int = 4, head_dim: int = 128, cross_num_attention_heads: int = 16, cross_head_dim: int = 128, cross_num_key_value_heads: int = 16, cross_hidden_size: int = 1024, norm_eps: float = 1e-05, vocab_size: int = 1028, hidden_act: str = 'silu', num_channels: int = 9, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, initializer_range: float = 0.02, use_cache: bool = True, pad_token_id: int | None = 1025, eos_token_id: int | list[int] | None = 1024, bos_token_id: int | None = 1026) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/dia/configuration_dia.py#L47) **パラメータ:** is_encoder_decoder (`bool`、*任意*、デフォルトは`True`) : モデルがエンコーダー/デコーダーとして使用されるかどうかを示します。 max_position_embeddings (`int`、*任意*、デフォルトは`3072`) : このモデルが使用される可能性のある最大シーケンス長です。 num_hidden_layers (`int`, *任意*, デフォルトは `18`) : Transformer デコーダーの隠れ層の数。 hidden_size (`int`、*任意*、デフォルトは`2048`) : 隠れ表現の次元数。 intermediate_size (`int`、*任意*、デフォルトは`8192`) : MLP 表現の次元数。 num_attention_heads (`int`、*任意*、デフォルトは`16`) : Transformerデコーダーの各アテンション層におけるアテンションヘッドの数。 num_key_value_heads (`int`, *optional*, デフォルトは `4`) : Grouped Query Attention を実装するために使用する key_value ヘッドの数です。`num_key_value_heads=num_attention_heads` の場合、モデルは Multi Head Attention (MHA) を使用し、`num_key_value_heads=1` の場合は Multi Query Attention (MQA) を使用し、それ以外の場合は GQA が使用されます。マルチヘッドのチェックポイントを GQA チェックポイントに変換する際は、各グループの key ヘッドと value ヘッドは、そのグループ内の元のすべてのヘッドを平均プーリングして構築する必要があります。詳細については、[この論文](https://huggingface.co/papers/2305.13245)を参照してください。指定されない場合、デフォルトで `num_attention_heads` が使用されます。 head_dim (`int`、*任意*、デフォルトは`128`) : アテンションヘッドの次元です。None の場合、hidden_size // num_attention_heads がデフォルトとして使用されます。 cross_num_attention_heads (`int`、*optional*、デフォルトは 16) : Transformer デコーダーの各クロスアテンション層におけるアテンションヘッドの数。 cross_head_dim (`int`、*任意*、デフォルトは 128) : クロスアテンションヘッドの次元数。 cross_num_key_value_heads (`int`, *optional*, デフォルトは 16) : Transformer デコーダーの各クロスアテンション層におけるキーとバリューのヘッド数。 cross_hidden_size (`int`、*任意*、デフォルトは 1024) : クロスアテンション層の次元数。 norm_eps (`float`、*任意*、デフォルトは`1e-05`) : Layer Normalization 層で使用する epsilon。 vocab_size (`int`、*任意*、デフォルトは`1028`) : モデルの語彙サイズ。`input_ids`で表現できるトークンの種類数を定義します。 hidden_act (`str`、*任意*、デフォルトは`silu`) : デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、`"gelu"`、`"relu"`、`"silu"`など。 num_channels (`int`、*任意*、デフォルトは`9`) : 入力チャネル数。 rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`, *optional*) : RoPE 埋め込みの設定パラメータを含む辞書です。この辞書には `rope_theta` の値が含まれていなければならず、より長い `max_position_embeddings` で RoPE を使用する場合、スケーリングに使用されるパラメータが任意で含まれます。 initializer_range (`float`、*任意*、デフォルトは`0.02`) : すべての重み行列を初期化するためのtruncated_normal_initializerの標準偏差です。 use_cache (`bool`、*任意*、デフォルトは `True`) : モデルが最後のキー/バリューアテンションを返すかどうか（すべてのモデルで利用されるわけではありません）。`config.is_decoder=True` の場合、またはモデルがデコーダー専用の生成モデルである場合にのみ関連します。 pad_token_id (`int`, *任意*, デフォルトは `1025`) : 語彙内でパディングに使用されるトークン ID。 eos_token_id (`Union[int, list[int]]`、*任意*、デフォルトは`1024`) : 語彙内でストリームの終了に使用されるトークン ID。 bos_token_id (`int`, *任意*, デフォルトは `1026`) : 語彙内でストリームの開始に使用されるトークン ID。 これは DiaModel の設定を保存するための設定クラスです。指定された引数に基づいて Dia モデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、[nari-labs/Dia-1.6B](https://huggingface.co/nari-labs/Dia-1.6B) と同様の設定が得られます。 設定オブジェクトは [PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) を継承し、モデルの出力を制御するために使用できます。詳細については、[PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) のドキュメントを参照してください。 ## DiaEncoderConfig[[transformers.DiaEncoderConfig]] #### transformers.DiaEncoderConfig[[transformers.DiaEncoderConfig]] ```python transformers.DiaEncoderConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, max_position_embeddings: int = 1024, num_hidden_layers: int = 12, hidden_size: int = 1024, num_attention_heads: int = 16, num_key_value_heads: int = 16, head_dim: int = 128, intermediate_size: int = 4096, norm_eps: float = 1e-05, vocab_size: int = 256, hidden_act: str = 'silu', rope_parameters: dict | None = None, initializer_range: float = 0.02) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/dia/configuration_dia.py#L28) **パラメータ:** max_position_embeddings (`int`、*任意*、デフォルトは`1024`) : このモデルが使用される可能性のある最大シーケンス長。 num_hidden_layers (`int`, *任意*, デフォルトは `12`) : Transformer デコーダーの隠れ層の数。 hidden_size (`int`、*任意*、デフォルトは`1024`) : 隠れ表現の次元数。 num_attention_heads (`int`、*任意*、デフォルトは`16`) : Transformerデコーダーの各アテンション層におけるアテンションヘッドの数。 num_key_value_heads (`int`, *任意*, デフォルトは `16`) : Grouped Query Attention を実装するために使用する key_value ヘッドの数です。`num_key_value_heads=num_attention_heads` の場合、モデルは Multi Head Attention (MHA) を使用し、`num_key_value_heads=1` の場合は Multi Query Attention (MQA) を使用し、それ以外の場合は GQA が使用されます。マルチヘッドのチェックポイントを GQA のチェックポイントに変換する際は、各グループの key ヘッドと value ヘッドは、そのグループ内の元のすべてのヘッドを平均プーリングして構築する必要があります。詳細については、[この論文](https://huggingface.co/papers/2305.13245)を参照してください。指定されない場合、デフォルトで `num_attention_heads` が使用されます。 head_dim (`int`、*任意*、デフォルトは`128`) : アテンションヘッドの次元です。None の場合、hidden_size // num_attention_heads がデフォルトとして使用されます。 intermediate_size (`int`、*任意*、デフォルトは`4096`) : MLP 表現の次元数。 norm_eps (`float`、*任意*、デフォルトは`1e-05`) : Layer Normalization 層で使用する epsilon。 vocab_size (`int`、*任意*、デフォルトは `256`) : モデルの語彙サイズ。`input_ids` で表現できるトークンの種類数を定義します。 hidden_act (`str`、*任意*、デフォルトは`silu`) : デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、`"gelu"`、`"relu"`、`"silu"`など。 rope_parameters (`dict`, *任意*) : RoPE 埋め込みの設定パラメータを含む辞書です。この辞書には `rope_theta` の値が含まれており、より長い `max_position_embeddings` で RoPE を使用する場合にスケーリングに使用されるパラメータが任意で含まれます。 initializer_range (`float`、*任意*、デフォルトは`0.02`) : すべての重み行列を初期化するためのtruncated_normal_initializerの標準偏差です。 これは DiaModel の設定を保存するための設定クラスです。指定された引数に基づいて Dia モデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、[nari-labs/Dia-1.6B](https://huggingface.co/nari-labs/Dia-1.6B) と同様の設定が得られます。 設定オブジェクトは [PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) を継承し、モデルの出力を制御するために使用できます。詳細については、[PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) のドキュメントを参照してください。 ## DiaTokenizer[[transformers.DiaTokenizer]] #### transformers.DiaTokenizer[[transformers.DiaTokenizer]] ```python transformers.DiaTokenizer(pad_token: str | None = '', unk_token: str | None = '', max_length: int | None = 1024, offset: int = 0, **kwargs) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/dia/tokenization_dia.py#L23) **パラメータ:** pad_token (`str`、*任意*、デフォルトは `""`) : パディングに使用されるトークンです。長さの異なるシーケンスをバッチ処理する場合などに使用します。 unk_token (`str`、*任意*、デフォルトは `""`) : 不明トークン。語彙に存在しないトークンは ID に変換できず、代わりにこのトークンが設定されます。 max_length (`int`、*optional*、デフォルトは 1024) : エンコード時のシーケンスの最大長です。これより長いシーケンスは切り詰められます。 offset (`int`、*任意*、デフォルトは 0) : トークナイザーのオフセットです。 Diaのトークナイザーを構築します。Diaは、特殊トークン`[S1]`と`[S2]`を除き、生のバイトのutf-8エンコーディングを使用します。 このトークナイザーは、[PreTrainedTokenizerFast](/docs/transformers/main/ja/main_classes/tokenizer#transformers.TokenizersBackend) を継承しており、主要なメソッドのほとんどが含まれています。これらのメソッドに関する詳細については、このスーパークラスを参照してください。 #### __call__[[transformers.DiaTokenizer.__call__]] ```python __call__(text: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, text_pair: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, text_target: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, text_pair_target: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, add_special_tokens: bool = True, padding: bool | str | PaddingStrategy = False, truncation: bool | str | TruncationStrategy | None = None, max_length: int | None = None, stride: int = 0, is_split_into_words: bool = False, pad_to_multiple_of: int | None = None, padding_side: str | None = None, return_tensors: str | TensorType | None = None, return_token_type_ids: bool | None = None, return_attention_mask: bool | None = None, return_overflowing_tokens: bool = False, return_special_tokens_mask: bool = False, return_offsets_mapping: bool = False, return_length: bool = False, verbose: bool = True, tokenizer_kwargs: dict[str, Any] | None = None, **kwargs) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_utils_base.py#L2449) **パラメータ:** text (`str`、`list[str]`、`list[list[str]]`、*任意*) : エンコード対象のシーケンスまたはシーケンスのバッチです。各シーケンスは文字列、または文字列のリスト（プレトークナイズ済み文字列）であることができます。シーケンスが文字列のリスト（プレトークナイズ済み）として提供される場合、`is_split_into_words=True` を設定する必要があります（シーケンスのバッチとの曖昧さを解消するため）。 text_pair (`str`、`list[str]`、`list[list[str]]`、*任意*) : エンコード対象のシーケンスまたはシーケンスのバッチです。各シーケンスは文字列、または文字列のリスト（プレトークナイズ済み文字列）であることができます。シーケンスが文字列のリスト（プレトークナイズ済み）として提供される場合、`is_split_into_words=True` を設定する必要があります（シーケンスのバッチとの曖昧さを解消するため）。 text_target (`str`、`list[str]`、`list[list[str]]`、*任意*) : ターゲットテキストとしてエンコードするシーケンスまたはシーケンスのバッチです。各シーケンスは文字列または文字列のリスト（プレトークナイズされた文字列）であることができます。シーケンスが文字列のリスト（プレトークナイズ）として提供される場合、`is_split_into_words=True` を設定する必要があります（シーケンスのバッチとの曖昧さを解消するため）。 text_pair_target (`str`、`list[str]`、`list[list[str]]`、*任意*) : ターゲットテキストとしてエンコードするシーケンスまたはシーケンスのバッチです。各シーケンスは文字列または文字列のリスト（プレトークナイズされた文字列）であることができます。シーケンスが文字列のリスト（プレトークナイズ）として提供される場合、`is_split_into_words=True` を設定する必要があります（シーケンスのバッチとの曖昧さを解消するため）。 tokenizer_kwargs (`dict[str, Any]`、*省略可*) : トークナイザーに渡す追加の kwargs です。これらは明示的なパラメータやその他の kwargs とマージされますが、明示的なパラメータが優先されます。 add_special_tokens (`bool`、*任意*、デフォルトは`True`) : シーケンスをエンコードする際に特殊トークンを追加するかどうか。これは、入力 ID に自動的に追加されるトークンを定義する基盤となる`PretrainedTokenizerBase.build_inputs_with_special_tokens`関数を使用します。`bos`または`eos`トークンを自動的に追加したい場合に便利です。 padding (`bool`、`str` または [PaddingStrategy](/docs/transformers/main/ja/internal/file_utils#transformers.utils.PaddingStrategy)、*optional*、デフォルトは `False`) : パディングの有効化と制御を行います。以下の値を受け取ります: - `True` または `'longest'`: バッチ内の最長のシーケンスの長さにパディングします（単一のシーケンスのみが提供された場合は、パディングを行いません）。 - `'max_length'`: 引数 `max_length` で指定された最大長、またはその引数が提供されていない場合はモデルが受け入れ可能な最大入力長までパディングします。 - `False` または `'do_not_pad'`（デフォルト）: パディングを行いません（つまり、長さが異なるシーケンスのバッチを出力できます）。 truncation (`bool`、`str` または [TruncationStrategy](/docs/transformers/main/ja/internal/tokenization_utils#transformers.tokenization_utils_base.TruncationStrategy)、*optional*、デフォルトは `False`) : トランケーションを有効化し、制御します。以下の値を受け取ります: - `True` または `'longest_first'`: 引数 `max_length` で指定された最大長、またはその引数が指定されていない場合はモデルが許容する最大入力長まで切り詰めます。ペアのシーケンス（またはペアのバッチ）が提供されている場合、ペアの中で最も長いシーケンスからトークン単位で1トークンずつ削除します。 - `'only_first'`: 引数 `max_length` で指定された最大長、またはその引数が指定されていない場合はモデルが許容する最大入力長まで切り詰めます。ペアのシーケンス（またはペアのバッチ）が提供されている場合、ペアの最初のシーケンスのみを切り詰めます。 - `'only_second'`: 引数 `max_length` で指定された最大長、またはその引数が指定されていない場合はモデルが許容する最大入力長まで切り詰めます。ペアのシーケンス（またはペアのバッチ）が提供されている場合、ペアの2番目のシーケンスのみを切り詰めます。 - `False` または `'do_not_truncate'`（デフォルト）: トランケーションを行いません（つまり、モデルが許容する最大入力サイズを超えるシーケンス長を持つバッチを出力する可能性があります）。 max_length (`int`, *optional*) : 切り詰め/パディングパラメータのいずれかによって使用される最大長を制御します。 未設定のまま、または `None` に設定されている場合、切り詰め/パディングパラメータのいずれかが最大長を必要とする場合、事前に定義されたモデルの最大長が使用されます。 モデルに特定の最大入力長がない場合（XLNet など）、最大長への切り詰め/パディングは無効になります。 stride (`int`、*optional*、デフォルト値は 0) : `max_length` とともに数値が設定されている場合、`return_overflowing_tokens=True` のときに返されるオーバーフローしたトークンは、切り詰められたシーケンスの末尾の一部のトークンを含み、切り詰められたシーケンスとオーバーフローしたシーケンスの間に重複部分を持たせます。この引数の値は、重複するトークンの数を定義します。 is_split_into_words (`bool`、*任意*、デフォルトは `False`) : 入力がすでに事前トークン化済み（例：単語に分割済み）かどうかを示します。`True` に設定すると、トークナイザーは入力がすでに単語に分割済み（たとえば空白で分割済み）であると仮定し、それをトークン化します。これは NER やトークン分類に有用です。 pad_to_multiple_of (`int`, *optional*) : 設定すると、シーケンスを指定された値の倍数にパディングします。`padding` が有効になっている必要があります。これは、計算能力が `>= 7.5` (Volta) の NVIDIA ハードウェア上で Tensor Cores を使用可能にするために特に有用です。 padding_side (`str`, *任意*) : モデルにパディングを適用する側です。['right', 'left'] から選択する必要があります。デフォルト値は、同名のクラス属性から取得されます。 return_tensors (`str` または [TensorType](/docs/transformers/main/ja/internal/file_utils#transformers.TensorType)、*optional*) : 設定されている場合、Python の整数のリストではなくテンソルを返します。指定可能な値は以下の通りです。 - `'pt'`: PyTorch の `torch.Tensor` オブジェクトを返します。 - `'np'`: Numpy の `np.ndarray` オブジェクトを返します。 return_token_type_ids (`bool`、*省略可*) : トークンタイプIDを返すかどうか。デフォルトのままにすると、`return_outputs` 属性で定義される特定のトークナイザーのデフォルトに従って、トークンタイプIDを返します。 [トークンタイプIDとは?](../glossary#token-type-ids) return_attention_mask (`bool`、*省略可*) : アテンションマスクを返すかどうか。デフォルトのままにすると、`return_outputs` 属性で定義される特定のトークナイザーのデフォルトに従って、アテンションマスクを返します。 [アテンションマスクとは?](../glossary#attention-mask) return_overflowing_tokens (`bool`, *任意*, デフォルトは `False`) : 溢れたトークンシーケンスを返すかどうかを指定します。入力 ID のシーケンスのペア（またはペアのバッチ）が `truncation_strategy = longest_first` または `True` とともに提供された場合、溢れたトークンを返す代わりにエラーが発生します。 return_special_tokens_mask (`bool`, *任意*, デフォルトは `False`) : 特殊トークンのマスク情報を返すかどうか。 return_offsets_mapping (`bool`、*任意*、デフォルトは`False`) : 各トークンについて`(char_start, char_end)`を返すかどうか。これは[PreTrainedTokenizerFast](/docs/transformers/main/ja/main_classes/tokenizer#transformers.TokenizersBackend)を継承する fast tokenizer のみで利用可能であり、Python の tokenizer を使用している場合、このメソッドは`NotImplementedError`を送出します。 return_length (`bool`、*任意*、デフォルトは`False`) : エンコードされた入力の長さを返すかどうか。 verbose (`bool`、*任意*、デフォルトは `True`) : 詳細な情報や警告を表示するかどうか。 - ****kwargs** : `self.tokenize()` メソッドに渡されます **戻り値:** [BatchEncoding](/docs/transformers/main/ja/main_classes/tokenizer#transformers.BatchEncoding) 以下のフィールドを持つ[BatchEncoding](/docs/transformers/main/ja/main_classes/tokenizer#transformers.BatchEncoding): - **input_ids** -- モデルに渡すトークンIDのリスト。 [入力IDとは何ですか？](../glossary#input-ids) - **token_type_ids** -- モデルに渡すトークンタイプIDのリスト（`return_token_type_ids=True`の場合、または`self.model_input_names`に*"token_type_ids"*が含まれる場合）。 [トークンタイプIDとは?](../glossary#token-type-ids) - **attention_mask** -- モデルがどのトークンに注意すべきかを指定するインデックスのリスト（`return_attention_mask=True` の場合、または `self.model_input_names` に *"attention_mask"* が含まれている場合）。 [アテンションマスクとは?](../glossary#attention-mask) - **overflowing_tokens** -- 溢れ出したトークンシーケンスのリスト（`max_length`が指定され、`return_overflowing_tokens=True`の場合）。 - **num_truncated_tokens** -- トークンが切り詰められた数（`max_length`が指定され、`return_overflowing_tokens=True`の場合）。 - **special_tokens_mask** -- 0 と 1 のリスト。1 は追加された特殊トークンを、0 は通常のシーケンストークンを示します（`add_special_tokens=True` かつ `return_special_tokens_mask=True` の場合）。 - **length** -- 入力データの長さ（`return_length=True`の場合） 1 つ以上のシーケンス、または 1 つ以上のシーケンスのペアをトークナイズし、モデル用に準備するための主要なメソッドです。 ## DiaFeatureExtractor[[transformers.DiaFeatureExtractor]] #### transformers.DiaFeatureExtractor[[transformers.DiaFeatureExtractor]] ```python transformers.DiaFeatureExtractor(feature_size: int = 1, sampling_rate: int = 16000, padding_value: float = 0.0, hop_length: int = 512, **kwargs) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/dia/feature_extraction_dia.py#L26) **パラメータ:** feature_size (`int`, *optional*, デフォルトは 1) : 抽出された特徴量の次元数です。モノラルの場合は 1、ステレオの場合は 2 を指定します。 sampling_rate (`int`、*optional*、デフォルトは 16000) : 音声波形をデジタル化するためのサンプリングレート（ヘルツ (Hz) 単位）。 padding_value (`float`、*任意*、デフォルト値は 0.0) : パディングに使用される値。 hop_length (`int`、*optional*、デフォルトは 512) : 連続するウィンドウ間のオーバーラップ長。 Diaのフィーチャーエクストラクターを構築します。 このフィーチャーエクストラクターは、主要なメソッドの大部分を含む [SequenceFeatureExtractor](/docs/transformers/main/ja/main_classes/feature_extractor#transformers.SequenceFeatureExtractor) を継承しています。これらのメソッドに関する詳細については、このスーパークラスを参照してください。 #### __call__[[transformers.DiaFeatureExtractor.__call__]] ```python __call__(raw_audio: numpy.ndarray | list[float] | list[numpy.ndarray] | list[list[float]], padding: bool | str | transformers.utils.generic.PaddingStrategy | None = None, truncation: bool | None = False, max_length: int | None = None, return_tensors: str | transformers.utils.generic.TensorType | None = None, sampling_rate: int | None = None) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/dia/feature_extraction_dia.py#L57) **パラメータ:** raw_audio (`np.ndarray`、`list[float]`、`list[np.ndarray]`、`list[list[float]]`) : 処理対象のシーケンスまたはシーケンスのバッチです。各シーケンスは、NumPy 配列、浮動小数点数の値のリスト、NumPy 配列のリスト、または浮動小数点数の値のリストのリストであることができます。モノラル音声（`feature_size = 1`）の場合、NumPy 配列の形状は `(num_samples,)` である必要があります。ステレオ音声（`feature_size = 2`）の場合、形状は `(2, num_samples)` である必要があります。 padding (`bool`、`str`または[PaddingStrategy](/docs/transformers/main/ja/internal/file_utils#transformers.utils.PaddingStrategy)、*省略可能*、デフォルトは`True`) : 返されるシーケンスのパディング戦略を選択します（モデルのパディング側とパディングインデックスに従います）。選択肢は以下の通りです。 - `True`または`'longest'`: バッチ内の最も長いシーケンスまでパディングします（単一のシーケンスのみが提供された場合は、パディングを行いません）。 - `'max_length'`: 引数`max_length`で指定された最大長までパディングします。この引数が指定されていない場合は、モデルが受け入れ可能な最大入力長までパディングします。 - `False`または`'do_not_pad'`（デフォルト）: パディングを行いません（つまり、長さが異なるシーケンスのバッチを出力できます）。 truncation (`bool`、*任意*、デフォルトは`False`) : 入力シーケンスの切り詰めを有効にし、`max_length` を超える長さを`max_length` に切り詰めます。 max_length (`int`, *optional*) : 返されるリストの最大長、および必要に応じてパディング長（上記を参照）。 return_tensors (`str` または [TensorType](/docs/transformers/main/ja/internal/file_utils#transformers.TensorType)、*optional*、デフォルトは 'pt') : 設定されている場合、Python の整数のリストではなくテンソルを返します。指定可能な値は以下の通りです: - `'pt'`: PyTorch の `torch.Tensor` オブジェクトを返します。 - `'np'`: Numpy の `np.ndarray` オブジェクトを返します。 sampling_rate (`int`, *任意*) : `audio` 入力がサンプリングされたレートです。サイレントエラーを防ぐため、forward 呼び出し時に `sampling_rate` を渡すことを強く推奨します。 1つ以上のシーケンスを特徴量化し、モデル用に準備するための主要なメソッド。 ## DiaProcessor[[transformers.DiaProcessor]] #### transformers.DiaProcessor[[transformers.DiaProcessor]] ```python transformers.DiaProcessor(feature_extractor, tokenizer, audio_tokenizer) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/dia/processing_dia.py#L84) **パラメータ:** feature_extractor (`DiaFeatureExtractor`) : 特徴量抽出器は必須の入力です。 tokenizer (`DiaTokenizer`) : トークナイザーは必須の入力です。 audio_tokenizer (`DacModel`) : [DacModel](/docs/transformers/main/ja/model_doc/dac#transformers.DacModel) のインスタンス。オーディオをコードブックにエンコード/デコードするために使用します。必須の入力です。 feature extractorとtokenizerを単一のプロセッサーにラップするDiaProcessorを構築します。 [DiaProcessor](/docs/transformers/main/ja/model_doc/dia#transformers.DiaProcessor) は、[DiaFeatureExtractor](/docs/transformers/main/ja/model_doc/dia#transformers.DiaFeatureExtractor) と [DiaTokenizer](/docs/transformers/main/ja/model_doc/dia#transformers.DiaTokenizer) のすべての機能を提供します。詳細については、[~DiaFeatureExtractor](/docs/transformers/main/ja/model_doc/dia#transformers.DiaFeatureExtractor) および [~DiaTokenizer](/docs/transformers/main/ja/model_doc/dia#transformers.DiaTokenizer) を参照してください。 #### __call__[[transformers.DiaProcessor.__call__]] ```python __call__(text: str | list[str], audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor'], NoneType] = None, output_labels: bool | None = False, **kwargs: *) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/dia/processing_dia.py#L144) **パラメータ:** text (`Union[str, list[str]]`) : エンコード対象のシーケンス、またはシーケンスのバッチです。各シーケンスは文字列、または文字列のリスト（プレトークナイズ済み文字列）であることができます。プレトークナイズ済み入力を渡す場合は、バッチ入力との曖昧さを避けるために`is_split_into_words=True`を設定してください。 audio (`Union[numpy.ndarray, torch.Tensor, collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence[torch.Tensor]]`, *任意*) : 準備対象のオーディオまたはオーディオのバッチです。各オーディオは NumPy 配列または PyTorch テンソルであることができます。NumPy 配列/PyTorch テンソルの場合、各オーディオの形状は (C, T) である必要があります。ここで C はチャネル数、T はオーディオのサンプル長を表します。 output_labels (`bool`、*任意*、デフォルトは `False`) : 学習用のラベルを返すかどうかを指定します。`True` の場合、プロセッサはデコーダー入力シーケンスを1ポジションずらしてラベルを生成します。ラベルには特殊な値が使用されます。`-100` は損失計算で無視するトークン（パディングおよび BOS トークン）に、`-101` はバックボーンモデルにのみ使用されるオーディオフレームに割り当てられます（`depth_decoder_labels_ratio < 1.0` の場合）。`generation=True` と同時に使用することはできません。 bos_token_id (`int`, *kwargs*, *optional*, デフォルトは `1026`) : 音声コードブックのシーケンス開始トークンとして使用されるトークン ID です。エンコード時に、各音声シーケンスの先頭に付加されます。 eos_token_id (`int`, *kwargs*, *optional*, デフォルトは `1024`) : 音声コードブックのシーケンス終了トークンとして使用されるトークン ID です。このトークンは、学習中（`generation=False` の場合）に音声シーケンスの末尾に追加され、音声の終了を示します。 pad_token_id (`int`, *kwargs*, *optional*, デフォルトは `1025`) : 音声コードブックシーケンスのパディングに使用されるトークンIDです。このトークンは、delay pattern内で有効な音声トークンが存在しない位置を埋めるために使用されます。 delay_pattern (`list[int]`, *kwargs*, *任意*、デフォルトは `[0, 8, 9, 10, 11, 12, 13, 14, 15]`) : 各 codebook チャネルに対する遅延値（フレーム単位）のリストです。この遅延パターンにより、異なる codebook チャネル間に時間的なオフセットが作成され、モデルがチャネル間の依存関係を捉えることが可能になります。各値は、該当するチャネルを遅延させるフレーム数を表します。 generation (`bool`, *kwargs*, *optional*, デフォルトは `True`) : プロセッサが生成（テキストから音声への変換）に使用されるか、トレーニングに使用されるかを指定します。`True` の場合、テキストから音声が生成される生成モード用の入力を準備します。`False` の場合、テキストと音声が両方与えられるトレーニング用の入力を準備します。 return_tensors (`str` または [TensorType](/docs/transformers/main/ja/internal/file_utils#transformers.TensorType)、*optional*) : 設定されている場合、特定のフレームワークのテンソルを返します。受け入れ可能な値は以下の通りです: - `'pt'`: PyTorch の `torch.Tensor` オブジェクトを返します。 - `'np'`: NumPy の `np.ndarray` オブジェクトを返します。 - ****kwargs** ([ProcessingKwargs](/docs/transformers/main/ja/main_classes/processors#transformers.ProcessingKwargs), *optional*) : 各モダリティ（テキスト、画像、動画、音声）の追加処理オプション。モデル固有のパラメータは上記にリストされています。サポートされている引数の完全なリストについては、TypedDict クラスを参照してください。 #### batch_decode[[transformers.DiaProcessor.batch_decode]] ```python batch_decode(decoder_input_ids: torch.Tensor, audio_prompt_len: int | None = None, **kwargs: *) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/dia/processing_dia.py#L247) **パラメータ:** decoder_input_ids (`torch.Tensor`) : デコーダーの完全な出力シーケンス。 audio_prompt_len (`int`) : 音声プレフィックスの長さ（例：ボイスクローニングを使用する場合）。 `audio_tokenizer` を介して、オーディオコードブックシーケンスのバッチをそれぞれに対応するオーディオ波形にデコードします。詳細については、[decode()](/docs/transformers/main/ja/model_doc/dac#transformers.DacModel.decode) を参照してください。 #### decode[[transformers.DiaProcessor.decode]] ```python decode(decoder_input_ids: torch.Tensor, audio_prompt_len: int | None = None, **kwargs: *) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/dia/processing_dia.py#L318) `audio_tokenizer` を介して、単一のオーディオコードブックのシーケンスを対応するオーディオ波形にデコードします。詳細については、[decode()](/docs/transformers/main/ja/model_doc/dac#transformers.DacModel.decode) および [batch_decode()](/docs/transformers/main/ja/model_doc/dia#transformers.DiaProcessor.batch_decode) を参照してください。 ## DiaModel[[transformers.DiaModel]] #### transformers.DiaModel[[transformers.DiaModel]] ```python transformers.DiaModel(config: DiaConfig) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/dia/modeling_dia.py#L640) **パラメータ:** config ([DiaConfig](/docs/transformers/main/ja/model_doc/dia#transformers.DiaConfig)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連付けられた重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。 特定のヘッドを上に載せずに、生のhidden-statesを出力する素のDiaモデル。 このモデルは [PreTrainedModel](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。 このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。 #### forward[[transformers.DiaModel.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, decoder_input_ids: typing.Optional[torch.LongTensor] = None, decoder_position_ids: typing.Optional[torch.LongTensor] = None, decoder_attention_mask: typing.Optional[torch.LongTensor] = None, encoder_outputs: transformers.modeling_outputs.BaseModelOutput | tuple | None = None, past_key_values: transformers.cache_utils.EncoderDecoderCache | None = None, use_cache: bool | None = None, **kwargs) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/dia/modeling_dia.py#L648) **パラメータ:** input_ids (`torch.LongTensor`、shape `(batch_size, sequence_length)`、*任意*) : 語彙における入力シーケンスのトークンインデックスです。デフォルトでは、パディングは無視されます。インデックスは [AutoTokenizer](/docs/transformers/main/ja/model_doc/auto#transformers.AutoTokenizer) を使用して取得できます。詳細については、[PreTrainedTokenizer.encode()](/docs/transformers/main/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [PreTrainedTokenizer.__call__()](/docs/transformers/main/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。 [入力IDとは何ですか？](../glossary#input-ids) attention_mask (`torch.LongTensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンインデックスに対する attention を行わないためのマスク。`[0, 1]` から選択されるマスク値: - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。 [attention マスクとは?](../glossary#attention-mask) decoder_input_ids (`torch.LongTensor`、shape `(batch_size * num_codebooks, target_sequence_length) -- or (batch_size, target_sequence_length, num_codebooks)`, *optional*) : 1. (batch_size * num_codebooks, target_sequence_length): corresponds to the general use case where the audio input codebooks are flattened into the batch dimension. This also aligns with the flat- tened audio logits which are used to calculate the loss. 2. (batch_size, sequence_length, num_codebooks): corresponds to the internally used shape of Dia to calculate embeddings and subsequent steps more efficiently. If no `decoder_input_ids` are provided, it will create a tensor of `bos_token_id` with shape `(batch_size, 1, num_codebooks)`. Indices can be obtained using the [DiaProcessor](/docs/transformers/main/ja/model_doc/dia#transformers.DiaProcessor). See [DiaProcessor.__call__()](/docs/transformers/main/ja/model_doc/dia#transformers.DiaProcessor.__call__) for more details. [What are decoder input IDs?](../glossary#decoder-input-ids) decoder_position_ids (`torch.LongTensor`、shape `(batch_size, target_sequence_length)`) : 各入力シーケンスのトークンが位置埋め込み内で占める位置のインデックス。`config.decoder_config.max_position_embeddings` までの位置埋め込みを計算するために使用されます。[位置 ID とは何か？](../glossary#position-ids) decoder_attention_mask (`torch.LongTensor`、shape `(batch_size, target_sequence_length)`、*optional*) : 特定のトークンインデックスに対するアテンションの実行を回避するためのマスク。デフォルトでは、モデルが未来を予測する際に過去の入力のみを参照できるようにするため、causal mask が使用されます。 encoder_outputs (`Union[~modeling_outputs.BaseModelOutput, tuple]`、*任意*) : (`last_hidden_state`、*任意*: `hidden_states`、*任意*: `attentions`) の `last_hidden_state` は、形状が `(batch_size, sequence_length, hidden_size)` の *任意* の要素からなるタプルです。これはエンコーダーの最終層の出力における隠れ状態のシーケンスであり、デコーダーのクロスアテンションで使用されます。 past_key_values (`~cache_utils.EncoderDecoderCache`、*任意*) : 逐次デコードを高速化するために使用できる、事前計算された隠れ状態（自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー）です。通常、`use_cache=True` または `config.use_cache=True` の場合、デコードの以前の段階でモデルが返した `past_key_values` で構成されます。入力として許可されるのは [Cache](/docs/transformers/main/ja/internal/generation_utils#transformers.Cache) インスタンスのみです。[kv cache ガイド](https://huggingface.co/docs/transformers/en/kv_cache) を参照してください。`past_key_values` が渡されない場合、デフォルトで [DynamicCache](/docs/transformers/main/ja/internal/generation_utils#transformers.DynamicCache) が初期化されます。モデルは、入力として与えられたのと同じキャッシュ形式を出力します。`past_key_values` を使用する場合は、すべての `input_ids`（形状 `(batch_size, sequence_length)`）の代わりに、このモデルに過去のキーバリュー状態が与えられていない未処理の `input_ids`（形状 `(batch_size, unprocessed_length)`）のみを入力することが期待されます。 use_cache (`bool`, *任意*) : `True`に設定すると、`past_key_values`のキーバリュー状態が返され、デコーディングの高速化に利用できます（`past_key_values`を参照）。 **戻り値:** [Seq2SeqModelOutput](/docs/transformers/main/ja/main_classes/output#transformers.modeling_outputs.Seq2SeqModelOutput) または `tuple(torch.Tensor)` 設定(`None`)や入力に応じて、さまざまな要素で構成される、[Seq2SeqModelOutput](/docs/transformers/main/ja/main_classes/output#transformers.modeling_outputs.Seq2SeqModelOutput)または`torch.Tensor`のタプル(`return_dict=False`が渡された場合、または`config.return_dict=False`の場合)。 [DiaModel](/docs/transformers/main/ja/model_doc/dia#transformers.DiaModel)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。 この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。 - **last_hidden_state** (`torch.Tensor`、形状 `(batch_size, sequence_length, hidden_size)`) -- モデルのデコーダーの最終層の出力における、隠れ状態のシーケンスです。 `past_key_values`が使用されている場合、出力されるのは、形状`(batch_size, 1, hidden_size)`のシーケンスの最後の隠れ状態のみです。 - **past_key_values** (`EncoderDecoderCache`、*任意*、`use_cache=True` が渡された場合または `config.use_cache=True` の場合に返されます) -- [EncoderDecoderCache](/docs/transformers/main/ja/internal/generation_utils#transformers.EncoderDecoderCache) のインスタンスです。詳細については、[kv cache ガイド](https://huggingface.co/docs/transformers/en/kv_cache)を参照してください。 逐次デコーディングを高速化するために使用できる（`past_key_values` 入力参照）、事前計算済みの隠れ状態（自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー）が含まれます。 - **decoder_hidden_states** (`tuple(torch.Tensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。 各層の出力におけるデコーダーのHidden-states、および任意の初期埋め込み出力。 - **decoder_attentions** (`tuple(torch.Tensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。 自己アテンションヘッドにおける加重平均を計算するために使用される、アテンションのsoftmax後のデコーダーのアテンション重み。 - **cross_attentions** (`tuple(torch.Tensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。 クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。 - **encoder_last_hidden_state** (`torch.Tensor`、形状 `(batch_size, sequence_length, hidden_size)`、*任意*) -- モデルのエンコーダーの最終層の出力における隠れ状態のシーケンス。 - **encoder_hidden_states** (`tuple(torch.Tensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。 各層の出力におけるエンコーダーのHidden-states、および任意の初期埋め込み出力。 - **encoder_attentions** (`tuple(torch.Tensor)`、*任意*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- 各レイヤーごとに 1 つの `torch.Tensor` からなるタプルで、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。 アテンションのsoftmaxを適用した後のエンコーダーのアテンション重み。自己アテンションヘッドにおける加重平均の計算に使用されます。 ## DiaForConditionalGeneration[[transformers.DiaForConditionalGeneration]] #### transformers.DiaForConditionalGeneration[[transformers.DiaForConditionalGeneration]] ```python transformers.DiaForConditionalGeneration(config: DiaConfig) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/dia/modeling_dia.py#L751) **パラメータ:** config ([DiaConfig](/docs/transformers/main/ja/model_doc/dia#transformers.DiaConfig)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連付けられた重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。 予測ヘッドを備えた(byte)テキストエンコーダーとオーディオデコーダーから構成されるDiaモデル。 このモデルは [PreTrainedModel](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。 このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。 #### forward[[transformers.DiaForConditionalGeneration.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, decoder_input_ids: typing.Optional[torch.LongTensor] = None, decoder_position_ids: typing.Optional[torch.LongTensor] = None, decoder_attention_mask: typing.Optional[torch.LongTensor] = None, encoder_outputs: transformers.modeling_outputs.BaseModelOutput | tuple | None = None, past_key_values: transformers.cache_utils.EncoderDecoderCache | None = None, use_cache: bool | None = None, labels: typing.Optional[torch.LongTensor] = None, **kwargs) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/dia/modeling_dia.py#L770) **パラメータ:** input_ids (`torch.LongTensor`、shape `(batch_size, sequence_length)`、*任意*) : 語彙における入力シーケンスのトークンインデックスです。デフォルトでは、パディングは無視されます。インデックスは [AutoTokenizer](/docs/transformers/main/ja/model_doc/auto#transformers.AutoTokenizer) を使用して取得できます。詳細については、[PreTrainedTokenizer.encode()](/docs/transformers/main/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [PreTrainedTokenizer.__call__()](/docs/transformers/main/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。 [入力IDとは何ですか？](../glossary#input-ids) attention_mask (`torch.LongTensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンインデックスに対する attention を行わないためのマスク。`[0, 1]` から選択されるマスク値: - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。 [attention マスクとは?](../glossary#attention-mask) decoder_input_ids (`torch.LongTensor`、shape `(batch_size * num_codebooks, target_sequence_length) -- or (batch_size, target_sequence_length, num_codebooks)`, *optional*) : 1. (batch_size * num_codebooks, target_sequence_length): corresponds to the general use case where the audio input codebooks are flattened into the batch dimension. This also aligns with the flat- tened audio logits which are used to calculate the loss. 2. (batch_size, sequence_length, num_codebooks): corresponds to the internally used shape of Dia to calculate embeddings and subsequent steps more efficiently. If no `decoder_input_ids` are provided, it will create a tensor of `bos_token_id` with shape `(batch_size, 1, num_codebooks)`. Indices can be obtained using the [DiaProcessor](/docs/transformers/main/ja/model_doc/dia#transformers.DiaProcessor). See [DiaProcessor.__call__()](/docs/transformers/main/ja/model_doc/dia#transformers.DiaProcessor.__call__) for more details. [What are decoder input IDs?](../glossary#decoder-input-ids) decoder_position_ids (`torch.LongTensor`、shape `(batch_size, target_sequence_length)`) : 各入力シーケンスのトークンが位置埋め込み内で占める位置のインデックス。`config.decoder_config.max_position_embeddings` までの位置埋め込みを計算するために使用されます。[位置 ID とは何か？](../glossary#position-ids) decoder_attention_mask (`torch.LongTensor`、shape `(batch_size, target_sequence_length)`、*optional*) : 特定のトークンインデックスに対するアテンションの実行を回避するためのマスク。デフォルトでは、モデルが未来を予測する際に過去の入力のみを参照できるようにするため、causal mask が使用されます。 encoder_outputs (`Union[~modeling_outputs.BaseModelOutput, tuple]`、*任意*) : (`last_hidden_state`、*任意*: `hidden_states`、*任意*: `attentions`) の `last_hidden_state` は、形状が `(batch_size, sequence_length, hidden_size)` の *任意* の要素からなるタプルです。これはエンコーダーの最終層の出力における隠れ状態のシーケンスであり、デコーダーのクロスアテンションで使用されます。 past_key_values (`~cache_utils.EncoderDecoderCache`、*任意*) : 逐次デコードを高速化するために使用できる、事前計算された隠れ状態（自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー）です。通常、`use_cache=True` または `config.use_cache=True` の場合、デコードの以前の段階でモデルが返した `past_key_values` で構成されます。入力として許可されるのは [Cache](/docs/transformers/main/ja/internal/generation_utils#transformers.Cache) インスタンスのみです。[kv cache ガイド](https://huggingface.co/docs/transformers/en/kv_cache) を参照してください。`past_key_values` が渡されない場合、デフォルトで [DynamicCache](/docs/transformers/main/ja/internal/generation_utils#transformers.DynamicCache) が初期化されます。モデルは、入力として与えられたのと同じキャッシュ形式を出力します。`past_key_values` を使用する場合は、すべての `input_ids`（形状 `(batch_size, sequence_length)`）の代わりに、このモデルに過去のキーバリュー状態が与えられていない未処理の `input_ids`（形状 `(batch_size, unprocessed_length)`）のみを入力することが期待されます。 use_cache (`bool`, *任意*) : `True`に設定すると、`past_key_values`のキーバリュー状態が返され、デコーディングの高速化に利用できます（`past_key_values`を参照）。 labels (`torch.LongTensor`、shape `(batch_size * num_codebooks,)`、*optional*) : マスク付き言語モデリング損失を計算するためのラベル。インデックスは `[0, ..., config.decoder_config.vocab_size - 1]` の範囲内であるか、-100 である必要があります。インデックスが `-100` に設定されたトークンは無視（マスク）されます。 **戻り値:** [Seq2SeqLMOutput](/docs/transformers/main/ja/main_classes/output#transformers.modeling_outputs.Seq2SeqLMOutput) または `tuple(torch.Tensor)` 設定（`None`）や入力に応じて、さまざまな要素で構成される、[Seq2SeqLMOutput](/docs/transformers/main/ja/main_classes/output#transformers.modeling_outputs.Seq2SeqLMOutput) または `torch.Tensor` のタプル（`return_dict=False` が渡された場合、または `config.return_dict=False` の場合）。 [DiaForConditionalGeneration](/docs/transformers/main/ja/model_doc/dia#transformers.DiaForConditionalGeneration)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。 この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。 - **loss** (`torch.Tensor`、形状 `(1,)`、*任意*、`labels` が指定された場合に返されます) -- 言語モデリングの損失。 - **logits** (`torch.Tensor`、形状 `(batch_size, sequence_length, config.vocab_size)`) -- 言語モデリングヘッドの予測スコア（SoftMax 適用前の各語彙トークンのスコア）。 - **past_key_values** (`EncoderDecoderCache`、*任意*、`use_cache=True` が渡された場合または `config.use_cache=True` の場合に返されます) -- [EncoderDecoderCache](/docs/transformers/main/ja/internal/generation_utils#transformers.EncoderDecoderCache) のインスタンスです。詳細については、[kv cache ガイド](https://huggingface.co/docs/transformers/en/kv_cache)を参照してください。 逐次デコーディングを高速化するために使用できる（`past_key_values` 入力参照）、事前計算済みの隠れ状態（自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー）が含まれます。 - **decoder_hidden_states** (`tuple(torch.Tensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。 各層の出力および初期埋め込み出力における、デコーダーの隠れ状態。 - **decoder_attentions** (`tuple(torch.Tensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。 自己アテンションヘッドにおける加重平均を計算するために使用される、アテンションのsoftmax後のデコーダーのアテンション重み。 - **cross_attentions** (`tuple(torch.Tensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。 クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。 - **encoder_last_hidden_state** (`torch.Tensor`、形状 `(batch_size, sequence_length, hidden_size)`、*任意*) -- モデルのエンコーダーの最終層の出力における隠れ状態のシーケンス。 - **encoder_hidden_states** (`tuple(torch.Tensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。 各層の出力および初期埋め込み出力におけるエンコーダーの隠れ状態。 - **encoder_attentions** (`tuple(torch.Tensor)`、*任意*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- 各レイヤーごとに 1 つの `torch.Tensor` からなるタプルで、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。 アテンションのsoftmaxを適用した後のエンコーダーのアテンション重み。自己アテンションヘッドにおける加重平均の計算に使用されます。 #### generate[[transformers.DiaForConditionalGeneration.generate]] ```python generate(inputs: typing.Optional[torch.Tensor] = None, generation_config: transformers.generation.configuration_utils.GenerationConfig | None = None, logits_processor: transformers.generation.logits_process.LogitsProcessorList | None = None, stopping_criteria: transformers.generation.stopping_criteria.StoppingCriteriaList | None = None, prefix_allowed_tokens_fn: collections.abc.Callable[[int, torch.Tensor], list[int]] | None = None, synced_gpus: bool | None = None, assistant_model: typing.Optional[ForwardRef('PreTrainedModel')] = None, streamer: typing.Optional[ForwardRef('BaseStreamer')] = None, negative_prompt_ids: typing.Optional[torch.Tensor] = None, negative_prompt_attention_mask: typing.Optional[torch.Tensor] = None, custom_generate: str | None = None, **kwargs) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/dia/generation_dia.py#L416)