パラメータ

• flow_head_config (Union[GradiumPhononTTSFlowHeadConfig, dict], 任意) — バックボーンの隠れ状態から各潜在変数をサンプリングするフローヘッドの設定です。
• vocab_size (int、任意、デフォルトは 4001) — モデルの語彙サイズ。input_ids で表現できるトークンの種類数を定義します。
• hidden_size (int、任意、デフォルトは 768) — 隠れ表現の次元数。
• num_hidden_layers (int、任意、デフォルトは 6) — Transformer デコーダーの隠れ層の数。
• num_attention_heads (int、任意、デフォルトは12) — Transformerデコーダーの各アテンション層におけるアテンションヘッドの数。
• num_key_value_heads (int, 任意) — Grouped Query Attention を実装するために使用する key_value ヘッドの数です。 num_key_value_heads=num_attention_heads の場合、モデルは Multi Head Attention (MHA) を使用し、 num_key_value_heads=1 の場合は Multi Query Attention (MQA) を使用し、それ以外の場合は GQA が使用されます。 マルチヘッドのチェックポイントを GQA チェックポイントに変換する際は、各グループの key ヘッドと value ヘッドは、そのグループ内の元のすべてのヘッドを平均プーリングして構築する必要があります。詳細については、この論文を参照してください。指定されない場合、デフォルトで num_attention_heads が使用されます。
• head_dim (int、省略可) — アテンションヘッドの次元です。None の場合、hidden_size // num_attention_heads がデフォルトとして使用されます。
• intermediate_size (int、任意、デフォルトは3072) — MLP 表現の次元数。
• hidden_act (str、任意、デフォルトは gelu) — デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、"gelu"、 "relu"、"silu" など。
• layer_norm_eps (float、任意、デフォルトは 1e-05) — バックボーンのレイヤーノーマライゼーションの epsilon。
• attention_bias (bool、任意、デフォルトはFalse) — 自己注意機構において、クエリ、キー、バリュー、出力の投影層にバイアスを使用するかどうかを指定します。
• attention_dropout (float、任意、デフォルトは 0.0) — アテンション確率のドロップアウト率です。
• max_position_embeddings (int、任意、デフォルトは 8192) — このモデルが使用される可能性のある最大シーケンス長です。
• rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], 省略可) — RoPE 埋め込みの設定パラメータを含む辞書です。この辞書には rope_theta の値が含まれており、より長い max_position_embeddings で RoPE を使用する場合にスケーリングに使用されるパラメータが任意で含まれます。
• latent_dim (int、任意、デフォルト値は 32)— バックボーンが入力として受け取るオーディオ潜在変数の次元数(audio_latents)。flow head とオーディオ tokenizer の latent_dim と等しい。
• pad_token_id (int、任意、デフォルトは 3) — 語彙内でパディングに使用されるトークン ID。
• bos_token_id (int, 省略可) — 語彙におけるストリーム開始に使用されるトークン ID。
• eos_token_id (int, 省略可) — 語彙内でストリーム終了に使用されるトークン ID。
• audio_prompt_token_id (int、任意、デフォルト値は 5)— input_ids 内の音声プロンプトフレームのプレースホルダトークン ID (<|audio_prompt|>)。
• audio_latent_token_id (int, 任意、デフォルト値は 6) — input_ids におけるオーディオ潜在位置のプレースホルダトークン ID (<|audio_latent|>)。
• audio_bos_token_id (int、任意、デフォルト値は 4)— 最初の音声位置のトークン ID。プロンプトを閉じるために使用され、学習済みの BOS 潜在変数を保持し、そこから最初のフレームが生成されます(<|audio_bos|>)。
• frame_rate (float、任意、デフォルト値は 12.5)— 1 秒あたりのオーディオの潜在変数（latents）の数です。generate は、この値からデフォルトのフレーム予算を導出します。
• initializer_range (float、任意、デフォルトは 0.02) — すべての重み行列を初期化するための truncated_normal_initializer の標準偏差です。
• use_cache (bool、任意、デフォルトは True) — モデルが最後のキー/バリューの注意を返すかどうか（すべてのモデルで利用されるわけではありません）。config.is_decoder=True の場合、またはモデルがデコーダー専用の生成モデルである場合にのみ関連します。
• eos_loss_weight (float、任意、デフォルト値は 0.1) — 学習損失における発話終了損失の重み。
• flow_loss_num_samples (int、任意、デフォルト値は 4) — フロー損失におけるターゲットフレームごとのノイズサンプリング回数。
• lsd_distill_probability (float、任意、デフォルト値 0.25) — LSD ロスの自己蒸留項を計算する確率（期待損失を一定に保つため、重み付けが適用されます）。1 を指定すると、すべてのステップで計算されます。
• lsd_diagonal_weight (float、任意、デフォルト値は 0.75) — LSD ロスの対角項（瞬間フロー項）の重み。自己蒸留項が残り（1 - 0.75）の重みを担います。
• lsd_time_logit_mean (float、任意、デフォルト値は 0.4) — LSD ロスによってサンプリングされるフロー時間のロジット正規分布の平均値です。
• lsd_time_logit_std (float、任意、デフォルト値は 1.0)— LSD ロスによってサンプリングされるフロー時間のロジット正規分布の標準偏差です。
• latent_stats_ema_steps (int、任意、デフォルト値は 1000)— latent_mean と latent_std が、ターゲットの潜在変数に対する指数移動平均に従う最初の学習ステップ数です。0 に設定すると、これらは固定されます。
• latent_stats_ema_decay (float、任意、デフォルト値は 0.999) — この移動平均の減衰率です。
• audio_prompt_dim (int、任意、デフォルト値は 512) — 音声プロンプトの潜在変数 (audio_prompt_latents) の次元です。これは Gradium のスピーカーコーデック（Mimi エンコーダーであり、オーディオ トークナイザーのものではない）の量子化されていない潜在変数であり、バックボーンによって hidden_size に射影されます。
• num_speakers (int、省略可、デフォルト値は 1) — num_speakers 条件の値です。これは、すべてのオーディオ潜在位置に追加されるルックアップテーブルの行です。
• num_speakers_vocab_size (int、任意、デフォルトは 32) — num_speakersルックアップテーブルの行数。
• num_speakers_embedding_dim (int、任意、デフォルトは 16) — num_speakers のルックアップテーブルの幅。これは hidden_size に射影されます。
• duration_delta (float、任意、デフォルトは 0.0) — duration_delta 条件の値です。正弦波埋め込みとしてエンコードされ、すべてのオーディオ潜在位置に追加されます。
• duration_delta_embedding_dim (int、任意、デフォルトは 128)— duration_delta の正弦波埋め込みのサイズで、hidden_size に射影されます。
• duration_delta_scale (float、任意、デフォルト値は 1000.0) — duration_delta のサイン波埋め込みを適用する前に乗算される係数。
• duration_delta_max_period (float、任意、デフォルト値は 10000.0) — duration_delta の正弦波埋め込みの最大周期です。

パラメータ

• hidden_size (int、任意、デフォルトは 512) — 隠れ表現の次元数。
• num_hidden_layers (int、任意、デフォルトは 6) — Transformer デコーダーの隠れ層の数。
• latent_dim (int、任意、デフォルトは 32) — ヘッドが予測する連続オーディオ潜在変数の次元（オーディオトークナイザーの潜在次元）。
• condition_dim (int、任意、デフォルトは 768) — ヘッドが条件付けられるバックボーンの隠れ状態の次元数（バックボーンの hidden_size）。
• frequency_embedding_size (int、任意、デフォルト値は 256) — フロー時間の正弦波埋め込みのサイズです。
• hidden_act (str、任意、デフォルトは silu) — デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、"gelu"、 "relu"、"silu" など。
• layer_norm_eps (float、任意、デフォルトは 1e-06) — 残差ブロック内および最終層の層正規化における Epsilon 値。
• rms_norm_eps (float, 任意、デフォルト値は 1e-05) — 時間埋め込みを閉じる正規化の epsilon。
• max_period (float、任意、デフォルト値は 10000.0) — チェックポイントがfreqsとして保存する、正弦波時間埋め込みの最大周期です。
• flow_type (str、任意、デフォルトは "lsd") — ヘッドが学習された目的であり、条件付けとサンプリングの方式を決定します。 "lsd"（Lagrangian self-distillation）: フローステップの開始時刻と終了時刻で条件付けられ、ガウスノイズから Euler ステップでサンプリングされます。 "drifting": 時刻による条件付けはなく、ヘッドが 1 回の呼び出しでノイズを潜在変数にマッピングします。
• loss_weighting_hidden_size (int, 任意、デフォルト値は 32) — LSD の損失項のフロータイムから不確実性重みを学習するための MLP の幅（学習時のみ使用）。
• loss_weighting_num_layers (int、任意、デフォルト値は 3) — その MLP の隠れ層の数です。

パラメータ

• config (GradiumPhononTTSConfig) — モデルのすべてのパラメータを含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連付けられた重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

パラメータ

• config (GradiumPhononTTSConfig) — モデルのすべてのパラメータを含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連付けられた重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。