diffusers/main/ja/api/models/pan2_transformer3d.md

PAN2Transformer3DModel

PAN 2 の拡散トランスフォーマーです。動画トークンとテキストトークンに対して結合アテンションを実行し、各ストリーム用に個別の射影とフィードフォワードネットワークを備えています。

動画入力は、ノイズ付き潜在変数、条件付け潜在変数、および1チャネルの条件付けマスクをスタックするため、同じモデルがテキストから動画への変換と画像から動画への変換の両方をサポートします。

import torch
from diffusers import PAN2Transformer3DModel

transformer = PAN2Transformer3DModel.from_pretrained("IFM/PAN2", subfolder="transformer", dtype=torch.bfloat16)

PAN2Transformer3DModel[[diffusers.PAN2Transformer3DModel]]

diffusers.PAN2Transformer3DModel[[diffusers.PAN2Transformer3DModel]]

diffusers.PAN2Transformer3DModel(patch_size: tuple[int, int, int] = (1, 2, 2), in_channels: int = 97, out_channels: int = 48, num_attention_heads: int = 32, attention_head_dim: int = 128, num_layers: int = 44, num_refiner_layers: int = 4, mlp_ratio: float = 8.0, context_mlp_ratio: float = 4.0, refiner_mlp_ratio: float = 4.0, text_embed_dim: int = 4096, rope_axes_dim: tuple[int, int, int] = (16, 56, 56), rope_theta: float = 256.0, rope_temporal_scale: float = 0.6666666666666666)

ソース

パラメータ:

patch_size (tuple[int, int, int]、デフォルトは(1, 2, 2)) : パッチ埋め込みの(t, h, w)パッチサイズ。

in_channels (int、デフォルトは97) : 入力チャネル数です。ノイジー・ラテンツ、条件付けラテンツ、および1つの条件付けマスクチャネルを含みます。

out_channels (int、デフォルトは48) : 出力チャネル数。

num_attention_heads (int、デフォルトは32) : アテンションヘッドの数。

attention_head_dim (int、デフォルトは128) : 各アテンションヘッドのチャネル数。

num_layers (int、デフォルトは44) : joint-attentionブロックの数。

num_refiner_layers (int、デフォルトは4) : テキスト埋め込みに適用されるトークンリファイナーブロックの数。

mlp_ratio (float、デフォルトは8.0) : 動画フィードフォワードの内部次元と隠れ次元の比率。

context_mlp_ratio (float、デフォルトは4.0) : テキストのフィードフォワード内部次元と隠れ次元の比率です。

refiner_mlp_ratio (float、デフォルトは4.0) : トークンリファイナーのフィードフォワード内部次元と隠れ次元の比率。

text_embed_dim (int、デフォルトは4096) : テキストエンコーダーの隠れ状態の次元数。

rope_axes_dim (tuple[int, int, int]、デフォルトは(16, 56, 56)) : 回転埋め込みにおける各(t, h, w)軸のチャネル数。

rope_theta (float、デフォルトは256.0) : 回転埋め込みの基数です。

rope_temporal_scale (float、デフォルトは16 / 24) : 回転埋め込みのフレーム位置に掛けられる係数です。回転埋め込みの基準フレームレートと動画のフレームレートの比（16 fps 対 24 fps）です。

PAN 2の拡散トランスフォーマー。

パッチ化された動画の潜在変数と洗練されたテキストトークンの連結に対して、ジョイントアテンションブロックのスタックを適用します。動画の入力は、ノイズ付き潜在変数、条件付け潜在変数、および条件付けマスクをチャネル軸方向にスタックしたものであり、これにより同じモデルがテキストから動画への変換と画像から動画への変換の両方をサポートします。

forward[[diffusers.PAN2Transformer3DModel.forward]]

forward(hidden_states: Tensor, timestep: Tensor, encoder_hidden_states: Tensor, attention_kwargs: dict[str, typing.Any] | None = None, return_dict: bool = True)

ソース

パラメータ:

hidden_states (torch.Tensor、形状 (batch_size, in_channels, num_frames, height, width)) : ノイジーな潜在変数、条件付け用の潜在変数、および条件付け用のマスクを、チャネル方向に連結したもの。

timestep (torch.Tensor、shape (batch_size,)) : [0, 1000] におけるノイズ除去タイムステップ。

encoder_hidden_states (torch.Tensor、形状 (batch_size, text_seq_len, text_embed_dim)) : テキストエンコーダーの隠れ状態です。

attention_kwargs (dict, 任意) : AttentionProcessorに渡されるkwargs辞書。LoRAスケールにのみ使用されます。

return_dict (bool、任意、デフォルトはTrue) : プレーンなタプルではなく、Transformer2DModelOutputを返すかどうか。

戻り値: Transformer2DModelOutput または tuple

形状(batch_size, out_channels, num_frames, height, width)の予測速度。

PAN2Transformer3DModelのforwardメソッド。