diffusers/main/ja/api/models/latte_transformer3d.md

LatteTransformer3DModel

Latteの3Dデータ向けのDiffusion Transformerモデルです。

LatteTransformer3DModel[[diffusers.LatteTransformer3DModel]]

diffusers.LatteTransformer3DModel[[diffusers.LatteTransformer3DModel]]

diffusers.LatteTransformer3DModel(num_attention_heads: int = 16, attention_head_dim: int = 88, in_channels: int | None = None, out_channels: int | None = None, num_layers: int = 1, dropout: float = 0.0, cross_attention_dim: int | None = None, attention_bias: bool = False, sample_size: int = 64, patch_size: int | None = None, activation_fn: str = 'geglu', num_embeds_ada_norm: int | None = None, norm_type: str = 'layer_norm', norm_elementwise_affine: bool = True, norm_eps: float = 1e-05, caption_channels: int = None, video_length: int = 16)

ソース

forward[[diffusers.LatteTransformer3DModel.forward]]

forward(hidden_states: Tensor, timestep: typing.Optional[torch.LongTensor] = None, encoder_hidden_states: typing.Optional[torch.Tensor] = None, encoder_attention_mask: typing.Optional[torch.Tensor] = None, enable_temporal_attentions: bool = True, return_dict: bool = True)

ソース

パラメータ:

hidden_states (torch.Tensor、形状 (batch size, channel, num_frame, height, width)) : 入力 hidden_states。

timestep ( torch.LongTensor, 任意) : デノイジングステップを示すために使用します。AdaLayerNorm内で埋め込みとして適用される任意のタイムステップです。

encoder_hidden_states ( torch.FloatTensor、shape (batch size, sequence len, embed dims)、任意) : クロスアテンション層用の条件付きエンベディング。指定しない場合、クロスアテンションはデフォルトでセルフアテンションになります。

encoder_attention_mask ( torch.Tensor, 任意) : encoder_hidden_states に適用されるクロスアテンションマスク。2つの形式がサポートされています。 * マスク (batcheight, sequence_length) True = 保持、False = 破棄。 * バイアス (batcheight, 1, sequence_length) 0 = 保持、-10000 = 破棄。 ndim == 2 の場合、マスクとして解釈され、上記の形式と整合するバイアスに変換されます。このバイアスはクロスアテンションスコアに追加されます。

enable_temporal_attentions : (bool、任意、デフォルトはTrue): 時間的アテンションを有効にするかどうか。

return_dict (bool、任意、デフォルトは True) : プレーンなタプルではなく ~models.unet_2d_condition.UNet2DConditionOutput を返すかどうか。

戻り値:

return_dict が True の場合、~models.transformer_2d.Transformer2DModelOutput が返され、それ以外の場合は、最初の要素がサンプルテンソルである tuple が返されます。

LatteTransformer3DModel の forward メソッドです。