diffusers/main/fr/api/models/latte_transformer3d.md

LatteTransformer3DModel

Un modèle Diffusion Transformer pour des données 3D issu de Latte.

LatteTransformer3DModel[[diffusers.LatteTransformer3DModel]]

diffusers.LatteTransformer3DModel[[diffusers.LatteTransformer3DModel]]

diffusers.LatteTransformer3DModel(num_attention_heads: int = 16, attention_head_dim: int = 88, in_channels: int | None = None, out_channels: int | None = None, num_layers: int = 1, dropout: float = 0.0, cross_attention_dim: int | None = None, attention_bias: bool = False, sample_size: int = 64, patch_size: int | None = None, activation_fn: str = 'geglu', num_embeds_ada_norm: int | None = None, norm_type: str = 'layer_norm', norm_elementwise_affine: bool = True, norm_eps: float = 1e-05, caption_channels: int = None, video_length: int = 16)

Source

forward[[diffusers.LatteTransformer3DModel.forward]]

forward(hidden_states: Tensor, timestep: typing.Optional[torch.LongTensor] = None, encoder_hidden_states: typing.Optional[torch.Tensor] = None, encoder_attention_mask: typing.Optional[torch.Tensor] = None, enable_temporal_attentions: bool = True, return_dict: bool = True)

Source

Paramètres :

hidden_states (torch.Tensor de forme (batch size, channel, num_frame, height, width)) : hidden_states en entrée.

timestep ( torch.LongTensor, facultatif) : Sert à indiquer l'étape de débruitage. Pas de temps facultatif à appliquer en tant qu'embedding dans AdaLayerNorm.

encoder_hidden_states ( torch.FloatTensor de forme (batch size, sequence len, embed dims), facultatif) : Embeddings conditionnels pour la couche d'attention croisée. S'ils ne sont pas fournis, l'attention croisée se comporte par défaut comme une auto-attention.

encoder_attention_mask ( torch.Tensor, facultatif) : Masque d'attention croisée appliqué à encoder_hidden_states. Deux formats pris en charge : * Masque (batcheight, sequence_length) True = conserver, False = supprimer. * Biais (batcheight, 1, sequence_length) 0 = conserver, -10000 = supprimer. Si ndim == 2 : sera interprété comme un masque, puis converti en un biais cohérent avec le format ci-dessus. Ce biais sera ajouté aux scores d'attention croisée.

enable_temporal_attentions : (bool, facultatif, par défaut True): Indique s'il faut activer les attentions temporelles.

return_dict (bool, facultatif, par défaut True) : Indique s'il faut retourner un ~models.unet_2d_condition.UNet2DConditionOutput plutôt qu'un simple tuple.

Retourne :

Si return_dict est True, un ~models.transformer_2d.Transformer2DModelOutput est renvoyé, sinon un tuple dont le premier élément est le tenseur d'échantillon.

La méthode forward du LatteTransformer3DModel.