diffusers/main/fr/api/models/longcat_image_transformer2d.md

LongCatImageTransformer2DModel

Le modèle peut être chargé à l'aide du fragment de code suivant.

from diffusers import LongCatImageTransformer2DModel

transformer = LongCatImageTransformer2DModel.from_pretrained("meituan-longcat/LongCat-Image ", subfolder="transformer", dtype=torch.bfloat16)

LongCatImageTransformer2DModel[[diffusers.LongCatImageTransformer2DModel]]

diffusers.LongCatImageTransformer2DModel[[diffusers.LongCatImageTransformer2DModel]]

diffusers.LongCatImageTransformer2DModel(patch_size: int = 1, in_channels: int = 64, num_layers: int = 19, num_single_layers: int = 38, attention_head_dim: int = 128, num_attention_heads: int = 24, joint_attention_dim: int = 3584, pooled_projection_dim: int = 3584, axes_dims_rope: list[int] = [16, 56, 56])

Source

Le modèle Transformer introduit dans Longcat-Image.

forward[[diffusers.LongCatImageTransformer2DModel.forward]]

forward(hidden_states: Tensor, encoder_hidden_states: Tensor = None, timestep: LongTensor = None, img_ids: Tensor = None, txt_ids: Tensor = None, guidance: Tensor = None, return_dict: bool = True)

Source

Paramètres :

hidden_states (torch.FloatTensor de forme (batch size, channel, height, width)) : hidden_states en entrée.

encoder_hidden_states (torch.FloatTensor de forme (batch size, sequence_len, embed_dims)) : Embeddings conditionnels (embeddings calculés à partir des conditions d'entrée telles que les prompts) à utiliser.

timestep ( torch.LongTensor) : Utilisé pour indiquer l'étape de débruitage.

img_ids (torch.Tensor) : Identifiants de position d'image utilisés pour calculer les embeddings positionnels rotatifs.

txt_ids (torch.Tensor) : Identifiants de position du texte utilisés pour calculer les embeddings positionnels rotatifs.

guidance (torch.Tensor, facultatif) : Embedding d'échelle de guidage utilisé pour les variantes du modèle distillées par guidage.

return_dict (bool, facultatif, par défaut True) : Indique s'il faut retourner un ~models.transformer_2d.Transformer2DModelOutput plutôt qu'un simple tuple.

Retourne :

Si return_dict est True, un ~models.transformer_2d.Transformer2DModelOutput est renvoyé, sinon un tuple dont le premier élément est le tenseur d'échantillon.

La méthode forward.