diffusers/main/fr/api/models/bria_transformer.md

BriaTransformer2DModel

Un modèle Transformer de flux modifié de Bria.

BriaTransformer2DModel[[diffusers.BriaTransformer2DModel]]

diffusers.BriaTransformer2DModel[[diffusers.BriaTransformer2DModel]]

diffusers.BriaTransformer2DModel(patch_size: int = 1, in_channels: int = 64, num_layers: int = 19, num_single_layers: int = 38, attention_head_dim: int = 128, num_attention_heads: int = 24, joint_attention_dim: int = 4096, pooled_projection_dim: int = None, guidance_embeds: bool = False, axes_dims_rope: list[int] = [16, 56, 56], rope_theta = 10000, time_theta = 10000)

Source

Paramètres :

patch_size (int) : Taille des patches pour découper les données d'entrée en petits patches.

in_channels (int, facultatif, par défaut 16) : Le nombre de canaux dans l'entrée.

num_layers (int, facultatif, valeur par défaut 18) : Le nombre de blocs MMDiT à utiliser.

num_single_layers (int, facultatif, valeur par défaut 18) : Le nombre de blocs DiT simples à utiliser.

attention_head_dim (int, facultatif, valeur par défaut 64) : Le nombre de canaux dans chaque tête.

num_attention_heads (int, facultatif, valeur par défaut 18) : Le nombre de têtes à utiliser pour l'attention multi-têtes.

joint_attention_dim (int, facultatif) : Le nombre de dimensions de encoder_hidden_states à utiliser.

pooled_projection_dim (int) : Nombre de dimensions à utiliser lors de la projection des pooled_projections.

guidance_embeds (bool, défaut : False) : Indique s'il faut utiliser des embeddings de guidance.

Le modèle Transformer introduit dans Flux. Basé sur FluxPipeline avec plusieurs modifications :

• aucun embeddings agrégés
• Nous utilisons un remplissage par zéros pour les invites
• Aucun embedding de guidance car il ne s'agit pas d'une version distillée Référence : https://blackforestlabs.ai/announcing-black-forest-labs/

forward[[diffusers.BriaTransformer2DModel.forward]]

forward(hidden_states: Tensor, encoder_hidden_states: Tensor = None, pooled_projections: Tensor = None, timestep: LongTensor = None, img_ids: Tensor = None, txt_ids: Tensor = None, guidance: Tensor = None, attention_kwargs: dict[str, typing.Any] | None = None, return_dict: bool = True, controlnet_block_samples = None, controlnet_single_block_samples = None)

Source

Paramètres :

hidden_states (torch.FloatTensor de forme (batch size, channel, height, width)) : hidden_states en entrée.

encoder_hidden_states (torch.FloatTensor de forme (batch size, sequence_len, embed_dims)) : Embeddings conditionnels (embeddings calculés à partir des conditions d'entrée telles que les prompts) à utiliser.

pooled_projections (torch.FloatTensor de forme (batch_size, projection_dim)) : Embeddings projetés à partir des embeddings des conditions d'entrée.

timestep ( torch.LongTensor) : Utilisé pour indiquer l'étape de débruitage.

img_ids (torch.Tensor) : Identifiants de position d'image utilisés pour calculer les embeddings positionnels rotatifs.

txt_ids (torch.Tensor) : Identifiants de position du texte utilisés pour calculer les embeddings positionnels rotatifs.

guidance (torch.Tensor, facultatif) : Embedding d'échelle de guidage utilisé pour les variantes du modèle distillées par guidage.

controlnet_block_samples (list de torch.Tensor, facultatif) : Une liste de tenseurs qui, si elle est spécifiée, est ajoutée aux résidus des blocs de transformeur.

controlnet_single_block_samples (list de torch.Tensor, facultatif) : Une liste de tenseurs qui, si elle est spécifiée, est ajoutée aux résidus des blocs de transformeur individuels.

attention_kwargs (dict, facultatif) : Un dictionnaire de kwargs qui, s'il est spécifié, est transmis à l'AttentionProcessor tel que défini sous self.processor dans diffusers.models.attention_processor.

return_dict (bool, facultatif, par défaut True) : Indique s'il faut retourner un ~models.transformer_2d.Transformer2DModelOutput plutôt qu'un simple tuple.

Retourne :

Si return_dict est True, un ~models.transformer_2d.Transformer2DModelOutput est renvoyé, sinon un tuple dont le premier élément est le tenseur d'échantillon.

La méthode forward du BriaTransformer2DModel.