Buckets:
| # BriaTransformer2DModel | |
| Un modèle Transformer de flux modifié de [Bria](https://huggingface.co/briaai). | |
| ## BriaTransformer2DModel[[diffusers.BriaTransformer2DModel]] | |
| #### diffusers.BriaTransformer2DModel[[diffusers.BriaTransformer2DModel]] | |
| ```python | |
| diffusers.BriaTransformer2DModel(patch_size: int = 1, in_channels: int = 64, num_layers: int = 19, num_single_layers: int = 38, attention_head_dim: int = 128, num_attention_heads: int = 24, joint_attention_dim: int = 4096, pooled_projection_dim: int = None, guidance_embeds: bool = False, axes_dims_rope: list[int] = [16, 56, 56], rope_theta = 10000, time_theta = 10000) | |
| ``` | |
| [Source](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/transformer_bria.py#L504) | |
| **Paramètres :** | |
| patch_size (`int`) : Taille des patches pour découper les données d'entrée en petits patches. | |
| in_channels (`int`, *facultatif*, par défaut 16) : Le nombre de canaux dans l'entrée. | |
| num_layers (`int`, *facultatif*, valeur par défaut 18) : Le nombre de blocs MMDiT à utiliser. | |
| num_single_layers (`int`, *facultatif*, valeur par défaut 18) : Le nombre de blocs DiT simples à utiliser. | |
| attention_head_dim (`int`, *facultatif*, valeur par défaut 64) : Le nombre de canaux dans chaque tête. | |
| num_attention_heads (`int`, *facultatif*, valeur par défaut 18) : Le nombre de têtes à utiliser pour l'attention multi-têtes. | |
| joint_attention_dim (`int`, *facultatif*) : Le nombre de dimensions de `encoder_hidden_states` à utiliser. | |
| pooled_projection_dim (`int`) : Nombre de dimensions à utiliser lors de la projection des `pooled_projections`. | |
| guidance_embeds (`bool`, défaut : False) : Indique s'il faut utiliser des embeddings de guidance. | |
| Le modèle Transformer introduit dans Flux. Basé sur FluxPipeline avec plusieurs modifications : | |
| - aucun embeddings agrégés | |
| - Nous utilisons un remplissage par zéros pour les invites | |
| - Aucun embedding de guidance car il ne s'agit pas d'une version distillée | |
| Référence : https://blackforestlabs.ai/announcing-black-forest-labs/ | |
| #### forward[[diffusers.BriaTransformer2DModel.forward]] | |
| ```python | |
| forward(hidden_states: Tensor, encoder_hidden_states: Tensor = None, pooled_projections: Tensor = None, timestep: LongTensor = None, img_ids: Tensor = None, txt_ids: Tensor = None, guidance: Tensor = None, attention_kwargs: dict[str, typing.Any] | None = None, return_dict: bool = True, controlnet_block_samples = None, controlnet_single_block_samples = None) | |
| ``` | |
| [Source](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/transformer_bria.py#L582) | |
| **Paramètres :** | |
| hidden_states (`torch.FloatTensor` de forme `(batch size, channel, height, width)`) : `hidden_states` en entrée. | |
| encoder_hidden_states (`torch.FloatTensor` de forme `(batch size, sequence_len, embed_dims)`) : Embeddings conditionnels (embeddings calculés à partir des conditions d'entrée telles que les prompts) à utiliser. | |
| pooled_projections (`torch.FloatTensor` de forme `(batch_size, projection_dim)`) : Embeddings projetés à partir des embeddings des conditions d'entrée. | |
| timestep ( `torch.LongTensor`) : Utilisé pour indiquer l'étape de débruitage. | |
| img_ids (`torch.Tensor`) : Identifiants de position d'image utilisés pour calculer les embeddings positionnels rotatifs. | |
| txt_ids (`torch.Tensor`) : Identifiants de position du texte utilisés pour calculer les embeddings positionnels rotatifs. | |
| guidance (`torch.Tensor`, *facultatif*) : Embedding d'échelle de guidage utilisé pour les variantes du modèle distillées par guidage. | |
| controlnet_block_samples (`list` de `torch.Tensor`, *facultatif*) : Une liste de tenseurs qui, si elle est spécifiée, est ajoutée aux résidus des blocs de transformeur. | |
| controlnet_single_block_samples (`list` de `torch.Tensor`, *facultatif*) : Une liste de tenseurs qui, si elle est spécifiée, est ajoutée aux résidus des blocs de transformeur individuels. | |
| attention_kwargs (`dict`, *facultatif*) : Un dictionnaire de kwargs qui, s'il est spécifié, est transmis à l'`AttentionProcessor` tel que défini sous `self.processor` dans [diffusers.models.attention_processor](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py). | |
| return_dict (`bool`, *facultatif*, par défaut `True`) : Indique s'il faut retourner un `~models.transformer_2d.Transformer2DModelOutput` plutôt qu'un simple tuple. | |
| **Retourne :** | |
| Si `return_dict` est True, un `~models.transformer_2d.Transformer2DModelOutput` est renvoyé, sinon un `tuple` dont le premier élément est le tenseur d'échantillon. | |
| La méthode forward du [BriaTransformer2DModel](/docs/diffusers/main/fr/api/models/bria_transformer#diffusers.BriaTransformer2DModel). | |
Xet Storage Details
- Size:
- 4.76 kB
- Xet hash:
- 9732c9200b94fd5fc1a6e0effc3444c037fd0d013f049a2906744f969588fabc
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.