diffusers/v0.43.0/pt/api/models/cogview3plus_transformer2d.md

CogView3PlusTransformer2DModel

Um modelo Diffusion Transformer para dados 2D do CogView3Plus foi introduzido em CogView3: Finer and Faster Text-to-Image Generation via Relay Diffusion pela Universidade de Tsinghua & ZhipuAI.

O modelo pode ser carregado com o seguinte trecho de código.

from diffusers import CogView3PlusTransformer2DModel

transformer = CogView3PlusTransformer2DModel.from_pretrained("THUDM/CogView3Plus-3b", subfolder="transformer", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"

CogView3PlusTransformer2DModel[[diffusers.CogView3PlusTransformer2DModel]]

diffusers.CogView3PlusTransformer2DModel[[diffusers.CogView3PlusTransformer2DModel]]

diffusers.CogView3PlusTransformer2DModel(patch_size: int = 2, in_channels: int = 16, num_layers: int = 30, attention_head_dim: int = 40, num_attention_heads: int = 64, out_channels: int = 16, text_embed_dim: int = 4096, time_embed_dim: int = 512, condition_dim: int = 256, pos_embed_max_size: int = 128, sample_size: int = 128)

Fonte

Parâmetros:

patch_size (int, padrão 2) : O tamanho dos patches a serem usados na camada de incorporação de patches.

in_channels (int, padrão 16) : O número de canais na entrada.

num_layers (int, padrão 30) : O número de blocos de Transformer a serem usados.

attention_head_dim (int, padrão 40) : O número de canais em cada head.

num_attention_heads (int, padrão 64) : O número de cabeças a serem usadas para a atenção multi-cabeça.

out_channels (int, padrão 16) : O número de canais na saída.

text_embed_dim (int, padrão 4096) : Dimensão de entrada dos embeddings de texto do codificador de texto.

time_embed_dim (int, padrão 512) : Dimensão de saída dos embeddings de timestep.

condition_dim (int, padrão 256) : A dimensão de incorporação das condições de resolução no estilo SDXL da entrada (original_size, target_size, crop_coords).

pos_embed_max_size (int, padrão 128) : A resolução máxima dos embeddings posicionais, da qual são extraídas fatias de forma H x W e adicionadas aos latentes de entrada em patches, onde H e W são, respectivamente, a altura e a largura do latente. Um valor de 128 significa que a altura e a largura máximas suportadas para a geração de imagens são 128 * vae_scale_factor * patch_size => 128 * 8 * 2 => 2048.

sample_size (int, padrão 128) : A resolução base dos latentes de entrada. Se a altura/largura não for fornecida durante a geração, esse valor é usado para determinar a resolução como sample_size * vae_scale_factor => 128 * 8 => 1024

O modelo Transformer introduzido em CogView3: Finer and Faster Text-to-Image Generation via Relay Diffusion.

forward[[diffusers.CogView3PlusTransformer2DModel.forward]]

forward(hidden_states: Tensor, encoder_hidden_states: Tensor, timestep: LongTensor, original_size: Tensor, target_size: Tensor, crop_coords: Tensor, return_dict: bool = True)

Fonte

Parâmetros:

hidden_states (torch.Tensor) : hidden_states de entrada com forma (batch size, channel, height, width).

encoder_hidden_states (torch.Tensor) : Embeddings condicionais (embeddings calculados a partir das condições de entrada, como prompts) com forma (batch_size, sequence_len, text_embed_dim)

timestep (torch.LongTensor) : Usado para indicar o passo de desruidamento.

original_size (torch.Tensor) : O CogView3 usa micro-condicionamento semelhante ao do SDXL para o tamanho original da imagem, conforme explicado na seção 2.2 de https://huggingface.co/papers/2307.01952.

target_size (torch.Tensor) : O CogView3 usa micro-condicionamento semelhante ao do SDXL para o tamanho da imagem de destino, conforme explicado na seção 2.2 de https://huggingface.co/papers/2307.01952.

crop_coords (torch.Tensor) : O CogView3 usa micro-condicionamento semelhante ao do SDXL para coordenadas de recorte, conforme explicado na seção 2.2 de https://huggingface.co/papers/2307.01952.

return_dict (bool, opcional, padrão True) : Indica se deve retornar um ~models.transformer_2d.Transformer2DModelOutput em vez de uma tupla simples.

Retorna: torch.Tensor ou ~models.transformer_2d.Transformer2DModelOutput

Os latentes dessonificados usando as entradas fornecidas como condicionamento.

O método forward do CogView3PlusTransformer2DModel.

Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)

Fonte

Parâmetros:

sample (torch.Tensor de forma (batch_size, num_channels, height, width) ou (batch size, num_vector_embeds - 1, num_latent_pixels) se Transformer2DModel for discreto) : A saída dos estados ocultos condicionada à entrada encoder_hidden_states. Se discreto, retorna distribuições de probabilidade para os pixels latentes sem ruído.

A saída de Transformer2DModel.