Diffusers documentation
LongCatImageTransformer2DModel
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v0.43.0).
LongCatImageTransformer2DModel
El modelo se puede cargar con el siguiente fragmento de código.
from diffusers import LongCatImageTransformer2DModel
transformer = LongCatImageTransformer2DModel.from_pretrained("meituan-longcat/LongCat-Image ", subfolder="transformer", dtype=torch.bfloat16)LongCatImageTransformer2DModel
clase diffusers.LongCatImageTransformer2DModel
< source >( patch_size: int = 1in_channels: int = 64num_layers: int = 19num_single_layers: int = 38attention_head_dim: int = 128num_attention_heads: int = 24joint_attention_dim: int = 3584pooled_projection_dim: int = 3584axes_dims_rope: list[int] = [16, 56, 56] )
El modelo Transformer introducido en Longcat-Image.
forward
< source >( hidden_states: Tensorencoder_hidden_states: Tensor = Nonetimestep: LongTensor = Noneimg_ids: Tensor = Nonetxt_ids: Tensor = Noneguidance: Tensor = Nonereturn_dict: bool = True )
Parámetros
- hidden_states (
torch.FloatTensorde forma(batch size, channel, height, width)) — Estados ocultos de entradahidden_states. - encoder_hidden_states (
torch.FloatTensorde forma(batch size, sequence_len, embed_dims)) — Incrustaciones condicionales (incrustaciones calculadas a partir de las condiciones de entrada, como los prompts) que se deben utilizar. - timestep (
torch.LongTensor) — Se utiliza para indicar el paso de desruido. - img_ids (
torch.Tensor) — ids de posición de imagen utilizados para calcular los embeddings posicionales rotatorios. - txt_ids (
torch.Tensor) — ids de posición de texto utilizados para calcular los embeddings posicionales rotatorios. - guidance (
torch.Tensor, opcional) — Incrustación de escala de orientación utilizada para las variantes destiladas por orientación del modelo. - return_dict (
bool, opcional, valor predeterminadoTrue) — Indica si se debe devolver un~models.transformer_2d.Transformer2DModelOutputen lugar de una tupla simple.
El método forward.