# QwenImageTransformer2DModel

可以使用以下代码片段加载该模型。

```python
from diffusers import QwenImageTransformer2DModel

transformer = QwenImageTransformer2DModel.from_pretrained("Qwen/QwenImage-20B", subfolder="transformer", dtype=torch.bfloat16)
```

## QwenImageTransformer2DModel[[diffusers.QwenImageTransformer2DModel]]

#### diffusers.QwenImageTransformer2DModel[[diffusers.QwenImageTransformer2DModel]]

```python
diffusers.QwenImageTransformer2DModel(patch_size: int = 2, in_channels: int = 64, out_channels: int | None = 16, num_layers: int = 60, attention_head_dim: int = 128, num_attention_heads: int = 24, joint_attention_dim: int = 3584, guidance_embeds: bool = False, axes_dims_rope: tuple[int, int, int] = (16, 56, 56), zero_cond_t: bool = False, use_additional_t_cond: bool = False, use_layer3d_rope: bool = False)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/transformers/transformer_qwenimage.py#L748)

**参数：**

patch_size (`int`，默认为 `2`)：用于将输入数据划分为小块的补丁大小。

in_channels (`int`，默认为 `64`)：输入中的通道数。

out_channels (`int`，*可选*，默认为 `None`)：输出中的通道数。如果未指定，则默认为 `in_channels`。

num_layers (`int`，默认为 `60`)：要使用的双流 DiT 块层数。

attention_head_dim (`int`，默认为 `128`)：每个注意力头使用的维度数。

num_attention_heads (`int`，默认为 `24`)：要使用的注意力头数量。

joint_attention_dim (`int`，默认为 `3584`)：用于联合注意力机制的维度数（即 `encoder_hidden_states` 的嵌入/通道维度）。

guidance_embeds (`bool`，默认为 `False`)：是否使用引导嵌入（guidance embeddings）来支持模型的引导蒸馏变体。

axes_dims_rope (`tuple[int]`，默认为 `(16, 56, 56)`) : 用于旋转位置嵌入的维度。

Qwen 中引入的 Transformer 模型。

#### forward[[diffusers.QwenImageTransformer2DModel.forward]]

```python
forward(hidden_states: Tensor, encoder_hidden_states: Tensor = None, encoder_hidden_states_mask: Tensor = None, timestep: LongTensor = None, img_shapes: list[tuple[int, int, int]] | None = None, guidance: Tensor = None, attention_kwargs: dict[str, typing.Any] | None = None, controlnet_block_samples = None, additional_t_cond = None, return_dict: bool = True)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/transformers/transformer_qwenimage.py#L868)

**参数：**

hidden_states (`torch.Tensor`，形状为 `(batch_size, image_sequence_length, in_channels)`) : 输入 `hidden_states`。

encoder_hidden_states (`torch.Tensor`，形状为 `(batch_size, text_sequence_length, joint_attention_dim)`)：要使用的条件嵌入（从输入条件（例如提示词）计算得出的嵌入）。

encoder_hidden_states_mask (`torch.Tensor`，形状为 `(batch_size, text_sequence_length)`，*可选*)：用于编码器隐藏状态的掩码。有效 token 对应 1.0，填充 token 对应 0.0。在注意力处理器中使用，以防止注意力机制关注填充 token。由于该掩码在注意力计算中按元素应用，因此可以具有任意模式（而不仅仅是连续的有效 token 后跟填充）。

timestep ( `torch.LongTensor`) ：用于指示去噪步骤。

img_shapes (`list[tuple[int, int, int]]`, *可选*) : 用于 RoPE 计算的图像形状。

guidance (`torch.Tensor`, *可选*) : 用于条件生成的引导张量。

attention_kwargs (`dict`, *可选*) : 一个 kwargs 字典，如果指定，将作为参数传递给 [diffusers.models.attention_processor](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py) 中 `self.processor` 下定义的 `AttentionProcessor`。

controlnet_block_samples （*可选*）：要添加到 transformer 块中的 ControlNet 块样本。

additional_t_cond (`torch.Tensor`, *可选*) : 添加到时间步嵌入中的额外时间步条件。

return_dict (`bool`，*可选*，默认为 `True`)：是否返回 `~models.transformer_2d.Transformer2DModelOutput` 而不是普通元组。

**返回值：**

如果 `return_dict` 为 True，则返回 `~models.transformer_2d.Transformer2DModelOutput`，否则返回一个 `tuple`，其中第一个元素是样本张量。

`QwenTransformer2DModel` 的前向方法。

## Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

#### diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

```python
diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/modeling_outputs.py#L21)

**参数：**

sample (`torch.Tensor`，形状为 `(batch_size, num_channels, height, width)`；若 [Transformer2DModel](/docs/diffusers/v0.43.0/zh/api/models/transformer2d#diffusers.Transformer2DModel) 为离散模式，则为 `(batch size, num_vector_embeds - 1, num_latent_pixels)`)：以 `encoder_hidden_states` 输入为条件的隐藏状态输出。若为离散模式，则返回未加噪潜在像素的概率分布。

[Transformer2DModel](/docs/diffusers/v0.43.0/zh/api/models/transformer2d#diffusers.Transformer2DModel) 的输出。