Diffusers documentation
HunyuanDiT2DModel
HunyuanDiT2DModel
来自 Hunyuan-DiT 的用于 2D 数据的 Diffusion Transformer 模型。
HunyuanDiT2DModel
class diffusers.HunyuanDiT2DModel
< source >( num_attention_heads: int = 16attention_head_dim: int = 88in_channels: int | None = Nonepatch_size: int | None = Noneactivation_fn: str = 'gelu-approximate'sample_size = 32hidden_size = 1152num_layers: int = 28mlp_ratio: float = 4.0learn_sigma: bool = Truecross_attention_dim: int = 1024norm_type: str = 'layer_norm'cross_attention_dim_t5: int = 2048pooled_projection_dim: int = 1024text_len: int = 77text_len_t5: int = 256use_style_cond_and_image_meta_size: bool = True )
参数
- num_attention_heads (
int，可选，默认为 16) — 用于多头注意力的注意力头数量。 - attention_head_dim (
int，可选，默认值为 88) — 每个注意力头中的通道数。 - in_channels (
int, 可选) — 输入和输出的通道数（如果输入是连续的，请指定）。 - patch_size (
int, 可选) — 用于输入的 patch 大小。 - activation_fn (
str，可选，默认为"geglu") — 前馈网络中使用的激活函数。 - sample_size (
int, 可选) — 潜在图像的宽度。由于用于学习一定数量的位置嵌入，该值在训练期间是固定的。 - dropout (
float, 可选，默认为 0.0) — 要使用的 dropout 概率。 - cross_attention_dim (
int, 可选) — CLIP 文本嵌入的维度数。 - hidden_size (
int, 可选) — 条件嵌入层中隐藏层的大小。 - num_layers (
int，可选，默认为 1) — 要使用的 Transformer 块层数。 - mlp_ratio (
float，可选，默认值为 4.0) — 隐藏层大小与输入大小的比率。 - learn_sigma（
bool，可选，默认为True）— 是否预测方差。 - cross_attention_dim_t5 (
int, 可选) — t5 文本嵌入的维度数。 - pooled_projection_dim (
int, 可选) — 池化投影的大小。 - text_len (
int, 可选) — 剪辑文本嵌入的长度。 - text_len_t5 (
int, 可选) — T5 文本嵌入的长度。 - use_style_cond_and_image_meta_size (
bool, 可选) — 是否使用风格条件和图像元数据大小。版本 <=1.1 时为 True，版本 >= 1.2 时为 False
HunYuanDiT：采用 Transformer 骨干的扩散模型。
继承 ModelMixin 和 ConfigMixin，以兼容 diffusers 中的采样器 StableDiffusionPipeline。
enable_forward_chunking
< source >( chunk_size: int | None = Nonedim: int = 0 )
将注意力处理器设置为使用 前馈分块。
forward
< source >( hidden_statestimestepencoder_hidden_states = Nonetext_embedding_mask = Noneencoder_hidden_states_t5 = Nonetext_embedding_mask_t5 = Noneimage_meta_size = Nonestyle = Noneimage_rotary_emb = Nonecontrolnet_block_samples = Nonereturn_dict = True )
参数
- hidden_states（形状为
(batch size, dim, height, width)的torch.Tensor）— 输入张量。 - timestep (
torch.LongTensor, 可选) — 用于指示去噪步骤。 - encoder_hidden_states (
torch.Tensor，形状为(batch size, sequence len, embed dims)，可选) — 用于交叉注意力层的条件嵌入。这是BertModel的输出。 - text_embedding_mask — torch.Tensor
形状为
(batch, key_tokens)的注意力掩码会应用于encoder_hidden_states。这是BertModel的输出。 - encoder_hidden_states_t5 (
torch.Tensor，形状为(batch size, sequence len, embed dims)，可选) — 用于交叉注意力层的条件嵌入。这是 T5 文本编码器的输出。 - text_embedding_mask_t5 — torch.Tensor
形状为
(batch, key_tokens)的注意力掩码会应用于encoder_hidden_states。这是 T5 Text Encoder 的输出。 - image_meta_size (torch.Tensor) — 条件嵌入，指示图像尺寸
- style — torch.Tensor： 指示样式的条件嵌入
- image_rotary_emb (
torch.Tensor) — 在注意力计算中应用于 query 和 key 张量的图像旋转嵌入。 - controlnet_block_samples（
listoftorch.Tensor，可选）— 一个张量列表，如果指定，将被添加到 transformer 块的残差中。 - return_dict — bool 是否返回字典。
HunyuanDiT2DModel 的前向方法。
启用融合的 QKV 投影。对于自注意力模块，所有投影矩阵（即 query、key、value）均会被融合。对于交叉注意力模块，key 和 value 投影矩阵会被融合。
> 此 API 处于 🧪 实验阶段。
禁用自定义注意力处理器并设置默认的注意力实现。