Diffusers documentation
HunyuanVideoTransformer3DModel
HunyuanVideoTransformer3DModel
Модель Diffusion Transformer для 3D-видеоподобных данных была представлена в работе HunyuanVideo: A Systematic Framework For Large Video Generative Models от Tencent.
Модель можно загрузить с помощью следующего фрагмента кода.
from diffusers import HunyuanVideoTransformer3DModel
transformer = HunyuanVideoTransformer3DModel.from_pretrained("hunyuanvideo-community/HunyuanVideo", subfolder="transformer", dtype=torch.bfloat16)HunyuanVideoTransformer3DModel
класс diffusers.HunyuanVideoTransformer3DModel
< source >( in_channels: int = 16out_channels: int = 16num_attention_heads: int = 24attention_head_dim: int = 128num_layers: int = 20num_single_layers: int = 40num_refiner_layers: int = 2mlp_ratio: float = 4.0patch_size: int = 2patch_size_t: int = 1qk_norm: str = 'rms_norm'guidance_embeds: bool = Truetext_embed_dim: int = 4096pooled_projection_dim: int = 768rope_theta: float = 256.0rope_axes_dim: tuple[int, ...] = (16, 56, 56)image_condition_type: str | None = None )
Параметры
- in_channels (
int, по умолчанию16) — Количество каналов на входе. - out_channels (
int, по умолчанию16) — Количество каналов на выходе. - num_attention_heads (
int, по умолчанию24) — Количество голов, используемых для многоголовного внимания. - attention_head_dim (
int, по умолчанию128) — Количество каналов в каждой голове. - num_layers (
int, по умолчанию20) — Количество используемых блоков dual-stream. - num_single_layers (
int, по умолчанию40) — Количество слоев однопоточных блоков, которые следует использовать. - num_refiner_layers (
int, по умолчанию2) — Количество используемых слоёв блоков refiner. - mlp_ratio (
float, по умолчанию4.0) — Соотношение размера скрытого слоя к размеру входа в полносвязной сети. - patch_size (
int, по умолчанию2) — Размер пространственных патчей, используемых в слое встраивания патчей. - patch_size_t (
int, по умолчанию1) — Размер временных патчей, используемых в слое встраивания патчей. - qk_norm (
str, по умолчаниюrms_norm) — Тип нормализации, применяемой к проекциям запроса и ключа в слоях внимания. - guidance_embeds (
bool, по умолчаниюTrue) — Использовать ли guidance embeddings в модели. - text_embed_dim (
int, по умолчанию4096) — Входное измерение текстовых эмбеддингов от текстового энкодера. - pooled_projection_dim (
int, по умолчанию768) — Размерность пул-проекции текстовых эмбеддингов. - rope_theta (
float, по умолчанию256.0) — Значение theta, используемое в слое RoPE. - rope_axes_dim (
tuple[int], по умолчанию(16, 56, 56)) — Размерности осей, используемых в слое RoPE. - image_condition_type (
str, необязательный, по умолчаниюNone) — Тип используемого условного изображения. ЕслиNone, условное изображение не используется. Еслиlatent_concat, изображение конкатенируется с латентным потоком. Еслиtoken_replace, изображение используется для замены токенов первого кадра в латентном потоке и применения условного воздействия.
Модель Transformer для видеоподобных данных, используемая в HunyuanVideo.
forward
< source >( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_attention_mask: Tensorpooled_projections: Tensorguidance: Tensor = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )
Параметры
- hidden_states (
torch.Tensorформы(batch_size, num_channels, num_frames, height, width)) — Входныеhidden_states. - timestep (
torch.LongTensor) — Используется для указания шага денойзинга. - encoder_hidden_states (
torch.Tensorформы(batch_size, sequence_len, embed_dims)) — Условные эмбеддинги (эмбеддинги, вычисленные на основе входных условий, таких как промпты), которые следует использовать. - encoder_attention_mask (
torch.Tensor) — Маска, применяемая кencoder_hidden_statesво время внимания. - pooled_projections (
torch.Tensorформы(batch_size, projection_dim)) — Векторы, полученные проекцией эмбеддингов входных условий. - guidance (
torch.Tensor, необязательный) — Встраивание масштаба руководства, используемое для вариантов модели, дистиллированных с помощью руководства. - attention_kwargs (
dict, необязательный) — Словарь kwargs, который при указании передается вAttentionProcessor, определенный вself.processorв diffusers.models.attention_processor. - return_dict (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли возвращать~models.transformer_2d.Transformer2DModelOutputвместо обычного кортежа.
Метод forward модели HunyuanVideoTransformer3DModel.
Transformer2DModelOutput
класс diffusers.models.modeling_outputs.Transformer2DModelOutput
< source >( sample: torch.Tensor )
Параметры
- sample (
torch.Tensorформы(batch_size, num_channels, height, width)или(batch size, num_vector_embeds - 1, num_latent_pixels), если Transformer2DModel дискретный) — Выходные скрытые состояния, обусловленные входомencoder_hidden_states. Если модель дискретная, возвращает распределения вероятностей для латентных пикселей без шума.
Вывод Transformer2DModel.