Hugging Face's logo

Diffusers documentation

HeliosTransformer3DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HeliosTransformer3DModel

Model Diffusion Transformer autogresif real-time 14B (mendukung T2V, I2V, dan V2V) untuk data video 3D dari Helios diperkenalkan dalam Helios: Real Real-Time Long Video Generation Model oleh Peking University & ByteDance & lainnya.

Model dapat dimuat dengan potongan kode berikut.

from diffusers import HeliosTransformer3DModel

# Best Quality
transformer = HeliosTransformer3DModel.from_pretrained("BestWishYsh/Helios-Base", subfolder="transformer", dtype=torch.bfloat16)
# Intermediate Weight
transformer = HeliosTransformer3DModel.from_pretrained("BestWishYsh/Helios-Mid", subfolder="transformer", dtype=torch.bfloat16)
# Best Efficiency
transformer = HeliosTransformer3DModel.from_pretrained("BestWishYsh/Helios-Distilled", subfolder="transformer", dtype=torch.bfloat16)

HeliosTransformer3DModel

kelas diffusers.HeliosTransformer3DModel

< >

( patch_size: tuple[int, ...] = (1, 2, 2)num_attention_heads: int = 40attention_head_dim: int = 128in_channels: int = 16out_channels: int = 16text_dim: int = 4096freq_dim: int = 256ffn_dim: int = 13824num_layers: int = 40cross_attn_norm: bool = Trueqk_norm: str | None = 'rms_norm_across_heads'eps: float = 1e-06added_kv_proj_dim: int | None = Nonerope_dim: tuple[int, ...] = (44, 42, 42)rope_theta: float = 10000.0guidance_cross_attn: bool = Truezero_history_timestep: bool = Truehas_multi_term_memory_patch: bool = Trueis_amplify_history: bool = Falsehistory_scale_mode: str = 'per_head' )

Parameter

  • patch_size (tuple[int], defaultnya (1, 2, 2)) — Dimensi patch 3D untuk embedding video (t_patch, h_patch, w_patch).
  • num_attention_heads (int, defaultnya 40) — Panjang tetap untuk embedding teks.
  • attention_head_dim (int, defaultnya 128) — Jumlah saluran di setiap head.
  • in_channels (int, defaultnya 16) — Jumlah channel pada input.
  • out_channels (int, defaultnya 16) — Jumlah channel pada output.
  • text_dim (int, defaultnya 512) — Dimensi input untuk embedding teks.
  • freq_dim (int, defaultnya 256) — Dimensi untuk embedding waktu sinusoidal.
  • ffn_dim (int, defaultnya 13824) — Dimensi perantara dalam jaringan feed-forward.
  • num_layers (int, defaultnya 40) — Jumlah lapisan blok transformer yang akan digunakan.
  • window_size (tuple[int], defaultnya (-1, -1)) — Ukuran jendela untuk perhatian lokal (-1 menunjukkan perhatian global).
  • cross_attn_norm (bool, defaultnya True) — Aktifkan normalisasi cross-attention.
  • qk_norm (bool, defaultnya True) — Aktifkan normalisasi query/key.
  • eps (float, defaultnya 1e-6) — Nilai epsilon untuk lapisan normalisasi.
  • add_img_emb (bool, defaultnya False) — Apakah akan menggunakan img_emb.
  • added_kv_proj_dim (int, opsional, defaultnya None) — Jumlah kanal yang digunakan untuk proyeksi key dan value yang ditambahkan. Jika None, tidak ada proyeksi yang digunakan.

Model Transformer untuk data mirip video yang digunakan dalam model Helios.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorindices_hidden_states = Noneindices_latents_history_short = Noneindices_latents_history_mid = Noneindices_latents_history_long = Nonelatents_history_short = Nonelatents_history_mid = Nonelatents_history_long = Nonereturn_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = None )

Parameter

  • hidden_states (torch.Tensor dengan bentuk (batch_size, num_channels, num_frames, height, width)) — hidden_states masukan.
  • timestep (torch.LongTensor) — Digunakan untuk menunjukkan langkah denoising.
  • encoder_hidden_states (torch.Tensor dengan bentuk (batch_size, sequence_len, embed_dims)) — Embedding kondisional (embedding yang dihitung dari kondisi input seperti prompt) yang akan digunakan.
  • indices_hidden_states (torch.Tensor, opsional) — Indeks frame untuk hidden_states yang digunakan untuk menghitung penanaman posisi rotasi.
  • indices_latents_history_short (torch.Tensor, opsional) — Indeks frame untuk latens riwayat pendek.
  • indices_latents_history_mid (torch.Tensor, opsional) — Indeks frame untuk latens riwayat tengah.
  • indices_latents_history_long (torch.Tensor, opsional) — Indeks frame untuk latens riwayat panjang.
  • latents_history_short (torch.Tensor, opsional) — Kondisi latens riwayat pendek.
  • latents_history_mid (torch.Tensor, opsional) — Kondisi latens riwayat tengah.
  • latents_history_long (torch.Tensor, opsional) — Kondisi latens riwayat panjang.
  • return_dict (bool, opsional, default True) — Apakah akan mengembalikan ~models.transformer_2d.Transformer2DModelOutput alih-alih tuple biasa.
  • attention_kwargs (dict, opsional) — Kamus kwargs yang jika ditentukan akan diteruskan ke AttentionProcessor seperti yang didefinisikan di bawah self.processor dalam diffusers.models.attention_processor.

Metode forward dari HeliosTransformer3DModel.

Transformer2DModelOutput

kelas diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parameter

  • sample (torch.Tensor dengan bentuk (batch_size, num_channels, height, width) atau (batch size, num_vector_embeds - 1, num_latent_pixels) jika Transformer2DModel bersifat diskrit) — Output hidden states yang dikondisikan pada input encoder_hidden_states. Jika diskrit, mengembalikan distribusi probabilitas untuk latent pixels yang tidak berisik.

Output dari Transformer2DModel.

Update on GitHub

←GlmImageTransformer2DModel HiDreamImageTransformer2DModel→