Hugging Face's logo

Diffusers documentation

HeliosTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HeliosTransformer3DModel

Helios tarafından tanıtılan, 3D video benzeri veriler için T2V, I2V ve V2V destekli 14B gerçek zamanlı otoregresif difüzyon Transformer modeli, Peking University & ByteDance & vb. tarafından Helios: Real Real-Time Long Video Generation Model adlı çalışmada sunulmuştur.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import HeliosTransformer3DModel

# Best Quality
transformer = HeliosTransformer3DModel.from_pretrained("BestWishYsh/Helios-Base", subfolder="transformer", dtype=torch.bfloat16)
# Intermediate Weight
transformer = HeliosTransformer3DModel.from_pretrained("BestWishYsh/Helios-Mid", subfolder="transformer", dtype=torch.bfloat16)
# Best Efficiency
transformer = HeliosTransformer3DModel.from_pretrained("BestWishYsh/Helios-Distilled", subfolder="transformer", dtype=torch.bfloat16)

HeliosTransformer3DModel

sınıf diffusers.HeliosTransformer3DModel

< >

( patch_size: tuple = (1, 2, 2)num_attention_heads: int = 40attention_head_dim: int = 128in_channels: int = 16out_channels: int = 16text_dim: int = 4096freq_dim: int = 256ffn_dim: int = 13824num_layers: int = 40cross_attn_norm: bool = Trueqk_norm: str | None = 'rms_norm_across_heads'eps: float = 1e-06added_kv_proj_dim: int | None = Nonerope_dim: tuple = (44, 42, 42)rope_theta: float = 10000.0guidance_cross_attn: bool = Truezero_history_timestep: bool = Truehas_multi_term_memory_patch: bool = Trueis_amplify_history: bool = Falsehistory_scale_mode: str = 'per_head' )

Parametreler

  • patch_size (tuple[int], varsayılan (1, 2, 2)) — Video gömme için 3B yama boyutları (t_patch, h_patch, w_patch).
  • num_attention_heads (int, varsayılan 40) — Metin gömme vektörleri için sabit uzunluk.
  • attention_head_dim (int, varsayılan 128) — Her baştaki kanal sayısı.
  • in_channels (int, varsayılan 16) — Girdideki kanal sayısı.
  • out_channels (int, varsayılan 16) — Çıktıdaki kanal sayısı.
  • text_dim (int, varsayılan 512) — Metin gömme girdi boyutu.
  • freq_dim (int, varsayılan 256) — Sinüzoidal zaman gömme boyutu.
  • ffn_dim (int, varsayılan 13824) — İleri beslemeli ağdaki ara boyut.
  • num_layers (int, varsayılan 40) — Kullanılacak transformer bloğu katman sayısı.
  • window_size (tuple[int], varsayılan (-1, -1)) — Yerel dikkat için pencere boyutu (-1, global dikkat olduğunu belirtir).
  • cross_attn_norm (bool, varsayılan True) — Çapraz dikkat normalizasyonunu etkinleştirir.
  • qk_norm (bool, varsayılan True) — Sorgu/anahtar normalizasyonunu etkinleştirir.
  • eps (float, varsayılan 1e-6) — Normalizasyon katmanları için epsilon değeri.
  • add_img_emb (bool, varsayılan False) — img_emb kullanılacak mı.
  • added_kv_proj_dim (int, isteğe bağlı, varsayılan None) — Eklenen anahtar ve değer projeksiyonları için kullanılacak kanal sayısı. None ise projeksiyon kullanılmaz.

Helios modelinde kullanılan, video benzeri veriler için tasarlanmış bir Transformer modeli.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorindices_hidden_states = Noneindices_latents_history_short = Noneindices_latents_history_mid = Noneindices_latents_history_long = Nonelatents_history_short = Nonelatents_history_mid = Nonelatents_history_long = Nonereturn_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = None )

Parametreler

  • hidden_states (torch.Tensor, şekli (batch_size, num_channels, num_frames, height, width)) — Girdi hidden_states.
  • timestep (torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • encoder_hidden_states (torch.Tensor, şekli (batch_size, sequence_len, embed_dims)) — Kullanılacak koşullu gömme değerleri (prompt gibi girdi koşullarından hesaplanan gömme değerleri).
  • indices_hidden_states (torch.Tensor, isteğe bağlı) — Döner konumsal gömme hesaplamalarında hidden_states için kullanılan kare indeksleri.
  • indices_latents_history_short (torch.Tensor, isteğe bağlı) — Kısa geçmiş latentleri için kare indeksleri.
  • indices_latents_history_mid (torch.Tensor, isteğe bağlı) — Orta geçmiş latentleri için kare indeksleri.
  • indices_latents_history_long (torch.Tensor, isteğe bağlı) — Uzun geçmiş latentleri için kare indeksleri.
  • latents_history_short (torch.Tensor, isteğe bağlı) — Kısa geçmiş latent koşullandırma.
  • latents_history_mid (torch.Tensor, isteğe bağlı) — Orta geçmiş latent koşullandırma.
  • latents_history_long (torch.Tensor, isteğe bağlı) — Uzun geçmiş latent koşullandırma.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.
  • attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.

HeliosTransformer3DModel ileri yöntemi.

Transformer2DModelOutput

sınıf diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) — encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü kaldırılmış (unnoised) gizli (latent) pikseller için olasılık dağıtımlarını döndürür.

Transformer2DModel'nin çıktısı.

Update on GitHub

←GlmImageTransformer2DModel HiDreamImageTransformer2DModel→