Hugging Face's logo

Diffusers documentation

SanaVideoTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SanaVideoTransformer3DModel

NVIDIA ve MIT HAN Lab'tan Junsong Chen, Yuyang Zhao, Jincheng Yu, Ruihang Chu, Junyu Chen, Shuai Yang, Xianbang Wang, Yicheng Pan, Daquan Zhou, Huan Ling, Haozhe Liu, Hongwei Yi, Hao Zhang, Muyang Li, Yukang Chen, Han Cai, Sanja Fidler, Ping Luo, Song Han ve Enze Xie tarafından geliştirilen SANA-Video: Efficient Video Generation with Block Linear Diffusion Transformer makalesinden 3D veri (video) için bir Diffusion Transformer modeli.

Makalenin özeti şudur:

SANA-Video'yu tanıtıyoruz; 720x1280 çözünürlüğe ve dakikalarca süreye kadar videoları verimli bir şekilde üretebilen küçük bir difüzyon modeli. SANA-Video, güçlü metin-video hizalamasıyla yüksek çözünürlüklü, yüksek kaliteli ve uzun videoları şaşırtıcı bir hızda sentezleyebilir ve RTX 5090 GPU üzerinde dağıtılabilir. Verimli, etkili ve uzun video üretimimizi sağlayan iki temel tasarım vardır: (1) Linear DiT: Video üretiminde işlenen büyük token sayısı nedeniyle vanilla attention'dan daha verimli olan lineer attention'ı temel işlem olarak kullanıyoruz. (2) Block Linear Attention için Sabit-Hafıza KV önbelleği: Lineer attention'ın kümülatif özelliklerinden türetilen sabit-hafıza bir durum kullanarak uzun video üretimi için blok bazlı otoregresif bir yaklaşım tasarladık. Bu KV önbelleği, Linear DiT'ye sabit bir hafıza maliyetiyle global bağlam sağlayarak geleneksel bir KV önbelleğine olan ihtiyacı ortadan kaldırır ve verimli, dakikalarca süren video üretimini mümkün kılar. Ayrıca, etkili veri filtreleri ve model eğitim stratejilerini inceleyerek eğitim maliyetini 64 H100 GPU üzerinde 12 güne indirdik; bu, MovieGen'in maliyetinin yalnızca %1'ine karşılık gelir. Düşük maliyeti sayesinde SANA-Video, ölçülen gecikmede 16 kat daha hızlı olmasına rağmen, modern en iyi küçük difüzyon modelleriyle (ör. Wan 2.1-1.3B ve SkyReel-V2-1.3B) rekabetçi performans elde eder. Üstelik SANA-Video, NVFP4 hassasiyetiyle RTX 5090 GPU'larda dağıtılabilir; bu da 5 saniyelik 720p bir video üretme için çıkarım hızını 71 saniyeden 29 saniyeye (2.4 kat hızlanma) düşürür. Özetle, SANA-Video düşük maliyetli, yüksek kaliteli video üretimini mümkün kılar.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import SanaVideoTransformer3DModel
import torch

transformer = SanaVideoTransformer3DModel.from_pretrained("Efficient-Large-Model/SANA-Video_2B_480p_diffusers", subfolder="transformer", dtype=torch.bfloat16)

SanaVideoTransformer3DModel

sınıf diffusers.SanaVideoTransformer3DModel

< >

( in_channels: int = 16out_channels: int | None = 16num_attention_heads: int = 20attention_head_dim: int = 112num_layers: int = 20num_cross_attention_heads: int | None = 20cross_attention_head_dim: int | None = 112cross_attention_dim: int | None = 2240caption_channels: int = 2304mlp_ratio: float = 2.5dropout: float = 0.0attention_bias: bool = Falsesample_size: int = 30patch_size: tuple = (1, 2, 2)norm_elementwise_affine: bool = Falsenorm_eps: float = 1e-06interpolation_scale: int | None = Noneguidance_embeds: bool = Falseguidance_embeds_scale: float = 0.1qk_norm: str | None = 'rms_norm_across_heads'rope_max_seq_len: int = 1024 )

Parametreler

  • in_channels (int, varsayılan 16) — Girdideki kanal sayısı.
  • out_channels (int, isteğe bağlı, varsayılan 16) — Çıktıdaki kanal sayısı.
  • num_attention_heads (int, varsayılan 20) — Çok başlı dikkat (multi-head attention) için kullanılacak baş sayısı.
  • attention_head_dim (int, varsayılan 112) — Her baştaki kanal sayısı.
  • num_layers (int, varsayılan 20) — Kullanılacak Transformer bloklarının katman sayısı.
  • num_cross_attention_heads (int, isteğe bağlı, varsayılan 20) — Cross-attention için kullanılacak baş sayısı.
  • cross_attention_head_dim (int, isteğe bağlı, varsayılan 112) — Çapraz dikkat (cross-attention) için her başlıkta (head) bulunan kanal sayısı.
  • cross_attention_dim (int, isteğe bağlı, varsayılan 2240) — Çapraz dikkat (cross-attention) çıktısındaki kanal sayısı.
  • caption_channels (int, varsayılan 2304) — Başlık gömme vektörlerindeki kanal sayısı.
  • mlp_ratio (float, varsayılan 2.5) — GLUMBConv katmanında kullanılacak genişletme oranı.
  • dropout (float, varsayılan 0.0) — Dropout olasılığı.
  • attention_bias (bool, varsayılan False) — Dikkat katmanında sapma (bias) kullanılıp kullanılmayacağı.
  • sample_size (int, varsayılan 32) — Girdi gizlisinin (latent) temel boyutu.
  • patch_size (int, varsayılan 1) — Patch gömme katmanında kullanılacak yamaların boyutu.
  • norm_elementwise_affine (bool, varsayılan False) — Normalizasyon katmanında öge bazlı afinite kullanılıp kullanılmayacağı.
  • norm_eps (float, varsayılan 1e-6) — Normalizasyon katmanı için epsilon değeri.
  • qk_norm (str, isteğe bağlı, varsayılan None) — Sorgu ve anahtar için kullanılacak normalizasyon.

Sana-Video model ailesinde tanıtılan 3B Transformer modeli.

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensortimestep: Tensorguidance: typing.Optional[torch.Tensor] = Noneencoder_attention_mask: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonecontrolnet_block_samples: tuple[torch.Tensor] | None = Nonereturn_dict: bool = True )

Parametreler

  • hidden_states (torch.Tensor, şekli (batch_size, in_channels, num_frames, height, width)) — Girdi hidden_states.
  • encoder_hidden_states (torch.Tensor, şekli (batch_size, sequence_len, embed_dims)) — Kullanılacak koşullu gömme değerleri (prompt gibi girdi koşullarından hesaplanan gömme değerleri).
  • timestep (torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • guidance (torch.Tensor, isteğe bağlı) — Yönlendirme ölçeği gömme.
  • encoder_attention_mask (torch.Tensor, isteğe bağlı) — encoder_hidden_states uygulanan çapraz dikkat maskesi.
  • attention_mask (torch.Tensor, isteğe bağlı) — hidden_states uygulanan öz-dikkat maskesi.
  • attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
  • controlnet_block_samples (tuple of torch.Tensor, isteğe bağlı) — Belirtilirse, transformer bloklarının artıklarına eklenen tensörlerin listesi.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.

SanaVideoTransformer3DModel ileri yöntemi.

Transformer2DModelOutput

sınıf diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) — encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü kaldırılmış (unnoised) gizli (latent) pikseller için olasılık dağıtımlarını döndürür.

Transformer2DModel'nin çıktısı.

Update on GitHub

←SanaTransformer2DModel SanaWMLTX2RefinerTransformer3DModel→