Hugging Face's logo

Diffusers documentation

SkyReelsV2Transformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SkyReelsV2Transformer3DModel

Skywork AI tarafından SkyReels-V2 ile 3D video benzeri veriler için bir Diffusion Transformer modeli tanıtılmıştır.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import SkyReelsV2Transformer3DModel

transformer = SkyReelsV2Transformer3DModel.from_pretrained("Skywork/SkyReels-V2-DF-1.3B-540P-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

SkyReelsV2Transformer3DModel

sınıf diffusers.SkyReelsV2Transformer3DModel

< >

( patch_size: tuple = (1, 2, 2)num_attention_heads: int = 16attention_head_dim: int = 128in_channels: int = 16out_channels: int = 16text_dim: int = 4096freq_dim: int = 256ffn_dim: int = 8192num_layers: int = 32cross_attn_norm: bool = Trueqk_norm: str | None = 'rms_norm_across_heads'eps: float = 1e-06image_dim: int | None = Noneadded_kv_proj_dim: int | None = Nonerope_max_seq_len: int = 1024pos_embed_seq_len: int | None = Noneinject_sample_info: bool = Falsenum_frame_per_block: int = 1 )

Parametreler

  • patch_size (tuple[int], varsayılan (1, 2, 2)) — Video gömme için 3B yama boyutları (t_patch, h_patch, w_patch).
  • num_attention_heads (int, varsayılan 16) — Metin gömme vektörleri için sabit uzunluk.
  • attention_head_dim (int, varsayılan 128) — Her baştaki kanal sayısı.
  • in_channels (int, varsayılan 16) — Girdideki kanal sayısı.
  • out_channels (int, varsayılan 16) — Çıktıdaki kanal sayısı.
  • text_dim (int, varsayılan 4096) — Metin gömme girdi boyutu.
  • freq_dim (int, varsayılan 256) — Sinüzoidal zaman gömme boyutu.
  • ffn_dim (int, varsayılan 8192) — İleri beslemeli ağdaki ara boyut.
  • num_layers (int, varsayılan 32) — Kullanılacak transformer bloğu katman sayısı.
  • window_size (tuple[int], varsayılan (-1, -1)) — Yerel dikkat için pencere boyutu (-1, global dikkat olduğunu belirtir).
  • cross_attn_norm (bool, varsayılan True) — Çapraz dikkat normalizasyonunu etkinleştirir.
  • qk_norm (str, isteğe bağlı, varsayılan "rms_norm_across_heads") — Sorgu/anahtar normalizasyonunu etkinleştirir.
  • eps (float, varsayılan 1e-6) — Normalizasyon katmanları için epsilon değeri.
  • inject_sample_info (bool, varsayılan False) — Örnek bilgisinin modele enjekte edilip edilmeyeceğini belirtir.
  • image_dim (int, isteğe bağlı) — Gömme vektörlerinin boyutu.
  • added_kv_proj_dim (int, isteğe bağlı) — Eklenen anahtar/değer projeksiyonunun boyutu.
  • rope_max_seq_len (int, varsayılan 1024) — Döner gömme (rotary embeddings) için maksimum dizi uzunluğu.
  • pos_embed_seq_len (int, isteğe bağlı) — Konumsal gömme (positional embeddings) için dizi uzunluğu.

Wan tabanlı SkyReels-V2 modelinde kullanılan, video benzeri veriler için bir Transformer modeli.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_hidden_states_image: typing.Optional[torch.Tensor] = Noneenable_diffusion_forcing: bool = Falsefps: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = None )

Parametreler

  • hidden_states (torch.Tensor, şekli (batch_size, num_channels, num_frames, height, width)) — Girdi hidden_states.
  • timestep (torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • encoder_hidden_states (torch.Tensor, şekli (batch_size, sequence_len, embed_dims)) — Kullanılacak koşullu gömme değerleri (prompt gibi girdi koşullarından hesaplanan gömme değerleri).
  • encoder_hidden_states_image (torch.Tensor, isteğe bağlı) — Görsel koşullu üretim için koşullu görsel gömme değerleri.
  • enable_diffusion_forcing (bool, isteğe bağlı, varsayılan False) — Diffusion forcing'ün (blok başına nedensel maskeleme) etkinleştirilip etkinleştirilmeyeceğini belirtir.
  • fps (torch.Tensor, isteğe bağlı) — FPS koşullandırma gömme (embedding).
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.
  • attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.

SkyReelsV2Transformer3DModel ileri (forward) yöntemi.

Transformer2DModelOutput

sınıf diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) — encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü kaldırılmış (unnoised) gizli (latent) pikseller için olasılık dağıtımlarını döndürür.

Transformer2DModel'nin çıktısı.

Update on GitHub

←SD3Transformer2DModel StableAudio3DiTModel→