Hugging Face's logo

Diffusers documentation

Lumina2Transformer2DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Lumina2Transformer2DModel

Alpha-VLLM tarafından Lumina Image 2.0'da 3D video benzeri veriler için bir Diffusion Transformer modeli tanıtıldı.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import Lumina2Transformer2DModel

transformer = Lumina2Transformer2DModel.from_pretrained("Alpha-VLLM/Lumina-Image-2.0", subfolder="transformer", dtype=torch.bfloat16)

Lumina2Transformer2DModel

sınıf diffusers.Lumina2Transformer2DModel

< >

( sample_size: int = 128patch_size: int = 2in_channels: int = 16out_channels: int | None = Nonehidden_size: int = 2304num_layers: int = 26num_refiner_layers: int = 2num_attention_heads: int = 24num_kv_heads: int = 8multiple_of: int = 256ffn_dim_multiplier: float | None = Nonenorm_eps: float = 1e-05scaling_factor: float = 1.0axes_dim_rope: tuple[int, int, int] = (32, 32, 32)axes_lens: tuple[int, int, int] = (300, 512, 512)cap_feat_dim: int = 1024 )

Parametreler

  • sample_size (int) — Latent görüntülerin genişliği. Eğitim sırasında sabittir çünkü pozisyon gömme sayısı öğrenmek için kullanılır.
  • patch_size (int, isteğe bağlı, (int, isteğe bağlı, varsayılan 2) — Görseldeki her yamanın boyutu. Bu parametre, modele beslenen yamaların çözünürlüğünü tanımlar.
  • in_channels (int, isteğe bağlı, varsayılan 4) — Modelin giriş kanal sayısı. Genellikle bu, giriş görüntülerindeki kanal sayısıyla eşleşir.
  • hidden_size (int, isteğe bağlı, varsayılan 4096) — Modeldeki gizli katmanların boyutluluğu. Bu parametre, modelin gizli temsillerinin genişliğini belirler.
  • num_layers (int, isteğe bağlı, varsayılan 32) — Modeldeki katman sayısı. Bu, sinir ağı derinliğini tanımlar.
  • num_attention_heads (int, isteğe bağlı, varsayılan 32) — Her dikkat katmanındaki dikkat başlarının sayısı. Bu parametre, kaç ayrı dikkat mekanizmasının kullanıldığını belirtir.
  • num_kv_heads (int, isteğe bağlı, varsayılan 8) — Dikkat mekanizmasındaki anahtar-değer başlarının sayısı, dikkat başlarının sayısından farklıysa. None ise, varsayılan olarak num_attention_heads değerini alır.
  • multiple_of (int, isteğe bağlı, varsayılan 256) — Gizli boyutun katı olması gereken bir çarpan. Bu, belirli donanım yapılandırmalarını optimize etmeye yardımcı olabilir.
  • ffn_dim_multiplier (float, isteğe bağlı) — İleri beslemeli ağın boyutluluğu için bir çarpan. None ise, model yapılandırmasına dayalı bir varsayılan değer kullanılır.
  • norm_eps (float, isteğe bağlı, varsayılan 1e-5) — Normalizasyon katmanlarında sayısal kararlılık için paydaya eklenen küçük bir değer.
  • scaling_factor (float, isteğe bağlı, varsayılan 1.0) — Modeldeki belirli parametrelere veya katmanlara uygulanan bir ölçekleme faktörü. Bu, modelin işlemlerinin genel ölçeğini ayarlamak için kullanılabilir.

Lumina2NextDiT: Transformer omurgalı bir difüzyon modeli.

forward

< >

( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorencoder_attention_mask: Tensorattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Parametreler

  • hidden_states (torch.Tensor, şekli (batch_size, in_channels, height, width)) — Girdi hidden_states.
  • timestep (torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • encoder_hidden_states (torch.Tensor, şekli (batch_size, sequence_len, embed_dims)) — Kullanılacak koşullu gömme değerleri (prompt gibi girdi koşullarından hesaplanan gömme değerleri).
  • encoder_attention_mask (torch.Tensor) — Dikkat sırasında encoder_hidden_states uygulanan maske.
  • attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.

Lumina2Transformer2DModel ileri yöntemi.

Transformer2DModelOutput

sınıf diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) — encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü kaldırılmış (unnoised) gizli (latent) pikseller için olasılık dağıtımlarını döndürür.

Transformer2DModel'nin çıktısı.

Update on GitHub

←LTXVideoTransformer3DModel LuminaNextDiT2DModel→