Hugging Face's logo

Diffusers documentation

LuminaNextDiT2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LuminaNextDiT2DModel

Lumina-T2X'ten 2B veriler için Diffusion Transformer modelinin bir sonraki sürümü.

LuminaNextDiT2DModel

sınıf diffusers.LuminaNextDiT2DModel

< >

( sample_size: int = 128patch_size: int | None = 2in_channels: int | None = 4hidden_size: int | None = 2304num_layers: int | None = 32num_attention_heads: int | None = 32num_kv_heads: int | None = Nonemultiple_of: int | None = 256ffn_dim_multiplier: float | None = Nonenorm_eps: float | None = 1e-05learn_sigma: bool | None = Trueqk_norm: bool | None = Truecross_attention_dim: int | None = 2048scaling_factor: float | None = 1.0 )

Parametreler

  • sample_size (int) — Latent görüntülerin genişliği. Eğitim sırasında sabittir çünkü pozisyon gömme sayısı öğrenmek için kullanılır.
  • patch_size (int, isteğe bağlı, (int, isteğe bağlı, varsayılan 2) — Görseldeki her yamanın boyutu. Bu parametre, modele beslenen yamaların çözünürlüğünü tanımlar.
  • in_channels (int, isteğe bağlı, varsayılan 4) — Modelin giriş kanal sayısı. Genellikle bu, giriş görüntülerindeki kanal sayısıyla eşleşir.
  • hidden_size (int, isteğe bağlı, varsayılan 4096) — Modeldeki gizli katmanların boyutluluğu. Bu parametre, modelin gizli temsillerinin genişliğini belirler.
  • num_layers (int, isteğe bağlı, varsayılan 32) — Modeldeki katman sayısı. Bu, sinir ağı derinliğini tanımlar.
  • num_attention_heads (int, isteğe bağlı, varsayılan 32) — Her dikkat katmanındaki dikkat başlarının sayısı. Bu parametre, kaç ayrı dikkat mekanizmasının kullanıldığını belirtir.
  • num_kv_heads (int, isteğe bağlı, varsayılan 8) — Dikkat mekanizmasındaki anahtar-değer başlarının sayısı, dikkat başlarının sayısından farklıysa. None ise, varsayılan olarak num_attention_heads değerini alır.
  • multiple_of (int, isteğe bağlı, varsayılan 256) — Gizli boyutun katı olması gereken bir çarpan. Bu, belirli donanım yapılandırmalarını optimize etmeye yardımcı olabilir.
  • ffn_dim_multiplier (float, isteğe bağlı) — İleri beslemeli ağın boyutluluğu için bir çarpan. None ise, model yapılandırmasına dayalı bir varsayılan değer kullanılır.
  • norm_eps (float, isteğe bağlı, varsayılan 1e-5) — Normalizasyon katmanlarında sayısal kararlılık için paydaya eklenen küçük bir değer.
  • learn_sigma (bool, isteğe bağlı, varsayılan True) — Modelin, tahminlerdeki belirsizlik veya varyansla ilgili olabilecek sigma parametresini öğrenip öğrenmemesi.
  • qk_norm (bool, isteğe bağlı, varsayılan True) — Dikkat mekanizmasındaki sorguların ve anahtarların normalize edilip edilmeyeceğini belirtir.
  • cross_attention_dim (int, isteğe bağlı, varsayılan 2048) — Metin gömme boyutları. Bu parametre, modelde kullanılan metin temsilcilerinin boyutunu tanımlar.
  • scaling_factor (float, isteğe bağlı, varsayılan 1.0) — Modeldeki belirli parametrelere veya katmanlara uygulanan bir ölçekleme faktörü. Bu, modelin işlemlerinin genel ölçeğini ayarlamak için kullanılabilir.

LuminaNextDiT: Transformer omurgalı bir difüzyon modeli.

diffusers'taki StableDiffusionPipeline örnekleme cihazıyla uyumlu olmak için ModelMixin ve ConfigMixin sınıflarından devralın.

forward

< >

( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorencoder_mask: Tensorimage_rotary_emb: Tensorcross_attention_kwargs: dict = Nonereturn_dict = True ) → ~models.transformer_2d.Transformer2DModelOutput or tuple

Parametreler

  • hidden_states (torch.Tensor) — (N, C, H, W) biçiminde girdi tensörü.
  • timestep (torch.Tensor) — (N,) biçiminde difüzyon zaman adımlarını içeren tensör.
  • encoder_hidden_states (torch.Tensor) — (N, D) boyutunda başlık özellikleri tensörü.
  • encoder_mask (torch.Tensor) — (N, L) biçiminde başlık maskelerinin tensörü.
  • image_rotary_emb (torch.Tensor) — Önceden hesaplanmış döner konumsal gömme (embedding) değerleri.
  • cross_attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.

Dönüş değeri

~models.transformer_2d.Transformer2DModelOutput veya tuple

return_dict True ise, ~models.transformer_2d.Transformer2DModelOutput döndürülür, aksi takdirde düz bir tuple döndürülür.

LuminaNextDiT'in ileri geçişi.

Update on GitHub

←Lumina2Transformer2DModel MiniMaxH3Transformer3DModel→