Hugging Face's logo

Diffusers documentation

LuminaNextDiT2DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LuminaNextDiT2DModel

Lumina-T2X'ten 2B veriler için Diffusion Transformer modelinin bir sonraki sürümü.

LuminaNextDiT2DModel

sınıf diffusers.LuminaNextDiT2DModel

< >

( sample_size: int = 128patch_size: int | None = 2in_channels: int | None = 4hidden_size: int | None = 2304num_layers: int | None = 32num_attention_heads: int | None = 32num_kv_heads: int | None = Nonemultiple_of: int | None = 256ffn_dim_multiplier: float | None = Nonenorm_eps: float | None = 1e-05learn_sigma: bool | None = Trueqk_norm: bool | None = Truecross_attention_dim: int | None = 2048scaling_factor: float | None = 1.0 )

Parametreler

  • sample_size (int) — Latent görüntülerin genişliği. Eğitim sırasında sabittir çünkü pozisyon gömme sayısı öğrenmek için kullanılır.
  • patch_size (int, isteğe bağlı, (int, isteğe bağlı, varsayılan 2) — Görseldeki her yamanın boyutu. Bu parametre, modele beslenen yamaların çözünürlüğünü tanımlar.
  • in_channels (int, isteğe bağlı, varsayılan 4) — Modelin giriş kanal sayısı. Genellikle bu, giriş görüntülerindeki kanal sayısıyla eşleşir.
  • hidden_size (int, isteğe bağlı, varsayılan 4096) — Modeldeki gizli katmanların boyutluluğu. Bu parametre, modelin gizli temsillerinin genişliğini belirler.
  • num_layers (int, isteğe bağlı, varsayılan 32) — Modeldeki katman sayısı. Bu, sinir ağı derinliğini tanımlar.
  • num_attention_heads (int, isteğe bağlı, varsayılan 32) — Her dikkat katmanındaki dikkat başlarının sayısı. Bu parametre, kaç ayrı dikkat mekanizmasının kullanıldığını belirtir.
  • num_kv_heads (int, isteğe bağlı, varsayılan 8) — Dikkat mekanizmasındaki anahtar-değer başlarının sayısı, dikkat başlarının sayısından farklıysa. None ise, varsayılan olarak num_attention_heads değerini alır.
  • multiple_of (int, isteğe bağlı, varsayılan 256) — Gizli boyutun katı olması gereken bir çarpan. Bu, belirli donanım yapılandırmalarını optimize etmeye yardımcı olabilir.
  • ffn_dim_multiplier (float, isteğe bağlı) — İleri beslemeli ağın boyutluluğu için bir çarpan. None ise, model yapılandırmasına dayalı bir varsayılan değer kullanılır.
  • norm_eps (float, isteğe bağlı, varsayılan 1e-5) — Normalizasyon katmanlarında sayısal kararlılık için paydaya eklenen küçük bir değer.
  • learn_sigma (bool, isteğe bağlı, varsayılan True) — Modelin, tahminlerdeki belirsizlik veya varyansla ilgili olabilecek sigma parametresini öğrenip öğrenmemesi.
  • qk_norm (bool, isteğe bağlı, varsayılan True) — Dikkat mekanizmasındaki sorguların ve anahtarların normalize edilip edilmeyeceğini belirtir.
  • cross_attention_dim (int, isteğe bağlı, varsayılan 2048) — Metin gömme boyutları. Bu parametre, modelde kullanılan metin temsilcilerinin boyutunu tanımlar.
  • scaling_factor (float, isteğe bağlı, varsayılan 1.0) — Modeldeki belirli parametrelere veya katmanlara uygulanan bir ölçekleme faktörü. Bu, modelin işlemlerinin genel ölçeğini ayarlamak için kullanılabilir.

LuminaNextDiT: Transformer omurgalı bir difüzyon modeli.

diffusers'taki StableDiffusionPipeline örnekleme cihazıyla uyumlu olmak için ModelMixin ve ConfigMixin sınıflarından devralın.

forward

< >

( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorencoder_mask: Tensorimage_rotary_emb: Tensorcross_attention_kwargs: dict[str, typing.Any] = Nonereturn_dict = True ) → ~models.transformer_2d.Transformer2DModelOutput or tuple

Parametreler

  • hidden_states (torch.Tensor) — (N, C, H, W) biçiminde girdi tensörü.
  • timestep (torch.Tensor) — (N,) biçiminde difüzyon zaman adımlarını içeren tensör.
  • encoder_hidden_states (torch.Tensor) — (N, D) boyutunda başlık özellikleri tensörü.
  • encoder_mask (torch.Tensor) — (N, L) biçiminde başlık maskelerinin tensörü.
  • image_rotary_emb (torch.Tensor) — Önceden hesaplanmış döner konumsal gömme (embedding) değerleri.
  • cross_attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.

Dönüş değeri

~models.transformer_2d.Transformer2DModelOutput veya tuple

return_dict True ise, ~models.transformer_2d.Transformer2DModelOutput döndürülür, aksi takdirde düz bir tuple döndürülür.

LuminaNextDiT'in ileri geçişi.

Update on GitHub

←Lumina2Transformer2DModel MiniMaxH3ImageTransformer2DModel→