Hugging Face's logo

Diffusers documentation

Krea2Transformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Krea2Transformer2DModel

Krea 2'nin kullandığı tek akışlı MMDiT akış eşleştirme dönüştürücüsü.

Krea2Transformer2DModel

sınıf diffusers.Krea2Transformer2DModel

< >

( in_channels: int = 64num_layers: int = 28attention_head_dim: int = 128num_attention_heads: int = 48num_key_value_heads: int = 12intermediate_size: int = 16384timestep_embed_dim: int = 256text_hidden_dim: int = 2560num_text_layers: int = 12text_num_attention_heads: int = 20text_num_key_value_heads: int = 20text_intermediate_size: int = 6912num_layerwise_text_blocks: int = 2num_refiner_text_blocks: int = 2axes_dims_rope: tuple = (32, 48, 48)rope_theta: float = 1000.0norm_eps: float = 1e-05 )

Parametreler

  • in_channels (int, varsayılan 64) — Patchification sonrası latent kanal sayısı (vae_channels * patch_size ** 2).
  • num_layers (int, varsayılan 28) — Dönüştürücü bloklarının sayısı.
  • attention_head_dim (int, varsayılan 128) — Her dikkat başının boyutu; toplam gizli boyut attention_head_dim * num_attention_heads'tir.
  • num_attention_heads (int, varsayılan 48) — Sorgu başlığı sayısı.
  • num_key_value_heads (int, varsayılan 12) — Gruplu sorgu dikkati için anahtar/değer baş sayısı.
  • intermediate_size (int, varsayılan 16384) — Her blok içindeki SwiGLU MLP'nin ileri besleme gizli boyutu.
  • timestep_embed_dim (int, varsayılan 256) — MLP'den önceki sinüzoidal zaman adımı gömme genişliği.
  • text_hidden_dim (int, varsayılan 2560) — Tüketilen gizli durumların ait olduğu metin kodlayıcısının gizli boyutu.
  • num_text_layers (int, varsayılan 12) — Token başına yığılan, dokunulan metin kodlayıcı gizli durumlarının sayısı.
  • text_num_attention_heads (int, varsayılan 20) — Metin füzyon bloklarındaki sorgu başı sayısı.
  • text_num_key_value_heads (int, varsayılan 20) — Metin füzyon bloklarındaki anahtar/değer baş sayısı.
  • text_intermediate_size (int, varsayılan 6912) — Metin füzyon bloklarının içindeki SwiGLU MLP'nin ileri besleme gizli boyutu.
  • num_layerwise_text_blocks (int, varsayılan 2) — Token başına, örneklenen katman ekseni boyunca uygulanan metin füzyon bloklarının sayısı.
  • num_refiner_text_blocks (int, varsayılan 2) — Token dizisi boyunca uygulanan metin füzyon bloklarının sayısı.
  • axes_dims_rope (tuple[int, int, int], varsayılan (32, 48, 48)) — (t, h, w) döner konum eksenleri arasında baş-boyutunun bölünmesi.
  • rope_theta (float, varsayılan 1000.0) — Döner konum gömme tarafından kullanılan taban.
  • norm_eps (float, varsayılan 1e-5) — Tüm RMSNorm modüllerinin kullandığı epsilon.

Krea 2 hattında kullanılan tek akışlı MMDiT akış eşleştirme omurgası.

Metin koşullandırma, çok modlu metin kodlayıcısının birkaç katmanından alınan gizli durumlar yığını olarak girer. Küçük bir metin-birleştirme dönüştürücüsü, katman eksenini daraltır ve jeton dizisini iyileştirir; sonuç, dönüştürücü blokları tarafından işlenen tek bir [text, image] dizisi olarak, parçalara ayrılmış görüntü latentleriyle birleştirilir. Zaman adımı, her bloğu bir paylaşımlı modülasyon vektörü ve blok başına öğrenilmiş tablolar aracılığıyla koşullandırır.

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensortimestep: Tensorposition_ids: Tensorencoder_attention_mask: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Parametreler

  • hidden_states (torch.Tensor, şekli (batch_size, image_seq_len, in_channels)) — Paketlenmiş (patch'lenmiş) gürültülü görüntü latentleri.
  • encoder_hidden_states (torch.Tensor, şekli (batch_size, text_seq_len, num_text_layers, text_hidden_dim)) — Token başına metin kodlayıcısının gizli durumlarının yığılmış hali.
  • timestep (torch.Tensor, şekli (batch_size,)) — [0, 1] aralığındaki flow-matching zamanı (1 saf gürültü, 0 temiz veridir).
  • position_ids (torch.Tensor, şekli (text_seq_len + image_seq_len, 3)) — Birleşik dizi için (t, h, w) rotary koordinatları. Metin satırları tamamen sıfırdır; görüntü satırları latent ızgara koordinatlarını içerir.
  • encoder_attention_mask (torch.Tensor, şekli (batch_size, text_seq_len), isteğe bağlı) — Geçerli metin jetonlarını işaretleyen Boole maskesi. Tüm metin jetonları geçerli olduğunda None geçirin.
  • attention_kwargs (dict, isteğe bağlı) — İçinde bir scale girdisi bulunuyorsa, bu transformer’ın adaptörlerine ileri geçiş süresince uygulanacak LoRA ölçeğini ayarlayan bir kwargs sözlüğü.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine Transformer2DModelOutput döndürülüp döndürülmemesi.

Görsel jetonları için akış eşleştirme hızını tahmin edin.

Update on GitHub

←KandinskyS2VTransformer3DModel LatteTransformer3DModel→