diffusers/main/tr/api/models/krea2_transformer2d.md

Krea2Transformer2DModel

Krea 2'nin kullandığı tek akışlı MMDiT akış eşleştirme dönüştürücüsü.

Krea2Transformer2DModel[[diffusers.Krea2Transformer2DModel]]

diffusers.Krea2Transformer2DModel[[diffusers.Krea2Transformer2DModel]]

diffusers.Krea2Transformer2DModel(in_channels: int = 64, num_layers: int = 28, attention_head_dim: int = 128, num_attention_heads: int = 48, num_key_value_heads: int = 12, intermediate_size: int = 16384, timestep_embed_dim: int = 256, text_hidden_dim: int = 2560, num_text_layers: int = 12, text_num_attention_heads: int = 20, text_num_key_value_heads: int = 20, text_intermediate_size: int = 6912, num_layerwise_text_blocks: int = 2, num_refiner_text_blocks: int = 2, axes_dims_rope: tuple = (32, 48, 48), rope_theta: float = 1000.0, norm_eps: float = 1e-05)

Kaynak

Parametreler:

in_channels (int, varsayılan 64) : Patchification sonrası latent kanal sayısı (vae_channels * patch_size ** 2).

num_layers (int, varsayılan 28) : Transformer bloklarının sayısı.

attention_head_dim (int, varsayılan 128) : Her dikkat başının boyutu; toplam gizli boyut attention_head_dim * num_attention_heads'tir.

num_attention_heads (int, varsayılan 48) : Sorgu başı sayısı.

num_key_value_heads (int, varsayılan 12) : Gruplu sorgu dikkati için anahtar/değer başı sayısı.

intermediate_size (int, varsayılan 16384) : Her blok içindeki SwiGLU MLP'nin ileri besleme gizli boyutu.

timestep_embed_dim (int, varsayılan 256) : MLP'den önceki sinüzoidal zaman adımı gömme genişliği.

text_hidden_dim (int, varsayılan 2560) : Gizli durumları tüketilen metin kodlayıcısının gizli boyutu.

num_text_layers (int, varsayılan 12) : Token başına yığılan dokunulan metin kodlayıcı gizli durumlarının sayısı.

text_num_attention_heads (int, varsayılan 20) : Metin füzyon bloklarındaki sorgu başı sayısı.

text_num_key_value_heads (int, varsayılan 20) : Metin füzyon bloklarındaki anahtar/değer baş sayısı.

text_intermediate_size (int, varsayılan 6912) : Metin füzyon bloklarının içindeki SwiGLU MLP'nin ileri besleme gizli boyutu.

num_layerwise_text_blocks (int, varsayılan 2) : Token başına, taplanan katman ekseni boyunca uygulanan metin füzyon bloklarının sayısı.

num_refiner_text_blocks (int, varsayılan 2) : Token dizisi boyunca uygulanan metin füzyon bloklarının sayısı.

axes_dims_rope (tuple[int, int, int], varsayılan (32, 48, 48)) : (t, h, w) döner konum eksenleri arasında baş-boyut bölünmesi.

rope_theta (float, varsayılan 1000.0) : Döner konum gömme tarafından kullanılan taban.

norm_eps (float, varsayılan 1e-5) : Tüm RMSNorm modüllerinin kullandığı epsilon.

Krea 2 hattında kullanılan tek akışlı MMDiT akış eşleştirme omurgası.

Metin koşullandırma, çok modlu metin kodlayıcısının birkaç katmanından alınan gizli durumlar yığını olarak girer. Küçük bir metin-birleştirme dönüştürücüsü, katman eksenini daraltır ve jeton dizisini iyileştirir; sonuç, dönüştürücü blokları tarafından işlenen tek bir [text, image] dizisi olarak yamalanmış görüntü latentleriyle birleştirilir. Zaman adımı, her bloğu bir paylaşımlı modülasyon vektörü ve blok başına öğrenilmiş tablolar aracılığıyla koşullandırır.

forward[[diffusers.Krea2Transformer2DModel.forward]]

forward(hidden_states: Tensor, encoder_hidden_states: Tensor, timestep: Tensor, position_ids: Tensor, encoder_attention_mask: typing.Optional[torch.Tensor] = None, attention_kwargs: dict[str, typing.Any] | None = None, return_dict: bool = True)

Kaynak

Parametreler:

hidden_states (torch.Tensor, şekli (batch_size, image_seq_len, in_channels)) : Paketlenmiş (patch'lenmiş) gürültülü görüntü latentleri.

encoder_hidden_states (torch.Tensor, şekli (batch_size, text_seq_len, num_text_layers, text_hidden_dim)) : Token başına alınmış metin kodlayıcı gizli durumlarının yığını.

timestep (torch.Tensor, şekli (batch_size,)) : [0, 1] aralığında akış eşleştirme zamanı (1 saf gürültü, 0 temiz veridir).

position_ids (torch.Tensor, şekli (text_seq_len + image_seq_len, 3)) : Birleşik dizi için (t, h, w) rotary koordinatları. Metin satırları tamamen sıfırdır; görüntü satırları latent-izgara koordinatlarını içerir.

encoder_attention_mask (torch.Tensor, şekli (batch_size, text_seq_len), isteğe bağlı) : Geçerli metin token'larını işaretleyen Boole maskesi. Tüm metin token'ları geçerli olduğunda None geçirin.

attention_kwargs (dict, isteğe bağlı) : İçinde scale girdisi bulunması durumunda, bu dönüştürücünün adaptörlerine ileri geçiş süresince uygulanacak LoRA ölçeğini ayarlayan bir kwargs sözlüğü.

return_dict (bool, isteğe bağlı, varsayılan True) : Düz bir tuple yerine Transformer2DModelOutput döndürülüp döndürülmemesi.

Dönüş:

Transformer2DModelOutput veya ilk öğesi (batch_size, image_seq_len, in_channels) biçiminde hız tensörü olan bir tuple.

Görsel jetonları için akış eşleştirme hızını tahmin edin.