diffusers/main/tr/api/models/chronoedit_transformer_3d.md

ChronoEditTransformer3DModel

NVIDIA ve Toronto Üniversitesi'nden Jay Zhangjie Wu, Xuanchi Ren, Tianchang Shen, Tianshi Cao, Kai He, Yifan Lu, Ruiyuan Gao, Enze Xie, Shiyi Lan, Jose M. Alvarez, Jun Gao, Sanja Fidler, Zian Wang, Huan Ling tarafından geliştirilen ChronoEdit: Towards Temporal Reasoning for Image Editing and World Simulation makalesindeki 3D video benzeri veriler için bir Diffusion Transformer modeli.

Kısa özet: ChronoEdit, görüntü düzenlemeyi bir video üretimi görevi olarak yeniden çerçeveler ve zaman tutarlılığına sahip önceden eğitilmiş video modellerinden yararlanmak için girdi ve düzenlenmiş görüntüleri başlangıç/bitiş kareleri olarak kullanır. Zamanlama akıl yürütme aşaması, fiziksel olarak olası düzenlemeleri sağlamak ve düzenleme yörüngesini görselleştirmek için akıl yürütme jetonları (reasoning tokens) tanıtır.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import ChronoEditTransformer3DModel

transformer = ChronoEditTransformer3DModel.from_pretrained("nvidia/ChronoEdit-14B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

ChronoEditTransformer3DModel[[diffusers.ChronoEditTransformer3DModel]]

diffusers.ChronoEditTransformer3DModel[[diffusers.ChronoEditTransformer3DModel]]

diffusers.ChronoEditTransformer3DModel(patch_size: tuple = (1, 2, 2), num_attention_heads: int = 40, attention_head_dim: int = 128, in_channels: int = 16, out_channels: int = 16, text_dim: int = 4096, freq_dim: int = 256, ffn_dim: int = 13824, num_layers: int = 40, cross_attn_norm: bool = True, qk_norm: str | None = 'rms_norm_across_heads', eps: float = 1e-06, image_dim: int | None = None, added_kv_proj_dim: int | None = None, rope_max_seq_len: int = 1024, pos_embed_seq_len: int | None = None, rope_temporal_skip_len: int = 8)

Kaynak

Parametreler:

patch_size (tuple[int], varsayılan (1, 2, 2)) : Video gömme için 3B yama boyutları (t_patch, h_patch, w_patch).

num_attention_heads (int, varsayılan 40) : Metin gömme (embedding) için sabit uzunluk.

attention_head_dim (int, varsayılan 128) : Her baştaki kanal sayısı.

in_channels (int, varsayılan 16) : Girdideki kanal sayısı.

out_channels (int, varsayılan 16) : Çıktıdaki kanal sayısı.

text_dim (int, varsayılan 512) : Metin gömme girdi boyutu.

freq_dim (int, varsayılan 256) : Sinüzoidal zaman gömme boyutu.

ffn_dim (int, varsayılan 13824) : İleri beslemeli ağdaki ara boyut.

num_layers (int, varsayılan 40) : Kullanılacak transformer bloğu katman sayısı.

window_size (tuple[int], varsayılan (-1, -1)) : Yerel dikkat için pencere boyutu (-1, global dikkat olduğunu belirtir).

cross_attn_norm (bool, varsayılan True) : Çapraz dikkat normalizasyonunu etkinleştirir.

qk_norm (bool, varsayılan True) : Sorgu/anahtar normalizasyonunu etkinleştirir.

eps (float, varsayılan 1e-6) : Normalizasyon katmanları için epsilon değeri.

add_img_emb (bool, varsayılan False) : img_emb kullanılacak mı?

added_kv_proj_dim (int, isteğe bağlı, varsayılan None) : Eklenen anahtar ve değer projeksiyonları için kullanılacak kanal sayısı. None ise projeksiyon kullanılmaz.

ChronoEdit modelinde kullanılan, video benzeri veriler için bir Transformer modeli.

forward[[diffusers.ChronoEditTransformer3DModel.forward]]

forward(hidden_states: Tensor, timestep: LongTensor, encoder_hidden_states: Tensor, encoder_hidden_states_image: typing.Optional[torch.Tensor] = None, return_dict: bool = True, attention_kwargs: dict[str, typing.Any] | None = None)

Kaynak

Parametreler:

hidden_states (torch.Tensor, şekli (batch_size, num_channels, num_frames, height, width)) : Girdi hidden_states.

timestep (torch.LongTensor) : Gürültü azaltma adımını belirtmek için kullanılır.

encoder_hidden_states (torch.Tensor, şekli (batch_size, sequence_len, embed_dims)) : Kullanılacak koşullu gömlemeler (giriş koşullarından, örneğin istemlerden hesaplanan gömlemeler).

encoder_hidden_states_image (torch.Tensor, isteğe bağlı) : Görsel koşullu üretim için koşullu görsel gömme değerleri.

return_dict (bool, isteğe bağlı, varsayılan True) : Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmediğini belirtir.

attention_kwargs (dict, isteğe bağlı) : Belirtilirse, diffusers.models.attention_processor içinde self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.

Dönüş:

return_dict True ise, ~models.transformer_2d.Transformer2DModelOutput döndürülür, aksi takdirde ilk öğesi örnek tensörü olan bir tuple döndürülür.

ChronoEditTransformer3DModel ileri yöntemi.

Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)

Kaynak

Parametreler:

sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) : encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü olmayan (unnoised) gizli (latent) pikseller için olasılık dağılımlarını döndürür.

Transformer2DModel'nin çıktısı.