# Cosmos3OmniTransformer

NVIDIA'nın Cosmos3 dünya temel modeli ailesinin bir parçası olarak tanıtılan, birleşik bir görme-dil dönüştürücüsü olan Mixture-of-Transformer (MoT). Model, paketlenmiş birleşik bir dizide iki paralel hesaplama yolunu çalıştırır:

- metin jetonları üzerinde nedensel maskeleme ile kendine dikkat uygulayan **nedensel "anlama" yolunu** ve
- a **çift yönlü "üretim" yolu**, üretim jetonlarından (görüntü + isteğe bağlı ses latentleri) tam anlama-ve-üretim anahtar/değer kümesine çapraz dikkat uygular.

İki yol, aynı gizli boyutu ve katman sayısını paylaşır ancak **ayrı Q/K/V/O projeksiyonları, MLP'leri ve RMSNorm parametrelerini** korur; bu durum, mimariyi standart bir Mixture-of-Experts yerine bir Mixture-of-Transformer yapar. Konum bilgisi, video latentleri için zaman / yükseklik / genişlik frekanslarını iç içe geçiren ve metin ile ses için zaman eksenini yeniden kullanan 3B çok modlu RoPE (mRoPE) aracılığıyla sağlanır.

Model şu şekilde yüklenebilir.

```python
import torch
from diffusers import Cosmos3OmniTransformer

transformer = Cosmos3OmniTransformer.from_pretrained(
    "nvidia/Cosmos3-Nano", subfolder="transformer", dtype=torch.bfloat16
)
```

## Cosmos3OmniTransformer[[diffusers.Cosmos3OmniTransformer]]

#### diffusers.Cosmos3OmniTransformer[[diffusers.Cosmos3OmniTransformer]]

```python
diffusers.Cosmos3OmniTransformer(attention_bias: bool = False, attention_dropout: float = 0.0, dtype: str = 'bfloat16', head_dim: int = 128, hidden_size: int = 4096, intermediate_size: int = 12288, base_fps: int = 24, enable_fps_modulation: bool = True, latent_channel: int = 48, unified_3d_mrope_reset_spatial_ids: bool = True, unified_3d_mrope_temporal_modality_margin: int = 15000, latent_patch_size: int = 2, num_attention_heads: int = 32, num_hidden_layers: int = 36, num_key_value_heads: int = 8, patch_latent_dim: int = 192, rms_norm_eps: float = 1e-06, rope_scaling: dict | None = None, rope_theta: float = 5000000.0, action_dim: int | None = None, action_gen: bool = False, num_embodiment_domains: int = 32, sound_dim: int | None = None, sound_gen: bool = False, sound_latent_fps: float = 25.0, timestep_scale: float = 0.001, vocab_size: int = 151936, hidden_act: str = 'silu', qk_norm_for_text: bool = True, use_und_k_norm_for_gen: bool = False, rope_axes_dim: tuple[int, int, int] | list[int] | None = None)
```

[Kaynak](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/transformer_cosmos3.py#L374)

#### forward[[diffusers.Cosmos3OmniTransformer.forward]]

```python
forward(input_ids: Tensor, text_indexes: Tensor, position_ids: Tensor, und_len: int, sequence_length: int, vision_tokens: list, vision_token_shapes: list, vision_sequence_indexes: Tensor, vision_mse_loss_indexes: Tensor, vision_timesteps: Tensor, vision_noisy_frame_indexes: list, sound_tokens: list[torch.Tensor] | None = None, sound_token_shapes: list[tuple[int, int, int]] | None = None, sound_sequence_indexes: typing.Optional[torch.Tensor] = None, sound_mse_loss_indexes: typing.Optional[torch.Tensor] = None, sound_timesteps: typing.Optional[torch.Tensor] = None, sound_noisy_frame_indexes: list[torch.Tensor] | None = None, action_tokens: list[torch.Tensor] | None = None, action_token_shapes: list[tuple[int, int, int]] | None = None, action_sequence_indexes: typing.Optional[torch.Tensor] = None, action_mse_loss_indexes: typing.Optional[torch.Tensor] = None, action_timesteps: typing.Optional[torch.Tensor] = None, action_noisy_frame_indexes: list[torch.Tensor] | None = None, action_domain_ids: list[torch.Tensor] | None = None, return_dict: bool = True)
```

[Kaynak](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/transformer_cosmos3.py#L671)

**Parametreler:**

input_ids : Birleşik dizide `text_indexes` konumuna yerleştirilen metin token kimlikleri.

text_indexes : Birleşik dizideki metin jetonlarının dizinleri.

position_ids : `[3, sequence_length]` tam birleşik dizi için mRoPE konum kimlikleri.

und_len : Nedenli metin (anlama) önekinin uzunluğu; üretim jetonları bunun ardından gelir.

sequence_length : Birleşik paketlenmiş dizinin toplam uzunluğu.

vision_tokens : Patchify işleminden önceki öğe başına görsel latent tensörler.

vision_token_shapes : Görüntü öğesi başına `(T, H, W)` yama ızgara şekilleri.

vision_sequence_indexes : Ortak dizideki görme jetonlarının dizinleri.

vision_mse_loss_indexes : Omurga (backbone) sonrasında görsel tahminleri okumak için kullanılan dizinler.

vision_timesteps : Görüntü jetonları için yama başına difüzyon zaman adımları.

vision_noisy_frame_indexes : Görüntü öğesi başına gürültülü kare dizinleri.

sound_tokens : Paketleme öncesi isteğe bağlı ses latent tensörleri.

sound_token_shapes : Ses öğeleri için isteğe bağlı yama ızgara şekilleri.

sound_sequence_indexes : Ortak dizideki ses jetonlarının isteğe bağlı dizinleri.

sound_mse_loss_indexes : Ses tahminlerini okumak için kullanılan isteğe bağlı dizinler.

sound_timesteps : Ses için isteğe bağlı token başına difüzyon zaman adımları.

sound_noisy_frame_indexes : Ses öğesi başına isteğe bağlı gürültülü kare dizinleri.

action_tokens : Paketleme öncesinde isteğe bağlı eylem gizli tensörleri.

action_token_shapes : Her eylem öğesi için isteğe bağlı yama ızgara şekilleri `(T, H, W)`.

action_sequence_indexes : Ortak dizideki eylem jetonlarının isteğe bağlı dizinleri.

action_mse_loss_indexes : Omurga (backbone) sonrasında eylem tahminlerini okumak için kullanılan isteğe bağlı indeksler.

action_timesteps : Eylem jetonları için isteğe bağlı jeton başına difüzyon zaman adımları.

action_noisy_frame_indexes : Her eylem öğesi için isteğe bağlı gürültülü kare dizinleri.

action_domain_ids : Eylem başlığı ağırlıklarını seçen isteğe bağlı öğe başına alan kimlikleri.

return_dict : Bir tuple yerine [*Cosmos3OmniTransformerOutput*] döndürülüp döndürülmemesi.

**Dönüş:**

Bir [*Cosmos3OmniTransformerOutput*] veya modallık başına tahmin listelerinden oluşan bir tuple. İsteğe bağlı modallıklar, girdileri atlandığında `None` döndürür.

Tam bir gürültü azaltma adımında ileri geçiş çalıştırın.