Diffusers documentation
Cosmos3OmniTransformer
Cosmos3OmniTransformer
NVIDIA'nın Cosmos3 dünya temel modeli ailesinin bir parçası olarak tanıtılan, birleşik bir görme-dil dönüştürücüsü olan Mixture-of-Transformer (MoT). Model, paketlenmiş birleşik bir dizide iki paralel hesaplama yolunu çalıştırır:
- metin jetonları üzerinde nedensel maskeleme ile kendine dikkat uygulayan nedensel “anlama” yolunu ve
- a çift yönlü “üretim” yolu, üretim jetonlarından (görüntü + isteğe bağlı ses latentleri) tam anlama-ve-üretim anahtar/değer kümesine çapraz dikkat uygular.
İki yol, aynı gizli boyutu ve katman sayısını paylaşır ancak ayrı Q/K/V/O projeksiyonları, MLP'leri ve RMSNorm parametrelerini korur; bu durum, mimariyi standart bir Mixture-of-Experts yerine bir Mixture-of-Transformer yapar. Konum bilgisi, video latentleri için zaman / yükseklik / genişlik frekanslarını iç içe geçiren ve metin ile ses için zaman eksenini yeniden kullanan 3B çok modlu RoPE (mRoPE) aracılığıyla sağlanır.
Model şu şekilde yüklenebilir.
import torch
from diffusers import Cosmos3OmniTransformer
transformer = Cosmos3OmniTransformer.from_pretrained(
"nvidia/Cosmos3-Nano", subfolder="transformer", dtype=torch.bfloat16
)Cosmos3OmniTransformer
sınıf diffusers.Cosmos3OmniTransformer
< source >( attention_bias: bool = Falseattention_dropout: float = 0.0dtype: str = 'bfloat16'head_dim: int = 128hidden_size: int = 4096intermediate_size: int = 12288base_fps: int = 24enable_fps_modulation: bool = Truelatent_channel: int = 48unified_3d_mrope_reset_spatial_ids: bool = Trueunified_3d_mrope_temporal_modality_margin: int = 15000latent_patch_size: int = 2num_attention_heads: int = 32num_hidden_layers: int = 36num_key_value_heads: int = 8patch_latent_dim: int = 192rms_norm_eps: float = 1e-06rope_scaling: dict | None = Nonerope_theta: float = 5000000.0action_dim: int | None = Noneaction_gen: bool = Falsenum_embodiment_domains: int = 32sound_dim: int | None = Nonesound_gen: bool = Falsesound_latent_fps: float = 25.0timestep_scale: float = 0.001vocab_size: int = 151936hidden_act: str = 'silu'qk_norm_for_text: bool = Trueuse_und_k_norm_for_gen: bool = Falserope_axes_dim: tuple[int, int, int] | list[int] | None = None )
forward
< source >( input_ids: Tensortext_indexes: Tensorposition_ids: Tensorund_len: intsequence_length: intvision_tokens: listvision_token_shapes: listvision_sequence_indexes: Tensorvision_mse_loss_indexes: Tensorvision_timesteps: Tensorvision_noisy_frame_indexes: listsound_tokens: list[torch.Tensor] | None = Nonesound_token_shapes: list[tuple[int, int, int]] | None = Nonesound_sequence_indexes: typing.Optional[torch.Tensor] = Nonesound_mse_loss_indexes: typing.Optional[torch.Tensor] = Nonesound_timesteps: typing.Optional[torch.Tensor] = Nonesound_noisy_frame_indexes: list[torch.Tensor] | None = Noneaction_tokens: list[torch.Tensor] | None = Noneaction_token_shapes: list[tuple[int, int, int]] | None = Noneaction_sequence_indexes: typing.Optional[torch.Tensor] = Noneaction_mse_loss_indexes: typing.Optional[torch.Tensor] = Noneaction_timesteps: typing.Optional[torch.Tensor] = Noneaction_noisy_frame_indexes: list[torch.Tensor] | None = Noneaction_domain_ids: list[torch.Tensor] | None = Nonereturn_dict: bool = True )
Parametreler
- input_ids — Ortak dizide
text_indexeskonumlarına yerleştirilen metin token kimlikleri. - text_indexes — Birleşik dizideki metin jetonlarının dizinleri.
- position_ids — tam birleşik dizi için mRoPE konum kimlikleri,
[3, sequence_length]. - und_len — Nedenli metin (anlama) önekinin uzunluğu; üretim jetonları bunun ardından gelir.
- sequence_length — Birleşik paketlenmiş dizinin toplam uzunluğu.
- vision_tokens — Patchify işleminden önceki öğe başına görsel latent tensörler.
- vision_token_shapes — Görüntü öğesi başına yama ızgarası şekilleri
(T, H, W). - vision_sequence_indexes — Ortak dizideki görünürlük belirteçlerinin dizinleri.
- vision_mse_loss_indexes — Omurga sonrası görsel tahminleri okumak için kullanılan dizinler.
- vision_timesteps — Görüntü jetonları için yama başına difüzyon zaman adımları.
- vision_noisy_frame_indexes — Her görsel öğe için gürültülü kare dizinleri.
- sound_tokens — Paketleme öncesi isteğe bağlı ses latent tensörleri.
- sound_token_shapes — Ses öğeleri için isteğe bağlı yama ızgarası şekilleri.
- sound_sequence_indexes — Ortak dizideki ses jetonlarının isteğe bağlı dizinleri.
- sound_mse_loss_indexes — Ses tahminlerini okumak için kullanılan isteğe bağlı dizinler.
- sound_timesteps — Ses için isteğe bağlı token başına difüzyon adımları.
- sound_noisy_frame_indexes — Ses öğesi başına isteğe bağlı gürültülü kare dizinleri.
- action_tokens — Paketleme öncesinde isteğe bağlı eylem gizli tensörleri.
- action_token_shapes — Her eylem öğesi için isteğe bağlı yama ızgara şekilleri
(T, H, W). - action_sequence_indexes — Ortak dizideki eylem jetonlarının isteğe bağlı dizinleri.
- action_mse_loss_indexes — Omurgadan (backbone) sonra eylem tahminlerini okumak için kullanılan isteğe bağlı indeksler.
- action_timesteps — Eylem jetonları için isteğe bağlı, jeton başına difüzyon zaman adımları.
- action_noisy_frame_indexes — Her eylem öğesi için isteğe bağlı gürültülü kare dizinleri.
- action_domain_ids — Eylem başlığı ağırlıklarını seçen isteğe bağlı öğe başına alan kimlikleri.
- return_dict — Bir tuple yerine [Cosmos3OmniTransformerOutput] döndürülüp döndürülmemesi.
Tam bir gürültü azaltma adımında ileri geçiş çalıştırın.