Hugging Face's logo

Diffusers documentation

OvisImageTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

OvisImageTransformer2DModel

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import OvisImageTransformer2DModel

transformer = OvisImageTransformer2DModel.from_pretrained("AIDC-AI/Ovis-Image-7B", subfolder="transformer", dtype=torch.bfloat16)

OvisImageTransformer2DModel

sınıf diffusers.OvisImageTransformer2DModel

< >

( patch_size: int = 1in_channels: int = 64out_channels: int | None = 64num_layers: int = 6num_single_layers: int = 27attention_head_dim: int = 128num_attention_heads: int = 24joint_attention_dim: int = 2048axes_dims_rope: tuple = (16, 56, 56) )

Parametreler

  • patch_size (int, varsayılan 1) — Girdi verisini küçük yamalar (patch) haline getirmek için yama boyutu.
  • in_channels (int, varsayılan 64) — Girdideki kanal sayısı.
  • out_channels (int, isteğe bağlı, varsayılan None) — Çıktıdaki kanal sayısı. Belirtilmezse, varsayılan olarak in_channels değerini alır.
  • num_layers (int, varsayılan 6) — Kullanılacak çift akışlı DiT bloklarının katman sayısı.
  • num_single_layers (int, varsayılan 27) — Kullanılacak tek akışlı DiT bloklarının katman sayısı.
  • attention_head_dim (int, varsayılan 128) — Her dikkat başlığı için kullanılacak boyut sayısı.
  • num_attention_heads (int, varsayılan 24) — Kullanılacak dikkat başı sayısı.
  • joint_attention_dim (int, varsayılan 2048) — Ortak dikkat için kullanılacak boyut sayısı (encoder_hidden_states'in gömme/kanal boyutu).
  • axes_dims_rope (tuple[int], varsayılan (16, 56, 56)) — Döner konumsal gömme için kullanılacak boyutlar.

Ovis-Image'de tanıtılan Transformer modeli.

Referans: https://github.com/AIDC-AI/Ovis-Image

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensor = Nonetimestep: LongTensor = Noneimg_ids: Tensor = Nonetxt_ids: Tensor = Nonejoint_attention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Parametreler

  • hidden_states (torch.Tensor, şekli (batch_size, image_sequence_length, in_channels)) — Girdi hidden_states.
  • encoder_hidden_states (torch.Tensor, şekli (batch_size, text_sequence_length, joint_attention_dim)) — Kullanılacak koşullu gömme değerleri (istekler gibi girdi koşullarından hesaplanan gömme değerleri).
  • timestep (torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • img_ids — (torch.Tensor): Görsel jetonları için konum kimlikleri.
  • txt_ids (torch.Tensor) — Metin jetonları için konum kimlikleri.
  • joint_attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.

OvisImageTransformer2DModel ileri yöntemi.

Update on GitHub

←OmniGenTransformer2DModel PixArtTransformer2DModel→