diffusers/main/tr/api/models/ovisimage_transformer2d.md

OvisImageTransformer2DModel

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import OvisImageTransformer2DModel

transformer = OvisImageTransformer2DModel.from_pretrained("AIDC-AI/Ovis-Image-7B", subfolder="transformer", dtype=torch.bfloat16)

OvisImageTransformer2DModel[[diffusers.OvisImageTransformer2DModel]]

diffusers.OvisImageTransformer2DModel[[diffusers.OvisImageTransformer2DModel]]

diffusers.OvisImageTransformer2DModel(patch_size: int = 1, in_channels: int = 64, out_channels: int | None = 64, num_layers: int = 6, num_single_layers: int = 27, attention_head_dim: int = 128, num_attention_heads: int = 24, joint_attention_dim: int = 2048, axes_dims_rope: tuple = (16, 56, 56))

Kaynak

Parametreler:

patch_size (int, varsayılan 1) : Girdi verilerini küçük yamalar (patch) haline getirmek için kullanılan yama boyutu.

in_channels (int, varsayılan 64) : Girdideki kanal sayısı.

out_channels (int, isteğe bağlı, varsayılan None) : Çıktıdaki kanal sayısı. Belirtilmezse, varsayılan olarak in_channels değerini alır.

num_layers (int, varsayılan 6) : Kullanılacak çift akışlı DiT bloklarının katman sayısı.

num_single_layers (int, varsayılan 27) : Kullanılacak tek akışlı DiT bloklarının katman sayısı.

attention_head_dim (int, varsayılan 128) : Her dikkat başlığı için kullanılacak boyut sayısı.

num_attention_heads (int, varsayılan 24) : Kullanılacak dikkat başı sayısı.

joint_attention_dim (int, varsayılan 2048) : Ortak dikkat için kullanılacak boyut sayısı (encoder_hidden_states'in gömme/kanal boyutu).

axes_dims_rope (tuple[int], varsayılan (16, 56, 56)) : Döner konumsal gömme (rotary positional embeddings) için kullanılacak boyutlar.

Ovis-Image'de tanıtılan Transformer modeli.

Referans: https://github.com/AIDC-AI/Ovis-Image

forward[[diffusers.OvisImageTransformer2DModel.forward]]

forward(hidden_states: Tensor, encoder_hidden_states: Tensor = None, timestep: LongTensor = None, img_ids: Tensor = None, txt_ids: Tensor = None, joint_attention_kwargs: dict[str, typing.Any] | None = None, return_dict: bool = True)

Kaynak

Parametreler:

hidden_states (torch.Tensor, şekli (batch_size, image_sequence_length, in_channels)) : Girdi hidden_states.

encoder_hidden_states (torch.Tensor, şekli (batch_size, text_sequence_length, joint_attention_dim)) : Kullanılacak koşullu gömlemeler (promptlar gibi girdi koşullarından hesaplanan gömlemeler).

timestep (torch.LongTensor) : Gürültü azaltma adımını belirtmek için kullanılır.

img_ids : (torch.Tensor): Görsel jetonlar için konum kimlikleri.

txt_ids (torch.Tensor) : Metin belirteçleri için konum kimlikleri.

joint_attention_kwargs (dict, isteğe bağlı) : Belirtilirse, diffusers.models.attention_processor içinde self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.

return_dict (bool, isteğe bağlı, varsayılan True) : Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmediğini belirtir.

Dönüş:

return_dict True ise, ~models.transformer_2d.Transformer2DModelOutput döndürülür, aksi takdirde ilk öğesi örnek tensörü olan bir tuple döndürülür.

OvisImageTransformer2DModel ileri yöntemi.