diffusers/main/ar/api/models/ovisimage_transformer2d.md

OvisImageTransformer2DModel

يمكن تحميل النموذج باستخدام مقتطف الشيفرة التالي.

from diffusers import OvisImageTransformer2DModel

transformer = OvisImageTransformer2DModel.from_pretrained("AIDC-AI/Ovis-Image-7B", subfolder="transformer", dtype=torch.bfloat16)

OvisImageTransformer2DModel[[diffusers.OvisImageTransformer2DModel]]

diffusers.OvisImageTransformer2DModel[[diffusers.OvisImageTransformer2DModel]]

diffusers.OvisImageTransformer2DModel(patch_size: int = 1, in_channels: int = 64, out_channels: int | None = 64, num_layers: int = 6, num_single_layers: int = 27, attention_head_dim: int = 128, num_attention_heads: int = 24, joint_attention_dim: int = 2048, axes_dims_rope: tuple[int, int, int] = (16, 56, 56))

المصدر

المعاملات:

patch_size (int، القيمة الافتراضية 1) : حجم الباتش لتحويل البيانات المدخلة إلى باتشات صغيرة.

in_channels (int، القيمة الافتراضية 64) : عدد القنوات في المدخلات.

out_channels (int، اختياري، القيمة الافتراضية None) : عدد القنوات في المخرجات. إذا لم يُحدد، تكون القيمة الافتراضية in_channels.

num_layers (int، القيمة الافتراضية 6) : عدد طبقات كتل DiT ذات التدفق المزدوج التي سيتم استخدامها.

num_single_layers (int، القيمة الافتراضية 27) : عدد طبقات كتل DiT أحادية التدفق المستخدمة.

attention_head_dim (int، القيمة الافتراضية 128) : عدد الأبعاد المستخدمة لكل رأس انتباه.

num_attention_heads (int، القيمة الافتراضية 24) : عدد رؤوس الانتباه (attention heads) المستخدمة.

joint_attention_dim (int، القيمة الافتراضية 2048) : عدد الأبعاد المستخدمة للانتباه المشترك (بعد التضمين/القناة الخاص بـ encoder_hidden_states).

axes_dims_rope (tuple[int]، القيمة الافتراضية هي (16, 56, 56)) : الأبعاد المستخدمة للتضمينات الموضعية الدوارة.

نموذج Transformer الذي تم تقديمه في Ovis-Image.

مرجع: https://github.com/AIDC-AI/Ovis-Image

forward[[diffusers.OvisImageTransformer2DModel.forward]]

forward(hidden_states: Tensor, encoder_hidden_states: Tensor = None, timestep: LongTensor = None, img_ids: Tensor = None, txt_ids: Tensor = None, joint_attention_kwargs: dict[str, typing.Any] | None = None, return_dict: bool = True)

المصدر

المعاملات:

hidden_states (torch.Tensor من الشكل (batch_size, image_sequence_length, in_channels)) : مدخلات hidden_states.

encoder_hidden_states (torch.Tensor من الشكل (batch_size, text_sequence_length, joint_attention_dim)) : تمثيلات شرطية (تمثيلات محسوبة من الشروط المدخلة مثل الأوامر النصية) للاستخدام.

timestep (torch.LongTensor) : يُستخدم للإشارة إلى خطوة إزالة الضوضاء.

img_ids : (torch.Tensor): معرّفات المواضع لرموز الصور.

txt_ids (torch.Tensor) : معرّفات المواضع لرموز النص.

joint_attention_kwargs (dict، اختياري) : قاموس kwargs يُمرَّر إلى AttentionProcessor إذا تم تحديده، كما هو معرَّف تحت self.processor في diffusers.models.attention_processor.

return_dict (bool، اختياري، القيمة الافتراضية True) : ما إذا كان يجب إرجاع ~models.transformer_2d.Transformer2DModelOutput بدلاً من tuple عادي.

يعيد:

إذا كان return_dict صحيحًا، يُعاد ~models.transformer_2d.Transformer2DModelOutput، وإلا يُعاد tuple يكون عنصره الأول هو تينسور العينة.

طريقة OvisImageTransformer2DModel الأمامية.