diffusers/main/ar/api/models/transformer_joyimage_edit_plus.md

JoyImageEditPlusTransformer3DModel

يمكن تحميل النموذج باستخدام مقتطف الشيفرة التالي.

from diffusers import JoyImageEditPlusTransformer3DModel

transformer = JoyImageEditPlusTransformer3DModel.from_pretrained("jdopensource/JoyAI-Image-Edit-Plus-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

JoyImageEditPlusTransformer3DModel[[diffusers.JoyImageEditPlusTransformer3DModel]]

diffusers.JoyImageEditPlusTransformer3DModel[[diffusers.JoyImageEditPlusTransformer3DModel]]

diffusers.JoyImageEditPlusTransformer3DModel(patch_size: list[int] = [1, 2, 2], in_channels: int = 16, out_channels: int | None = None, hidden_size: int = 3072, num_attention_heads: int = 24, text_dim: int = 4096, mlp_width_ratio: float = 4.0, num_layers: int = 20, rope_dim_list: list[int] = [16, 56, 56], rope_type: str = 'rope', theta: int = 256)

المصدر

المعاملات:

patch_size (list، القيمة الافتراضية [1, 2, 2]) : حجم الباتش (Patch size) لتقطيع المدخل الكامن (latent input) على طول الأبعاد (t, h, w).

in_channels (int، القيمة الافتراضية 16) : عدد القنوات في المدخلات الكامنة.

out_channels (int، اختياري، القيمة الافتراضية None) : عدد القنوات في المخرجات. إذا لم يُحدد، تكون القيمة الافتراضية in_channels.

hidden_size (int، القيمة الافتراضية 3072) : بُعد التمثيلات المخفية.

num_attention_heads (int، القيمة الافتراضية 24) : عدد رؤوس الانتباه.

text_dim (int، القيمة الافتراضية 4096) : بُعد مخرج مُشفِّر النص.

mlp_width_ratio (float، القيمة الافتراضية 4.0) : نسبة بُعد MLP المخفي إلى hidden_size.

num_layers (int، القيمة الافتراضية 20) : عدد كتل التحويل ذات التدفق المزدوج.

rope_dim_list (list[int]، القيمة الافتراضية هي [16, 56, 56]) : الأبعاد للتضمينات الموضعية الدوارة ثلاثية الأبعاد على طول (t, h, w).

rope_type (str، الافتراضي "rope") : نوع التضمين الوضعي الدوّاري.

theta (int، القيمة الافتراضية 256) : التردد الأساسي للتضمينات الدوارة.

JoyImage Edit Plus Transformer لتحرير الصور المتعددة.

يستخدم نهج patchify+padding حيث يتم تقسيم كل صورة مرجعية والضوضاء المستهدفة بشكل مستقل إلى بقع (patches) ثم دمجها في تسلسل مسطّح من البقع. يدعم صوراً مرجعية بدقة متغيرة.

صيغة الإدخال: [B, max_patches, C, pt, ph, pw] (رقع محشوة بأبعاد 6).

forward[[diffusers.JoyImageEditPlusTransformer3DModel.forward]]

forward(hidden_states: Tensor, timestep: Tensor, encoder_hidden_states: Tensor, encoder_hidden_states_mask: typing.Optional[torch.Tensor] = None, shape_list: list[list[tuple[int, int, int]]] = None, return_dict: bool = True)

المصدر

المعاملات:

hidden_states : [B, max_patches, C, pt, ph, pw] - مدخل كامن مُقسَّم إلى رقعات.

timestep : [B] - خطوة الانتشار.

encoder_hidden_states : [B, L, D] - مخرجات مُشفِّر النص.

encoder_hidden_states_mask : [B, L] - قناع الانتباه لرموز النص.

shape_list : قائمة لكل عينة من tuples (t, h, w) لكل مكوّن (الهدف + المراجع).

return_dict : ما إذا كان يجب إرجاع قاموس (dict) أو مجموعة (tuple).

يعيد:

إذا كان return_dict صحيحًا، يُعاد Transformer2DModelOutput، وإلا يُعاد tuple يكون عنصره الأول هو مصفوفة العينة.

Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)

المصدر

المعاملات:

sample (torch.Tensor من الشكل (batch_size, num_channels, height, width) أو (batch size, num_vector_embeds - 1, num_latent_pixels) إذا كان Transformer2DModel منفصلاً): مخرجات الحالات المخفية المشروطة على مدخل encoder_hidden_states. إذا كان منفصلاً، يعيد توزيعات الاحتمال للبكسلات الكامنة غير الملوثة.

مخرجات Transformer2DModel.