diffusers/main/ar/api/models/wan_animate_transformer_3d.md

WanAnimateTransformer3DModel

تم تقديم نموذج Wan Animate لنموذج Diffusion Transformer للبيانات المشابهة للفيديو ثلاثي الأبعاد من قبل فريق Alibaba Wan.

يمكن تحميل النموذج باستخدام مقتطف الشيفرة التالي.

from diffusers import WanAnimateTransformer3DModel

transformer = WanAnimateTransformer3DModel.from_pretrained("Wan-AI/Wan2.2-Animate-14B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

WanAnimateTransformer3DModel[[diffusers.WanAnimateTransformer3DModel]]

diffusers.WanAnimateTransformer3DModel[[diffusers.WanAnimateTransformer3DModel]]

diffusers.WanAnimateTransformer3DModel(patch_size: tuple[int] = (1, 2, 2), num_attention_heads: int = 40, attention_head_dim: int = 128, in_channels: int | None = 36, latent_channels: int | None = 16, out_channels: int | None = 16, text_dim: int = 4096, freq_dim: int = 256, ffn_dim: int = 13824, num_layers: int = 40, cross_attn_norm: bool = True, qk_norm: str | None = 'rms_norm_across_heads', eps: float = 1e-06, image_dim: int | None = 1280, added_kv_proj_dim: int | None = None, rope_max_seq_len: int = 1024, pos_embed_seq_len: int | None = None, motion_encoder_channel_sizes: dict[str, int] | None = None, motion_encoder_size: int = 512, motion_style_dim: int = 512, motion_dim: int = 20, motion_encoder_dim: int = 512, face_encoder_hidden_dim: int = 1024, face_encoder_num_heads: int = 4, inject_face_latents_blocks: int = 5, motion_encoder_batch_size: int = 8)

المصدر

المعاملات:

patch_size (tuple[int]، القيمة الافتراضية (1, 2, 2)) : أبعاد الباتش ثلاثية الأبعاد لتضمين الفيديو (t_patch, h_patch, w_patch).

num_attention_heads (int، القيمة الافتراضية 40) : طول ثابت لتضمينات النص.

attention_head_dim (int، القيمة الافتراضية 128) : عدد القنوات في كل رأس.

in_channels (int، القيمة الافتراضية 16) : عدد القنوات في المدخلات.

out_channels (int، القيمة الافتراضية 16) : عدد القنوات في المخرجات.

text_dim (int، القيمة الافتراضية 512) : بُعد الإدخال لتضمينات النص.

freq_dim (int، القيمة الافتراضية 256) : الأبعاد الخاصة بالتضمينات الزمنية الجيبية.

ffn_dim (int، القيمة الافتراضية 13824) : البُعد الوسيط في الشبكة الأمامية (feed-forward).

num_layers (int، القيمة الافتراضية 40) : عدد طبقات كتل التحويل (transformer blocks) المستخدمة.

window_size (tuple[int]، القيمة الافتراضية (-1, -1)) : حجم النافذة للانتباه المحلي (القيمة -1 تشير إلى الانتباه العام).

cross_attn_norm (bool، القيمة الافتراضية True) : تفعيل تطبيع الانتباه المتقاطع.

qk_norm (bool، القيمة الافتراضية True) : تفعيل تطبيع الاستعلام/المفتاح.

eps (float، القيمة الافتراضية 1e-6) : قيمة إبسيلون لطبقات التطبيع.

image_dim (int، اختياري، القيمة الافتراضية 1280) : عدد القنوات المستخدمة لتضمين الصورة. إذا كانت None، فلن يتم استخدام الإسقاط.

added_kv_proj_dim (int، اختياري، القيمة الافتراضية 5120) : عدد القنوات المستخدمة في إسقاطات المفتاح والقيمة المضافة. إذا كانت None، فلن يتم استخدام أي إسقاط.

نموذج Transformer لبيانات تشبه الفيديو يُستخدم في نموذج WanAnimate.

forward[[diffusers.WanAnimateTransformer3DModel.forward]]

forward(hidden_states: Tensor, timestep: LongTensor, encoder_hidden_states: Tensor, encoder_hidden_states_image: typing.Optional[torch.Tensor] = None, pose_hidden_states: typing.Optional[torch.Tensor] = None, face_pixel_values: typing.Optional[torch.Tensor] = None, motion_encode_batch_size: int | None = None, return_dict: bool = True, attention_kwargs: dict[str, typing.Any] | None = None)

المصدر

المعاملات:

hidden_states (torch.Tensor من الشكل (B, 2C + 4, T + 1, H, W)) : مدخلات كامنات فيديو ضجيجية من الشكل (B, 2C + 4, T + 1, H, W)، حيث B هو حجم الدفعة، وC هو عدد قنوات الكامن (16 في Wan VAE)، وT هو عدد إطارات الكامن في مقطع الاستدلال، وH هو ارتفاع الكامن، وW هو عرض الكامن.

timestep : (torch.LongTensor): الخطوة الزمنية الحالية في حلقة إزالة الضوضاء.

encoder_hidden_states (torch.Tensor) : تمثيلات نصية من مُشفِّر النص (umT5 في Wan Animate).

encoder_hidden_states_image (torch.Tensor) : ميزات CLIP البصرية للصورة المرجعية (الشخصية).

pose_hidden_states (torch.Tensor من الشكل (B, C, T, H, W)) : متغيرات الكامنة لفيديو الوضعية. ملاحظة: الوصف

face_pixel_values (torch.Tensor من الشكل (B, C', S, H', W')) : فيديو الوجه في فضاء البكسلات (وليس في الفضاء الكامن). عادةً ما يكون C' = 3، وتكون H' و W' هما الارتفاع/العرض لفيديو الوجه بالبكسلات. هنا يمثل S طول المقطع أثناء الاستدلال، ويُضبط عادةً على 77.

motion_encode_batch_size (int, اختياري) : حجم الدفعة (batch size) لتشفير الفيديو الوجهي على دفعات عبر مشفّح الحركة. سيُستخدم self.config.motion_encoder_batch_size افتراضيًا إذا لم يتم تعيينه.

return_dict (bool، اختياري، الافتراضي True) : ما إذا كان يجب إرجاع المخرجات كقاموس أو كسلسلة.

attention_kwargs (dict، اختياري) : قاموس kwargs يُمرَّر إلى AttentionProcessor إذا تم تحديده، كما هو معرَّف تحت self.processor في diffusers.models.attention_processor.

يعيد: ~models.transformer_2d.Transformer2DModelOutput أو tuple

إذا كان return_dict صحيحًا، يُعاد ~models.transformer_2d.Transformer2DModelOutput يكون sample فيه هو الكامنة المُزالة الضوضاء للفيديو، وإلا يُعاد tuple بسيط يكون عنصره الأول هو ذلك الموتر.

مرور أمامي لنموذج تحويلي Wan2.2-Animate.

Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)

المصدر

المعاملات:

sample (torch.Tensor من الشكل (batch_size, num_channels, height, width) أو (batch size, num_vector_embeds - 1, num_latent_pixels) إذا كان Transformer2DModel منفصلاً): مخرجات الحالات المخفية المشروطة على مدخل encoder_hidden_states. إذا كان منفصلاً، يعيد توزيعات الاحتمال للبكسلات الكامنة غير الملوثة.

مخرجات Transformer2DModel.