diffusers/main/ar/api/models/wan_transformer_3d.md

WanTransformer3DModel

تم تقديم نموذج Wan 2.1 من فريق Wan في Alibaba، وهو نموذج Diffusion Transformer مخصص للبيانات المشابهة للفيديو ثلاثي الأبعاد.

يمكن تحميل النموذج باستخدام مقتطف الشيفرة التالي.

from diffusers import WanTransformer3DModel

transformer = WanTransformer3DModel.from_pretrained("Wan-AI/Wan2.1-T2V-1.3B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

WanTransformer3DModel[[diffusers.WanTransformer3DModel]]

diffusers.WanTransformer3DModel[[diffusers.WanTransformer3DModel]]

diffusers.WanTransformer3DModel(patch_size: tuple[int, ...] = (1, 2, 2), num_attention_heads: int = 40, attention_head_dim: int = 128, in_channels: int = 16, out_channels: int = 16, text_dim: int = 4096, freq_dim: int = 256, ffn_dim: int = 13824, num_layers: int = 40, cross_attn_norm: bool = True, qk_norm: str | None = 'rms_norm_across_heads', eps: float = 1e-06, image_dim: int | None = None, added_kv_proj_dim: int | None = None, rope_max_seq_len: int = 1024, pos_embed_seq_len: int | None = None)

المصدر

المعاملات:

patch_size (tuple[int]، القيمة الافتراضية (1, 2, 2)) : أبعاد الباتش ثلاثية الأبعاد لتضمين الفيديو (t_patch, h_patch, w_patch).

num_attention_heads (int، القيمة الافتراضية 40) : طول ثابت لتضمينات النص.

attention_head_dim (int، القيمة الافتراضية 128) : عدد القنوات في كل رأس.

in_channels (int، القيمة الافتراضية 16) : عدد القنوات في المدخلات.

out_channels (int، القيمة الافتراضية 16) : عدد القنوات في المخرجات.

text_dim (int، القيمة الافتراضية 512) : بُعد الإدخال لتضمينات النص.

freq_dim (int، القيمة الافتراضية 256) : الأبعاد الخاصة بالتضمينات الزمنية الجيبية.

ffn_dim (int، القيمة الافتراضية 13824) : البُعد الوسيط في الشبكة الأمامية (feed-forward).

num_layers (int، القيمة الافتراضية 40) : عدد طبقات كتل التحويل (transformer blocks) المستخدمة.

window_size (tuple[int]، القيمة الافتراضية (-1, -1)) : حجم النافذة للانتباه المحلي (القيمة -1 تشير إلى الانتباه العام).

cross_attn_norm (bool، القيمة الافتراضية True) : تفعيل تطبيع الانتباه المتقاطع.

qk_norm (bool، القيمة الافتراضية True) : تفعيل تطبيع الاستعلام/المفتاح.

eps (float، القيمة الافتراضية 1e-6) : قيمة إبسيلون لطبقات التطبيع.

add_img_emb (bool، القيمة الافتراضية False) : ما إذا كان سيتم استخدام img_emb.

added_kv_proj_dim (int، اختياري، القيمة الافتراضية None) : عدد القنوات المستخدمة في الإسقاطات المضافة للمفتاح والقيمة. إذا كانت None، فلا يُستخدم أي إسقاط.

نموذج Transformer لبيانات تشبه الفيديو يُستخدم في نموذج Wan.

forward[[diffusers.WanTransformer3DModel.forward]]

forward(hidden_states: Tensor, timestep: LongTensor, encoder_hidden_states: Tensor, encoder_hidden_states_image: typing.Optional[torch.Tensor] = None, return_dict: bool = True, attention_kwargs: dict[str, typing.Any] | None = None)

المصدر

المعاملات:

hidden_states (torch.Tensor من الشكل (batch_size, num_channels, num_frames, height, width)) : مدخلات hidden_states.

timestep (torch.LongTensor) : يُستخدم للإشارة إلى خطوة إزالة الضوضاء.

encoder_hidden_states (torch.Tensor من الشكل (batch_size, sequence_len, embed_dims)) : التضمينات الشرطية (التضمينات المحسوبة من الشروط المدخلة مثل الأوامر) للاستخدام.

encoder_hidden_states_image (torch.Tensor، اختياري) : تضمينات الصور الشرطية لتوليد مشروط بالصور.

return_dict (bool، اختياري، القيمة الافتراضية True) : ما إذا كان يجب إرجاع ~models.transformer_2d.Transformer2DModelOutput بدلاً من tuple عادي.

attention_kwargs (dict، اختياري) : قاموس kwargs يُمرَّر إلى AttentionProcessor إذا تم تحديده، كما هو معرَّف تحت self.processor في diffusers.models.attention_processor.

يعيد:

إذا كان return_dict صحيحًا، يُعاد ~models.transformer_2d.Transformer2DModelOutput، وإلا يُعاد tuple يكون عنصره الأول هو تينسور العينة.

طريقة WanTransformer3DModel الأمامية.

Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)

المصدر

المعاملات:

sample (torch.Tensor من الشكل (batch_size, num_channels, height, width) أو (batch size, num_vector_embeds - 1, num_latent_pixels) إذا كان Transformer2DModel منفصلاً): مخرجات الحالات المخفية المشروطة على مدخل encoder_hidden_states. إذا كان منفصلاً، يعيد توزيعات الاحتمال للبكسلات الكامنة غير الملوثة.

مخرجات Transformer2DModel.