diffusers/main/ar/api/models/lumina_nextdit2d.md

LuminaNextDiT2DModel

نسخة جديدة من نموذج Diffusion Transformer للبيانات ثنائية الأبعاد من Lumina-T2X.

LuminaNextDiT2DModel[[diffusers.LuminaNextDiT2DModel]]

diffusers.LuminaNextDiT2DModel[[diffusers.LuminaNextDiT2DModel]]

diffusers.LuminaNextDiT2DModel(sample_size: int = 128, patch_size: int | None = 2, in_channels: int | None = 4, hidden_size: int | None = 2304, num_layers: int | None = 32, num_attention_heads: int | None = 32, num_kv_heads: int | None = None, multiple_of: int | None = 256, ffn_dim_multiplier: float | None = None, norm_eps: float | None = 1e-05, learn_sigma: bool | None = True, qk_norm: bool | None = True, cross_attention_dim: int | None = 2048, scaling_factor: float | None = 1.0)

المصدر

المعاملات:

sample_size (int) : عرض الصور الكامنة. هذا ثابت أثناء التدريب لأنه يُستخدم لتعلم عدد من تضمينات المواقع.

patch_size (int، اختياري، (int، اختياري، القيمة الافتراضية 2) : حجم كل رقعة في الصورة. يحدد هذا المعامل دقة الرقع المُدخلة إلى النموذج.

in_channels (int، اختياري، القيمة الافتراضية 4) : عدد قنوات الإدخال للنموذج. عادةً، يتطابق هذا العدد مع عدد القنوات في الصور المدخلة.

hidden_size (int، اختياري، القيمة الافتراضية 4096) : بُعد الطبقات المخفية في النموذج. يحدد هذا المعامل عرض التمثيلات المخفية للنموذج.

num_layers (int، اختياري، الافتراضي 32) : عدد الطبقات في النموذج. يحدد هذا عمق الشبكة العصبية.

num_attention_heads (int، اختياري، القيمة الافتراضية 32) : عدد رؤوس الانتباه في كل طبقة انتباه. يحدد هذا المعامل عدد آليات الانتباه المنفصلة المستخدمة.

num_kv_heads (int، اختياري، القيمة الافتراضية 8) : عدد رؤوس المفاتيح والقيم في آلية الانتباه، إذا كان مختلفًا عن عدد رؤوس الانتباه. إذا كانت القيمة None، فإنها تتحول افتراضيًا إلى num_attention_heads.

multiple_of (int، اختياري، القيمة الافتراضية 256) : عامل يجب أن تكون حجم المخفي مضاعفًا له. يمكن أن يساعد ذلك في تحسين بعض تكوينات الأجهزة.

ffn_dim_multiplier (float، اختياري) : مُضاعِف لأبعاد الشبكة الأمامية. إذا كانت القيمة None، فسيتم استخدام قيمة افتراضية بناءً على إعدادات النموذج.

norm_eps (float، اختياري، القيمة الافتراضية 1e-5) : قيمة صغيرة تُضاف إلى المقام لضمان الاستقرار العددي في طبقات التطبيع.

learn_sigma (bool، اختياري، القيمة الافتراضية True) : ما إذا كان يجب على النموذج تعلّم معامل sigma، والذي قد يكون مرتبطًا بعدم اليقين أو التباين في التنبؤات.

qk_norm (bool، اختياري، القيمة الافتراضية True) : يحدد ما إذا كان يجب تطبيع الاستعلامات والمفاتيح في آلية الانتباه.

cross_attention_dim (int، اختياري، القيمة الافتراضية 2048) : بُعد تمثيلات النص. يحدد هذا المعامل حجم التمثيلات النصية المستخدمة في النموذج.

scaling_factor (float، اختياري، القيمة الافتراضية 1.0) : معامل مقياس يُطبَّق على بعض المعاملات أو الطبقات في النموذج. يمكن استخدامه لضبط المقياس العام لعمليات النموذج.

LuminaNextDiT: نموذج انتشار بهيكل أساسي من نوع Transformer.

ورث ModelMixin وConfigMixin لتكون متوافقة مع عينة StableDiffusionPipeline من diffusers.

forward[[diffusers.LuminaNextDiT2DModel.forward]]

forward(hidden_states: Tensor, timestep: Tensor, encoder_hidden_states: Tensor, encoder_mask: Tensor, image_rotary_emb: Tensor, cross_attention_kwargs: dict[str, typing.Any] = None, return_dict = True)

المصدر

المعاملات:

hidden_states (torch.Tensor) : متجه الإدخال ذو الشكل (N, C, H, W).

timestep (torch.Tensor) : متجه (Tensor) لخطوات الانتشار (diffusion timesteps) من الشكل (N,).

encoder_hidden_states (torch.Tensor) : متجه (Tensor) لميزات الوصف (caption features) بأبعاد (N, D).

encoder_mask (torch.Tensor) : متجه (Tensor) لأقنعة التسميات (caption masks) بأبعاد (N, L).

image_rotary_emb (torch.Tensor) : تمثيلات موضعية دوّارة محسوبة مسبقًا.

cross_attention_kwargs (dict، اختياري) : قاموس kwargs يُمرَّر إلى AttentionProcessor إذا تم تحديده، كما هو معرَّف تحت self.processor في diffusers.models.attention_processor.

return_dict (bool، اختياري، القيمة الافتراضية True) : ما إذا كان يجب إرجاع ~models.transformer_2d.Transformer2DModelOutput بدلاً من tuple عادي.

يعيد: ~models.transformer_2d.Transformer2DModelOutput أو tuple

إذا كان return_dict صحيحًا، يُعاد ~models.transformer_2d.Transformer2DModelOutput، وإلا يُعاد tuple عادي.

مرور أمامي في LuminaNextDiT.