diffusers/main/ar/api/models/lumina2_transformer2d.md

Lumina2Transformer2DModel

تم تقديم نموذج Lumina Image 2.0 من نوع Diffusion Transformer لبيانات الفيديو ثلاثية الأبعاد بواسطة Alpha-VLLM.

يمكن تحميل النموذج باستخدام مقتطف الشيفرة التالي.

from diffusers import Lumina2Transformer2DModel

transformer = Lumina2Transformer2DModel.from_pretrained("Alpha-VLLM/Lumina-Image-2.0", subfolder="transformer", dtype=torch.bfloat16)

Lumina2Transformer2DModel[[diffusers.Lumina2Transformer2DModel]]

diffusers.Lumina2Transformer2DModel[[diffusers.Lumina2Transformer2DModel]]

diffusers.Lumina2Transformer2DModel(sample_size: int = 128, patch_size: int = 2, in_channels: int = 16, out_channels: int | None = None, hidden_size: int = 2304, num_layers: int = 26, num_refiner_layers: int = 2, num_attention_heads: int = 24, num_kv_heads: int = 8, multiple_of: int = 256, ffn_dim_multiplier: float | None = None, norm_eps: float = 1e-05, scaling_factor: float = 1.0, axes_dim_rope: tuple[int, int, int] = (32, 32, 32), axes_lens: tuple[int, int, int] = (300, 512, 512), cap_feat_dim: int = 1024)

المصدر

المعاملات:

sample_size (int) : عرض الصور الكامنة. هذا ثابت أثناء التدريب لأنه يُستخدم لتعلم عدد من تضمينات المواقع.

patch_size (int، اختياري، (int، اختياري، القيمة الافتراضية 2) : حجم كل رقعة في الصورة. يحدد هذا المعامل دقة الرقع المُدخلة إلى النموذج.

in_channels (int، اختياري، القيمة الافتراضية 4) : عدد قنوات الإدخال للنموذج. عادةً، يتطابق هذا العدد مع عدد القنوات في الصور المدخلة.

hidden_size (int، اختياري، القيمة الافتراضية 4096) : بُعد الطبقات المخفية في النموذج. يحدد هذا المعامل عرض التمثيلات المخفية للنموذج.

num_layers (int، اختياري، الافتراضي 32) : عدد الطبقات في النموذج. يحدد هذا عمق الشبكة العصبية.

num_attention_heads (int، اختياري، القيمة الافتراضية 32) : عدد رؤوس الانتباه في كل طبقة انتباه. يحدد هذا المعامل عدد آليات الانتباه المنفصلة المستخدمة.

num_kv_heads (int، اختياري، القيمة الافتراضية 8) : عدد رؤوس المفاتيح والقيم في آلية الانتباه، إذا كان مختلفًا عن عدد رؤوس الانتباه. إذا كانت القيمة None، فإنها تتحول افتراضيًا إلى num_attention_heads.

multiple_of (int، اختياري، القيمة الافتراضية 256) : عامل يجب أن تكون حجم المخفي مضاعفًا له. يمكن أن يساعد ذلك في تحسين بعض تكوينات الأجهزة.

ffn_dim_multiplier (float، اختياري) : مُضاعِف لأبعاد الشبكة الأمامية. إذا كانت القيمة None، فسيتم استخدام قيمة افتراضية بناءً على إعدادات النموذج.

norm_eps (float، اختياري، القيمة الافتراضية 1e-5) : قيمة صغيرة تُضاف إلى المقام لضمان الاستقرار العددي في طبقات التطبيع.

scaling_factor (float، اختياري، القيمة الافتراضية 1.0) : معامل مقياس يُطبَّق على بعض المعاملات أو الطبقات في النموذج. يمكن استخدامه لضبط المقياس العام لعمليات النموذج.

Lumina2NextDiT: نموذج انتشار بهيكل أساسي من نوع Transformer.

forward[[diffusers.Lumina2Transformer2DModel.forward]]

forward(hidden_states: Tensor, timestep: Tensor, encoder_hidden_states: Tensor, encoder_attention_mask: Tensor, attention_kwargs: dict[str, typing.Any] | None = None, return_dict: bool = True)

المصدر

المعاملات:

hidden_states (torch.Tensor من الشكل (batch_size, in_channels, height, width)) : مدخلات hidden_states.

timestep (torch.LongTensor) : يُستخدم للإشارة إلى خطوة إزالة الضوضاء.

encoder_hidden_states (torch.Tensor من الشكل (batch_size, sequence_len, embed_dims)) : التضمينات الشرطية (التضمينات المحسوبة من الشروط المدخلة مثل الأوامر) للاستخدام.

encoder_attention_mask (torch.Tensor) : القناع المطبَّق على encoder_hidden_states أثناء الانتباه.

attention_kwargs (dict، اختياري) : قاموس kwargs يُمرَّر إلى AttentionProcessor إذا تم تحديده، كما هو معرَّف تحت self.processor في diffusers.models.attention_processor.

return_dict (bool، اختياري، القيمة الافتراضية True) : ما إذا كان يجب إرجاع ~models.transformer_2d.Transformer2DModelOutput بدلاً من tuple عادي.

يعيد:

إذا كان return_dict صحيحًا، يُعاد ~models.transformer_2d.Transformer2DModelOutput، وإلا يُعاد tuple يكون عنصره الأول هو تينسور العينة.

طريقة Lumina2Transformer2DModel الأمامية.

Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)

المصدر

المعاملات:

sample (torch.Tensor من الشكل (batch_size, num_channels, height, width) أو (batch size, num_vector_embeds - 1, num_latent_pixels) إذا كان Transformer2DModel منفصلاً): مخرجات الحالات المخفية المشروطة على مدخل encoder_hidden_states. إذا كان منفصلاً، يعيد توزيعات الاحتمال للبكسلات الكامنة غير الملوثة.

مخرجات Transformer2DModel.