diffusers/main/ar/api/models/transformer_temporal.md

TransformerTemporalModel

نموذج Transformer للبيانات المشابهة للفيديو.

TransformerTemporalModel[[diffusers.TransformerTemporalModel]]

diffusers.TransformerTemporalModel[[diffusers.TransformerTemporalModel]]

diffusers.TransformerTemporalModel(num_attention_heads: int = 16, attention_head_dim: int = 88, in_channels: int | None = None, out_channels: int | None = None, num_layers: int = 1, dropout: float = 0.0, norm_num_groups: int = 32, cross_attention_dim: int | None = None, attention_bias: bool = False, sample_size: int | None = None, activation_fn: str = 'geglu', norm_elementwise_affine: bool = True, double_self_attention: bool = True, positional_embeddings: str | None = None, num_positional_embeddings: int | None = None)

المصدر

المعاملات:

num_attention_heads (int، اختياري، القيمة الافتراضية 16) : عدد الرؤوس المستخدمة في الانتباه متعدد الرؤوس.

attention_head_dim (int، اختياري، القيمة الافتراضية 88) : عدد القنوات في كل رأس.

in_channels (int، اختياري) : عدد القنوات في المدخلات والمخرجات (حدد إذا كانت المدخلات مستمرة).

num_layers (int، اختياري، القيمة الافتراضية 1) : عدد طبقات كتل Transformer التي سيتم استخدامها.

dropout (float، اختياري، القيمة الافتراضية 0.0) : احتمال الإسقاط (dropout) المستخدم.

cross_attention_dim (int، اختياري) : عدد أبعاد encoder_hidden_states التي سيتم استخدامها.

attention_bias (bool، اختياري) : يحدد ما إذا كان يجب أن يحتوي انتباه TransformerBlock على معامل انحياز.

sample_size (int, اختياري) : عرض الصور الكامنة (يُحدد إذا كان الإدخال منفصلاً). هذا ثابت أثناء التدريب لأنه يُستخدم لتعلم عدد من تضمينات المواقع.

activation_fn (str، اختياري، القيمة الافتراضية "geglu") : دالة التنشيط المستخدمة في الشبكة العصبية الأمامية. راجع diffusers.models.activations.get_activation لمعرفة دوال التنشيط المدعومة.

norm_elementwise_affine (bool، اختياري) : يحدد ما إذا كان يجب على TransformerBlock استخدام معاملات أفينية قابلة للتعلم لكل عنصر (elementwise) للتطبيع.

double_self_attention (bool، اختياري) : يحدد ما إذا كان يجب أن يحتوي كل TransformerBlock على طبقتي انتباه ذاتي.

positional_embeddings : (str, اختياري): نوع تضمينات المواقع (positional embeddings) التي تُطبَّق على مدخلات التسلسل قبل الاستخدام.

num_positional_embeddings : (int, اختياري): الحد الأقصى لطول التسلسل الذي تُطبَّق عليه التضمينات الموضعية.

نموذج Transformer للبيانات المشابهة للفيديو.

forward[[diffusers.TransformerTemporalModel.forward]]

forward(hidden_states: Tensor, encoder_hidden_states: typing.Optional[torch.LongTensor] = None, timestep: typing.Optional[torch.LongTensor] = None, class_labels: LongTensor = None, num_frames: int = 1, cross_attention_kwargs: dict[str, typing.Any] | None = None, return_dict: bool = True)

المصدر

المعاملات:

hidden_states (torch.LongTensor من الشكل (batch size, num latent pixels) إذا كانت منفصلة، torch.Tensor من الشكل (batch size, channel, height, width) إذا كانت مستمرة) : مدخلات hidden_states.

encoder_hidden_states ( torch.LongTensor من الشكل (batch size, encoder_hidden_states dim)، اختياري) : تمثيلات شرطية لطبقة الانتباه المتقاطع. إذا لم تُقدَّم، فإن الانتباه المتقاطع يتحول افتراضيًا إلى الانتباه الذاتي.

timestep ( torch.LongTensor, اختياري) : يُستخدم للإشارة إلى خطوة إزالة الضوضاء. خطوة زمنية اختيارية تُطبَّق كتضمين في AdaLayerNorm.

class_labels ( torch.LongTensor من الشكل (batch size, num classes), اختياري) : يُستخدم للإشارة إلى تكييف تسميات الفئات. تسميات فئات اختيارية تُطبَّق كتضمين في AdaLayerZeroNorm.

num_frames (int، اختياري، القيمة الافتراضية 1) : عدد الإطارات التي سيتم معالجتها في كل دفعة. يُستخدم هذا لإعادة تشكيل الحالات المخفية.

cross_attention_kwargs (dict، اختياري) : قاموس kwargs يُمرَّر إلى AttentionProcessor إذا تم تحديده، كما هو معرَّف تحت self.processor في diffusers.models.attention_processor.

return_dict (bool، اختياري، القيمة الافتراضية True) : ما إذا كان يجب إرجاع TransformerTemporalModelOutput بدلاً من tuple عادي.

يعيد: TransformerTemporalModelOutput أو tuple

إذا كان return_dict صحيحًا، يُعاد TransformerTemporalModelOutput، وإلا يُعاد tuple يكون عنصره الأول هو مصفوفة العينة.

طريقة TransformerTemporal الأمامية.

TransformerTemporalModelOutput[[diffusers.models.transformers.transformer_temporal.TransformerTemporalModelOutput]]

diffusers.models.transformers.transformer_temporal.TransformerTemporalModelOutput[[diffusers.models.transformers.transformer_temporal.TransformerTemporalModelOutput]]

diffusers.models.transformers.transformer_temporal.TransformerTemporalModelOutput(sample: Tensor)

المصدر

المعاملات:

sample (torch.Tensor من الشكل (batch_size x num_frames, num_channels, height, width)) : مخرجات الحالات المخفية المشروطة على مدخل encoder_hidden_states.

مخرجات TransformerTemporalModel.