Hugging Face's logo

Transformers documentation

VideoPrism

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

نُشر هذا النموذج في أوراق HF في 2024-02-20، وأُضيف إلى مكتبة Hugging Face Transformers في 2026-06-19.

FlashAttention

VideoPrism

قُدِّم نموذج VideoPrism في ورقة VideoPrism: A Foundational Visual Encoder for Video Understanding من Google DeepMind (منشور مدونة).

VideoPrism هو مُرمِّز فيديو متعدد الاستخدامات يتعامل مع مهام متنوعة لفهم الفيديو باستخدام نموذج مجمّد واحد. تم تدريب النموذج مسبقًا على قاعدة بيانات غير متجانسة واسعة النطاق تحتوي على 36 مليون زوج من مقاطع الفيديو والوصف النصي عالية الجودة، و582 مليون مقطع فيديو مع نصوص موازية غير دقيقة (مثل نصوص التعرف على الكلام الآلي). تحسّن نهج التدريب المسبق على الترميز التلقائي المقنّع من خلال التقطير الشامل والمحلي لتضمينات الفيديو الدلالية، ومخطط خلط الرموز، مما يتيح للنموذج التركيز بشكل أساسي على نمط الفيديو مع الاستفادة من النصوص المرتبطة بالفيديوهات. يحقق VideoPrism أداءً متقدمًا على 31 من أصل 33 معيارًا لفهم الفيديو عبر أربع مجموعات مهام واسعة، بدءًا من الإجابة على أسئلة الفيديو على الويب وصولًا إلى الرؤية الحاسوبية للعلوم.

drawing

يمكنك العثور على جميع نقاط التفتيش الأصلية لـ VideoPrism ضمن مجموعة VideoPrism.

ملاحظات:

  • يستخدم VideoPrism معمارية مُفكّكة للمُشفِّر المكاني-الزمني، حيث يعالج مقاطع الفيديو عبر محوّلات مكانية وزمنية منفصلة.
  • يدعم النموذج التعلّم التبايني بين الفيديو والنص من خلال VideoPrismClipModel، الذي يجمع بين مُشفِّر للفيديو ومُشفِّر للنص. يجب استخدام VideoPrismConfig مع هذا النموذج.
  • لمهام تصنيف الفيديو، استخدم VideoPrismForVideoClassification الذي يضيف رأس تصنيف فوق مشفّر الفيديو. يجب استخدام VideoPrismVisionConfig مع هذا النموذج.
  • يمكن استخدام مُشفِّر الرؤية بشكل مستقل عبر VideoPrismVisionModel لاستخراج ميزات الفيديو. يجب استخدام VideoPrismVisionConfig مع هذا النموذج.
  • دقة الإدخال الافتراضية هي 288x288 بكسل مع 16 إطارًا لكل مقطع فيديو في النماذج الأساسية و8 إطارات للنماذج الكبيرة. اضبط interpolate_pos_encoding=True لاستخدام النماذج بدقة مخصصة وعدد إطارات لكل مقطع.

تمت مساهمة هذا النموذج من قِبل MHRDYN7 ومراجعته من قِبل vasqu و zucchini-nlp. يمكن العثور على الكود الأصلي هنا.

مثال على الاستخدام

The snippet below shows how to load the VideoPrismVisionModel for feature extraction using the AutoModel class.

import torch
from transformers import AutoModel, AutoVideoProcessor

processor = AutoVideoProcessor.from_pretrained("google/videoprism-base-f16r288", revision="refs/pr/4")
model = AutoModel.from_pretrained(
    "google/videoprism-base-f16r288",
    revision="refs/pr/4",
    device_map="auto",
    # use "flash_attention_2" for faster inference on supported hardware
    # attn_implementation="flash_attention_2" 
)

video_url = "https://huggingface.co/datasets/nateraw/kinetics-mini/resolve/main/val/archery/-Qz25rXdMjE_000014_000024.mp4"

# when do_sample_frames=True, 16/8 frames will be sampled by default depending on the checkpoint size base/large.
processed_video_inputs = processor(videos=[video_url], return_metadata=True, do_sample_frames=True)
video_metadata = processed_video_inputs["video_metadata"]
video_inputs = processed_video_inputs["pixel_values_videos"].to(model.device)
outputs = model(video_inputs)

# VideoPrism encoder outputs
encoder_outputs = outputs.last_hidden_state

VideoPrismVisionConfig

فئة transformers.VideoPrismVisionConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneimage_size: int | list[int] | tuple[int, int] = 288num_frames: int = 16tubelet_size: list[int] | tuple[int, ...] = (1, 18, 18)num_channels: int = 3hidden_size: int = 768num_attention_heads: int = 12intermediate_size: int = 3072hidden_act: str = 'gelu_python'hidden_dropout_prob: float | int = 0.0attention_probs_dropout_prob: float | int = 0.0initializer_range: float = 0.02layer_norm_eps: float = 1e-06qkv_bias: bool = Truenum_spatial_layers: int = 12num_temporal_layers: int = 4attn_logit_softcapping: float = 50.0num_auxiliary_layers: int = 2apply_l2norm: bool = True )

المعاملات

  • image_size (Union[int, list[int], tuple[int, int]]، اختياري، القيمة الافتراضية 288) — حجم (دقة) كل صورة.
  • num_frames (int، اختياري، القيمة الافتراضية 16) — عدد الإطارات في الفيديو المُدخل.
  • tubelet_size (List[int]، اختياري، القيمة الافتراضية [1, 18, 18]) — حجم رقعة tubelet.
  • num_channels (int، اختياري، القيمة الافتراضية 3) — عدد قنوات الإدخال.
  • hidden_size (int، اختياري، القيمة الافتراضية 768) — أبعاد التمثيلات المخفية.
  • num_attention_heads (int، اختياري، القيمة الافتراضية 12) — عدد رؤوس الانتباه لكل طبقة انتباه في مُفكِّك Transformer.
  • intermediate_size (int، اختياري، القيمة الافتراضية 3072) — أبعاد تمثيلات MLP.
  • hidden_act (str، اختياري، القيمة الافتراضية gelu_python) — دالة التنشيط غير الخطية (دالة أو نص) في المُفكِّك. على سبيل المثال، "gelu"، "relu"، "silu"، وما إلى ذلك.
  • hidden_dropout_prob (Union[float, int]، اختياري، القيمة الافتراضية 0.0) — احتمالية الإسقاط (dropout) لجميع الطبقات المتصلة بالكامل في التضمينات، والمُشفِّر، والمُجمِّع.
  • attention_probs_dropout_prob (Union[float, int]، اختياري، القيمة الافتراضية 0.0) — نسبة الإسقاط (dropout) لاحتمالات الانتباه.
  • initializer_range (float، اختياري، القيمة الافتراضية 0.02) — الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان.
  • layer_norm_eps (float, اختياري، القيمة الافتراضية 1e-06) — قيمة الإيبسلون المستخدمة في طبقات تطبيع الطبقة.
  • qkv_bias (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب إضافة انحياز إلى الاستعلامات والمفاتيح والقيم.
  • num_spatial_layers (int، اختياري، القيمة الافتراضية 12) — عدد كتل المحوّل المكاني.
  • num_temporal_layers (int، اختياري، القيمة الافتراضية 4) — عدد كتل الترانسفورمر الزمنية.
  • attn_logit_softcapping (float، اختياري، القيمة الافتراضية 50.0) — ثابت التقييد الناعم (Softcapping) لقيم الاحتمالات (logits) في الانتباه.
  • num_auxiliary_layers (int، اختياري، القيمة الافتراضية 2) — عدد الطبقات المساعدة. يُستخدم هذا في VideoPrismVideoModel الذي يُعد جزءًا من VideoPrismClipModel.
  • apply_l2norm (bool، اختياري، القيمة الافتراضية True) — ما إذا كان سيتم تطبيق تطبيع L2 على المخرجات. يُستخدم هذا في VideoPrismVideoModel الذي يُعد جزءاً من VideoPrismClipModel.

هذه فئة الإعدادات المخزنة لإعدادات نموذج VideoPrismClipModel. تُستخدم لاستحداث نموذج Videoprism وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى الحصول على إعدادات مشابهة لتلك الخاصة بـ google/videoprism-base-f16r288

ترث كائنات التهيئة من PreTrainedConfig ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ PreTrainedConfig لمزيد من المعلومات.

VideoPrismTextConfig

فئة transformers.VideoPrismTextConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 32000hidden_size: int = 768intermediate_size: int = 3072num_hidden_layers: int = 12num_attention_heads: int = 12max_position_embeddings: int = 64hidden_act: str = 'relu'layer_norm_eps: float = 1e-06pad_token_id: int | None = 0bos_token_id: int | None = Noneeos_token_id: int | list[int] | None = Noneattention_probs_dropout_prob: float | int = 0.0apply_l2norm: bool = Trueqkv_bias: bool = Truehidden_dropout_prob: float = 0.0initializer_range: float = 0.02attn_logit_softcapping: float = 50.0 )

المعاملات

  • vocab_size (int، اختياري، القيمة الافتراضية 32000) — حجم مفردات النموذج. يحدد عدد الرموز المختلفة التي يمكن تمثيلها بواسطة input_ids.
  • hidden_size (int، اختياري، القيمة الافتراضية 768) — أبعاد التمثيلات المخفية.
  • intermediate_size (int، اختياري، القيمة الافتراضية 3072) — أبعاد تمثيلات MLP.
  • num_hidden_layers (int، اختياري، القيمة الافتراضية 12) — عدد الطبقات المخفية في مُفكِّك Transformer.
  • num_attention_heads (int، اختياري، القيمة الافتراضية 12) — عدد رؤوس الانتباه لكل طبقة انتباه في مُفكِّك Transformer.
  • max_position_embeddings (int، اختياري، القيمة الافتراضية 64) — أقصى طول تسلسل قد يُستخدم مع هذا النموذج.
  • hidden_act (str، اختياري، القيمة الافتراضية relu) — دالة التنشيط غير الخطية (دالة أو نص) في المُفكِّك. على سبيل المثال، "gelu"، "relu"، "silu"، وغيرها.
  • layer_norm_eps (float, اختياري، القيمة الافتراضية 1e-06) — قيمة الإيبسلون المستخدمة في طبقات تطبيع الطبقة.
  • pad_token_id (int، اختياري، القيمة الافتراضية 0) — معرّف الرمز المستخدم للتعبئة في المفردات.
  • bos_token_id (int, اختياري) — معرّف الرمز المستخدم لبدء البث في المفردات.
  • eos_token_id (Union[int, list[int]], اختياري) — معرّف الرمز المستخدم لنهاية التدفق في المفردات.
  • attention_probs_dropout_prob (Union[float, int]، اختياري، القيمة الافتراضية 0.0) — نسبة الإسقاط (dropout) لاحتمالات الانتباه.
  • apply_l2norm (bool، اختياري، القيمة الافتراضية True) — ما إذا كان سيتم تطبيق تطبيع L2 على مخرج VideoPrismTextEncoder.
  • qkv_bias (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب إضافة انحياز إلى الاستعلامات والمفاتيح والقيم.
  • hidden_dropout_prob (float، اختياري، القيمة الافتراضية 0.0) — احتمال الإسقاط (Dropout) لجميع الطبقات المتصلة بالكامل في التضمينات، والمُشفِّر، والمُجمِّع.
  • initializer_range (float، اختياري، القيمة الافتراضية 0.02) — الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان.
  • attn_logit_softcapping (float، اختياري، القيمة الافتراضية 50.0) — ثابت التقييد الناعم (Softcapping) لقيم الاحتمالات (logits) في الانتباه.

هذه فئة الإعدادات المخزنة لإعدادات نموذج VideoPrismClipModel. تُستخدم لتوليد نموذج Videoprism وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن إنشاء إعدادات باستخدام القيم الافتراضية سيؤدي إلى الحصول على إعدادات مشابهة لتلك الخاصة بـ google/videoprism-lvt-base-f16r288

ترث كائنات التهيئة من PreTrainedConfig ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ PreTrainedConfig لمزيد من المعلومات.

VideoPrismConfig

فئة transformers.VideoPrismConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonetext_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonevision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None )

المعاملات

  • text_config (Union[dict, ~configuration_utils.PreTrainedConfig]، اختياري) — كائن الإعدادات أو قاموس العمود الفقري النصي.
  • vision_config (Union[dict, ~configuration_utils.PreTrainedConfig], اختياري) — كائن الإعدادات أو قاموس العمود الفقري البصري.

هذه فئة الإعدادات المخزنة لإعدادات نموذج VideoPrismClipModel. تُستخدم لتوليد نموذج Videoprism وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن إنشاء إعدادات باستخدام القيم الافتراضية سيؤدي إلى الحصول على إعدادات مشابهة لتلك الخاصة بـ google/videoprism-lvt-base-f16r288

ترث كائنات التهيئة من PreTrainedConfig ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ PreTrainedConfig لمزيد من المعلومات.

مثال:

>>> from transformers import VideoPrismClipModel, VideoPrismConfig

>>> # Initializing a VideoPrismConfig with default values
>>> configuration = VideoPrismConfig()

>>> # Initializing a VideoPrismClipModel with the configuration
>>> model = VideoPrismClipModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

VideoPrismTokenizer

فئة transformers.VideoPrismTokenizer

< >

( vocab: str | list[tuple[str, float]] | None = Noneeos_token = '</s>'unk_token = '<unk>'pad_token = '<pad>'_spm_precompiled_charsmap = Noneextra_ids = 100additional_special_tokens = None**kwargs )

ينشئ مُرمِّز VideoPrism، وهو في جوهره مُرمِّز T5 دون مُعالِج ما بعده (الذي يُلحق رمز EOS في نهاية التسلسل).

يرث هذا المُجزِّئ من T5Tokenizer الذي يحتوي على معظم الطرق الرئيسية. ينبغي للمستخدمين الرجوع إلى هذه الفئة الأصلية لمزيد من المعلومات حول تلك الطرق.

get_sentinel_token_ids

< >

( )

احصل على معرّفات الرموز (Token IDs) لرموز الحارس (sentinel tokens).

get_sentinel_tokens

< >

( )

احصل على قائمة رموز الحارس (رموز extra_id) من additional_special_tokens.

VideoPrismProcessor

فئة transformers.VideoPrismProcessor

< >

( video_processor = Nonetokenizer = None )

المعاملات

  • video_processor (LlavaOnevisionVideoProcessor) — معالج الفيديو هو مدخل إلزامي.
  • tokenizer (VideoPrismTokenizer) — مُجزِّئ الرموز هو مدخل إلزامي.

ينشئ VideoPrismProcessor الذي يغلّف معالج فيديو ومُرمّز في معالج واحد.

يوفر VideoPrismProcessor جميع وظائف LlavaOnevisionVideoProcessor وVideoPrismTokenizer. راجع ~LlavaOnevisionVideoProcessor و~VideoPrismTokenizer لمزيد من المعلومات.

VideoPrismVisionModel

فئة transformers.VideoPrismVisionModel

< >

( config: VideoPrismVisionConfig )

المعاملات

  • config (VideoPrismVisionConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعدادات إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.

مُشفِّر الرؤية VideoPrism العاري الذي يُخرج حالات مخفية خام دون أي رأس محدد في الأعلى. هذا النموذج هو مُشفِّر الهيكل الأساسي المستخدم في VideoPrismVideoModel.

يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

forward

< >

( pixel_values_videos: typing.Optional[torch.Tensor] = Noneinterpolate_pos_encoding: bool | None = False**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithSpatialAndTemporalStates or tuple(torch.Tensor)

المعاملات

  • pixel_values_videos (torch.Tensor من الشكل (batch_size, num_frames, num_channels, frame_size, frame_size)، اختياري) — المصفوفات المقابلة لفيديو الإدخال. يمكن الحصول على قيم البكسل للفيديوهات باستخدام LlavaOnevisionVideoProcessor. راجع LlavaOnevisionVideoProcessor.call() للتفاصيل (VideoPrismProcessor يستخدم LlavaOnevisionVideoProcessor لمعالجة الفيديوهات).
  • interpolate_pos_encoding (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم استيفاء ترميزات المواقع المُدرَّبة مسبقًا.

يعيد

BaseModelOutputWithSpatialAndTemporalStates أو tuple(torch.Tensor)

BaseModelOutputWithSpatialAndTemporalStates أو مجموعة (tuple) من torch.Tensor (في حال تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة تعتمد على الإعدادات (VideoPrismConfig) والمدخلات.

تتجاوز طريقة VideoPrismVisionModel الخاصة بـ forward الطريقة الخاصة __call__.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن Module بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

  • last_hidden_state (torch.Tensor من الشكل (batch_size, sequence_length, hidden_size)) — تسلسل حالات مخفية عند مخرج الطبقة الأخيرة من النموذج.

  • hidden_states (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_hidden_states=True أو عند تعيين config.output_hidden_states=True) — مجموعة من torch.Tensor (واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) من الشكل (batch_size, sequence_length, hidden_size).

    حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.

  • attentions (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_attentions=True أو عند تعيين config.output_attentions=True) — مجموعة من torch.Tensor (واحدة لكل طبقة) بأبعاد (batch_size, num_heads, sequence_length, sequence_length).

    أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.

  • last_temporal_hidden_state (torch.Tensor، اختياري) — الحالة المخفية الأخيرة لمشفّر الزمن، وعادةً ما يكون شكلها (batch_size * num_patches, num_frames, hidden_size).

  • last_spatial_hidden_state (torch.Tensor، اختياري) — حالة الإخفاء الأخيرة لمشفّر الفضاء، وعادةً ما يكون شكلها (batch_size * num_frames, num_patches, hidden_size).

مثال:

VideoPrismVideoModel

فئة transformers.VideoPrismVideoModel

< >

( config: VideoPrismVisionConfig )

المعاملات

  • config (VideoPrismVisionConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعدادات إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.

نموذج فيديو VideoPrism يتكون من هيكل مشفر الرؤية مع طبقات مشفرات مساعدة ورأس تجميع انتباه في الأعلى. يُستخدم هذا النموذج في VideoPrismClipModel.

يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

forward

< >

( pixel_values_videos: Tensorinterpolate_pos_encoding: bool | None = False**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.Tensor)

المعاملات

  • pixel_values_videos (torch.Tensor من الشكل (batch_size, num_frames, num_channels, frame_size, frame_size)) — المصفوفات المقابلة لفيديو الإدخال. يمكن الحصول على قيم البكسل للفيديوهات باستخدام LlavaOnevisionVideoProcessor. راجع LlavaOnevisionVideoProcessor.call() للتفاصيل (VideoPrismProcessor يستخدم LlavaOnevisionVideoProcessor لمعالجة الفيديوهات).
  • interpolate_pos_encoding (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم استيفاء ترميزات المواقع المُدرَّبة مسبقًا.

يعيد

BaseModelOutputWithPooling أو tuple(torch.Tensor)

أحد BaseModelOutputWithPooling أو مجموعة من torch.Tensor (في حال تم تمرير return_dict=False أو عندما يكون config.return_dict=False) تتكون من عناصر مختلفة اعتماداً على الإعداد (VideoPrismConfig) والمدخلات.

تُعيد طريقة VideoPrismVideoModel الخاصة بالتقديم (forward) تعريف الطريقة الخاصة __call__.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن Module بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

  • last_hidden_state (torch.Tensor من الشكل (batch_size, sequence_length, hidden_size)) — تسلسل حالات مخفية عند مخرج الطبقة الأخيرة من النموذج.

  • pooler_output (torch.Tensor من الشكل (batch_size, hidden_size)) — حالة الطبقة المخفية الأخيرة للرمز الأول من التسلسل (رمز التصنيف) بعد المعالجة الإضافية عبر الطبقات المستخدمة في مهمة ما قبل التدريب المساعدة. على سبيل المثال، بالنسبة لعائلة نماذج BERT، تُرجع هذه الخاصية رمز التصنيف بعد معالجته عبر طبقة خطية ودالة تفعيل tanh. تُدرَّب أوزان الطبقة الخطية من هدف التنبؤ بالجملة التالية (التصنيف) أثناء ما قبل التدريب.

  • hidden_states (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_hidden_states=True أو عند تعيين config.output_hidden_states=True) — مجموعة من torch.Tensor (واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) من الشكل (batch_size, sequence_length, hidden_size).

    حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.

  • attentions (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_attentions=True أو عند تعيين config.output_attentions=True) — مجموعة من torch.Tensor (واحدة لكل طبقة) بأبعاد (batch_size, num_heads, sequence_length, sequence_length).

    أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.

VideoPrismTextModel

فئة transformers.VideoPrismTextModel

< >

( config: VideoPrismTextConfig )

المعاملات

  • config (VideoPrismTextConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعدادات إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.

مُشفِّر النص في VideoPrism الذي يُخرج حالات الإخفاء الأخيرة دون أي رأس محدد في الأعلى. يُستخدم هذا النموذج في VideoPrismClipModel.

يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.Tensor)

المعاملات

  • input_ids (torch.LongTensor بشكل (batch_size, sequence_length), اختياري) — مؤشرات رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا.

    يمكن الحصول على الفهارس باستخدام AutoTokenizer. راجع PreTrainedTokenizer.encode() و PreTrainedTokenizer.call() للتفاصيل.

    ما هي معرّفات الإدخال؟

  • attention_mask (torch.Tensor بشكل (batch_size, sequence_length), اختياري) — قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. القيم المختارة للقناع هي [0, 1]:
    • 1 للرموز التي لم تُقنَّع،
    • 0 للرموز التي تم إخفاؤها.

    ما هي أقنعة الانتباه؟

  • inputs_embeds (torch.Tensor من الشكل (batch_size, sequence_length, hidden_size)، اختياري) — اختياريًا، بدلاً من تمرير input_ids، يمكنك اختيار تمرير تمثيل مضمّن مباشرة. وهذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس input_ids إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج.
  • position_ids (torch.Tensor بشكل (batch_size, sequence_length), اختياري) — مؤشرات مواضع رموز كل تسلسل إدخال في تضمينات المواضع. يتم اختيارها ضمن النطاق [0, config.n_positions - 1].

    ما هي معرّفات المواقع؟

يعيد

BaseModelOutputWithPooling أو tuple(torch.Tensor)

أحد BaseModelOutputWithPooling أو مجموعة من torch.Tensor (في حال تم تمرير return_dict=False أو عندما يكون config.return_dict=False) تتكون من عناصر مختلفة اعتماداً على الإعداد (VideoPrismConfig) والمدخلات.

تُعيد طريقة VideoPrismTextModel الخاصة بالتقديم (forward) تعريف الطريقة الخاصة __call__.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن Module بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

  • last_hidden_state (torch.Tensor من الشكل (batch_size, sequence_length, hidden_size)) — تسلسل حالات مخفية عند مخرج الطبقة الأخيرة من النموذج.

  • pooler_output (torch.Tensor من الشكل (batch_size, hidden_size)) — حالة الطبقة المخفية الأخيرة للرمز الأول من التسلسل (رمز التصنيف) بعد المعالجة الإضافية عبر الطبقات المستخدمة في مهمة ما قبل التدريب المساعدة. على سبيل المثال، بالنسبة لعائلة نماذج BERT، تُرجع هذه الخاصية رمز التصنيف بعد معالجته عبر طبقة خطية ودالة تفعيل tanh. تُدرَّب أوزان الطبقة الخطية من هدف التنبؤ بالجملة التالية (التصنيف) أثناء ما قبل التدريب.

  • hidden_states (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_hidden_states=True أو عند تعيين config.output_hidden_states=True) — مجموعة من torch.Tensor (واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) من الشكل (batch_size, sequence_length, hidden_size).

    حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.

  • attentions (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_attentions=True أو عند تعيين config.output_attentions=True) — مجموعة من torch.Tensor (واحدة لكل طبقة) بأبعاد (batch_size, num_heads, sequence_length, sequence_length).

    أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.

VideoPrismClipModel

فئة transformers.VideoPrismClipModel

< >

( config: VideoPrismConfig )

المعاملات

  • config (VideoPrismConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعدادات إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.

نموذج VideoPrism للتعلم التبايني بين الفيديو والنص. يتكون هذا النموذج من VideoPrismVideoModel وVideoPrismTextModel، ويحسب درجات التشابه بين مدخلات الفيديو والنص.

يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

forward

< >

( pixel_values_videos: Tensorinput_ids: Tensorattention_mask: typing.Optional[torch.Tensor] = Noneinterpolate_pos_encoding: bool | None = Falsetemperature: float | None = Nonereturn_loss: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → VideoPrismClipOutput or tuple(torch.Tensor)

المعاملات

  • pixel_values_videos (torch.Tensor من الشكل (batch_size, num_frames, num_channels, frame_size, frame_size)) — المصفوفات المقابلة لفيديو الإدخال. يمكن الحصول على قيم البكسل للفيديوهات باستخدام LlavaOnevisionVideoProcessor. راجع LlavaOnevisionVideoProcessor.call() للتفاصيل (VideoPrismProcessor يستخدم LlavaOnevisionVideoProcessor لمعالجة الفيديوهات).
  • input_ids (torch.Tensor بشكل (batch_size, sequence_length)) — مؤشرات رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على المؤشرات باستخدام AutoTokenizer. راجع PreTrainedTokenizer.encode() و PreTrainedTokenizer.call() للتفاصيل. ما هي معرّفات الإدخال؟

    يمكن الحصول على الفهارس باستخدام AutoTokenizer. راجع PreTrainedTokenizer.encode() و PreTrainedTokenizer.call() للتفاصيل.

    ما هي معرّفات الإدخال؟

  • attention_mask (torch.Tensor بشكل (batch_size, sequence_length), اختياري) — قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. القيم المختارة للقناع هي [0, 1]:
    • 1 للرموز التي لم تُقنَّع،
    • 0 للرموز التي تم إخفاؤها.

    ما هي أقنعة الانتباه؟

  • interpolate_pos_encoding (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم استيفاء ترميزات المواقع المُدرَّبة مسبقًا.
  • temperature (float, اختياري) — مقياس حراري (temperature scalar) لتعديل درجات التشابه. إذا لم يُقدَّم، فلن يُطبَّق أي تعديل.
  • return_loss (bool، اختياري) — ما إذا كان يجب إرجاع خسارة التباين أم لا.

يعيد

VideoPrismClipOutput أو tuple(torch.Tensor)

VideoPrismClipOutput أو مجموعة مرتبة من torch.Tensor (في حال تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة تعتمد على الإعدادات (VideoPrismConfig) والمدخلات.

تتجاوز طريقة VideoPrismClipModel الخاصة بالتقديم (forward) الطريقة الخاصة __call__.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن Module بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

  • logits_per_video (torch.Tensor من الشكل (video_batch_size, text_batch_size)) — درجات ضرب النقطة المُقيَّسة بين video_embeds وtext_embeds. وهذا يمثل درجات التشابه بين الفيديو والنص.
  • logits_per_text (torch.Tensor من الشكل (text_batch_size, video_batch_size)) — درجات ضرب النقطة المُقيَّسة بين text_embeds وvideo_embeds. وهذا يمثل درجات التشابه بين النص والفيديو.
  • video_embeds (torch.Tensor من الشكل (batch_size, output_dim)) — تمثيلات الفيديو (embeddings) التي تم الحصول عليها من خلال تطبيق طبقة الإسقاط (projection layer) على المخرجات المجمّعة (pooled output) لـ VideoPrismVideoModel.
  • text_embeds (torch.Tensor من الشكل (batch_size, output_dim)) — تمثيلات النص (embeddings) التي تم الحصول عليها من خلال تطبيق طبقة الإسقاط (projection layer) على المخرجات المجمعة (pooled output) لـ VideoPrismTextModel.
  • video_model_output (~modeling_outputs.BaseModelOutputWithPooling، اختياري) — مخرجات VideoPrismVideoModel.
  • text_model_output (~modeling_outputs.BaseModelOutputWithPooling، اختياري) — مخرجات VideoPrismTextModel.
  • loss (torch.Tensor of shape (1,), اختياري, يُعاد عندما يكون return_loss هو True) — خسارة تباينية (Contrastive loss) لتقدير التشابه بين الفيديو والنص.

مثال:

VideoPrismForVideoClassification

فئة transformers.VideoPrismForVideoClassification

< >

( config: VideoPrismVisionConfig )

المعاملات

  • config (VideoPrismVisionConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعدادات إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.

نموذج VideoPrism مُحوِّل (transformer) مع رأس تصنيف فيديو في الأعلى (طبقة خطية فوق مجمّع الانتباه).

يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

forward

< >

( pixel_values_videos: Tensorlabels: typing.Optional[torch.LongTensor] = Noneinterpolate_pos_encoding: bool | None = False**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → ImageClassifierOutput or tuple(torch.Tensor)

المعاملات

  • pixel_values_videos (torch.Tensor من الشكل (batch_size, num_frames, num_channels, frame_size, frame_size)) — المصفوفات المقابلة لفيديو الإدخال. يمكن الحصول على قيم البكسل للفيديوهات باستخدام LlavaOnevisionVideoProcessor. راجع LlavaOnevisionVideoProcessor.call() للتفاصيل (VideoPrismProcessor يستخدم LlavaOnevisionVideoProcessor لمعالجة الفيديوهات).
  • labels (torch.LongTensor of shape (batch_size,), اختياري) — التسميات لحساب خسارة تصنيف الصور/الانحدار. يجب أن تكون الفهارس ضمن [0, ..., config.num_labels - 1]. إذا كان config.num_labels == 1 يتم حساب خسارة الانحدار (خسارة متوسط المربع)، وإذا كان config.num_labels > 1 يتم حساب خسارة التصنيف (الإنتروبيا المتقاطعة).
  • interpolate_pos_encoding (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم استيفاء ترميزات المواقع المُدرَّبة مسبقًا.

يعيد

ImageClassifierOutput أو tuple(torch.Tensor)

ImageClassifierOutput أو مجموعة مرتبة من torch.Tensor (في حال تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة تعتمد على الإعداد (VideoPrismConfig) والمدخلات.

تتجاوز طريقة VideoPrismForVideoClassification الخاصة بالتقديم (forward) الطريقة الخاصة __call__.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن Module بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

  • loss (torch.Tensor من الشكل (1,)، اختياري، يُعاد عند توفير labels) — خسارة التصنيف (أو الانحدار إذا كان config.num_labels==1).

  • logits (torch.Tensor من الشكل (batch_size, config.num_labels)) — درجات التصنيف (أو الانحدار إذا كان config.num_labels==1) (قبل SoftMax).

  • hidden_states (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_hidden_states=True أو عند تعيين config.output_hidden_states=True) — مجموعة من torch.Tensor (واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل مرحلة) من الشكل (batch_size, sequence_length, hidden_size). حالات مخفية (تُسمى أيضًا خرائط الميزات) للنموذج عند إخراج كل مرحلة.

  • attentions (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_attentions=True أو عند تعيين config.output_attentions=True) — مجموعة من torch.Tensor (واحدة لكل طبقة) بأبعاد (batch_size, num_heads, patch_size, sequence_length).

    أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.

مثال:

Update on GitHub

←VideoMAE ViViT→