# LLaVa-NeXT-Video ## نظرة عامة قُدِّم نموذج LLaVa-NeXT-Video في [LLaVA-NeXT: A Strong Zero-shot Video Understanding Model](https://llava-vl.github.io/blog/2024-04-30-llava-next-video/) من قِبل Yuanhan Zhang وBo Li وHaotian Liu وYong Jae Lee وLiangke Gui وDi Fu وJiashi Feng وZiwei Liu وChunyuan Li. يحسّن LLaVa-NeXT-Video أداء [LLaVa-NeXT](llava_next) من خلال الضبط الدقيق على مزيج من مجموعات بيانات الفيديو والصور، مما يزيد من أداء النموذج على مقاطع الفيديو. يُفاجئ [LLaVA-NeXT](llava_next) بقدرته القوية على فهم محتوى الفيديو بطريقة zero-shot بفضل تقنية AnyRes التي يستخدمها. تمثّل تقنية AnyRes بشكل طبيعي صورة عالية الدقة في عدة صور. هذه التقنية قابلة للتعميم بشكل طبيعي لتمثيل مقاطع الفيديو، إذ يمكن اعتبار الفيديو مجموعة من الإطارات (بمشابهة مجموعة الصور في LLaVa-NeXT). يستفيد الإصدار الحالي من LLaVA-NeXT من تقنية AnyRes، ويُدرب باستخدام الضبط الدقيق الإشرافي (SFT) فوق LLaVA-Next على بيانات الفيديو لتحقيق قدرات أفضل في فهم الفيديو. يُعدّ هذا النموذج حالياً من أفضل النماذج مفتوحة المصدر على [VideoMME bench](https://huggingface.co/papers/2405.21075). المقدمة من المدونة هي كالتالي: في 30 يناير 2024، أطلقنا LLaVA-NeXT، وهو نموذج متعدد الوسائط كبير (LMM) مفتوح المصدر تم تدريبه حصريًا على بيانات النص والصورة. بفضل تقنية AnyRes المقترحة، يعزز القدرات في الاستدلال، والتعرف الضوئي على الحروف (OCR)، والمعرفة العالمية، مما يُظهر أداءً ملحوظًا عبر طيف واسع من مهام فهم الوسائط المتعددة القائمة على الصور، بل ويتجاوز Gemini-Pro في عدة معايير تقييم للصور، مثل MMMU وMathVista. **في استكشافنا اليوم، نتعمق في أداء LLaVA-NeXT في مجال مهام فهم الفيديو. نكشف عن أن LLaVA-NeXT يتمتع بشكل مفاجئ بأداء قوي في فهم محتوى الفيديو. تتضمن النسخة الحالية من LLaVA-NeXT للفيديو عدة تحسينات:** - قدرات تمثيل الفيديو بدون تدريب مسبق باستخدام AnyRes: تقنية AnyRes تمثّل بشكل طبيعي صورة عالية الدقة في عدة صور يمكن لنموذج VIT المُدرَّب مسبقًا معالجتها، ثم تُشكّلها في تسلسل مُدمج. هذه التقنية قابلة للتعميم بشكل طبيعي لتمثيل مقاطع الفيديو (المكوّنة من عدة إطارات)، مما يتيح لنموذج LLaVA-Next المُدرَّب على الصور فقط أداءً مفاجئًا في مهام الفيديو. ومن اللافت للنظر أن هذه هي المرة الأولى التي تُظهر فيها نماذج LMMs قدرة قوية على التحويل بين الوسائط بدون تدريب مسبق. - تحسّن الاستدلال مع التعميم الطويل في مقاطع الفيديو الأطول. تتيح تقنية التوسع الخطي التعميم الطويل، مما يسمح لـ LLaVA-NeXT بمعالجة مقاطع الفيديو الطويلة بفعالية تتجاوز حد "max_token_length" الخاص بنموذج اللغة. - قدرة قوية على فهم الفيديو. (1) LLaVA-Next-Image، الذي يجمع بين التقنيتين المذكورتين أعلاه، يحقق أداءً فوريًا (zero-shot) متفوقًا مقارنةً بنماذج LMM مفتوحة المصدر المُعدَّلة على بيانات الفيديو. (2) LLaVA-Next-Video، الذي يخضع LLaVA-Next-Image لضبط دقيق مُشرف (SFT) على بيانات الفيديو، يحقق قدرات أفضل في فهم الفيديو مقارنةً بـ LLaVA-Next-Image. (3) LLaVA-Next-Video-DPO، الذي يحاكي استجابة النموذج مع ملاحظات الذكاء الاصطناعي باستخدام التحسين المباشر للتفضيلات (DPO)، مما يُظهر تحسّنًا كبيرًا في الأداء. - نشر واستدلال فعّالان باستخدام SGLang. يتيح ذلك استدلالاً أسرع بخمس مرات في مهام الفيديو، مما يسمح بخدمة قابلة للتوسع أكثر، مثل إعادة تسمية ملايين مقاطع الفيديو. راجع التعليمات في مستودعنا. تمت مساهمة هذا النموذج من قِبل [RaushanTurganbay](https://huggingface.co/RaushanTurganbay). يمكن العثور على الكود الأصلي [هنا](https://github.com/LLaVA-VL/LLaVA-NeXT/tree/inference). ## نصائح للاستخدام - ننصح المستخدمين باستخدام `padding_side="left"` عند حساب التوليد المجمّع، إذ يؤدي ذلك إلى نتائج أكثر دقة. ما عليك سوى التأكد من استدعاء `processor.tokenizer.padding_side = "left"` قبل التوليد. - يستخدم Llava-Next عددًا مختلفًا من البقع (patches) للصور، وبالتالي يجب عليه ملء المدخلات داخل كود النمذجة، إلى جانب عملية الملء التي تتم عند معالجة المدخلات. الإعداد الافتراضي هو "left-padding" إذا كان النموذج في وضع `eval()`، وإلا فهو "right-padding". > [!NOTE] > ستُصدر نماذج LLaVA بعد الإصدار v4.46 تحذيرات بشأن إضافة `processor.patch_size = {{patch_size}}` و`processor.num_additional_image_tokens = {{num_additional_image_tokens}}` و`processor.vision_feature_select_strategy = {{vision_feature_select_strategy}}`. يُوصى بشدة بإضافة هذه السمات إلى المعالج إذا كنت تمتلك نقطة التفتيش للنموذج، أو فتح طلب سحب (PR) إذا لم تكن تمتلكها. إضافة هذه السمات تعني أن LLaVA سيحاول استنتاج عدد رموز الصور المطلوبة لكل صورة وتوسيع النص بعدد من العناوين الوهمية `` مساوٍ لعدد الرموز. عادةً يكون العدد حوالي 500 رمز لكل صورة، لذا تأكد من عدم اقتطاع النص، وإلا فسيحدث فشل عند دمج التضمينات. يمكن الحصول على السمات من إعدادات النموذج، مثل `model.config.vision_config.patch_size` أو `model.config.vision_feature_select_strategy`. يجب أن يكون `num_additional_image_tokens` بقيمة `1` إذا أضاف العمود الفقري البصري رمز CLS، أو `0` إذا لم يُضف أي شيء إضافي إلى رقعات الرؤية. ### تنسيق الموجهات باستخدام قوالب المحادثة يتم تدريب كل **نقطة تحقق** باستخدام تنسيق محدد للموجّه، وذلك تبعًا لنموذج اللغة الكبير الأساسي. ولضمان التنسيق الصحيح، استخدم طريقة `apply_chat_template` الخاصة بالمعالج. **مهم:** - يجب عليك بناء سجل محادثة — لن يعمل تمرير نص عادي. - يجب أن يكون كل رسالة قاموسًا بمفاتيح `"role"` و`"content"`. - يجب أن يكون `"content"` قائمة من القواميس (dictionaries) للأنماط (modalities) المختلفة مثل `"text"` و`"image"`. فيما يلي مثال على كيفية هيكلة مدخلاتك. سنستخدم [LLaVA-NeXT-Video-7B-hf](https://huggingface.co/llava-hf/LLaVA-NeXT-Video-7B-hf) وسجل محادثة يتضمن مقاطع فيديو وصورًا. ```python from transformers import LlavaNextVideoProcessor processor = LlavaNextVideoProcessor.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf") conversation = [ { "role": "system", "content": [ {"type": "text", "text": "A chat between a curious human and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the human's questions."}, ], }, { "role": "user", "content": [ {"type": "text", "text": "What’s shown in this image?"}, {"type": "image"}, ], }, { "role": "assistant", "content": [{"type": "text", "text": "This image shows a red stop sign."},] }, { "role": "user", "content": [ {"type": "text", "text": "Why is this video funny?"}, {"type": "video"}, ], }, ] text_prompt = processor.apply_chat_template(conversation, add_generation_prompt=True) # Note that the template simply formats your prompt, you still have to tokenize it and obtain pixel values for your visuals print(text_prompt) ``` 🚀 **مكافأة إضافية:** إذا كنت تستخدم `transformers>=4.49.0`، يمكنك أيضًا الحصول على مخرجات متجهية من `apply_chat_template`. راجع **أمثلة الاستخدام** أدناه لمزيد من التفاصيل حول كيفية استخدامه. ## مثال على الاستخدام ### وضع وسائط واحد يمكن للنموذج قبول كل من الصور والفيديوهات كمدخلات. فيما يلي مثال على الكود للاستدلال بدقة نصفية (`torch.float16`): ```python from huggingface_hub import hf_hub_download from transformers import LlavaNextVideoForConditionalGeneration, LlavaNextVideoProcessor # Load the model in half-precision model = LlavaNextVideoForConditionalGeneration.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf", device_map="auto") processor = LlavaNextVideoProcessor.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf") # Load the video as an np.array, sampling uniformly 8 frames (can sample more for longer videos) video_path = hf_hub_download(repo_id="raushan-testing-hf/videos-test", filename="sample_demo_1.mp4", repo_type="dataset") conversation = [ { "role": "user", "content": [ {"type": "text", "text": "Why is this video funny?"}, {"type": "video", "path": video_path}, ], }, ] inputs = processor.apply_chat_template(conversation, num_frames=8, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device) out = model.generate(**inputs, max_new_tokens=60) processor.batch_decode(out, skip_special_tokens=True, clean_up_tokenization_spaces=True) ``` ### وضع الوسائط المختلطة يمكن للنموذج أيضاً توليد مخرجات من مدخلات صور وفيديوهات متناوبة. ومع ذلك، يُرجى ملاحظة أنه لم يتم تدريبه في إعداد الصور والفيديوهات المتناوبة، مما قد يؤثر على الأداء. فيما يلي مثال على الاستخدام لمدخلات وسائط مختلطة، أضف الأسطر التالية إلى مقتطف الشيفرة أعلاه: ```python # Generate from image and video mixed inputs conversation = [ { "role": "user", "content": [ {"type": "text", "text": "How many cats are there in the image?"}, {"type": "image", "url": "http://images.cocodataset.org/val2017/000000039769.jpg"}, ], }, { "role": "assistant", "content": [{"type": "text", "text": "There are two cats"}], }, { "role": "user", "content": [ {"type": "text", "text": "Why is this video funny?"}, {"type": "video", "path": video_path}, ], }, ] inputs = processor.apply_chat_template(conversation, num_frames=8, add_generation_prompt=True, tokenize=True, return_dict=True, padding=True, return_tensors="pt").to(model.device) # Generate generate_ids = model.generate(**inputs, max_length=50) processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True) ``` ## تحسين النموذج ### التكميم باستخدام Bitsandbytes لكفاءة استخدام الذاكرة يمكن تحميل النموذج بعدد أقل من البتات، مما يقلل العبء على الذاكرة بشكل كبير مع الحفاظ على أداء النموذج الأصلي. وهذا يتيح النشر بكفاءة في الحالات التي تكون فيها الموارد محدودة. أولاً، تأكد من تثبيت bitsandbytes عبر تشغيل `pip install bitsandbytes` ولديك وصول إلى وحدة معالجة رسومية/مسرّع مدعوم من قبل المكتبة. يخضع bitsandbytes لإعادة هيكلة لدعم واجهات خلفية متعددة تتجاوز CUDA. حالياً، نضجت تطبيقات ROCm (لوحات AMD GPU) وIntel CPU، بينما جارٍ العمل على Intel XPU، ومن المتوقع دعم Apple Silicon بحلول الربع الرابع/الربع الأول. للحصول على تعليمات التثبيت وآخر تحديثات الواجهات الخلفية، زر [هذا الرابط](https://huggingface.co/docs/bitsandbytes/main/en/installation#multi-backend). نقدّر ملاحظاتكم للمساعدة في تحديد الأخطاء قبل الإطلاق الكامل! راجعوا [هذه الوثائق](https://huggingface.co/docs/bitsandbytes/main/en/non_cuda_backends) لمزيد من التفاصيل وروابط تقديم الملاحظات. ثم ما عليك سوى تحميل النموذج المُكمَّم بإضافة [BitsAndBytesConfig](/docs/transformers/main/ar/main_classes/quantization#transformers.BitsAndBytesConfig) كما هو موضح أدناه: ```python from transformers import LlavaNextVideoForConditionalGeneration # specify how to quantize the model quantization_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.float16, ) model = LlavaNextVideoForConditionalGeneration.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf", quantization_config=quantization_config, device_map="auto") ``` ### Flash-Attention 2 لتسريع عملية التوليد علاوة على ذلك، يمكننا تسريع استنتاج النموذج بشكل كبير من خلال استخدام [Flash Attention](../kernel_doc/loading_kernels#attention-kernels)، وهو تنفيذ أسرع لآلية الانتباه المستخدمة داخل النموذج. أولاً، تأكد من تثبيت أحدث إصدار من Flash Attention 2: ```bash pip install -U flash-attn --no-build-isolation ``` كما يجب أن يكون لديك عتاد متوافق مع Flash-Attention 2. اقرأ المزيد حول ذلك في التوثيق الرسمي لـ [مستودع flash attention](https://github.com/Dao-AILab/flash-attention). لا يمكن استخدام FlashAttention-2 إلا عند تحميل النموذج في `torch.float16` أو `torch.bfloat16`. لتحميل نموذج وتشغيله باستخدام Flash Attention-2، ما عليك سوى إضافة `attn_implementation="flash_attention_2"` عند تحميل النموذج على النحو التالي: ```python from transformers import LlavaNextVideoForConditionalGeneration model = LlavaNextVideoForConditionalGeneration.from_pretrained( "llava-hf/LLaVA-NeXT-Video-7B-hf", , attn_implementation="flash_attention_2", ).to(0, device_map="auto") ``` ## LlavaNextVideoConfig[[transformers.LlavaNextVideoConfig]] #### transformers.LlavaNextVideoConfig[[transformers.LlavaNextVideoConfig]] ```python transformers.LlavaNextVideoConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, text_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, image_token_index: int = 32001, video_token_index: int = 32000, projector_hidden_act: str = 'gelu', vision_feature_select_strategy: typing.Literal['default', 'full'] = 'default', vision_feature_layer: int | list[int] = -2, multimodal_projector_bias: bool = True, tie_word_embeddings: bool = False, image_grid_pinpoints: list | None = None, spatial_pool_mode: str = 'average', spatial_pool_stride: int = 2, image_seq_length: int = 576, video_seq_length: int = 288) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/llava_next_video/configuration_llava_next_video.py#L32) **المعاملات:** vision_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`، *اختياري*) : كائن الإعداد أو قاموس العمود الفقري البصري. text_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`، *اختياري*) : كائن الإعداد أو قاموس العمود الفقري النصي. image_token_index (`int`، *اختياري*، القيمة الافتراضية `32001`) : فهرس رمز الصورة المستخدم كعنصر نائب لصور الإدخال. video_token_index (`int`، *اختياري*، القيمة الافتراضية `32000`) : فهرس رمز الفيديو المستخدم كعنصر نائب لفيديوهات الإدخال. projector_hidden_act (`str`، *اختياري*، القيمة الافتراضية هي `gelu`) : دالة التنشيط المستخدمة في المُشغِّل متعدد الوسائط. vision_feature_select_strategy (`Literal[default, full]`، *اختياري*، الافتراضي `default`) : استراتيجية اختيار الميزات المستخدمة لاختيار ميزة الرؤية من العمود الفقري البصري. vision_feature_layer (`Union[int, list[int]]`، *اختياري*، القيمة الافتراضية `-2`) : فهرس الطبقة التي يتم اختيار ميزات الرؤية منها. إذا تم تقديم عدة فهارس، فسيتم دمج ميزات الرؤية المقابلة لتلك الفهارس لتكوين ميزات الرؤية. multimodal_projector_bias (`bool`، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان سيتم استخدام الانحياز في المُسقط متعدد الوسائط. tie_word_embeddings (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب ربط ترميزات الأوزان وفقاً لخريطة `tied_weights_keys` الخاصة بالنموذج. image_grid_pinpoints (`List`، *اختياري*، الافتراضي `[[336, 672], [672, 336], [672, 672], [1008, 336], [336, 1008]]`) : قائمة بالدقات الممكنة للاستخدام في معالجة الصور عالية الدقة. يجب أن يكون كل عنصر في القائمة على شكل مجموعة (tuple) أو قائمة بالصيغة `(height, width)`. spatial_pool_mode (`str`، *اختياري*، القيمة الافتراضية `"average"`) : وضع التجميع (Pooling) المستخدم للفيديوهات. يمكن أن يكون "average" أو "max" أو "conv". spatial_pool_stride (`int`، *اختياري*، القيمة الافتراضية 2) : الخطوة المستخدمة في طبقة التجميع للفيديوهات. image_seq_length (`int`، *اختياري*، القيمة الافتراضية `576`) : طول تسلسل تضمين صورة واحدة. video_seq_length (`int`، *اختياري*، القيمة الافتراضية `288`) : طول تسلسل تضمين فيديو واحد. هذه فئة الإعدادات المخزنة لإعدادات نموذج LlavaNextVideoModel. تُستخدم لاستحداث نموذج Llava Next Video وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيُنتج إعدادات مشابهة لتلك الخاصة بـ [llava-hf/LLaVA-NeXT-Video-7B-hf](https://huggingface.co/llava-hf/LLaVA-NeXT-Video-7B-hf) ترث كائنات الإعداد من [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) لمزيد من المعلومات. مثال: ```python >>> from transformers import LlavaNextVideoForConditionalGeneration, LlavaNextVideoConfig, CLIPVisionConfig, LlamaConfig >>> # Initializing a CLIP-vision config >>> vision_config = CLIPVisionConfig() >>> # Initializing a Llama config >>> text_config = LlamaConfig() >>> configuration = LlavaNextVideoConfig(vision_config, text_config) >>> model = LlavaNextVideoForConditionalGeneration(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## LlavaNextVideoProcessor[[transformers.LlavaNextVideoProcessor]] #### transformers.LlavaNextVideoProcessor[[transformers.LlavaNextVideoProcessor]] ```python transformers.LlavaNextVideoProcessor(video_processor = None, image_processor = None, tokenizer = None, chat_template = None, patch_size = None, vision_feature_select_strategy = None, video_token = '