# LLaVa-NeXT-Video ## 概要 LLaVa-NeXT-Video モデルは、Yuanhan Zhang、Bo Li、Haotian Liu、Yong Jae Lee、Liangke Gui、Di Fu、Jiashi Feng、Ziwei Liu、Chunyuan Li によって [LLaVA-NeXT: A Strong Zero-shot Video Understanding Model](https://llava-vl.github.io/blog/2024-04-30-llava-next-video/) で提案されました。LLaVa-NeXT-Video は、動画と画像のデータセットの混合でファインチューニングを行うことで [LLaVa-NeXT](llava_next) を改善し、動画におけるモデルの性能を向上させています。 [LLaVA-NeXT](llava_next)は、AnyRes技術を用いることで、ゼロショットの状態で動画コンテンツの理解において驚くほど高い性能を発揮します。AnyRes技術は、高解像度画像を複数の画像に自然に表現します。動画はフレームの集合（LLaVa-NeXTにおける画像の集合と同様）とみなせるため、この技術は動画の表現にも自然に一般化できます。LLaVA-NeXTの現在のバージョンでは、AnyResを活用し、LLaVA-Nextをベースに動画データで教師ありファインチューニング（SFT）を行うことで、より優れた動画理解能力を実現しています。このモデルは、オープンソースモデルの中で、[VideoMME bench](https://huggingface.co/papers/2405.21075)における現在のSOTAです。 ブログからの導入文は以下の通りです: 2024年1月30日、テキストと画像のデータのみで学習されたオープンソースのLarge Multimodal Model (LMM)であるLLaVA-NeXTをリリースしました。提案されたAnyRes技術により、推論、OCR、および世界知識の能力が向上し、画像ベースのマルチモーダル理解タスクの幅広い範囲で優れたパフォーマンスを示しています。さらに、MMMUやMathVistaなどの複数の画像ベンチマークにおいて、Gemini-Proを上回る結果を記録しています。 **今回の調査では、動画理解タスクにおけるLLaVA-NeXTの性能を深掘りします。LLaVA-NeXTは、動画コンテンツの理解において驚くほど優れた性能を発揮することが明らかになりました。動画対応の現在のLLaVA-NeXTには、いくつかの改善点があります。** - AnyResによるゼロショットの動画表現能力: AnyRes技術は、高解像度画像を事前学習済みのViTが処理できる複数の画像に自然に表現し、それらを連結されたシーケンスとして形成します。この技術は、複数のフレームで構成される動画の表現にも自然に一般化でき、画像のみで学習されたLLaVA-Nextモデルが動画タスクで驚くほど優れた性能を発揮することを可能にします。特に注目すべきは、LMMがゼロショットのモーダリティ転移能力を強く示したのが初めてであるという点です。 - 長さ汎化を用いた推論により、より長い動画での性能が向上します。線形スケーリング技術により長さ汎化が可能になり、LLMのmax_token_lengthの制限を超えて、LLaVA-NeXTが長尺動画を効果的に処理できるようになります。 - Strong video understanding ability. (1) LLaVA-Next-Image, which combines the above two techniques, yields superior zero-shot performance than open-source LMMs tuned on videos. (2) LLaVA-Next-Video, further supervised fine-tuning (SFT) LLaVA-Next-Image on video data, achieves better video understanding capabilities compared to LLaVA-Next-Image. (3) LLaVA-Next-Video-DPO, which aligns the model response with AI feedback using direct preference optimization (DPO), showing significant performance boost. - SGLangによる効率的なデプロイと推論。動画タスクで5倍の高速な推論を可能にし、数百万レベルの動画リキャプショニングのような、よりスケーラブルなサービングを実現します。詳細はリポジトリの指示を参照してください。** このモデルは [RaushanTurganbay](https://huggingface.co/RaushanTurganbay) によって提供されました。元のコードは [こちら](https://github.com/LLaVA-VL/LLaVA-NeXT/tree/inference) で確認できます。 ## 使用のコツ - バッチ生成を計算する際は、より正確な結果が得られるため、`padding_side="left"`の使用を推奨します。生成を行う前に、`processor.tokenizer.padding_side = "left"`を呼び出すことを確認してください。 - Llava-Next は画像に対して異なる数のパッチを使用するため、入力の処理時に実行されるパディングとは別に、モデリングコード内で入力をパディングする必要があります。デフォルトでは、モデルが `eval()` モードの場合は "left-padding"、それ以外の場合は "right-padding" が設定されます。 > [!NOTE] > v4.46 以降にリリースされた LLaVA モデルでは、`processor.patch_size = {{patch_size}}`、`processor.num_additional_image_tokens = {{num_additional_image_tokens}}` および `processor.vision_feature_select_strategy = {{vision_feature_select_strategy}}` を追加することに関する警告が発生します。モデルのチェックポイントを所有している場合は、これらの属性をプロセッサーに追加することを強く推奨します。所有していない場合は、プルリクエストを開いてください。 これらの属性を追加することで、LLaVA は各画像に必要なイメージトークンの数を推定し、トークン数に応じてテキストに `` プレースホルダーを拡張します。通常、1 画像あたり約 500 トークン必要となるため、テキストが切り詰められないよう注意してください。切り詰めが発生すると、エンベディングのマージ時に失敗します。これらの属性は、`model.config.vision_config.patch_size` や `model.config.vision_feature_select_strategy` としてモデルの config から取得できます。`num_additional_image_tokens` は、ビジョンバックボーンが CLS トークンを追加する場合に `1`、ビジョンパッチに追加の要素がない場合に `0` とします。 ### Chat テンプレートによるプロンプトの整形 各**チェックポイント**は、基盤となる大規模言語モデルのバックボーンに応じて、特定のプロンプト形式で学習されています。正しい形式を確保するために、プロセッサの`apply_chat_template`メソッドを使用してください。 **重要:** - 会話履歴を構築する必要があります。プレーンな文字列を渡すだけでは動作しません。 - 各メッセージは、`"role"`キーと`"content"`キーを持つ辞書である必要があります。 - `"content"` は、`"text"` や `"image"` のような異なるモダリティの辞書のリストである必要があります。 入力の構造の例を以下に示します。[LLaVA-NeXT-Video-7B-hf](https://huggingface.co/llava-hf/LLaVA-NeXT-Video-7B-hf)と、動画と画像の会話履歴を使用します。 ```python from transformers import LlavaNextVideoProcessor processor = LlavaNextVideoProcessor.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf") conversation = [ { "role": "system", "content": [ {"type": "text", "text": "A chat between a curious human and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the human's questions."}, ], }, { "role": "user", "content": [ {"type": "text", "text": "What’s shown in this image?"}, {"type": "image"}, ], }, { "role": "assistant", "content": [{"type": "text", "text": "This image shows a red stop sign."},] }, { "role": "user", "content": [ {"type": "text", "text": "Why is this video funny?"}, {"type": "video"}, ], }, ] text_prompt = processor.apply_chat_template(conversation, add_generation_prompt=True) # Note that the template simply formats your prompt, you still have to tokenize it and obtain pixel values for your visuals print(text_prompt) ``` 🚀 **おまけ:** `transformers>=4.49.0` を使用している場合、`apply_chat_template` からベクトル化された出力も取得できます。使用方法の詳細については、以下の **使用例** を参照してください。 ## 使用例 ### 単一メディアモード モデルは画像と動画の両方を入力として受け取れます。以下は、半精度（`torch.float16`）での推論のコード例です。 ```python from huggingface_hub import hf_hub_download from transformers import LlavaNextVideoForConditionalGeneration, LlavaNextVideoProcessor # Load the model in half-precision model = LlavaNextVideoForConditionalGeneration.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf", device_map="auto") processor = LlavaNextVideoProcessor.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf") # Load the video as an np.array, sampling uniformly 8 frames (can sample more for longer videos) video_path = hf_hub_download(repo_id="raushan-testing-hf/videos-test", filename="sample_demo_1.mp4", repo_type="dataset") conversation = [ { "role": "user", "content": [ {"type": "text", "text": "Why is this video funny?"}, {"type": "video", "path": video_path}, ], }, ] inputs = processor.apply_chat_template(conversation, num_frames=8, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device) out = model.generate(**inputs, max_new_tokens=60) processor.batch_decode(out, skip_special_tokens=True, clean_up_tokenization_spaces=True) ``` ### Mixed Media Mode モデルは、画像と動画が交互に並んだ入力から生成することもできます。ただし、交互に並んだ画像・動画の設定で学習されていないため、パフォーマンスに影響する可能性があります。以下は、混合メディア入力を使用する例です。上記のコードスニペットに次の行を追加してください。 ```python # Generate from image and video mixed inputs conversation = [ { "role": "user", "content": [ {"type": "text", "text": "How many cats are there in the image?"}, {"type": "image", "url": "http://images.cocodataset.org/val2017/000000039769.jpg"}, ], }, { "role": "assistant", "content": [{"type": "text", "text": "There are two cats"}], }, { "role": "user", "content": [ {"type": "text", "text": "Why is this video funny?"}, {"type": "video", "path": video_path}, ], }, ] inputs = processor.apply_chat_template(conversation, num_frames=8, add_generation_prompt=True, tokenize=True, return_dict=True, padding=True, return_tensors="pt").to(model.device) # Generate generate_ids = model.generate(**inputs, max_length=50) processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True) ``` ## モデルの最適化 ### メモリ効率のためのBitsandbytesによる量子化 モデルは低ビットで読み込むことができ、元のモデルの性能を維持しながらメモリ負荷を大幅に軽減します。これにより、リソースが限られた環境での効率的なデプロイが可能になります。 まず、`pip install bitsandbytes` を実行して bitsandbytes をインストールし、このライブラリがサポートする GPU/アクセラレータにアクセスできることを確認してください。 bitsandbytes は、CUDA 以外の複数のバックエンドをサポートするためにリファクタリングされています。現在、ROCm (AMD GPU) と Intel CPU の実装は成熟しており、Intel XPU は進行中、Apple Silicon のサポートは第4四半期/第1四半期に提供される予定です。インストール手順や最新のバックエンド更新については、[このリンク](https://huggingface.co/docs/bitsandbytes/main/en/installation#multi-backend)をご覧ください。 正式リリース前にバグを特定するために、フィードバックを大切にしています!詳細とフィードバックのリンクについては、[これらのドキュメント](https://huggingface.co/docs/bitsandbytes/main/en/non_cuda_backends)をご覧ください。 次に、以下に示すように[BitsAndBytesConfig](/docs/transformers/main/ja/main_classes/quantization#transformers.BitsAndBytesConfig)を追加して、量子化モデルを読み込みます。 ```python from transformers import LlavaNextVideoForConditionalGeneration # specify how to quantize the model quantization_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.float16, ) model = LlavaNextVideoForConditionalGeneration.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf", quantization_config=quantization_config, device_map="auto") ``` ### Flash-Attention 2による生成の高速化 さらに、モデル内部で使用されるアテンション機構の高速実装である[Flash Attention](../kernel_doc/loading_kernels#attention-kernels)を使用することで、モデルの推論を大幅に高速化できます。 まず、Flash Attention 2 の最新バージョンをインストールしてください。 ```bash pip install -U flash-attn --no-build-isolation ``` また、Flash-Attention 2 に対応するハードウェアが必要です。詳細については、[flash attention リポジトリ](https://github.com/Dao-AILab/flash-attention)の公式ドキュメントを参照してください。FlashAttention-2 は、モデルが `torch.float16` または `torch.bfloat16` で読み込まれている場合のみ使用できます。 Flash Attention-2 を使用してモデルを読み込み、実行するには、モデルの読み込み時に `attn_implementation="flash_attention_2"` を追加するだけです。 ```python from transformers import LlavaNextVideoForConditionalGeneration model = LlavaNextVideoForConditionalGeneration.from_pretrained( "llava-hf/LLaVA-NeXT-Video-7B-hf", , attn_implementation="flash_attention_2", ).to(0, device_map="auto") ``` ## LlavaNextVideoConfig[[transformers.LlavaNextVideoConfig]] #### transformers.LlavaNextVideoConfig[[transformers.LlavaNextVideoConfig]] ```python transformers.LlavaNextVideoConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, text_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, image_token_index: int = 32001, video_token_index: int = 32000, projector_hidden_act: str = 'gelu', vision_feature_select_strategy: typing.Literal['default', 'full'] = 'default', vision_feature_layer: int | list[int] = -2, multimodal_projector_bias: bool = True, tie_word_embeddings: bool = False, image_grid_pinpoints: list | None = None, spatial_pool_mode: str = 'average', spatial_pool_stride: int = 2, image_seq_length: int = 576, video_seq_length: int = 288) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/llava_next_video/configuration_llava_next_video.py#L32) **パラメータ:** vision_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *任意*) : ビジョンバックボーンの config オブジェクトまたは辞書。 text_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *任意*) : テキストバックボーンの config オブジェクトまたは辞書。 image_token_index (`int`、*任意*、デフォルトは`32001`) : 入力画像のプレースホルダーとして使用される画像トークンのインデックス。 video_token_index (`int`、*optional*、デフォルトは`32000`) : 入力動画のプレースホルダーとして使用される動画トークンのインデックスです。 projector_hidden_act (`str`、*任意*、デフォルトは `gelu`) : マルチモーダルプロジェクターで使用する活性化関数。 vision_feature_select_strategy (`Literal[default, full]`、*任意*、デフォルトは`default`) : ビジョンバックボーンからビジョン特徴を選択するために使用される特徴選択戦略。 vision_feature_layer (`Union[int, list[int]]`、*任意*、デフォルトは`-2`) : 視覚特徴を選択するレイヤーのインデックスです。複数のインデックスが指定された場合、対応するインデックスの視覚特徴が連結されて視覚特徴が形成されます。 multimodal_projector_bias (`bool`、*任意*、デフォルトは`True`) : マルチモーダルプロジェクターでバイアスを使用するかどうか。 tie_word_embeddings (`bool`, *任意*, デフォルトは `False`) : モデルの `tied_weights_keys` マッピングに従って重み埋め込みを共有するかどうか。 image_grid_pinpoints (`List`、*任意*、デフォルトは`[[336, 672], [672, 336], [672, 672], [1008, 336], [336, 1008]]`) : 高解像度画像の処理に使用する候補の解像度のリストです。リストの各要素は、`(height, width)`の形式のタプルまたはリストである必要があります。 spatial_pool_mode (`str`、*任意*、デフォルトは`"average"`) : 動画に使用するプーリングモード。"average"、"max"、"conv"のいずれかを指定できます。 spatial_pool_stride (`int`、*任意*、デフォルトは 2) : 動画のプーリング層で使用するストライド。 image_seq_length (`int`, *optional*, デフォルトは `576`) : 1つの画像埋め込みのシーケンス長。 video_seq_length (`int`、*任意*、デフォルトは`288`) : 1つの動画埋め込みのシーケンス長。 これは LlavaNextVideoModel の設定を保存するための設定クラスです。指定された引数に基づいて Llava Next Video モデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、[llava-hf/LLaVA-NeXT-Video-7B-hf](https://huggingface.co/llava-hf/LLaVA-NeXT-Video-7B-hf) と同様の設定が得られます。 設定オブジェクトは [PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) を継承し、モデルの出力を制御するために使用できます。詳細については、[PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) のドキュメントを参照してください。 例: ```python >>> from transformers import LlavaNextVideoForConditionalGeneration, LlavaNextVideoConfig, CLIPVisionConfig, LlamaConfig >>> # Initializing a CLIP-vision config >>> vision_config = CLIPVisionConfig() >>> # Initializing a Llama config >>> text_config = LlamaConfig() >>> configuration = LlavaNextVideoConfig(vision_config, text_config) >>> model = LlavaNextVideoForConditionalGeneration(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## LlavaNextVideoProcessor[[transformers.LlavaNextVideoProcessor]] #### transformers.LlavaNextVideoProcessor[[transformers.LlavaNextVideoProcessor]] ```python transformers.LlavaNextVideoProcessor(video_processor = None, image_processor = None, tokenizer = None, chat_template = None, patch_size = None, vision_feature_select_strategy = None, video_token = '