# NeoMME [![Hugging Face](https://img.shields.io/badge/Collection-FFD21E?style=for-the-badge&logo=huggingface&logoColor=000)](https://huggingface.co/collections/Hcompany/neomme) [![arXiv](https://img.shields.io/badge/arXiv-2609.01657-b31b1b.svg?style=for-the-badge)](https://arxiv.org/abs/2609.01657) NeoMME は、H Company による、260M および 800M パラメータの効率的なマルチモーダルネイティブ・多言語対応のファウンデーションエンコーダーのファミリーです。NeoMME は、事前学習済みのビジョンタワーや因果言語モデルを別途用意することなく、単一の双方向 Transformer エンコーダー内で、多言語テキストトークンと生画像パッチを処理します。 NeoMME-Retriever は、NeoMME バックボーンからファインチューニングされたモデルで、ジョイントなレイトインタラクションとデンスの目的関数を用いた視覚的ドキュメント検索に対応しています。テキストクエリとドキュメント（テキストまたはページスクリーンショット）を入力として受け取り、MeanMaxSim スコアリング（レイトインタラクション）用のマルチベクトル埋め込みと、コサイン類似度（デンス）用の平均プーリングされた埋め込みを生成します。 事前学習済みバックボーンと検索チェックポイントは、[NeoMMEコレクション](https://huggingface.co/collections/Hcompany/neomme)内で Apache 2.0 ライセンスの下で利用可能であり、[Sentence Transformers](https://huggingface.co/sentence-transformers)と組み合わせて使用できます。 ## 使用例 **エンコーダーの隠れ状態を生成する** ```python import requests import torch from PIL import Image from transformers import AutoModel, AutoProcessor def encode_document_text(processor, text: str) -> str: return f"{processor.tokenizer.document_token}{text}" model_id = "Hcompany/NeoMME-260M" processor = AutoProcessor.from_pretrained(model_id) model = AutoModel.from_pretrained(model_id, device_map="auto") text = "The cat sat on a mat." image_url = "https://github.com/tonywu71/colpali-cookbooks/blob/main/examples/data/shift_kazakhstan.jpg?raw=true" image = Image.open(requests.get(image_url, stream=True).raw) inputs = processor( text=[ encode_document_text(processor, text), encode_document_text(processor, processor.image_token), ], images=[image], padding=True, return_tensors="pt", ).to(model.device) with torch.inference_mode(): outputs = model(**inputs) text_hidden_states, image_hidden_states = outputs.last_hidden_state ``` **マスクド言語モデリング** ```python import torch from transformers import AutoModelForMaskedLM, AutoProcessor model_id = "Hcompany/NeoMME-260M" processor = AutoProcessor.from_pretrained(model_id) model = AutoModelForMaskedLM.from_pretrained(model_id, device_map="auto") # Equivalent: "The capital of is London." text = f"{processor.tokenizer.document_token}The capital of {processor.tokenizer.mask_token} is London." inputs = processor(text=[text], return_tensors="pt").to(model.device) with torch.inference_mode(): outputs = model(**inputs) masked_index = (inputs.input_ids[0] == processor.tokenizer.mask_token_id).nonzero().item() predicted_token_id = outputs.logits[0, masked_index].argmax(dim=-1) print(processor.tokenizer.decode(predicted_token_id)) ``` **ビジュアルドキュメント検索** > [!IMPORTANT] > 以下の検索の例でMeanMaxSimスコアリングを使用するには、`sentence-transformers>=6.0.0`をインストールしてください。Sentence Transformers APIについては、[Multi-Vector Encoderクイックスタート](https://sbert.net/docs/quickstart.html#multi-vector-encoder)を参照してください。 ```python from typing import Any, Literal import requests import torch from PIL import Image from sentence_transformers.util import cos_sim, mean_maxsim from transformers import BatchFeature, NeoMMEForRetrieval, NeoMMEProcessor def encode( messages: list[list[dict[str, Any]]], task: Literal["query", "document"], ) -> BatchFeature: return processor.apply_chat_template( messages, task=task, tokenize=True, return_dict=True, return_tensors="pt", processor_kwargs={"padding": "longest"}, ) model_name = "Hcompany/NeoMME-260M-Retriever" processor = NeoMMEProcessor.from_pretrained(model_name) model = NeoMMEForRetrieval.from_pretrained(model_name) # Document images (our corpus) image_urls = [ "https://github.com/tonywu71/colpali-cookbooks/blob/6ef1332da6bcb48c7ef1f19b25bfa555be7031a8/examples/data/shift_kazakhstan.jpg?raw=true", "https://github.com/tonywu71/colpali-cookbooks/blob/6ef1332da6bcb48c7ef1f19b25bfa555be7031a8/examples/data/energy_electricity_generation.jpg?raw=true", ] documents = [Image.open(requests.get(url, stream=True).raw) for url in image_urls] # Queries queries = [ "Quelle partie de la production pétrolière du Kazakhstan provient de champs en mer ?", "Which hour of the day had the highest overall electricity generation in 2019?", ] document_messages = [ [{"role": "user", "content": [{"type": "image", "image": document}]}] for document in documents ] query_messages = [[{"role": "user", "content": query}] for query in queries] inputs_documents = encode(document_messages, "document").to(model.device) inputs_text = encode(query_messages, "query").to(model.device) with torch.inference_mode(): document_outputs = model(**inputs_documents) query_outputs = model(**inputs_text) late_scores = mean_maxsim( query_outputs.embeddings, document_outputs.embeddings, a_mask=inputs_text["attention_mask"], b_mask=inputs_documents["attention_mask"], ) dense_scores = cos_sim(query_outputs.dense_embeddings, document_outputs.dense_embeddings) # Expected: late_scores[0, 0] > late_scores[0, 1] and late_scores[1, 1] > late_scores[1, 0]. print(late_scores, dense_scores) ``` ## NeoMMEConfig[[transformers.NeoMMEConfig]] #### transformers.NeoMMEConfig[[transformers.NeoMMEConfig]] ```python transformers.NeoMMEConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 131072, embedding_rank: int = 256, hidden_size: int = 1024, intermediate_size: int = 3584, hidden_act: typing.Literal['relu2'] = 'relu2', mlp_bias: bool = False, num_hidden_layers: int = 17, num_attention_heads: int = 16, num_key_value_heads: int = 4, head_dim: int = 64, max_position_embeddings: int = 16384, norm_eps: float = 1e-06, initializer_range: float = 0.02, attention_dropout: float | int = 0.0, attention_bias: bool = False, layer_types: list[str] | None = None, rope_parameters: dict[typing.Literal['full_attention', 'sliding_attention'], dict] | None = None, sliding_window: int | None = 256, residual_multiplier: float | None = None, patch_size: int = 32, embedding_dim: int = 128, pad_token_id: int | None = 0, document_token_id: int | None = 5, image_token_id: int | None = 6, tie_word_embeddings: bool = True) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/neomme/configuration_neomme.py#L33) **パラメータ:** vocab_size (`int`、*任意*、デフォルトは `131072`) : モデルの語彙サイズ。`input_ids` で表現できるトークンの種類数を定義します。 embedding_rank (`int`、*optional*、デフォルトは 256) : `hidden_size` への射影を行う前の、分解されたトークン埋め込みテーブルの幅。 hidden_size (`int`、*任意*、デフォルトは`1024`) : 隠れ表現の次元数。 intermediate_size (`int`、*optional*、デフォルトは`3584`) : MLP表現の次元数。 hidden_act (`Literal[relu2]`、*任意*、デフォルトは`relu2`) : デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、`"gelu"`、`"relu"`、`"silu"` など。 mlp_bias (`bool`, *任意*, デフォルトは `False`) : MLP 層の up_proj、down_proj、gate_proj 層でバイアスを使用するかどうか。 num_hidden_layers (`int`, *任意*, デフォルトは `17`) : Transformer デコーダーの隠れ層の数。 num_attention_heads (`int`、*任意*、デフォルトは`16`) : Transformerデコーダーの各アテンション層におけるアテンションヘッドの数。 num_key_value_heads (`int`, *optional*, デフォルトは `4`) : Grouped Query Attention を実装するために使用する key_value ヘッドの数です。`num_key_value_heads=num_attention_heads` の場合、モデルは Multi Head Attention (MHA) を使用し、`num_key_value_heads=1` の場合は Multi Query Attention (MQA) を使用し、それ以外の場合は GQA が使用されます。マルチヘッドのチェックポイントを GQA チェックポイントに変換する際は、各グループの key ヘッドと value ヘッドは、そのグループ内の元のすべてのヘッドを平均プーリングして構築する必要があります。詳細については、[この論文](https://huggingface.co/papers/2305.13245)を参照してください。指定されない場合、デフォルトで `num_attention_heads` が使用されます。 head_dim (`int`、*任意*、デフォルトは`64`) : アテンションヘッドの次元数。None の場合、hidden_size // num_attention_heads がデフォルトとして使用されます。 max_position_embeddings (`int`、*optional*、デフォルトは`16384`) : このモデルが使用される可能性のある最大シーケンス長です。 norm_eps (`float`、*任意*、デフォルトは`1e-06`) : Layer Normalization 層で使用する epsilon です。 initializer_range (`float`、*任意*、デフォルトは`0.02`) : すべての重み行列を初期化するためのtruncated_normal_initializerの標準偏差です。 attention_dropout (`Union[float, int]`、*任意*、デフォルトは`0.0`) : 注意確率のドロップアウト率。 attention_bias (`bool`、*任意*、デフォルトは`False`) : セルフアテンションにおけるクエリ、キー、バリュー、出力の投影層でバイアスを使用するかどうか。 layer_types (`list[str]`, *任意*) : デフォルトでは、6層ごとと最終層でフルアテンションを使用します。 rope_parameters (`dict`, *任意*) : `"full_attention"`および`"sliding_attention"`レイヤーのRotary-position設定です。回転次元`head_dim * partial_rotary_factor`は、4の正の倍数である必要があります。 sliding_window (`int`、*任意*、デフォルトは`256`) : スライディングウィンドウアテンションのウィンドウサイズ。`None`の場合、スライディングウィンドウは適用されません。 residual_multiplier (`float`, *任意*) : attentionおよびMLPの残差ブランチに適用されるスケール。デフォルト値は`1 / sqrt(2 * num_hidden_layers)`です。 patch_size (`int`, *optional*, デフォルトは `32`) : 各パッチのサイズ（解像度）。 embedding_dim (`int`、*optional*、デフォルトは 128) : [NeoMMEForRetrieval](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEForRetrieval) が返すトークンレベルの埋め込みの幅です。この設定は `embedding_rank` とは無関係です。 pad_token_id (`int`, *任意*, デフォルトは `0`) : 語彙内でパディングに使用されるトークン ID。 document_token_id (`int`、*任意*、デフォルトは 5) : `` マーカーのトークン ID。 image_token_id (`int`、*optional*、デフォルトは`6`) : 入力画像のプレースホルダーとして使用される画像トークンのインデックス。 tie_word_embeddings (`bool`、*任意*、デフォルトは`True`) : マスクされたトークンデコーダーが、両方のファクター化されたトークン埋め込み重みを再利用するかどうか。 これはNeoMMEModelの設定を保存するための設定クラスです。指定された引数に基づいてNeommeモデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、[Hcompany/NeoMME-260M](https://huggingface.co/Hcompany/NeoMME-260M)と類似した設定が得られます。 設定オブジェクトは [PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) を継承し、モデルの出力を制御するために使用できます。詳細については、[PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) のドキュメントを参照してください。 ```python >>> from transformers import NeoMMEModel, NeoMMEConfig >>> configuration = NeoMMEConfig() >>> model = NeoMMEModel(configuration) ``` ## NeoMMEImageProcessor[[transformers.NeoMMEImageProcessor]] #### transformers.NeoMMEImageProcessor[[transformers.NeoMMEImageProcessor]] ```python transformers.NeoMMEImageProcessor(**kwargs: *) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/neomme/image_processing_neomme.py#L107) **パラメータ:** do_convert_rgb (`bool`, *kwargs*, *optional*, デフォルトは `True`) : 画像を RGB に変換するかどうか。 do_resize (`bool`, *kwargs*, *任意*, デフォルトは `True`) : 画像をリサイズするかどうか。 size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*、デフォルトは `None`) : モデルへの最大入力次元を記述します。 default_to_square (`bool`, *kwargs*, *任意*、デフォルトは `True`) : size が整数の場合、リサイズ時に正方形の画像をデフォルトとするかどうか。 crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : `center_crop` を適用した後の出力画像のサイズ。 resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*、デフォルト値は`2`) : 画像のリサイズ時に使用するリサンプリングフィルタです。これは列挙型`PILImageResampling`のいずれかになります。`do_resize`が`True`に設定されている場合のみ、効果が現れます。 do_rescale (`bool`, *kwargs*, *optional*, デフォルトは `True`) : 画像をリスケールするかどうか。 rescale_factor (`float`, *kwargs*, *optional*, デフォルトは `0.00392156862745098`) : `do_rescale` が `True` に設定されている場合、画像をリスケールするための係数。 do_normalize (`bool`, *kwargs*, *optional*, デフォルトは `True`) : 画像を正規化するかどうかを指定します。 image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*, デフォルトは `[0.5, 0.5, 0.5]`) : 正規化に使用する画像の平均値。`do_normalize` が `True` に設定されている場合のみ有効です。 image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*, デフォルトは `[0.5, 0.5, 0.5]`) : 正規化に使用する画像の標準偏差。`do_normalize` が `True` に設定されている場合のみ有効です。 do_pad (`bool`, *kwargs*, *任意*) : 画像にパディングを適用するかどうか。パディングは、バッチ内の最大サイズに合わせるか、画像ごとに固定の正方形サイズに合わせるかのいずれかで行われます。正確なパディング戦略はモデルによって異なります。 pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : 画像をパディングするサイズを`{"height": int, "width" int}`で指定します。前処理に提供されたすべての画像サイズより大きい必要があります。`pad_size`が指定されない場合、バッチ内の最大の幅と高さにパディングされます。`do_pad=True.`の場合にのみ適用されます。 do_center_crop (`bool`, *kwargs*, *optional*) : 画像を中央クロップするかどうか。 data_format (`Union[str, ~image_utils.ChannelDimension]`、*kwargs*、*optional*) : 対応するのは `ChannelDimension.FIRST` のみです。slow processors との互換性のために追加されました。 input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *任意*) : 入力画像のチャネル次元の形式です。設定されていない場合、入力画像からチャネル次元の形式が推論されます。以下のいずれかになります: - `"channels_first"` または `ChannelDimension.FIRST`: (num_channels, height, width) 形式の画像。 - `"channels_last"` または `ChannelDimension.LAST`: (height, width, num_channels) 形式の画像。 - `"none"` または `ChannelDimension.NONE`: (height, width) 形式の画像。 device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : 動画を処理するデバイスです。未設定の場合、入力動画からデバイスが推論されます。 return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : `'pt'`に設定されている場合はスタックされたテンソルを返し、それ以外の場合はテンソルのリストを返します。 disable_grouping (`bool`, *kwargs*, *optional*) : 画像をサイズごとにグループ化してバッチ処理するのではなく、個別に処理するためにグループ化を無効にするかどうかを指定します。None の場合、画像が CPU にある場合は True、それ以外の場合は False に設定されます。この選択は、https://github.com/huggingface/transformers/pull/38157 に詳しく記載されている実証的な観察に基づいています。 image_seq_length (`int`, *kwargs*, *任意*) : 入力内の各画像に使用される画像トークンの数です。後方互換性のために追加されましたが、将来のモデルではプロセッサの属性として設定されるべきです。 patch_size (`int`, *kwargs*, *optional*, デフォルトは `self.patch_size`) : 1つのパッチトークンの1辺の長さ（ピクセル単位）。画像は、この値の整数倍になるようにパディングされます。 max_side (`int`, *kwargs*, *optional*) : 長辺のピクセル数上限。未設定の場合、長辺のリサイズは行われません。 NeoMMEImageProcessor 画像プロセッサを構築します。 #### preprocess[[transformers.NeoMMEImageProcessor.preprocess]] ```python preprocess(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']], **kwargs: *) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/neomme/image_processing_neomme.py#L136) **パラメータ:** images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`) : 前処理対象の画像。ピクセル値が 0 から 255 の範囲にある単一の画像またはバッチの画像を想定しています。ピクセル値が 0 から 1 の範囲にある画像を渡す場合は、`do_rescale=False` を設定してください。 do_convert_rgb (`bool`, *kwargs*, *optional*) : 画像を RGB に変換するかどうか。 do_resize (`bool`, *kwargs*, *optional*) : 画像をリサイズするかどうか。 size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : モデルへの最大入力次元を記述します。 default_to_square (`bool`, *kwargs*, *optional*) : size が int の場合、リサイズ時に正方形の画像をデフォルトとするかどうか。 crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : `center_crop` を適用した後の出力画像のサイズ。 resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*) : 画像をリサイズする場合に使用するリサンプリングフィルタ。`PILImageResampling` の列挙型のいずれかです。`do_resize` が `True` に設定されている場合のみ有効です。 do_rescale (`bool`, *kwargs*, *任意*) : 画像をリスケールするかどうか。 rescale_factor (`float`, *kwargs*, *optional*) : `do_rescale` が `True` に設定されている場合、画像をリサイズするためのリスケール係数。 do_normalize (`bool`, *kwargs*, *optional*) : 画像を正規化するかどうかを指定します。 image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*) : 正規化に使用する画像の平均値。`do_normalize` が `True` に設定されている場合のみ有効です。 image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*) : 正規化に使用する画像の標準偏差。`do_normalize` が `True` に設定されている場合のみ有効です。 do_pad (`bool`, *kwargs*, *任意*) : 画像にパディングを適用するかどうか。パディングは、バッチ内の最大サイズに合わせるか、画像ごとに固定の正方形サイズに合わせるかのいずれかで行われます。正確なパディング戦略はモデルによって異なります。 pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : 画像をパディングするサイズを`{"height": int, "width" int}`で指定します。前処理に提供されたすべての画像サイズより大きい必要があります。`pad_size`が指定されない場合、バッチ内の最大の幅と高さにパディングされます。`do_pad=True.`の場合にのみ適用されます。 do_center_crop (`bool`, *kwargs*, *optional*) : 画像を中央クロップするかどうか。 data_format (`Union[str, ~image_utils.ChannelDimension]`、*kwargs*、*optional*) : 対応するのは `ChannelDimension.FIRST` のみです。slow processors との互換性のために追加されました。 input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *任意*) : 入力画像のチャネル次元の形式です。設定されていない場合、入力画像からチャネル次元の形式が推論されます。以下のいずれかになります: - `"channels_first"` または `ChannelDimension.FIRST`: (num_channels, height, width) 形式の画像。 - `"channels_last"` または `ChannelDimension.LAST`: (height, width, num_channels) 形式の画像。 - `"none"` または `ChannelDimension.NONE`: (height, width) 形式の画像。 device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : 動画を処理するデバイスです。未設定の場合、入力動画からデバイスが推論されます。 return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : `'pt'`に設定されている場合はスタックされたテンソルを返し、それ以外の場合はテンソルのリストを返します。 disable_grouping (`bool`, *kwargs*, *optional*) : 画像をサイズごとにグループ化してバッチ処理するのではなく、個別に処理するためにグループ化を無効にするかどうかを指定します。None の場合、画像が CPU にある場合は True、それ以外の場合は False に設定されます。この選択は、https://github.com/huggingface/transformers/pull/38157 に詳しく記載されている実証的な観察に基づいています。 image_seq_length (`int`, *kwargs*, *任意*) : 入力内の各画像に使用される画像トークンの数です。後方互換性のために追加されましたが、将来のモデルではプロセッサの属性として設定されるべきです。 patch_size (`int`, *kwargs*, *optional*, デフォルトは `self.patch_size`) : 1つのパッチトークンの1辺の長さ（ピクセル単位）。画像は、この値の整数倍になるようにパディングされます。 max_side (`int`, *kwargs*, *optional*) : 長辺のピクセル数上限。未設定の場合、長辺のリサイズは行われません。 **戻り値:** `pixel_values` の形状が `(total_patches, 3 * patch_size ** 2)`、`image_grid_hw` の形状が `(batch_size, 2)` の [BatchFeature](/docs/transformers/main/ja/main_classes/feature_extractor#transformers.BatchFeature)。`pixel_values` は、バッチ内のすべての画像のパッチを連結したものです。 ## NeoMMEProcessor[[transformers.NeoMMEProcessor]] #### transformers.NeoMMEProcessor[[transformers.NeoMMEProcessor]] ```python transformers.NeoMMEProcessor(image_processor = None, tokenizer = None, chat_template = None, **kwargs) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/neomme/processing_neomme.py#L32) **パラメータ:** image_processor (`NeoMMEImageProcessor`) : 画像プロセッサは必須の入力です。 tokenizer (`tokenizer_class`) : トークナイザーは必須の入力です。 chat_template (`str`) : チャット内のメッセージのリストをトークン化可能な文字列に変換するための Jinja テンプレート。 画像プロセッサとトークナイザーを単一のプロセッサにラップするNeoMMEProcessorを構築します。 [NeoMMEProcessor](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEProcessor) は、[NeoMMEImageProcessor](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEImageProcessor) と `tokenizer_class` のすべての機能を提供します。詳細については、[~NeoMMEImageProcessor](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEImageProcessor) および `~tokenizer_class` を参照してください。 #### __call__[[transformers.NeoMMEProcessor.__call__]] ```python __call__(images: ImageInput | None = None, text: TextInput | list[TextInput] | None = None, **kwargs: Unpack[ProcessingKwargs]) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/neomme/processing_neomme.py#L53) **パラメータ:** images (`ImageInput`, *任意*) : 前処理する画像。ピクセル値が0から255の範囲にある単一の画像またはバッチの画像を想定しています。ピクセル値が0から1の範囲にある画像を渡す場合は、`do_rescale=False`を設定してください。 text (`TextInput | list[TextInput]`, *任意*) : エンコード対象のシーケンスまたはシーケンスのバッチです。各シーケンスは、文字列または文字列のリスト（プレトークナイズ済み文字列）にできます。プレトークナイズ済み入力を渡す場合は、バッチ入力との曖昧さを避けるために`is_split_into_words=True`を設定してください。 return_tensors (`str` または [TensorType](/docs/transformers/main/ja/internal/file_utils#transformers.TensorType)、*optional*) : 設定されている場合、特定のフレームワークのテンソルを返します。受け入れ可能な値は以下の通りです: - `'pt'`: PyTorch の `torch.Tensor` オブジェクトを返します。 - `'np'`: NumPy の `np.ndarray` オブジェクトを返します。 **戻り値:** `input_ids`と`attention_mask`を持つ[BatchFeature](/docs/transformers/main/ja/main_classes/feature_extractor#transformers.BatchFeature)。画像入力の場合、`position_ids`と`pixel_values`も返されます。 #### apply_chat_template[[transformers.NeoMMEProcessor.apply_chat_template]] ```python apply_chat_template(conversation: list[dict[str, str]] | list[list[dict[str, str]]], chat_template: str | None = None, task: Literal['query', 'document'] | None = None, processor_kwargs: dict | None = None, **kwargs) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/neomme/processing_neomme.py#L136) 設定済みの検索テンプレートを適用し、必要に応じてその出力をトークン化します。 `tokenize=True`の場合、画像コンテンツには画像、URL、パス、またはbase64値を含める必要があります。`max_length`や`max_side`などの処理オプションは、`processor_kwargs`を介して渡します。 ## NeoMMEModel[[transformers.NeoMMEModel]] #### transformers.NeoMMEModel[[transformers.NeoMMEModel]] ```python transformers.NeoMMEModel(config: NeoMMEConfig) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/neomme/modeling_neomme.py#L492) **パラメータ:** config ([NeoMMEConfig](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEConfig)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを参照してください。 素の NeoMME モデルです。テキストトークンと画像パッチを、1つの双方向 Transformer エンコーダーでエンコードします。 このモデルは [PreTrainedModel](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。 このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。 #### forward[[transformers.NeoMMEModel.forward]] ```python forward(input_ids: LongTensor, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, pixel_values: typing.Optional[torch.Tensor] = None, **kwargs: *) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/neomme/modeling_neomme.py#L535) **パラメータ:** input_ids (`torch.LongTensor`、shape `(batch_size, sequence_length)`) : 語彙における入力シーケンスのトークンインデックスです。デフォルトでは、パディングは無視されます。インデックスは [AutoTokenizer](/docs/transformers/main/ja/model_doc/auto#transformers.AutoTokenizer) を使用して取得できます。詳細は [PreTrainedTokenizer.encode()](/docs/transformers/main/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [PreTrainedTokenizer.__call__()](/docs/transformers/main/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。 [入力IDとは何ですか？](../glossary#input-ids) attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます: - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。 [attention マスクとは?](../glossary#attention-mask) position_ids (`torch.LongTensor`、形状は`(2, batch_size, sequence_length)`または`(batch_size, sequence_length)`、*任意*) : 入力トークンの位置。[NeoMMEProcessor](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEProcessor)は、ドキュメント画像に対して2軸の位置を返します。テキスト入力には1軸の位置テンソルが使用されます。 pixel_values (`torch.Tensor`、形状 `(num_patches, 3 * patch_size ** 2)`、*任意*) : [NeoMMEProcessor](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEProcessor) が返すフラット化された画像パッチです。モデルはこれらのパッチを `input_ids` 内の画像プレースホルダーに配置します。 **戻り値:** [BaseModelOutput](/docs/transformers/main/ja/main_classes/output#transformers.modeling_outputs.BaseModelOutput) または `tuple(torch.FloatTensor)` [BaseModelOutput](/docs/transformers/main/ja/main_classes/output#transformers.modeling_outputs.BaseModelOutput) または `torch.FloatTensor` のタプル（`return_dict=False` が渡された場合、または `config.return_dict=False` の場合）。構成（[NeoMMEConfig](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEConfig)）および入力に応じて、さまざまな要素で構成されます。 [NeoMMEModel](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEModel)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。 この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。 - **last_hidden_state** (`torch.FloatTensor`、shape `(batch_size, sequence_length, hidden_size)`) -- モデルの最終層の出力における隠れ状態のシーケンス。 - **hidden_states** (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.FloatTensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用が 1 つ、各層の出力用が 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。 各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。 - **attentions** (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）で、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。 アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。 ## NeoMMEForMaskedLM[[transformers.NeoMMEForMaskedLM]] #### transformers.NeoMMEForMaskedLM[[transformers.NeoMMEForMaskedLM]] ```python transformers.NeoMMEForMaskedLM(config: NeoMMEConfig) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/neomme/modeling_neomme.py#L612) **パラメータ:** config ([NeoMMEConfig](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEConfig)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを参照してください。 ファクター化されたマスクトークンデコーダーを備えたNeoMMEモデル。 このモデルは [PreTrainedModel](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。 このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。 #### forward[[transformers.NeoMMEForMaskedLM.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, pixel_values: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, **kwargs: *) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/neomme/modeling_neomme.py#L626) **パラメータ:** input_ids (`torch.LongTensor`、shape `(batch_size, sequence_length)`、*任意*) : 語彙における入力シーケンスのトークンインデックスです。デフォルトでは、パディングは無視されます。インデックスは [AutoTokenizer](/docs/transformers/main/ja/model_doc/auto#transformers.AutoTokenizer) を使用して取得できます。詳細については、[PreTrainedTokenizer.encode()](/docs/transformers/main/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [PreTrainedTokenizer.__call__()](/docs/transformers/main/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。 [入力IDとは何ですか？](../glossary#input-ids) attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます: - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。 [attention マスクとは?](../glossary#attention-mask) position_ids (`torch.LongTensor`、shape `(batch_size, sequence_length)`、*任意*) : 各入力シーケンスのトークンが位置埋め込み内で占める位置のインデックスです。`[0, config.n_positions - 1]` の範囲から選択されます。 [位置 ID とは何か？](../glossary#position-ids) pixel_values (`torch.Tensor`、形状 `(batch_size, num_channels, image_size, image_size)`、*任意*) : 入力画像に対応するテンソルです。ピクセル値は [NeoMMEImageProcessor](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEImageProcessor) を使用して取得できます。詳細は [NeoMMEImageProcessor.__call__()](/docs/transformers/main/ja/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) を参照してください（[NeoMMEProcessor](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEProcessor) は画像の処理に [NeoMMEImageProcessor](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEImageProcessor) を使用します）。 labels (`torch.LongTensor`、形状 `(batch_size, sequence_length)`、*任意*) : マスク言語モデリング損失用のラベル。インデックスは `[0, ..., config.vocab_size - 1]` または `-100` の範囲である必要があります。ラベルが `-100` と異なるトークンのみが損失に寄与します。 **戻り値:** [MaskedLMOutput](/docs/transformers/main/ja/main_classes/output#transformers.modeling_outputs.MaskedLMOutput) または `tuple(torch.FloatTensor)` 設定（[NeoMMEConfig](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEConfig)）と入力に応じて、さまざまな要素で構成される、[MaskedLMOutput](/docs/transformers/main/ja/main_classes/output#transformers.modeling_outputs.MaskedLMOutput)または`torch.FloatTensor`のタプル（`return_dict=False`が渡された場合、または`config.return_dict=False`の場合）。 [NeoMMEForMaskedLM](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEForMaskedLM)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。 この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。 - **loss** (`torch.FloatTensor`、shape `(1,)`、*optional*、`labels` が指定された場合に返されます) -- マスクド言語モデリング (MLM) の損失。 - **logits** (`torch.FloatTensor`、shape `(batch_size, sequence_length, config.vocab_size)`) -- 言語モデリングヘッドの予測スコア（SoftMax 適用前の各語彙トークンのスコア）。 - **hidden_states** (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.FloatTensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用が 1 つ、各層の出力用が 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。 各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。 - **attentions** (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）で、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。 アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。 例: ```python >>> from transformers import AutoTokenizer, NeoMMEForMaskedLM >>> import torch >>> tokenizer = AutoTokenizer.from_pretrained("Hcompany/NeoMME-260M") >>> model = NeoMMEForMaskedLM.from_pretrained("Hcompany/NeoMME-260M") >>> inputs = tokenizer("The capital of France is .", return_tensors="pt") >>> with torch.no_grad(): ... logits = model(**inputs).logits >>> # retrieve index of >>> mask_token_index = (inputs.input_ids == tokenizer.mask_token_id)[0].nonzero(as_tuple=True)[0] >>> predicted_token_id = logits[0, mask_token_index].argmax(axis=-1) >>> tokenizer.decode(predicted_token_id) ... >>> labels = tokenizer("The capital of France is Paris.", return_tensors="pt")["input_ids"] >>> # mask labels of non- tokens >>> labels = torch.where(inputs.input_ids == tokenizer.mask_token_id, labels, -100) >>> outputs = model(**inputs, labels=labels) >>> round(outputs.loss.item(), 2) ... ``` ## NeoMMEForRetrieval[[transformers.NeoMMEForRetrieval]] #### transformers.NeoMMEForRetrieval[[transformers.NeoMMEForRetrieval]] ```python transformers.NeoMMEForRetrieval(config: NeoMMEConfig) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/neomme/modeling_neomme.py#L719) **パラメータ:** config ([NeoMMEConfig](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEConfig)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを参照してください。 NeoMMEモデルは、マルチベクトルとデンス検索のヘッドを備えています。1回のフォワードパスで、MaxSimスコアリング用のトークン埋め込みと、コサイン類似度用の平均プーリングされた埋め込みを返すことができます。 このモデルは [PreTrainedModel](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。 このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。 #### forward[[transformers.NeoMMEForRetrieval.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, pixel_values: typing.Optional[torch.Tensor] = None, output_multivector: bool = True, output_dense: bool = True, dense_dim: int | None = None, **kwargs: *) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/neomme/modeling_neomme.py#L727) **パラメータ:** input_ids (`torch.LongTensor`、shape `(batch_size, sequence_length)`、*任意*) : 語彙における入力シーケンスのトークンインデックスです。デフォルトでは、パディングは無視されます。インデックスは [AutoTokenizer](/docs/transformers/main/ja/model_doc/auto#transformers.AutoTokenizer) を使用して取得できます。詳細については、[PreTrainedTokenizer.encode()](/docs/transformers/main/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [PreTrainedTokenizer.__call__()](/docs/transformers/main/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。 [入力IDとは何ですか？](../glossary#input-ids) attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます: - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。 [attention マスクとは?](../glossary#attention-mask) position_ids (`torch.LongTensor`、shape `(batch_size, sequence_length)`、*任意*) : 各入力シーケンスのトークンが位置埋め込み内で占める位置のインデックスです。`[0, config.n_positions - 1]` の範囲から選択されます。 [位置 ID とは何か？](../glossary#position-ids) pixel_values (`torch.Tensor`、形状 `(batch_size, num_channels, image_size, image_size)`、*任意*) : 入力画像に対応するテンソルです。ピクセル値は [NeoMMEImageProcessor](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEImageProcessor) を使用して取得できます。詳細は [NeoMMEImageProcessor.__call__()](/docs/transformers/main/ja/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) を参照してください（[NeoMMEProcessor](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEProcessor) は画像の処理に [NeoMMEImageProcessor](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEImageProcessor) を使用します）。 output_multivector (`bool`, *任意*, デフォルトは `True`) : レイトインタラクション検索のためにトークン埋め込みを返すかどうか。 output_dense (`bool`、*任意*、デフォルトは`True`) : 各入力に対して平均プーリングされた1つの稠密埋め込みを返すかどうか。 dense_dim (`int`, *optional*) : 密集埋め込みを返すための Matryoshka プレフィックスの幅。モデルは正規化の前にプールのベクトルを切り詰めます。 **戻り値:** `NeoMMEForRetrievalOutput` または `tuple(torch.FloatTensor)` `NeoMMEForRetrievalOutput`、または`torch.FloatTensor`のタプル（`return_dict=False`が渡された場合、または`config.return_dict=False`の場合）。構成要素は、設定（[NeoMMEConfig](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEConfig)）と入力に応じて異なります。 [NeoMMEForRetrieval](/docs/transformers/main/ja/model_doc/neomme#transformers.NeoMMEForRetrieval) の forward メソッドは、`__call__` という特殊メソッドをオーバーライドします。 この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。 - **last_hidden_state** (`torch.FloatTensor`、shape `(batch_size, sequence_length, hidden_size)`) -- モデルの最終層の出力における隠れ状態のシーケンス。 - **hidden_states** (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.FloatTensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用が 1 つ、各層の出力用が 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。 各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。 - **attentions** (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）で、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。 アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。 - **loss** (`torch.FloatTensor`、shape `(1,)`、*optional*) -- 検索損失。この値は常に`None`です。 - **embeddings** (`torch.FloatTensor`、形状 `(batch_size, sequence_length, embedding_dim)`、*任意*) -- 遅延相互作用検索用の正規化されたトークン埋め込み。パディング行はゼロに設定されています。スコアリングには MeanMaxSim を使用してください。 - **dense_embeddings** (`torch.FloatTensor`、shape `(batch_size, hidden_size)` または `(batch_size, dense_dim)`、*optional*) -- 各入力に対する正規化された平均プーリング埋め込み。`dense_dim` が設定されている場合、最後の次元は `dense_dim` になります。コサイン類似度でスコアを計算します。 ## 引用 ```bibtex @misc{lac2026neommesingletowermultimodalnativemultilingual, title={NeoMME: A Single-Tower Multimodal-Native Multilingual Foundation Encoder for Efficient Fine-Tuning and Inference}, author={Aurélien Lac and Tony Wu}, year={2026}, eprint={2609.01657}, archivePrefix={arXiv}, primaryClass={cs.IR}, url={https://arxiv.org/abs/2609.01657}, } ```