# SAM3-LiteText ## 概要 SAM3-LiteTextは、Chengxi Zeng、Yuxuan Jiang、Ge Gao、Shuai Wang、Duolikun Danier、Bin Zhu、Stevan Rudinac、David Bull、Fan Zhang によって提案された [SAM3-LiteText: An Anatomical Study of the SAM3 Text Encoder for Efficient Vision-Language Segmentation](https://huggingface.co/papers/2602.12173) に記載されています。 SAM3-LiteText は、[SAM3](sam3) の軽量版です。重たい SAM3 のテキストエンコーダー（353M パラメータ）を、知識蒸留によって最適化されたコンパクトな MobileCLIP ベースのテキストエンコーダーに置き換えています。SAM3 の ViT-H 画像エンコーダーはそのまま維持されています。これにより、セグメンテーション性能を元のモデルと同等に保ちながら、テキストエンコーダーのパラメータ数を最大 88% 削減できます。 論文の抄録は以下の通りです。 *SAM3のようなビジュアル・言語セグメンテーションモデルは、柔軟でプロンプト駆動型の視覚グラウンディングを可能にしますが、オープンエンドな言語理解のために設計された大規模な汎用テキストエンコーダを継承しています。実際には、セグメンテーションのプロンプトは短く、構造化されており、意味的に制約されているため、テキストエンコーダの容量に過剰な割当てが生じ、計算リソースとメモリに持続的なオーバーヘッドが発生します。本論文では、ビジュアル・言語セグメンテーションにおけるテキストプロンプティングの大規模な解剖学的分析を行い、複数のベンチマークにまたがる404,796件の実プロンプトを対象としました。分析の結果、深刻な冗長性が明らかになりました。ほとんどのコンテキストウィンドウは未活用であり、語彙の使用は極めてスパースで、高次元表現にもかかわらず、テキスト埋め込みは低次元の多様体上に位置しています。これらの知見に基づき、我々はSAM3-LiteTextを提案します。これは軽量なテキストエンコーディングフレームワークであり、元のSAM3のテキストエンコーダを、知識蒸留によって最適化されたコンパクトなMobileCLIPの学生モデルに置き換えます。画像および動画セグメンテーションのベンチマークにおける広範な実験により、SAM3-LiteTextはテキストエンコーダのパラメータを最大88%削減し、静的メモリフットプリントを大幅に削減しながら、元のモデルと同等のセグメンテーション性能を維持することが示されました。* テキストエンコーダーのアーキテクチャは[MobileCLIP](https://huggingface.co/papers/2311.17049)をベースとしており、3つのバリアントが用意されています。 | バリアント | テキストエンコーダー | テキストのパラメータ | 集約 | |---|---|---|---| | SAM3-LiteText-S0-16 | MobileCLIP-S0 | 42.54M | ~88% | | SAM3-LiteText-S1-16 | MobileCLIP-S1 | 63.53M | ~82% | | SAM3-LiteText-L-16 | MobileCLIP2-L | 123.80M | ~65% | このモデルは、[nielsr](https://huggingface.co/nielsr) と [yonigozlan](https://huggingface.co/yonigozlan) によって提供されました。元のコードは[こちら](https://github.com/SimonZeng7108/efficientsam3/tree/sam3_litetext)で確認できます。 ## 使用方法 SAM3-LiteTextは、軽量なテキストエンコーダーを搭載したSAM3のドロップイン代替です。同じプロセッサ([Sam3Processor](/docs/transformers/main/ja/model_doc/sam3#transformers.Sam3Processor))を使用し、同じプロンプトインターフェースをサポートしています。テキストプロンプト、ボックスプロンプト、バッチ推論など、詳細な使用例については、[SAM3のドキュメント](sam3)を参照してください。 ```python from io import BytesIO from huggingface_hub.utils import httpx from PIL import Image from transformers import AutoModel, AutoProcessor model = AutoModel.from_pretrained("yonigozlan/sam3-litetext-s0", device_map="auto") processor = AutoProcessor.from_pretrained("yonigozlan/sam3-litetext-s0") image_url = "http://images.cocodataset.org/val2017/000000077595.jpg" image = Image.open(BytesIO(httpx.get(image_url).content)).convert("RGB") inputs = processor(images=image, text="ear", return_tensors="pt").to(model.device) outputs = model(**inputs) results = processor.post_process_instance_segmentation( outputs, threshold=0.5, mask_threshold=0.5, target_sizes=inputs.get("original_sizes").tolist(), )[0] print(f"Found {len(results['masks'])} objects") ``` ## Sam3LiteTextConfig[[transformers.Sam3LiteTextConfig]] #### transformers.Sam3LiteTextConfig[[transformers.Sam3LiteTextConfig]] ```python transformers.Sam3LiteTextConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, text_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, geometry_encoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, detr_encoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, detr_decoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, mask_decoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, initializer_range: float = 0.02) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sam3_lite_text/configuration_sam3_lite_text.py#L143) **パラメータ:** vision_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *任意*) : ビジョンバックボーンの config オブジェクトまたは辞書。 text_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *任意*) : テキストバックボーンの config オブジェクトまたは辞書。 geometry_encoder_config (`dict` または `Sam3LiteTextGeometryEncoderConfig`、*任意*) : ジオメトリエンコーダーの設定。 detr_encoder_config (`dict` または `Sam3LiteTextDETREncoderConfig`、*optional*) : DETRエンコーダーの設定。 detr_decoder_config (`dict` または `Sam3LiteTextDETRDecoderConfig`、*任意*) : DETR デコーダーの設定です。 mask_decoder_config (`dict` または `Sam3LiteTextMaskDecoderConfig`、*任意*) : マスクデコーダーの設定。 initializer_range (`float`、*任意*、デフォルトは`0.02`) : すべての重み行列を初期化するためのtruncated_normal_initializerの標準偏差です。 これはSam3LiteTextModelの設定を保存するための設定クラスです。指定された引数に基づいてSam3 Lite Textモデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、[yonigozlan/sam3-litetext-s0](https://huggingface.co/yonigozlan/sam3-litetext-s0)と類似した設定が得られます。 設定オブジェクトは [PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) を継承し、モデルの出力を制御するために使用できます。詳細については、[PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) のドキュメントを参照してください。 例: ```python >>> from transformers import Sam3LiteTextConfig, Sam3LiteTextModel >>> # Initializing a SAM3_LITE_TEXT configuration >>> configuration = Sam3LiteTextConfig() >>> # Initializing a model from the configuration >>> model = Sam3LiteTextModel(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## Sam3LiteTextTextConfig[[transformers.Sam3LiteTextTextConfig]] #### transformers.Sam3LiteTextTextConfig[[transformers.Sam3LiteTextTextConfig]] ```python transformers.Sam3LiteTextTextConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 49408, hidden_size: int = 512, intermediate_size: int = 2048, projection_dim: int = 512, num_hidden_layers: int = 12, num_attention_heads: int = 8, max_position_embeddings: int = 77, hidden_act: str = 'gelu', layer_norm_eps: float = 1e-05, attention_dropout: float = 0.0, use_repmixer_blocks: bool = True, layer_scale_init_value: float = 1e-05, repmixer_kernel_size: int = 11) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sam3_lite_text/configuration_sam3_lite_text.py#L113) **パラメータ:** vocab_size (`int`、*任意*、デフォルトは`49408`) : モデルの語彙サイズ。`input_ids`で表現できるトークンの種類数を定義します。 hidden_size (`int`、*任意*、デフォルトは`512`) : 隠れ表現の次元数。 intermediate_size (`int`、*任意*、デフォルトは`2048`) : MLP 表現の次元数。 projection_dim (`int`、*任意*、デフォルトは`512`) : テキストおよびビジョンの投影層の次元数。 num_hidden_layers (`int`, *任意*, デフォルトは `12`) : Transformer デコーダーの隠れ層の数。 num_attention_heads (`int`、*任意*、デフォルトは `8`) : Transformer デコーダーの各アテンション層におけるアテンションヘッドの数。 max_position_embeddings (`int`、*任意*、デフォルトは`77`) : このモデルが使用される可能性のある最大シーケンス長です。 hidden_act (`str`、*任意*、デフォルトは`gelu`) : デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、`"gelu"`、`"relu"`、`"silu"`など。 layer_norm_eps (`float`、*任意*、デフォルトは`1e-05`) : Layer Normalization 層で使用する epsilon。 attention_dropout (`float`、*任意*、デフォルトは`0.0`) : 注意確率のドロップアウト率です。 use_repmixer_blocks (`bool`、*任意*、デフォルトは`True`) : 最初のエンコーダ層と最後のエンコーダ層にRepMixerブロック（MobileCLIPスタイル）を使用するかどうか。`False`の場合、すべての層は標準的なTransformerエンコーダ層になります。 layer_scale_init_value (`float`、*任意*、デフォルトは`1e-5`) : RepMixerブロック（残差ブランチ）内の学習可能なlayer-scaleパラメータの初期値。 repmixer_kernel_size (`int`, *optional*, デフォルトは `11`) : RepMixerブロック（トークンミキサーと畳み込みフィードフォワードパス）におけるディプスワイズ畳み込みのカーネルサイズ。 これはSam3LiteTextModelの設定を保存するための設定クラスです。指定された引数に基づいてSam3 Lite Textモデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、[yonigozlan/sam3-litetext-s0](https://huggingface.co/yonigozlan/sam3-litetext-s0)と類似した設定が得られます。 設定オブジェクトは [PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) を継承し、モデルの出力を制御するために使用できます。詳細については、[PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) のドキュメントを参照してください。 ## Sam3LiteTextGeometryEncoderConfig[[transformers.Sam3LiteTextGeometryEncoderConfig]] #### transformers.Sam3LiteTextGeometryEncoderConfig[[transformers.Sam3LiteTextGeometryEncoderConfig]] ```python transformers.Sam3LiteTextGeometryEncoderConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, hidden_size: int = 256, num_layers: int = 3, num_attention_heads: int = 8, intermediate_size: int = 2048, dropout: float | int = 0.1, hidden_act: str = 'relu', hidden_dropout: float | int = 0.0, layer_norm_eps: float = 1e-06, roi_size: int = 7, initializer_range: float = 0.02) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sam3_lite_text/configuration_sam3_lite_text.py#L30) **パラメータ:** hidden_size (`int`、*任意*、デフォルトは`256`) : 隠れ表現の次元数。 num_layers (`int`、*任意*、デフォルトは `3`) : Transformer デコーダーの隠れ層の数。 num_attention_heads (`int`、*任意*、デフォルトは `8`) : Transformer デコーダーの各アテンション層におけるアテンションヘッドの数。 intermediate_size (`int`、*任意*、デフォルトは`2048`) : MLP 表現の次元数。 dropout (`Union[float, int]`、*任意*、デフォルトは`0.1`) : すべての dropout 層の比率。 hidden_act (`str`、*任意*、デフォルトは `relu`) : デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、`"gelu"`、`"relu"`、`"silu"` など。 hidden_dropout (`Union[float, int]`、*任意*、デフォルトは`0.0`) : embeddings、encoder、pooler 内のすべての全結合層における dropout 確率。 layer_norm_eps (`float`、*任意*、デフォルトは`1e-06`) : Layer Normalization 層で使用する epsilon です。 roi_size (`int`, *任意*, デフォルトは 7) : ボックスプーリング操作の ROI サイズ。 initializer_range (`float`、*任意*、デフォルトは`0.02`) : すべての重み行列を初期化するためのtruncated_normal_initializerの標準偏差です。 これはSam3LiteTextModelの設定を保存するための設定クラスです。指定された引数に基づいてSam3 Lite Textモデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、[yonigozlan/sam3-litetext-s0](https://huggingface.co/yonigozlan/sam3-litetext-s0)と類似した設定が得られます。 設定オブジェクトは [PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) を継承し、モデルの出力を制御するために使用できます。詳細については、[PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) のドキュメントを参照してください。 ## Sam3LiteTextDETREncoderConfig[[transformers.Sam3LiteTextDETREncoderConfig]] #### transformers.Sam3LiteTextDETREncoderConfig[[transformers.Sam3LiteTextDETREncoderConfig]] ```python transformers.Sam3LiteTextDETREncoderConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, hidden_size: int = 256, num_layers: int = 6, num_attention_heads: int = 8, intermediate_size: int = 2048, dropout: float | int = 0.1, hidden_act: str = 'relu', hidden_dropout: float | int = 0.0, layer_norm_eps: float = 1e-06, initializer_range: float = 0.02) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sam3_lite_text/configuration_sam3_lite_text.py#L52) **パラメータ:** hidden_size (`int`、*任意*、デフォルトは`256`) : 隠れ表現の次元数。 num_layers (`int`、*任意*、デフォルトは`6`) : Transformer デコーダーの隠れ層の数。 num_attention_heads (`int`、*任意*、デフォルトは `8`) : Transformer デコーダーの各アテンション層におけるアテンションヘッドの数。 intermediate_size (`int`、*任意*、デフォルトは`2048`) : MLP 表現の次元数。 dropout (`Union[float, int]`、*任意*、デフォルトは`0.1`) : すべての dropout 層の比率。 hidden_act (`str`、*任意*、デフォルトは `relu`) : デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、`"gelu"`、`"relu"`、`"silu"` など。 hidden_dropout (`float`、*任意*、デフォルトは 0.0) : 隠れ状態の Dropout 確率。 layer_norm_eps (`float`、*任意*、デフォルトは`1e-06`) : Layer Normalization 層で使用する epsilon です。 initializer_range (`float`、*任意*、デフォルトは`0.02`) : すべての重み行列を初期化するためのtruncated_normal_initializerの標準偏差です。 これはSam3LiteTextModelの設定を保存するための設定クラスです。指定された引数に基づいてSam3 Lite Textモデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、[yonigozlan/sam3-litetext-s0](https://huggingface.co/yonigozlan/sam3-litetext-s0)と類似した設定が得られます。 設定オブジェクトは [PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) を継承し、モデルの出力を制御するために使用できます。詳細については、[PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) のドキュメントを参照してください。 ## Sam3LiteTextDETRDecoderConfig[[transformers.Sam3LiteTextDETRDecoderConfig]] #### transformers.Sam3LiteTextDETRDecoderConfig[[transformers.Sam3LiteTextDETRDecoderConfig]] ```python transformers.Sam3LiteTextDETRDecoderConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, hidden_size: int = 256, num_layers: int = 6, num_queries: int = 200, num_attention_heads: int = 8, intermediate_size: int = 2048, dropout: float | int = 0.1, hidden_act: str = 'relu', hidden_dropout: float | int = 0.0, layer_norm_eps: float = 1e-06, initializer_range: float = 0.02) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sam3_lite_text/configuration_sam3_lite_text.py#L73) **パラメータ:** hidden_size (`int`、*任意*、デフォルトは`256`) : 隠れ表現の次元数。 num_layers (`int`、*任意*、デフォルトは`6`) : Transformer デコーダーの隠れ層の数。 num_queries (`int`、*optional*、デフォルトは 200) : オブジェクトクエリの数。 num_attention_heads (`int`、*任意*、デフォルトは `8`) : Transformer デコーダーの各アテンション層におけるアテンションヘッドの数。 intermediate_size (`int`、*任意*、デフォルトは`2048`) : MLP 表現の次元数。 dropout (`Union[float, int]`、*任意*、デフォルトは`0.1`) : すべての dropout 層の比率。 hidden_act (`str`、*任意*、デフォルトは `relu`) : デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、`"gelu"`、`"relu"`、`"silu"` など。 hidden_dropout (`Union[float, int]`、*任意*、デフォルトは`0.0`) : embeddings、encoder、pooler 内のすべての全結合層における dropout 確率。 layer_norm_eps (`float`、*任意*、デフォルトは`1e-06`) : Layer Normalization 層で使用する epsilon です。 initializer_range (`float`、*任意*、デフォルトは`0.02`) : すべての重み行列を初期化するためのtruncated_normal_initializerの標準偏差です。 これはSam3LiteTextModelの設定を保存するための設定クラスです。指定された引数に基づいてSam3 Lite Textモデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、[yonigozlan/sam3-litetext-s0](https://huggingface.co/yonigozlan/sam3-litetext-s0)と類似した設定が得られます。 設定オブジェクトは [PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) を継承し、モデルの出力を制御するために使用できます。詳細については、[PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) のドキュメントを参照してください。 ## Sam3LiteTextMaskDecoderConfig[[transformers.Sam3LiteTextMaskDecoderConfig]] #### transformers.Sam3LiteTextMaskDecoderConfig[[transformers.Sam3LiteTextMaskDecoderConfig]] ```python transformers.Sam3LiteTextMaskDecoderConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, hidden_size: int = 256, num_upsampling_stages: int = 3, layer_norm_eps: float = 1e-06, dropout: float | int = 0.0, num_attention_heads: int = 8, initializer_range: float = 0.02) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sam3_lite_text/configuration_sam3_lite_text.py#L95) **パラメータ:** hidden_size (`int`、*任意*、デフォルトは`256`) : 隠れ表現の次元数。 num_upsampling_stages (`int`、*optional*、デフォルトは 3) : ピクセルデコーダー（FPN）におけるアップサンプリングのステージ数。 layer_norm_eps (`float`、*任意*、デフォルトは`1e-06`) : Layer Normalization 層で使用する epsilon です。 dropout (`Union[float, int]`、*任意*、デフォルトは`0.0`) : すべての dropout レイヤーの比率。 num_attention_heads (`int`、*任意*、デフォルトは `8`) : Transformer デコーダーの各アテンション層におけるアテンションヘッドの数。 initializer_range (`float`、*任意*、デフォルトは`0.02`) : すべての重み行列を初期化するためのtruncated_normal_initializerの標準偏差です。 これはSam3LiteTextModelの設定を保存するための設定クラスです。指定された引数に基づいてSam3 Lite Textモデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、[yonigozlan/sam3-litetext-s0](https://huggingface.co/yonigozlan/sam3-litetext-s0)と類似した設定が得られます。 設定オブジェクトは [PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) を継承し、モデルの出力を制御するために使用できます。詳細については、[PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) のドキュメントを参照してください。 ## Sam3LiteTextTextModel[[transformers.Sam3LiteTextTextModel]] #### transformers.Sam3LiteTextTextModel[[transformers.Sam3LiteTextTextModel]] ```python transformers.Sam3LiteTextTextModel(config: Sam3LiteTextTextConfig) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sam3_lite_text/modeling_sam3_lite_text.py#L371) **パラメータ:** config ([Sam3LiteTextTextConfig](/docs/transformers/main/ja/model_doc/sam3_lite_text#transformers.Sam3LiteTextTextConfig)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。 EfficientSAM3 LiteTextで使用されるMobileCLIP MCTテキストエンコーダー。 `config.use_repmixer_blocks` が `True` の場合、最初の層と最後の層は `Sam3LiteTextRepMixerBlock` モジュールであり、それ以外は標準的な `Sam3LiteTextTextEncoderLayer` 層です。 このモデルは [PreTrainedModel](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。 このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。 #### forward[[transformers.Sam3LiteTextTextModel.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, **kwargs: *) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sam3_lite_text/modeling_sam3_lite_text.py#L393) **パラメータ:** input_ids (`torch.LongTensor`、shape `(batch_size, sequence_length)`、*任意*) : 語彙における入力シーケンスのトークンインデックスです。デフォルトでは、パディングは無視されます。インデックスは [AutoTokenizer](/docs/transformers/main/ja/model_doc/auto#transformers.AutoTokenizer) を使用して取得できます。詳細については、[PreTrainedTokenizer.encode()](/docs/transformers/main/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [PreTrainedTokenizer.__call__()](/docs/transformers/main/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。 [入力IDとは何ですか？](../glossary#input-ids) attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます: - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。 [attention マスクとは?](../glossary#attention-mask) **戻り値:** `Sam3LiteTextTextEncoderOutput` または `tuple(torch.FloatTensor)` `Sam3LiteTextTextEncoderOutput`、または`torch.FloatTensor`のタプル（`return_dict=False`が渡された場合、または`config.return_dict=False`の場合）。設定（[Sam3LiteTextConfig](/docs/transformers/main/ja/model_doc/sam3_lite_text#transformers.Sam3LiteTextConfig)）と入力に応じて、さまざまな要素で構成されます。 [Sam3LiteTextTextModel](/docs/transformers/main/ja/model_doc/sam3_lite_text#transformers.Sam3LiteTextTextModel)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。 この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。 - **last_hidden_state** (`torch.FloatTensor`、形状 `(batch_size, sequence_length, hidden_size)`) -- テキストエンコーダーからの隠れ状態の完全なシーケンス。 - **pooler_output** (`torch.FloatTensor`、shape `(batch_size, projection_dim)`) -- 内部のCLIPスタイルのprojectionによって`projection_dim`に射影された、EOTプーリング済み出力。 - **hidden_states** (`tuple(torch.FloatTensor)`, *オプション*) -- `output_hidden_states=True` の場合に返される、各層の隠れ状態のタプル。 - **attentions** (`tuple(torch.FloatTensor)`、*任意*) -- `output_attentions=True` の場合に返される、各 Transformer レイヤーの注意重みのタプル。 ## Sam3LiteTextModel[[transformers.Sam3LiteTextModel]] #### transformers.Sam3LiteTextModel[[transformers.Sam3LiteTextModel]] ```python transformers.Sam3LiteTextModel(config: Sam3LiteTextConfig) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sam3_lite_text/modeling_sam3_lite_text.py#L1922) #### forward[[transformers.Sam3LiteTextModel.forward]] ```python forward(pixel_values: typing.Optional[torch.FloatTensor] = None, vision_embeds: transformers.models.sam3_lite_text.modeling_sam3_lite_text.Sam3LiteTextVisionEncoderOutput | None = None, input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, text_embeds: typing.Optional[torch.FloatTensor] = None, input_boxes: typing.Optional[torch.FloatTensor] = None, input_boxes_labels: typing.Optional[torch.LongTensor] = None, **kwargs: *) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sam3_lite_text/modeling_sam3_lite_text.py#L2038) **パラメータ:** pixel_values (`torch.FloatTensor`、形状 `(batch_size, num_channels, image_size, image_size)`、*任意*) : 入力画像に対応するテンソルです。ピクセル値は [Sam3ImageProcessor](/docs/transformers/main/ja/model_doc/sam3#transformers.Sam3ImageProcessor) を使用して取得できます。詳細は [Sam3ImageProcessor.__call__()](/docs/transformers/main/ja/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) を参照してください（[Sam3Processor](/docs/transformers/main/ja/model_doc/sam3#transformers.Sam3Processor) は画像の処理に [Sam3ImageProcessor](/docs/transformers/main/ja/model_doc/sam3#transformers.Sam3ImageProcessor) を使用します）。 vision_embeds (`Sam3LiteTextVisionEncoderOutput`, *任意*) : 事前計算済みのビジョン埋め込み。ビジョン埋め込みを簡単に再利用できます。指定した場合、`pixel_values` は渡さないでください。`pixel_values` と排他です。 input_ids (`torch.LongTensor`、shape `(batch_size, sequence_length)`、*任意*) : 語彙における入力シーケンスのトークンインデックスです。デフォルトでは、パディングは無視されます。インデックスは [AutoTokenizer](/docs/transformers/main/ja/model_doc/auto#transformers.AutoTokenizer) を使用して取得できます。詳細については、[PreTrainedTokenizer.encode()](/docs/transformers/main/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [PreTrainedTokenizer.__call__()](/docs/transformers/main/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。 [入力IDとは何ですか？](../glossary#input-ids) attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます: - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。 [attention マスクとは?](../glossary#attention-mask) text_embeds (`torch.FloatTensor`、形状 `(batch_size, sequence_length, hidden_size)`、*任意*) : 事前計算されたテキスト埋め込み。テキスト埋め込みを簡単に再利用するために使用できます。指定された場合、`input_ids` は渡すべきではありません。`input_ids` と排他です。 input_boxes (`torch.FloatTensor`、形状 `(batch_size, num_boxes, 4)`、*任意*) : [0, 1] の範囲で正規化されたボックス座標。(cx, cy, w, h) 形式です。 input_boxes_labels (`torch.LongTensor`、形状 `(batch_size, num_boxes)`、*任意*) : ボックスのラベル: 1 (正)、0 (負)。 **戻り値:** `Sam3LiteTextImageSegmentationOutput` または `tuple(torch.FloatTensor)` `Sam3LiteTextImageSegmentationOutput`、または`torch.FloatTensor`のタプル（`return_dict=False`が渡された場合、または`config.return_dict=False`の場合）。設定（[Sam3LiteTextConfig](/docs/transformers/main/ja/model_doc/sam3_lite_text#transformers.Sam3LiteTextConfig)）と入力に応じて、さまざまな要素で構成されます。 [Sam3LiteTextModel](/docs/transformers/main/ja/model_doc/sam3_lite_text#transformers.Sam3LiteTextModel)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。 この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。 - **pred_masks** (`torch.FloatTensor`、形状 `(batch_size, num_queries, height, width)`) -- 各クエリに対する予測セグメンテーションマスク。 - **pred_boxes** (`torch.FloatTensor`、形状 `(batch_size, num_queries, 4)`) -- (x1, y1, x2, y2) 形式で予測されたバウンディングボックス。 - **pred_logits** (`torch.FloatTensor`、形状 `(batch_size, num_queries)`、*任意*) -- デコーダーのクエリ特徴量とテキスト特徴量の内積によって計算される、各クエリに対する分類の信頼度スコア。 - **presence_logits** (`torch.FloatTensor`、形状 `(batch_size, 1)`、*任意*) -- DETR デコーダーの presence トークンからの presence logits（最終層のみ）。シーン内にオブジェクトが存在するかどうかを示します。pred_logits と乗算することで最終スコアを計算するために使用できます: `final_scores = pred_logits.sigmoid() * presence_logits.sigmoid()`. - **semantic_seg** (`torch.FloatTensor`、形状 `(batch_size, 1, height, width)`、*任意*) -- セマンティックセグメンテーションの出力。 - **decoder_hidden_states** (`tuple[torch.FloatTensor]`、*optional*) -- DETRデコーダーの全レイヤーからの隠れ状態のタプル。各テンソルの形状は`(batch_size, num_queries, hidden_size)`です。 - **decoder_reference_boxes** (`torch.FloatTensor`、形状 `(num_layers, batch_size, num_queries, 4)`、*任意*) -- DETR デコーダーの全レイヤーからの参照ボックス。 - **encoder_hidden_states** (`tuple[torch.FloatTensor]`、*optional*) -- DETRエンコーダーのすべての層からの隠れ状態のタプル。 - **vision_hidden_states** (`tuple[torch.FloatTensor]`、*optional*) -- 全ビジョンエンコーダー（ViT）レイヤーからの隠れ状態のタプル。 - **vision_attentions** (`tuple[torch.FloatTensor]`、*optional*) -- ビジョンエンコーダー（ViT）レイヤーからのアテンション重み。 - **detr_encoder_attentions** (`tuple[torch.FloatTensor]`、*任意*) -- DETRエンコーダー層からのアテンション重み。 - **detr_decoder_attentions** (`tuple[torch.FloatTensor]`、*任意*) -- DETRデコーダー層からのアテンション重み（自己アテンションとクロスアテンション）。 - **mask_decoder_attentions** (`tuple[torch.FloatTensor]`、*任意*) -- マスクデコーダー層からのアテンション重み。 例: ```python >>> from PIL import Image >>> from huggingface_hub.utils import httpx >>> from io import BytesIO >>> from transformers import AutoModel, AutoProcessor >>> model = AutoModel.from_pretrained("facebook/sam3_lite_text") >>> processor = AutoProcessor.from_pretrained("facebook/sam3_lite_text") >>> url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/sam-car.png" >>> with httpx.stream("GET", url) as response: ... image = Image.open(BytesIO(response.read())).convert("RGB") >>> text = "car" >>> inputs = processor(images=image, text=text, return_tensors="pt") >>> # Get segmentation output >>> outputs = model(**inputs) >>> pred_masks = outputs.pred_masks >>> pred_boxes = outputs.pred_boxes ``` ## Sam3LiteTextPreTrainedModel[[transformers.Sam3LiteTextPreTrainedModel]] #### transformers.Sam3LiteTextPreTrainedModel[[transformers.Sam3LiteTextPreTrainedModel]] ```python transformers.Sam3LiteTextPreTrainedModel(config: PreTrainedConfig, *inputs, **kwargs) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sam3_lite_text/modeling_sam3_lite_text.py#L343) **パラメータ:** config ([PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。 このモデルは [PreTrainedModel](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。 このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。 #### forward[[transformers.Sam3LiteTextPreTrainedModel.forward]] ```python forward(*args, **kwargs) ``` ドット区切りパス（例: `torch.float32`）に対するモック値: 属性アクセスのチェーン、呼び出しはパススルーデコレータとして動作し、`repr` はドット区切りパスを返し、ベースクラスとして使用するとプレーンな `type` ベースに置き換えられます（PEP 560 の `__mro_entries__`）。これにより、実際のサブクラスは通常のメタクラスを保持し、`inspect.signature` はモックのものではなく実際の `__init__` を読み取ります。