Transformers documentation
SwiftFormer
このモデルは2023年3月27日にHF papersで公開され、2023年5月12日にHugging Face Transformersに貢献されました。
SwiftFormer
概要
SwiftFormerモデルは、Abdelrahman Shaker、Muhammad Maaz、Hanoona Rasheed、Salman Khan、Ming-Hsuan Yang、Fahad Shahbaz Khan によって提案された SwiftFormer: Efficient Additive Attention for Transformer-based Real-time Mobile Vision Applications に記載されています。
SwiftFormerの論文では、自己注意の計算における二次的な行列乗算を線形の要素ごとの乗算に置き換える、効率的な加法的注意機構が提案されています。この機構を基盤として構築された一連のモデル「SwiftFormer」は、精度とモバイル推論速度の両面で最先端の性能を実現しています。小型バリアントであっても、iPhone 14上でわずか0.8 msのレイテンシでImageNet1Kのトップ1精度78.5%を達成しており、MobileViT-v2と比較して精度が高く、2倍速いという結果です。
論文の抄録は以下の通りです。
自己注意機構は、各種ビジョンアプリケーションにおけるグローバルコンテキストの捕捉において事実上の標準的な手法となっています。しかし、画像解像度に対する二次計算複雑性により、リアルタイムアプリケーション、特にリソースが制約されたモバイルデバイスでのデプロイにおける利用が制限されています。畳み込みと自己注意機構の長所を組み合わせ、より良い速度と精度のトレードオフを実現するためにハイブリッドアプローチが提案されてきましたが、自己注意機構における高コストな行列積演算が依然としてボトルネックとなっています。本稿では、二次的な行列積演算を線形の要素ごとの乗算に効果的に置き換える、新しい効率的な加法的注意機構を提案します。私たちの設計は、精度を一切犠牲にせずにキーとバリューの相互作用を線形層で置き換えられることを示しています。従来の最先端手法とは異なり、私たちの効率的な自己注意機構の定式化により、ネットワークのすべての段階での利用が可能になります。提案する効率的な加法的注意機構を用いて、精度とモバイル推論速度の両面で最先端の性能を達成する一連のモデル「SwiftFormer」を構築しました。小型バリアントは、iPhone 14上でわずか0.8 msのレイテンシで78.5%のtop-1 ImageNet-1K精度を達成しており、MobileViT-v2と比較してより高精度かつ2倍速いです。
このモデルはshehan97によって提供されました。元のコードはこちらで確認できます。
SwiftFormerConfig
class transformers.SwiftFormerConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneimage_size: int | list[int] | tuple[int, int] = 224num_channels: int = 3depths: list[int] | tuple[int, ...] = (3, 3, 6, 4)embed_dims: list[int] | tuple[int, ...] = (48, 56, 112, 220)mlp_ratio: int = 4downsamples: list[bool] | tuple[bool, ...] = (True, True, True, True)hidden_act: str = 'gelu'down_patch_size: int | list[int] | tuple[int, int] = 3down_stride: int = 2down_pad: int = 1drop_path_rate: float | int = 0.0drop_mlp_rate: float | int = 0.0drop_conv_encoder_rate: float | int = 0.0use_layer_scale: bool = Truelayer_scale_init_value: float = 1e-05batch_norm_eps: float = 1e-05 )
パラメータ
- image_size (
Union[int, list[int], tuple[int, int]]、任意、デフォルトは224) — 各画像のサイズ（解像度）。 - num_channels (
int、任意、デフォルトは3) — 入力チャネル数。 - depths (
Union[list[int], tuple[int, ...]]、任意、デフォルトは(3, 3, 6, 4)) — Transformerの各層の深さです。 - embed_dims (
list[int]、任意、デフォルトは[48, 56, 112, 220]) — 各ステージにおける埋め込み次元 - mlp_ratio (
int、任意、デフォルトは4) — MLP の隠れ層の次元と埋め込み次元の比率です。 - downsamples (
list[bool]、省略可能、デフォルトは[True, True, True, True]) — 2つのステージの間にインプットをダウンサンプリングするかどうかを指定します。 - hidden_act (
str、任意、デフォルトはgelu) — デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、"gelu"、"relu"、"silu"など。 - down_patch_size (
int、任意、デフォルトは 3) — ダウンサンプリング層におけるパッチのサイズです。 - down_stride (
int、任意、デフォルトは 2) — ダウンサンプリング層における畳み込みカーネルのストライドです。 - down_pad (
int、任意、デフォルトは 1) — ダウンサンプリング層におけるパディング。 - drop_path_rate (
Union[float, int]、任意、デフォルトは0.0) — パッチ融合におけるドロップパスの率。 - drop_mlp_rate (
float、任意、デフォルト値は 0.0)— SwiftFormer の MLP 部分の Dropout 率。 - drop_conv_encoder_rate (
float、任意、デフォルト値は 0.0) — SwiftFormer の ConvEncoder コンポーネントの Dropout 率です。 - use_layer_scale (
bool、任意、デフォルトはTrue) — トークンミキサーの出力をスケーリングするかどうか。 - layer_scale_init_value (
float、任意、デフォルトは1e-05) — 自己アテンション層で使用するスケール値です。base モデルでは 0.1、large モデルでは 1e-6 を使用します。0 に設定すると、layer scale が無効になります。 - batch_norm_eps (
float、任意、デフォルトは1e-05) — バッチ正規化レイヤーで使用する epsilon です。
これは SwiftFormerModel の設定を保存するための設定クラスです。指定された引数に基づいて Swiftformer モデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、MBZUAI/swiftformer-xs と同様の設定が得られます。
設定オブジェクトはPreTrainedConfigを継承し、モデルの出力を制御するために使用できます。詳細については、PreTrainedConfigのドキュメントを参照してください。
例:
>>> from transformers import SwiftFormerConfig, SwiftFormerModel
>>> # Initializing a SwiftFormer swiftformer-base-patch16-224 style configuration
>>> configuration = SwiftFormerConfig()
>>> # Initializing a model (with random weights) from the swiftformer-base-patch16-224 style configuration
>>> model = SwiftFormerModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configSwiftFormerModel
class transformers.SwiftFormerModel
< source >( config: SwiftFormerConfig )
パラメータ
- config (SwiftFormerConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。
特定のヘッドを付加せず、生のhidden-statesを出力する素のSwiftformer Model。
このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。
このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。
forward
< source >( pixel_values: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → BaseModelOutputWithNoAttention or tuple(torch.FloatTensor)
パラメータ
- pixel_values (
torch.Tensor、形状(batch_size, num_channels, image_size, image_size)、任意) — 入力画像に対応するテンソルです。ピクセル値は ViTImageProcessor を使用して取得できます。詳細については ViTImageProcessor.call() を参照してください（processor_classは画像の処理に ViTImageProcessor を使用します）。 - output_hidden_states (
bool, 省略可) — すべての層の hidden states を返すかどうかを指定します。詳細は、返されるテンソルのhidden_statesを参照してください。 - return_dict (
bool, 任意) — プレーンなタプルではなく ModelOutput を返すかどうか。
戻り値
BaseModelOutputWithNoAttention または tuple(torch.FloatTensor)
BaseModelOutputWithNoAttention または、return_dict=False が渡された場合、または config.return_dict=False の場合、torch.FloatTensor のタプル。設定（SwiftFormerConfig）や入力に応じて、さまざまな要素で構成されます。
SwiftFormerModelのforwardメソッドは、__call__特殊メソッドをオーバーライドします。
この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく
Moduleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。
last_hidden_state (
torch.FloatTensor、shape(batch_size, num_channels, height, width)) — モデルの最終層の出力における隠れ状態のシーケンス。hidden_states (
tuple(torch.FloatTensor)、optional、output_hidden_states=Trueが渡された場合またはconfig.output_hidden_states=Trueの場合に返される) —torch.FloatTensorのタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は(batch_size, num_channels, height, width)です。各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
SwiftFormerForImageClassification
class transformers.SwiftFormerForImageClassification
< source >( config: SwiftFormerConfig )
パラメータ
- config (SwiftFormerConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。
ImageNet などのタスク用に、画像分類ヘッドを上部に備えた Swiftformer モデル。
このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。
このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。
forward
< source >( pixel_values: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → ImageClassifierOutputWithNoAttention or tuple(torch.FloatTensor)
パラメータ
- pixel_values (
torch.Tensor、形状(batch_size, num_channels, image_size, image_size)、任意) — 入力画像に対応するテンソルです。ピクセル値は ViTImageProcessor を使用して取得できます。詳細については ViTImageProcessor.call() を参照してください（processor_classは画像の処理に ViTImageProcessor を使用します）。 - labels (
torch.LongTensor、shape(batch_size,)、任意) — 画像分類/回帰の損失を計算するためのラベル。インデックスは[0, ..., config.num_labels - 1]の範囲である必要があります。config.num_labels == 1の場合は回帰損失(平均二乗誤差)が計算され、config.num_labels > 1の場合は分類損失(クロスエントロピー)が計算されます。 - output_hidden_states (
bool, 省略可) — すべての層の hidden states を返すかどうかを指定します。詳細は、返されるテンソルのhidden_statesを参照してください。 - return_dict (
bool, 任意) — プレーンなタプルではなく ModelOutput を返すかどうか。
戻り値
ImageClassifierOutputWithNoAttention または tuple(torch.FloatTensor)
torch.FloatTensor のタプル（return_dict=False が渡された場合、または config.return_dict=False の場合）、または ImageClassifierOutputWithNoAttention。設定（SwiftFormerConfig）や入力に応じて、さまざまな要素で構成されます。
SwiftFormerForImageClassificationのforwardメソッドは、__call__特殊メソッドをオーバーライドします。
この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく
Moduleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。
- loss (
torch.FloatTensor、shape(1,)、optional、labelsが指定された場合に返されます) — 分類損失（config.num_labels==1 の場合は回帰損失）。 - logits (
torch.FloatTensor、shape(batch_size, config.num_labels)) — SoftMax 適用前の分類スコア（config.num_labels==1 の場合は回帰スコア）。 - hidden_states (
tuple(torch.FloatTensor)、optional、output_hidden_states=Trueが渡された場合またはconfig.output_hidden_states=Trueの場合に返される) —torch.FloatTensorのタプル（埋め込み層を持つモデルの場合、埋め込みの出力用が 1 つ、各ステージの出力用がそれぞれ 1 つずつ）で、形状は(batch_size, num_channels, height, width)です。各ステージの出力におけるモデルの隠れ状態（特徴マップとも呼ばれる）です。
例:
>>> from transformers import AutoImageProcessor, SwiftFormerForImageClassification
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("MBZUAI/swiftformer-xs")
>>> model = SwiftFormerForImageClassification.from_pretrained("MBZUAI/swiftformer-xs")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...