hf-doc-build/doc / transformers /main /ja /model_doc /bit.md

|

52.5 kB

Big Transfer (BiT)

概要

BiTモデルは、Alexander Kolesnikov、Lucas Beyer、Xiaohua Zhai、Joan Puigcerver、Jessica Yung、Sylvain Gelly、Neil Houlsby による Big Transfer (BiT): General Visual Representation Learning で提案されました。BiT は、ResNet 系のアーキテクチャ（具体的には ResNetv2）の事前学習をスケールアップするためのシンプルな手法です。この手法により、転移学習において大幅な性能向上が得られます。

論文の抄録は以下の通りです。

ビジョン向けの深層ニューラルネットワークを訓練する際に、事前学習済み表現の転移はサンプル効率を向上させ、ハイパーパラメータのチューニングを簡素化します。本稿では、大規模な教師ありデータセットでの事前学習と、ターゲットタスクへのモデルのファインチューニングというパラダイムを再検討します。事前学習をスケールアップし、Big Transfer (BiT) と呼ばれるシンプルなレシピを提案します。慎重に選択されたいくつかのコンポーネントを組み合わせ、シンプルなヒューリスティックを用いて転移を行うことで、20を超えるデータセットで高い性能を実現しました。BiT は、クラスあたり1サンプルから合計100万サンプルという、驚くほど幅広いデータ規模の範囲で良好な性能を発揮します。BiT は ILSVRC-2012 で top-1 精度 87.5%、CIFAR-10 で 99.4%、19タスクの Visual Task Adaptation Benchmark (VTAB) で 76.3% を達成しました。小規模データセットでは、BiT は ILSVRC-2012 でクラスあたり10サンプルの条件下で 76.8%、CIFAR-10 でクラスあたり10サンプルの条件下で 97.0% を達成しました。高い転移性能をもたらす主要なコンポーネントについて、詳細な分析を行います。

このモデルは nielsr によって提供されました。元のコードはこちらで確認できます。

使用のコツ

BiTモデルは、アーキテクチャの面ではResNetv2と同等ですが、以下の点が異なります。1) すべてのbatch normalizationレイヤーがgroup normalizationに置き換えられています。

weight standardizationは畳み込み層に使用されます。著者らは、両者の組み合わせが大規模バッチサイズでの学習に有用であり、顕著な転移学習への影響。

リソース

BiTの入門を支援するための、Hugging Face公式およびコミュニティ（🌎で示す）のリソースのリストです。

BitForImageClassification は、このノートブックでサポートされています。
関連項目: 画像分類タスクガイド

ここにリソースを掲載していただくことを希望される場合は、Pull Request を開いてください。レビューいたします。リソースは、既存のリソースと重複するのではなく、新しいものを示すことが望ましいです。

BitConfig[[transformers.BitConfig]]

transformers.BitConfig[[transformers.BitConfig]]

transformers.BitConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, num_channels: int = 3, embedding_size: int = 64, hidden_sizes: list[int] | tuple[int, ...] = (256, 512, 1024, 2048), depths: list[int] | tuple[int, ...] = (3, 4, 6, 3), layer_type: str = 'preactivation', hidden_act: str = 'relu', global_padding: str | None = None, num_groups: int = 32, drop_path_rate: float | int = 0.0, embedding_dynamic_padding: bool = False, output_stride: int = 32, width_factor: int = 1, _out_features: list[str] | None = None, _out_indices: list[int] | None = None)

ソース

パラメータ:

num_channels (int、任意、デフォルトは3) : 入力チャネル数。

embedding_size (int、任意、デフォルトは64) : 埋め込みおよび隠れ状態の次元数。

hidden_sizes (Union[list[int], tuple[int, ...]]、任意、デフォルトは(256, 512, 1024, 2048)) : モデルの各ステージにおける次元数（隠れ層サイズ）。

depths (Union[list[int], tuple[int, ...]]、任意、デフォルトは(3, 4, 6, 3)) : Transformer の各層の深さ。

layer_type (str、任意、デフォルトは"preactivation") : 使用するレイヤーを指定します。"preactivation"または"bottleneck"のいずれかを指定できます。

hidden_act (str、任意、デフォルトは relu) : デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、"gelu"、"relu"、"silu" など。

global_padding (str, 任意) : 畳み込み層に使用するパディング戦略。"valid"、"same"、または None のいずれかです。

num_groups (int、任意、デフォルトは 32) : BitGroupNormActivation レイヤーで使用するグループ数。

drop_path_rate (Union[float, int]、任意、デフォルトは0.0) : パッチ融合のドロップパス率。

embedding_dynamic_padding (bool、任意、デフォルトはFalse) : embedding層で動的パディングを使用するかどうか。

output_stride (int、任意、デフォルトは32) : 入力と出力のフィーチャマップの空間解像度の比率です。

width_factor (int、任意、デフォルトは 1) : モデルの幅係数です。

これは BitModel の設定を保存するための設定クラスです。指定された引数に基づいて Bit モデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、google/bit-50 と同様の設定が得られます。

設定オブジェクトは PreTrainedConfig を継承し、モデルの出力を制御するために使用できます。詳細については、PreTrainedConfig のドキュメントを参照してください。

例:

>>> from transformers import BitConfig, BitModel

>>> # Initializing a BiT bit-50 style configuration
>>> configuration = BitConfig()

>>> # Initializing a model (with random weights) from the bit-50 style configuration
>>> model = BitModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

BitImageProcessor[[transformers.BitImageProcessor]]

transformers.BitImageProcessor[[transformers.BitImageProcessor]]

transformers.BitImageProcessor(**kwargs: *<class 'transformers.processing_utils.ImagesKwargs'>)

ソース

パラメータ:

do_convert_rgb (bool, kwargs, optional, デフォルトは True) : 画像を RGB に変換するかどうか。

do_resize (bool, kwargs, 任意, デフォルトは True) : 画像をリサイズするかどうか。

size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs、デフォルト値は {'shortest_edge' : 224}): モデルへの最大入力次元を記述します。

default_to_square (bool, kwargs, optional, デフォルトは False) : size が int の場合、リサイズ時に正方形の画像をデフォルトとするかどうか。

crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs、デフォルト値は {'height' : 224, 'width': 224}): center_crop を適用した後の出力画像のサイズ。

resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs、デフォルトは 3) : 画像をリサイズする場合に使用するリサンプリングフィルター。PILImageResampling の列挙型のいずれかになります。do_resize が True に設定されている場合のみ有効です。

do_rescale (bool, kwargs, optional, デフォルトは True) : 画像をリスケールするかどうか。

rescale_factor (float, kwargs, optional, デフォルトは 0.00392156862745098) : do_rescale が True に設定されている場合、画像をリスケールするための係数。

do_normalize (bool, kwargs, optional, デフォルトは True) : 画像を正規化するかどうかを指定します。

image_mean (Union[float, list[float], tuple[float, ...]], kwargs, optional, デフォルトは [0.48145466, 0.4578275, 0.40821073]) : 正規化に使用する画像の平均値。do_normalize が True に設定されている場合のみ有効です。

image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional, デフォルトは [0.26862954, 0.26130258, 0.27577711]) : 正規化に使用する画像の標準偏差。do_normalize が True に設定されている場合のみ有効です。

do_pad (bool, kwargs, 任意) : 画像にパディングを適用するかどうか。パディングは、バッチ内の最大サイズに合わせるか、画像ごとに固定の正方形サイズに合わせるかのいずれかで行われます。正確なパディング戦略はモデルによって異なります。

pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) : 画像をパディングするサイズを{"height": int, "width" int}で指定します。前処理に提供されたすべての画像サイズより大きい必要があります。pad_sizeが指定されない場合、バッチ内の最大の幅と高さにパディングされます。do_pad=True.の場合にのみ適用されます。

do_center_crop (bool, kwargs, optional, デフォルトは True) : 画像を中央クロップするかどうか。

data_format (Union[str, ~image_utils.ChannelDimension]、kwargs、optional) : 対応するのは ChannelDimension.FIRST のみです。slow processors との互換性のために追加されました。

input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, 任意) : 入力画像のチャネル次元の形式です。設定されていない場合、入力画像からチャネル次元の形式が推論されます。以下のいずれかになります: - "channels_first" または ChannelDimension.FIRST: (num_channels, height, width) 形式の画像。 - "channels_last" または ChannelDimension.LAST: (height, width, num_channels) 形式の画像。 - "none" または ChannelDimension.NONE: (height, width) 形式の画像。

device (Annotated[Union[str, torch.device, NoneType], None], kwargs) : 動画を処理するデバイスです。未設定の場合、入力動画からデバイスが推論されます。

return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) : 'pt'に設定されている場合はスタックされたテンソルを返し、それ以外の場合はテンソルのリストを返します。

disable_grouping (bool, kwargs, optional) : 画像をサイズごとにグループ化してバッチ処理するのではなく、個別に処理するためにグループ化を無効にするかどうかを指定します。None の場合、画像が CPU にある場合は True、それ以外の場合は False に設定されます。この選択は、https://github.com/huggingface/transformers/pull/38157 に詳しく記載されている実証的な観察に基づいています。

image_seq_length (int, kwargs, optional) : 入力内の各画像に使用される画像トークンの数です。後方互換性のために追加されましたが、将来のモデルではプロセッサの属性として設定されるべきです。'pt'に設定されている場合はスタックされたテンソルを返し、それ以外の場合はテンソルのリストを返します。