diffusers/main/ja/api/models/pixart_transformer2d.md

PixArtTransformer2DModel

PixArt-AlphaおよびPixArt-Sigmaの画像類似データ向けのTransformerモデル。

PixArtTransformer2DModel[[diffusers.PixArtTransformer2DModel]]

diffusers.PixArtTransformer2DModel[[diffusers.PixArtTransformer2DModel]]

diffusers.PixArtTransformer2DModel(num_attention_heads: int = 16, attention_head_dim: int = 72, in_channels: int = 4, out_channels: int | None = 8, num_layers: int = 28, dropout: float = 0.0, norm_num_groups: int = 32, cross_attention_dim: int | None = 1152, attention_bias: bool = True, sample_size: int = 128, patch_size: int = 2, activation_fn: str = 'gelu-approximate', num_embeds_ada_norm: int | None = 1000, upcast_attention: bool = False, norm_type: str = 'ada_norm_single', norm_elementwise_affine: bool = False, norm_eps: float = 1e-06, interpolation_scale: int | None = None, use_additional_conditions: bool | None = None, caption_channels: int | None = None, attention_type: str | None = 'default')

ソース

パラメータ:

num_attention_heads (int, 任意, デフォルトは 16) : マルチヘッドアテンションに使用するヘッド数。

attention_head_dim (int, 任意, デフォルト値は 72) : 各ヘッドのチャネル数。

in_channels (int、デフォルトは 4) : 入力におけるチャネル数。

out_channels (int, 任意) : 出力のチャネル数。出力のチャネル数が入力と異なる場合は、このパラメータを指定してください。

num_layers (int, 任意, デフォルトは 28) : 使用する Transformer ブロックの層数。

dropout (float, 任意, デフォルト値は 0.0) : Transformer ブロック内で使用する dropout 確率。

norm_num_groups (int, 任意, デフォルト値は 32) : Transformer ブロック内のグループ正規化におけるグループ数。

cross_attention_dim (int, 任意) : クロスアテンション層の次元数。通常、エンコーダーの隠れ層の次元数と一致します。

attention_bias (bool, 任意, デフォルトは True) : Transformer ブロックの attention に bias パラメータを含めるかどうかを設定します。

sample_size (int, デフォルトは 128) : 潜在画像の幅です。このパラメータは学習中に固定されます。

patch_size (int, デフォルトは 2) : モデルが処理するパッチのサイズ。シーケンスでないデータを扱うアーキテクチャに関連します。

activation_fn (str, 任意, デフォルトは "gelu-approximate") : Transformerブロック内のフィードフォワードネットワークで使用する活性化関数。

num_embeds_ada_norm (int, 任意, デフォルト値は 1000) : AdaLayerNorm の埋め込み数。学習中に固定され、推論時の最大デノイジングステップ数に影響します。

upcast_attention (bool, 任意, デフォルトは False) : true の場合、パフォーマンスの向上を目的として、attention メカニズムの次元をアップキャストします。

norm_type (str, 任意, デフォルトは "ada_norm_zero") : 使用される正規化の種類を指定します。'ada_norm_zero' を指定できます。

norm_elementwise_affine (bool, 任意, デフォルトは False) : True の場合、正規化レイヤーで要素ごとのアフィンパラメータを有効にします。

norm_eps (float, 任意、デフォルトは 1e-6) : 正規化レイヤーの分母に追加される小さな定数で、ゼロ除算を防ぐために使用されます。

interpolation_scale (int, 任意) : 位置埋め込みを補間する際に使用するスケール係数。

use_additional_conditions (bool, optional) : 追加の条件を入力として使用するかどうか。

attention_type (str、任意、デフォルトは "default") : 使用するアテンションメカニズムの種類。

caption_channels (int, 任意, デフォルトは None) : キャプション埋め込みを射影するために使用するチャネル数。

use_linear_projection (bool, 任意, デフォルトは False) : 非推奨の引数です。将来のバージョンで削除されます。

num_vector_embeds (bool, 任意, デフォルトは False) : 非推奨の引数です。将来のバージョンで削除されます。

PixArt モデルファミリー（https://huggingface.co/papers/2310.00426, https://huggingface.co/papers/2403.04692）で導入された 2D Transformer モデル。

forward[[diffusers.PixArtTransformer2DModel.forward]]

forward(hidden_states: Tensor, encoder_hidden_states: typing.Optional[torch.Tensor] = None, timestep: typing.Optional[torch.LongTensor] = None, added_cond_kwargs: dict[str, torch.Tensor] = None, cross_attention_kwargs: dict[str, typing.Any] = None, attention_mask: typing.Optional[torch.Tensor] = None, encoder_attention_mask: typing.Optional[torch.Tensor] = None, return_dict: bool = True)

ソース

パラメータ:

hidden_states (torch.FloatTensor、shape (batch size, channel, height, width)) : 入力 hidden_states。

encoder_hidden_states (torch.FloatTensor、shape (batch size, sequence len, embed dims)、任意) : クロスアテンション層用の条件付き埋め込み。指定されない場合、クロスアテンションはデフォルトでセルフアテンションになります。

timestep (torch.LongTensor, 任意) : デノイジングステップを示すために使用します。AdaLayerNorm内で埋め込みとして適用される任意のタイムステップです。

added_cond_kwargs : (dict[str, Any], 任意): 入力として使用される追加の条件。

cross_attention_kwargs ( dict[str, Any], 任意) : 指定された場合、diffusers.models.attention_processor の self.processor で定義されている AttentionProcessor に渡される kwargs の辞書です。

attention_mask ( torch.Tensor, 任意) : 形状が (batch, key_tokens) のアテンションマスクが encoder_hidden_states に適用されます。1 の場合はマスクが保持され、0 の場合は破棄されます。マスクはバイアスに変換され、「破棄」トークンに対応するアテンションスコアに大きな負の値が加算されます。

encoder_attention_mask ( torch.Tensor, 任意) : encoder_hidden_states に適用されるクロスアテンションマスク。2つの形式をサポートします。 * マスク (batch, sequence_length) True = 保持、False = 破棄。 * バイアス (batch, 1, sequence_length) 0 = 保持、-10000 = 破棄。 ndim == 2 の場合、マスクとして解釈され、上記の形式と整合するバイアスに変換されます。このバイアスはクロスアテンションスコアに追加されます。

return_dict (bool、任意、デフォルトはTrue) : プレーンなタプルではなく、UNet2DConditionOutputを返すかどうか。

戻り値:

return_dict が True の場合、~models.transformer_2d.Transformer2DModelOutput が返され、それ以外の場合は、最初の要素がサンプルテンソルである tuple が返されます。

PixArtTransformer2DModelのforwardメソッドです。

fuse_qkv_projections[[diffusers.PixArtTransformer2DModel.fuse_qkv_projections]]

fuse_qkv_projections()

ソース

融合されたQKV投影を有効にします。自己注意（self-attention）モジュールでは、すべての投影行列（つまり、クエリ、キー、バリュー）が融合されます。相互注意（cross-attention）モジュールでは、キーとバリューの投影行列が融合されます。

> このAPIは🧪実験的です。

set_default_attn_processor[[diffusers.PixArtTransformer2DModel.set_default_attn_processor]]

set_default_attn_processor()

ソース

カスタムアテンションプロセッサを無効にし、デフォルトのアテンション実装を設定します。

PixArtのデフォルトモデルには特殊なattentionプロセッサが含まれていないため、AttnProcessor()をそのまま使用して問題ありません。

unfuse_qkv_projections[[diffusers.PixArtTransformer2DModel.unfuse_qkv_projections]]

unfuse_qkv_projections()

ソース

有効化されている場合、融合された QKV 投影を無効にします。

> このAPIは🧪実験的です。