Buckets:

hf-doc-build/doc / diffusers /main /ja /api /models /qwenimage21_transformer2d.md
mishig's picture
|
download
raw
11 kB

QwenImage21Transformer2DModel

Qwen-Image 2.1で使用される単一ストリーム型transformerです。テキストと画像の潜在変数は1つのシーケンスを共有し、単一の共有modulation投影がすべてのブロックに供給されます。

2.1は、以前のQwenImageトランスフォーマーと区別される2つの動作特性を持っています。

  • ブロック因果アテンション — アテンションは(q_idx >= kv_idx) or same_image_blockに従うため、結合シーケンス全体は因果的でありながら、各画像ブロック内部では双方向のアテンションが適用されます。QwenImage21AttnProcessorは、プレフィックスセグメントごとに1回のアテンション呼び出しとして実装されており、デフォルトです。QwenImage21FlexAttnProcessorは、BlockMaskによって駆動される単一のflex_attention呼び出しとして実装されており、モデルがコンパイルされた後は高速です。どちらの実装も同じ結果を生成します。
  • causal_condition — テキストおよび条件画像のトークンは、サンプリングされたタイムステップではなく t = 0 からモジュレーションされます。これらのアクティベーションはデノイジングステップに依存しないため、そのプレフィックスのキーとバリューは kv_cache 引数を通じてステップ間でキャッシュできます。

以下で読み込みます:

import torch
from diffusers import QwenImage21Transformer2DModel

transformer = QwenImage21Transformer2DModel.from_pretrained(
    "Qwen/Qwen-Image-2.1", subfolder="transformer", dtype=torch.bfloat16
)

QwenImage21Transformer2DModel[[diffusers.QwenImage21Transformer2DModel]]

diffusers.QwenImage21Transformer2DModel[[diffusers.QwenImage21Transformer2DModel]]

diffusers.QwenImage21Transformer2DModel(patch_size: int = 1, in_channels: int = 64, out_channels: int | None = 64, num_layers: int = 32, attention_head_dim: int = 128, num_attention_heads: int = 32, context_in_dim: int = 4096, mlp_ratio: int = 3, axes_dims_rope: tuple[int, int, int] = (16, 56, 56), eps: float = 1e-06, causal_condition: bool = True)

ソース

パラメータ:

patch_size (int、デフォルトは1) : チャネル次元に折り畳まれる潜在パッチの辺の長さです。2.1では、パッチ化されていない潜在変数を消費します。

in_channels (int、デフォルトは64) : 入力潜在チャネル数。

out_channels (int、optional、デフォルトは 64) : 出力の潜在チャネル数。in_channels にフォールバックします。

num_layers (int、デフォルトは32) : シングルストリームブロックの数。

attention_head_dim (int、デフォルトは128) : アテンションヘッドあたりのチャネル数。

num_attention_heads (int、デフォルトは32) : アテンションヘッドの数。

context_in_dim (int、デフォルトは4096) : encoder_hidden_statesのチャネル次元。

mlp_ratio (int、デフォルトは3) : フィードフォワードの拡張係数。

axes_dims_rope (tuple[int]、デフォルトは(16, 56, 56)) : フレーム、高さ、幅の各軸に対する Rotary dims。

eps (float、デフォルトは1e-6) : norm 層用の Epsilon。

causal_condition (bool、デフォルトはTrue) : t = 0からテキストおよび条件画像トークンをモジュレートします。KVキャッシュには必須です。

Qwen-Image 2.1で使用される単一ストリームTransformer。

テキストと画像の潜在変数は1つのシーケンスを共有します。条件画像のトークンは、ビジョン・言語エンコーダーがそのために確保した位置にテキストストリームへ代入され、ターゲット画像のトークンは末尾に追加されます。単一の共有modulationプロジェクションがすべてのブロックに供給されるため、各ブロックには独自のmodulationパラメータを持ちません。

2.1を特徴づける2つの動作:

  • ブロック因果アテンション — アテンションは(q_idx >= kv_idx) or same_image_blockに従うため、シーケンス全体は因果的でありながら、各画像ブロック内部では双方向のアテンションが適用されます。flexアテンションバックエンドを使用すると、効率的な単一パスのアテンションが実現されます。使用しない場合、モデルは各ブロックを個別に処理する正確なマルチパスSDPAプリフィルにフォールバックします。
  • causal_condition — テキストおよび条件画像のトークンは、サンプリングされたタイムステップではなく t = 0 からモジュレーションされるため、それらのアクティベーションはタイムステップに依存せず、デノイジングステップ間でキャッシュ可能になります。

build_token_metadata[[diffusers.QwenImage21Transformer2DModel.build_token_metadata]]

build_token_metadata(image_pad_mask: Tensor, img_shapes: list[tuple[int, int, int]])

ソース

パラメータ:

image_pad_mask (torch.Tensor) : (seq_len,) bool、画像トークンの位置でTrue。

img_shapes (list[tuple[int, int, int]]) : 潜在トークンにおける画像ごとの(frame, height, width)。条件画像を先頭に、ターゲット画像を末尾に配置します。

戻り値: tuple[torch.Tensor, torch.Tensor]

image_ids (seq_len,) はテキストの位置に-1を持ち、各画像ブロックに一意の ID を割り当て、target_token_mask (seq_len,) は対象となる画像のトークンを示します。

結合シーケンスの各トークンに、それが属する画像ブロックをラベル付けします。

img_shapes のトークン数からブロック境界が決定され、image_pad_mask 内の True の連続から決定されるわけではありません。テキストを挟まず隣接して配置された2つの条件画像は1つの連続区間を形成しますが、別々のブロックとして保持されなければなりません。そうしないと、それらが双方向に相互注意を払うことになってしまいます。

forward[[diffusers.QwenImage21Transformer2DModel.forward]]

forward(hidden_states: Tensor, encoder_hidden_states: Tensor, timestep: Tensor, img_shapes: list[list[tuple[int, int, int]]], img_mask: Tensor, encoder_hidden_states_mask: typing.Optional[torch.Tensor] = None, attention_kwargs: dict[str, typing.Any] | None = None, kv_cache: diffusers.models.transformers.transformer_qwenimage21.QwenImage21KVCache | None = None, kv_cache_mode: str | None = None, return_dict: bool = True)

ソース

パラメータ:

hidden_states (torch.Tensor、shape (batch_size, image_sequence_length, in_channels)) : パックされた潜変数。条件画像が先頭、ターゲット画像が末尾に配置されています。

encoder_hidden_states (torch.Tensor、shape (batch_size, text_sequence_length, context_in_dim)) : ビジョン・言語エンコーダーからのテキスト埋め込み。

timestep (torch.Tensor) : 現在のノイズ除去ステップ。[0, 1]にスケーリングされています。

img_shapes (list[list[tuple[int, int, int]]]) : 各サンプルごとの (frame, height, width) のリスト(潜在トークン単位)。条件画像が先頭、ターゲット画像が末尾に配置されます。すべてのサンプルは同じレイアウトを共有する必要があります。

img_mask (torch.Tensor、shape (batch_size, vlm_sequence_length)) : ビジョン・言語エンコーダーの画像スロットの位置が True であり、各スロットは 2x2 の潜在トークングループを表します。

encoder_hidden_states_mask (torch.Tensor, 任意) : (batch_size, text_sequence_length) 有効なテキストトークンを示す bool 型。パディングされた位置はアテンションから除外されます。

kv_cache (QwenImage21KVCache, 任意) : キャッシュコンテナ。kv_cache_mode と一緒に渡すことで、プレフィックス KV キャッシングを有効にします。

kv_cache_mode (str, 任意) : キャッシュをプリフィル(最初のデノイジングステップ)するには "extract"、そこからデコード(以降のステップ)するには "cached" を指定します。causal_condition=True が必要です。

attention_kwargs (dict、任意) : attention processor に転送され、LoRA レイヤーの scale を保持します。

return_dict (bool、任意、デフォルトはTrue) : プレーンなタプルではなく、Transformer2DModelOutputを返すかどうか。

戻り値: Transformer2DModelOutput または tuple

return_dict が True の場合は Transformer2DModelOutput、それ以外は最初の要素がノイズ除去された潜変数である通常の tuple を返します。

Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)

ソース

パラメータ:

sample (torch.Tensor、shape は (batch_size, num_channels, height, width)、または Transformer2DModel が離散型の場合 (batch size, num_vector_embeds - 1, num_latent_pixels)) : encoder_hidden_states 入力を条件とする隠れ状態の出力です。離散型の場合、ノイズ除去されていない潜在ピクセルの確率分布を返します。

Transformer2DModelの出力です。

Xet Storage Details

Size:
11 kB
·
Xet hash:
93dbcb0d4691d06ee880fea002ae4950fc3ba4375c33858623bce5e5dda8113e

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.