Buckets:
QwenImage21Transformer2DModel
Qwen-Image 2.1で使用される単一ストリーム型transformerです。テキストと画像の潜在変数は1つのシーケンスを共有し、単一の共有modulation投影がすべてのブロックに供給されます。
2.1は、以前のQwenImageトランスフォーマーと区別される2つの動作特性を持っています。
- ブロック因果アテンション — アテンションは
(q_idx >= kv_idx) or same_image_blockに従うため、結合シーケンス全体は因果的でありながら、各画像ブロック内部では双方向のアテンションが適用されます。QwenImage21AttnProcessorは、プレフィックスセグメントごとに1回のアテンション呼び出しとして実装されており、デフォルトです。QwenImage21FlexAttnProcessorは、BlockMaskによって駆動される単一のflex_attention呼び出しとして実装されており、モデルがコンパイルされた後は高速です。どちらの実装も同じ結果を生成します。 causal_condition— テキストおよび条件画像のトークンは、サンプリングされたタイムステップではなくt = 0からモジュレーションされます。これらのアクティベーションはデノイジングステップに依存しないため、そのプレフィックスのキーとバリューはkv_cache引数を通じてステップ間でキャッシュできます。
以下で読み込みます:
import torch
from diffusers import QwenImage21Transformer2DModel
transformer = QwenImage21Transformer2DModel.from_pretrained(
"Qwen/Qwen-Image-2.1", subfolder="transformer", dtype=torch.bfloat16
)
QwenImage21Transformer2DModel[[diffusers.QwenImage21Transformer2DModel]]
diffusers.QwenImage21Transformer2DModel[[diffusers.QwenImage21Transformer2DModel]]
diffusers.QwenImage21Transformer2DModel(patch_size: int = 1, in_channels: int = 64, out_channels: int | None = 64, num_layers: int = 32, attention_head_dim: int = 128, num_attention_heads: int = 32, context_in_dim: int = 4096, mlp_ratio: int = 3, axes_dims_rope: tuple[int, int, int] = (16, 56, 56), eps: float = 1e-06, causal_condition: bool = True)
パラメータ:
patch_size (int、デフォルトは1) : チャネル次元に折り畳まれる潜在パッチの辺の長さです。2.1では、パッチ化されていない潜在変数を消費します。
in_channels (int、デフォルトは64) : 入力潜在チャネル数。
out_channels (int、optional、デフォルトは 64) : 出力の潜在チャネル数。in_channels にフォールバックします。
num_layers (int、デフォルトは32) : シングルストリームブロックの数。
attention_head_dim (int、デフォルトは128) : アテンションヘッドあたりのチャネル数。
num_attention_heads (int、デフォルトは32) : アテンションヘッドの数。
context_in_dim (int、デフォルトは4096) : encoder_hidden_statesのチャネル次元。
mlp_ratio (int、デフォルトは3) : フィードフォワードの拡張係数。
axes_dims_rope (tuple[int]、デフォルトは(16, 56, 56)) : フレーム、高さ、幅の各軸に対する Rotary dims。
eps (float、デフォルトは1e-6) : norm 層用の Epsilon。
causal_condition (bool、デフォルトはTrue) : t = 0からテキストおよび条件画像トークンをモジュレートします。KVキャッシュには必須です。
Qwen-Image 2.1で使用される単一ストリームTransformer。
テキストと画像の潜在変数は1つのシーケンスを共有します。条件画像のトークンは、ビジョン・言語エンコーダーがそのために確保した位置にテキストストリームへ代入され、ターゲット画像のトークンは末尾に追加されます。単一の共有modulationプロジェクションがすべてのブロックに供給されるため、各ブロックには独自のmodulationパラメータを持ちません。
2.1を特徴づける2つの動作:
- ブロック因果アテンション — アテンションは
(q_idx >= kv_idx) or same_image_blockに従うため、シーケンス全体は因果的でありながら、各画像ブロック内部では双方向のアテンションが適用されます。flexアテンションバックエンドを使用すると、効率的な単一パスのアテンションが実現されます。使用しない場合、モデルは各ブロックを個別に処理する正確なマルチパスSDPAプリフィルにフォールバックします。 causal_condition— テキストおよび条件画像のトークンは、サンプリングされたタイムステップではなくt = 0からモジュレーションされるため、それらのアクティベーションはタイムステップに依存せず、デノイジングステップ間でキャッシュ可能になります。
build_token_metadata[[diffusers.QwenImage21Transformer2DModel.build_token_metadata]]
build_token_metadata(image_pad_mask: Tensor, img_shapes: list[tuple[int, int, int]])
パラメータ:
image_pad_mask (torch.Tensor) : (seq_len,) bool、画像トークンの位置でTrue。
img_shapes (list[tuple[int, int, int]]) : 潜在トークンにおける画像ごとの(frame, height, width)。条件画像を先頭に、ターゲット画像を末尾に配置します。
戻り値: tuple[torch.Tensor, torch.Tensor]
image_ids (seq_len,) はテキストの位置に-1を持ち、各画像ブロックに一意の ID を割り当て、target_token_mask (seq_len,) は対象となる画像のトークンを示します。
結合シーケンスの各トークンに、それが属する画像ブロックをラベル付けします。
img_shapes のトークン数からブロック境界が決定され、image_pad_mask 内の True の連続から決定されるわけではありません。テキストを挟まず隣接して配置された2つの条件画像は1つの連続区間を形成しますが、別々のブロックとして保持されなければなりません。そうしないと、それらが双方向に相互注意を払うことになってしまいます。
forward[[diffusers.QwenImage21Transformer2DModel.forward]]
forward(hidden_states: Tensor, encoder_hidden_states: Tensor, timestep: Tensor, img_shapes: list[list[tuple[int, int, int]]], img_mask: Tensor, encoder_hidden_states_mask: typing.Optional[torch.Tensor] = None, attention_kwargs: dict[str, typing.Any] | None = None, kv_cache: diffusers.models.transformers.transformer_qwenimage21.QwenImage21KVCache | None = None, kv_cache_mode: str | None = None, return_dict: bool = True)
パラメータ:
hidden_states (torch.Tensor、shape (batch_size, image_sequence_length, in_channels)) : パックされた潜変数。条件画像が先頭、ターゲット画像が末尾に配置されています。
encoder_hidden_states (torch.Tensor、shape (batch_size, text_sequence_length, context_in_dim)) : ビジョン・言語エンコーダーからのテキスト埋め込み。
timestep (torch.Tensor) : 現在のノイズ除去ステップ。[0, 1]にスケーリングされています。
img_shapes (list[list[tuple[int, int, int]]]) : 各サンプルごとの (frame, height, width) のリスト(潜在トークン単位)。条件画像が先頭、ターゲット画像が末尾に配置されます。すべてのサンプルは同じレイアウトを共有する必要があります。
img_mask (torch.Tensor、shape (batch_size, vlm_sequence_length)) : ビジョン・言語エンコーダーの画像スロットの位置が True であり、各スロットは 2x2 の潜在トークングループを表します。
encoder_hidden_states_mask (torch.Tensor, 任意) : (batch_size, text_sequence_length) 有効なテキストトークンを示す bool 型。パディングされた位置はアテンションから除外されます。
kv_cache (QwenImage21KVCache, 任意) : キャッシュコンテナ。kv_cache_mode と一緒に渡すことで、プレフィックス KV キャッシングを有効にします。
kv_cache_mode (str, 任意) : キャッシュをプリフィル(最初のデノイジングステップ)するには "extract"、そこからデコード(以降のステップ)するには "cached" を指定します。causal_condition=True が必要です。
attention_kwargs (dict、任意) : attention processor に転送され、LoRA レイヤーの scale を保持します。
return_dict (bool、任意、デフォルトはTrue) : プレーンなタプルではなく、Transformer2DModelOutputを返すかどうか。
戻り値: Transformer2DModelOutput または tuple
return_dict が True の場合は Transformer2DModelOutput、それ以外は最初の要素がノイズ除去された潜変数である通常の tuple を返します。
Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]
diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]
diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)
パラメータ:
sample (torch.Tensor、shape は (batch_size, num_channels, height, width)、または Transformer2DModel が離散型の場合 (batch size, num_vector_embeds - 1, num_latent_pixels)) : encoder_hidden_states 入力を条件とする隠れ状態の出力です。離散型の場合、ノイズ除去されていない潜在ピクセルの確率分布を返します。
Transformer2DModelの出力です。
Xet Storage Details
- Size:
- 11 kB
- Xet hash:
- 93dbcb0d4691d06ee880fea002ae4950fc3ba4375c33858623bce5e5dda8113e
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.