diffusers/main/ja/api/models/transformer_joyimage.md

JoyImageEditTransformer3DModel

モデルは、以下のコードスニペットで読み込むことができます。

from diffusers import JoyImageEditTransformer3DModel

transformer = JoyImageEditTransformer3DModel.from_pretrained("jdopensource/JoyAI-Image-Edit-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

JoyImageEditTransformer3DModel[[diffusers.JoyImageEditTransformer3DModel]]

diffusers.JoyImageEditTransformer3DModel[[diffusers.JoyImageEditTransformer3DModel]]

diffusers.JoyImageEditTransformer3DModel(patch_size: list = [1, 2, 2], in_channels: int = 16, out_channels: int | None = None, hidden_size: int = 3072, num_attention_heads: int = 24, text_dim: int = 4096, mlp_width_ratio: float = 4.0, num_layers: int = 20, rope_dim_list: list[int] = [16, 56, 56], rope_type: str = 'rope', theta: int = 256)

ソース

画像生成/編集用のJoyImage Transformerモデル。

WANスタイルの条件埋め込みとカスタム回転位置埋め込みを備えたデュアルストリームDiTアーキテクチャ。

forward[[diffusers.JoyImageEditTransformer3DModel.forward]]

forward(hidden_states: Tensor, timestep: Tensor, encoder_hidden_states: Tensor = None, return_dict: bool = True)

ソース

パラメータ:

hidden_states (torch.Tensor、shape は (batch_size, num_channels, num_frames, height, width) または (batch_size, num_items, num_channels, num_frames, height, width)) : 入力 hidden_states。

timestep (torch.LongTensor) : デノイジングステップを示すために使用されます。

encoder_hidden_states (torch.Tensor, 任意) : 使用する条件埋め込み（プロンプトなどの入力条件から計算される埋め込み）。

return_dict (bool、任意、デフォルトはTrue) : プレーンなタプルではなく~models.transformer_2d.Transformer2DModelOutputを返すかどうか。

戻り値:

return_dict が True の場合、~models.transformer_2d.Transformer2DModelOutput が返され、それ以外の場合は、最初の要素がサンプルテンソルである tuple が返されます。

JoyImageEditTransformer3DModelのforwardメソッドです。

Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)

ソース

パラメータ:

sample (torch.Tensor、shape は (batch_size, num_channels, height, width)、または Transformer2DModel が離散型の場合 (batch size, num_vector_embeds - 1, num_latent_pixels)) : encoder_hidden_states 入力を条件とする隠れ状態の出力です。離散型の場合、ノイズ除去されていない潜在ピクセルの確率分布を返します。

Transformer2DModelの出力です。