diffusers/main/ja/api/models/autoencoderkl_allegro.md

AutoencoderKLAllegro

Allegroで使用されたKL損失付き3次元変分オートエンコーダ（VAE）モデルは、RhymesAIによるAllegro: Open the Black Box of Commercial-Level Video Generation Modelで紹介されました。

モデルは、以下のコードスニペットで読み込むことができます。

from diffusers import AutoencoderKLAllegro

vae = AutoencoderKLAllegro.from_pretrained("rhymes-ai/Allegro", subfolder="vae", dtype=torch.float32).to("cuda")  # or "mps", "xpu", "cpu"

AutoencoderKLAllegro[[diffusers.AutoencoderKLAllegro]]

diffusers.AutoencoderKLAllegro[[diffusers.AutoencoderKLAllegro]]

diffusers.AutoencoderKLAllegro(in_channels: int = 3, out_channels: int = 3, down_block_types: tuple[str, ...] = ('AllegroDownBlock3D', 'AllegroDownBlock3D', 'AllegroDownBlock3D', 'AllegroDownBlock3D'), up_block_types: tuple[str, ...] = ('AllegroUpBlock3D', 'AllegroUpBlock3D', 'AllegroUpBlock3D', 'AllegroUpBlock3D'), block_out_channels: tuple[int, ...] = (128, 256, 512, 512), temporal_downsample_blocks: tuple[bool, ...] = (True, True, False, False), temporal_upsample_blocks: tuple[bool, ...] = (False, True, True, False), latent_channels: int = 4, layers_per_block: int = 2, act_fn: str = 'silu', norm_num_groups: int = 32, temporal_compression_ratio: float = 4, sample_size: int = 320, scaling_factor: float = 0.13, force_upcast: bool = True)

ソース

パラメータ:

in_channels (int、デフォルトは 3) : 入力画像のチャネル数。

out_channels (int、デフォルトは 3) : 出力のチャネル数。

down_block_types (tuple[str, ...]、デフォルトは("AllegroDownBlock3D", "AllegroDownBlock3D", "AllegroDownBlock3D", "AllegroDownBlock3D")) : 使用するダウンブロックの種類を示す文字列のタプル。

up_block_types (tuple[str, ...]、デフォルトは ("AllegroUpBlock3D", "AllegroUpBlock3D", "AllegroUpBlock3D", "AllegroUpBlock3D")) : 使用するアップブロックの種類を示す文字列のタプル。

block_out_channels (tuple[int, ...]、デフォルトは(128, 256, 512, 512)) : 各ブロックの出力チャネル数を表す整数のタプル。

temporal_downsample_blocks (tuple[bool, ...]、デフォルトは(True, True, False, False)) : 時間方向のダウンサンプリングを有効にするブロックを示すブール値のタプル。

latent_channels (int、デフォルトは4) : 潜在変数のチャネル数。

layers_per_block (int、デフォルトは2) : ダウンブロックおよびアップブロックごとのresnet層、attention層、またはtemporal convolution層の数。

act_fn (str、デフォルトは"silu") : 使用する活性化関数。

norm_num_groups (int、デフォルトは32) : 正規化層で使用するグループ数。

temporal_compression_ratio (int、デフォルトは4) : サンプルの時間次元が圧縮される比率。

sample_size (int、デフォルトは320) : デフォルトの潜在サイズ。

scaling_factor (float、デフォルトは 0.13235) : 学習セットの最初のバッチを使用して計算された、学習済み潜在空間の要素ごとの標準偏差です。これは、拡散モデルの学習時に潜在空間を分散 1 にスケーリングするために使用されます。潜在変数は、拡散モデルに渡される前に z = z * scaling_factor という式でスケーリングされます。デコード時には、z = 1 / scaling_factor * z という式で元のスケールに戻されます。詳細については、High-Resolution Image Synthesis with Latent Diffusion Models 論文のセクション 4.3.2 と D.1 を参照してください。

force_upcast (bool、デフォルトはTrue) : 有効にすると、SD-XLのような高解像度画像のパイプラインにおいて、VAEをfloat32で実行するよう強制します。VAEは、精度を大きく失うことなく低い範囲にファインチューニング/トレーニングできる場合があり、その場合はforce_upcastをFalseに設定できます - 参考: https://huggingface.co/madebyollin/sdxl-vae-fp16-fix

KL損失を用いて動画を潜在変数にエンコードし、潜在表現を動画にデコードするためのVAEモデル。Allegroで使用されます。

このモデルは ModelMixin を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存など）については、スーパークラスのドキュメントを参照してください。

decode[[diffusers.AutoencoderKLAllegro.decode]]

decode(z: Tensor, return_dict: bool = True)

ソース

パラメータ:

z (torch.Tensor) : 潜在ベクトルの入力バッチ。

return_dict (bool、デフォルトはTrue) : プレーンなタプルではなく~models.vae.DecoderOutputを返すかどうか。

戻り値: ~models.vae.DecoderOutput または tuple

return_dict が True の場合、~models.vae.DecoderOutput が返され、それ以外の場合は通常の tuple が返されます。

バッチの動画をデコードします。

encode[[diffusers.AutoencoderKLAllegro.encode]]

encode(x: Tensor, return_dict: bool = True)

ソース

パラメータ:

x (torch.Tensor) : 入力バッチの動画。

return_dict (bool、デフォルトはTrue) : プレーンなタプルではなく~models.autoencoder_kl.AutoencoderKLOutputを返すかどうか。

戻り値:

エンコードされた動画の潜在表現。return_dictがTrueの場合、~models.autoencoder_kl.AutoencoderKLOutputが返され、それ以外の場合は通常のtupleが返されます。

バッチの動画を潜在変数にエンコードします。

forward[[diffusers.AutoencoderKLAllegro.forward]]

forward(sample: Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None)

ソース

パラメータ:

sample (torch.Tensor) : 入力サンプル。

sample_posterior (bool、任意、デフォルトはFalse) : 事後分布からサンプリングするかどうか。

return_dict (bool、任意、デフォルトはTrue) : プレーンなタプルではなくDecoderOutputを返すかどうか。

generator (torch.Generator, 任意) : PyTorchの乱数生成器。

戻り値: ~models.vae.DecoderOutput または tuple

return_dict が True の場合、~models.vae.DecoderOutput が返され、それ以外の場合は通常の tuple が返されます。

AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]]

diffusers.models.modeling_outputs.AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]]

diffusers.models.modeling_outputs.AutoencoderKLOutput(latent_dist: DiagonalGaussianDistribution)

ソース

パラメータ:

latent_dist (DiagonalGaussianDistribution) : Encoder のエンコード済み出力を、DiagonalGaussianDistribution の平均と logvar として表したものです。DiagonalGaussianDistribution を使用すると、この分布から潜在変数をサンプリングできます。

AutoencoderKLのエンコードメソッドの出力。

DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

diffusers.models.autoencoders.vae.DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

diffusers.models.autoencoders.vae.DecoderOutput(sample: Tensor, commit_loss: typing.Optional[torch.FloatTensor] = None)

ソース

パラメータ:

sample (torch.Tensor、形状 (batch_size, num_channels, height, width)) : モデルの最終層からのデコード済み出力サンプル。

デコードメソッドの出力。