Buckets:

hf-doc-build
/

doc

Files

xet

hf-doc-build/doc / diffusers /main /ja /api /models /autoencoderkl_allegro.md

mishig

3 days ago

preview code

download

raw

8.84 kB

# AutoencoderKLAllegro

[Allegro](https://github.com/rhymes-ai/Allegro)で使用されたKL損失付き3次元変分オートエンコーダ（VAE）モデルは、RhymesAIによる[Allegro: Open the Black Box of Commercial-Level Video Generation Model](https://huggingface.co/papers/2410.15458)で紹介されました。

モデルは、以下のコードスニペットで読み込むことができます。

```python
from diffusers import AutoencoderKLAllegro
vae = AutoencoderKLAllegro.from_pretrained("rhymes-ai/Allegro", subfolder="vae", dtype=torch.float32).to("cuda")  # or "mps", "xpu", "cpu"
```

## AutoencoderKLAllegro[[diffusers.AutoencoderKLAllegro]]

#### diffusers.AutoencoderKLAllegro[[diffusers.AutoencoderKLAllegro]]

```python
diffusers.AutoencoderKLAllegro(in_channels: int = 3, out_channels: int = 3, down_block_types: tuple[str, ...] = ('AllegroDownBlock3D', 'AllegroDownBlock3D', 'AllegroDownBlock3D', 'AllegroDownBlock3D'), up_block_types: tuple[str, ...] = ('AllegroUpBlock3D', 'AllegroUpBlock3D', 'AllegroUpBlock3D', 'AllegroUpBlock3D'), block_out_channels: tuple[int, ...] = (128, 256, 512, 512), temporal_downsample_blocks: tuple[bool, ...] = (True, True, False, False), temporal_upsample_blocks: tuple[bool, ...] = (False, True, True, False), latent_channels: int = 4, layers_per_block: int = 2, act_fn: str = 'silu', norm_num_groups: int = 32, temporal_compression_ratio: float = 4, sample_size: int = 320, scaling_factor: float = 0.13, force_upcast: bool = True)
```

[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_allegro.py#L676)

**パラメータ:**

in_channels (int、デフォルトは `3`) : 入力画像のチャネル数。
out_channels (int、デフォルトは `3`) : 出力のチャネル数。

down_block_types (`tuple[str, ...]`、デフォルトは`("AllegroDownBlock3D", "AllegroDownBlock3D", "AllegroDownBlock3D", "AllegroDownBlock3D")`) : 使用するダウンブロックの種類を示す文字列のタプル。

up_block_types (`tuple[str, ...]`、デフォルトは `("AllegroUpBlock3D", "AllegroUpBlock3D", "AllegroUpBlock3D", "AllegroUpBlock3D")`) : 使用するアップブロックの種類を示す文字列のタプル。

block_out_channels (`tuple[int, ...]`、デフォルトは`(128, 256, 512, 512)`) : 各ブロックの出力チャネル数を表す整数のタプル。

temporal_downsample_blocks (`tuple[bool, ...]`、デフォルトは`(True, True, False, False)`) : 時間方向のダウンサンプリングを有効にするブロックを示すブール値のタプル。

latent_channels (`int`、デフォルトは`4`) : 潜在変数のチャネル数。
layers_per_block (`int`、デフォルトは`2`) : ダウンブロックおよびアップブロックごとのresnet層、attention層、またはtemporal convolution層の数。
act_fn (`str`、デフォルトは`"silu"`) : 使用する活性化関数。

norm_num_groups (`int`、デフォルトは`32`) : 正規化層で使用するグループ数。

temporal_compression_ratio (`int`、デフォルトは`4`) : サンプルの時間次元が圧縮される比率。

sample_size (`int`、デフォルトは`320`) : デフォルトの潜在サイズ。
scaling_factor (`float`、デフォルトは `0.13235`) : 学習セットの最初のバッチを使用して計算された、学習済み潜在空間の要素ごとの標準偏差です。これは、拡散モデルの学習時に潜在空間を分散 1 にスケーリングするために使用されます。潜在変数は、拡散モデルに渡される前に `z = z * scaling_factor` という式でスケーリングされます。デコード時には、`z = 1 / scaling_factor * z` という式で元のスケールに戻されます。詳細については、[High-Resolution Image Synthesis with Latent Diffusion Models](https://huggingface.co/papers/2112.10752) 論文のセクション 4.3.2 と D.1 を参照してください。

force_upcast (`bool`、デフォルトは`True`) : 有効にすると、SD-XLのような高解像度画像のパイプラインにおいて、VAEをfloat32で実行するよう強制します。VAEは、精度を大きく失うことなく低い範囲にファインチューニング/トレーニングできる場合があり、その場合は`force_upcast`を`False`に設定できます - 参考: https://huggingface.co/madebyollin/sdxl-vae-fp16-fix

KL損失を用いて動画を潜在変数にエンコードし、潜在表現を動画にデコードするためのVAEモデル。[Allegro](https://github.com/rhymes-ai/Allegro)で使用されます。

このモデルは [ModelMixin](/docs/diffusers/main/ja/api/models/overview#diffusers.ModelMixin) を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存など）については、スーパークラスのドキュメントを参照してください。

#### decode[[diffusers.AutoencoderKLAllegro.decode]]

```python
decode(z: Tensor, return_dict: bool = True)
```

[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_allegro.py#L843)

**パラメータ:**

z (`torch.Tensor`) : 潜在ベクトルの入力バッチ。

return_dict (`bool`、デフォルトは`True`) : プレーンなタプルではなく`~models.vae.DecoderOutput`を返すかどうか。
**戻り値:** `~models.vae.DecoderOutput` または `tuple`
return_dict が True の場合、`~models.vae.DecoderOutput` が返され、それ以外の場合は通常の `tuple` が返されます。

バッチの動画をデコードします。

#### encode[[diffusers.AutoencoderKLAllegro.encode]]

```python
encode(x: Tensor, return_dict: bool = True)
```

[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_allegro.py#L806)

**パラメータ:**

x (`torch.Tensor`) : 入力バッチの動画。

return_dict (`bool`、デフォルトは`True`) : プレーンなタプルではなく`~models.autoencoder_kl.AutoencoderKLOutput`を返すかどうか。

**戻り値:**

エンコードされた動画の潜在表現。`return_dict`がTrueの場合、`~models.autoencoder_kl.AutoencoderKLOutput`が返され、それ以外の場合は通常の`tuple`が返されます。

バッチの動画を潜在変数にエンコードします。

#### forward[[diffusers.AutoencoderKLAllegro.forward]]

```python
forward(sample: Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None)
```

[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_allegro.py#L1041)

**パラメータ:**

sample (`torch.Tensor`) : 入力サンプル。

sample_posterior (`bool`、*任意*、デフォルトは`False`) : 事後分布からサンプリングするかどうか。
return_dict (`bool`、*任意*、デフォルトは`True`) : プレーンなタプルではなく`DecoderOutput`を返すかどうか。

generator (`torch.Generator`, *任意*) : PyTorchの乱数生成器。

**戻り値:** `~models.vae.DecoderOutput` または `tuple`

`return_dict` が True の場合、`~models.vae.DecoderOutput` が返され、それ以外の場合は通常の `tuple` が返されます。

## AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]]
#### diffusers.models.modeling_outputs.AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]]
```python
diffusers.models.modeling_outputs.AutoencoderKLOutput(latent_dist: DiagonalGaussianDistribution)
```
[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/modeling_outputs.py#L7)
**パラメータ:**
latent_dist (`DiagonalGaussianDistribution`) : `Encoder` のエンコード済み出力を、`DiagonalGaussianDistribution` の平均と logvar として表したものです。`DiagonalGaussianDistribution` を使用すると、この分布から潜在変数をサンプリングできます。

AutoencoderKLのエンコードメソッドの出力。

## DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

#### diffusers.models.autoencoders.vae.DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

```python
diffusers.models.autoencoders.vae.DecoderOutput(sample: Tensor, commit_loss: typing.Optional[torch.FloatTensor] = None)
```

[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/vae.py#L49)

**パラメータ:**

sample (`torch.Tensor`、形状 `(batch_size, num_channels, height, width)`) : モデルの最終層からのデコード済み出力サンプル。

デコードメソッドの出力。

Xet Storage Details

Size:: 8.84 kB
Xet hash:: c70b498247e60fb65e38b8f1f4fa46b17996fe8854eef87349df72176b95449b

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.

	# AutoencoderKLAllegro

	[Allegro](https://github.com/rhymes-ai/Allegro)で使用されたKL損失付き3次元変分オートエンコーダ（VAE）モデルは、RhymesAIによる[Allegro: Open the Black Box of Commercial-Level Video Generation Model](https://huggingface.co/papers/2410.15458)で紹介されました。

	モデルは、以下のコードスニペットで読み込むことができます。

	```python
	from diffusers import AutoencoderKLAllegro

	vae = AutoencoderKLAllegro.from_pretrained("rhymes-ai/Allegro", subfolder="vae", dtype=torch.float32).to("cuda") # or "mps", "xpu", "cpu"
	```

	## AutoencoderKLAllegro[[diffusers.AutoencoderKLAllegro]]

	#### diffusers.AutoencoderKLAllegro[[diffusers.AutoencoderKLAllegro]]

	```python
	diffusers.AutoencoderKLAllegro(in_channels: int = 3, out_channels: int = 3, down_block_types: tuple[str, ...] = ('AllegroDownBlock3D', 'AllegroDownBlock3D', 'AllegroDownBlock3D', 'AllegroDownBlock3D'), up_block_types: tuple[str, ...] = ('AllegroUpBlock3D', 'AllegroUpBlock3D', 'AllegroUpBlock3D', 'AllegroUpBlock3D'), block_out_channels: tuple[int, ...] = (128, 256, 512, 512), temporal_downsample_blocks: tuple[bool, ...] = (True, True, False, False), temporal_upsample_blocks: tuple[bool, ...] = (False, True, True, False), latent_channels: int = 4, layers_per_block: int = 2, act_fn: str = 'silu', norm_num_groups: int = 32, temporal_compression_ratio: float = 4, sample_size: int = 320, scaling_factor: float = 0.13, force_upcast: bool = True)
	```

	[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_allegro.py#L676)

	パラメータ:

	in_channels (int、デフォルトは `3`) : 入力画像のチャネル数。

	out_channels (int、デフォルトは `3`) : 出力のチャネル数。

	down_block_types (`tuple[str, ...]`、デフォルトは`("AllegroDownBlock3D", "AllegroDownBlock3D", "AllegroDownBlock3D", "AllegroDownBlock3D")`) : 使用するダウンブロックの種類を示す文字列のタプル。

	up_block_types (`tuple[str, ...]`、デフォルトは `("AllegroUpBlock3D", "AllegroUpBlock3D", "AllegroUpBlock3D", "AllegroUpBlock3D")`) : 使用するアップブロックの種類を示す文字列のタプル。

	block_out_channels (`tuple[int, ...]`、デフォルトは`(128, 256, 512, 512)`) : 各ブロックの出力チャネル数を表す整数のタプル。

	temporal_downsample_blocks (`tuple[bool, ...]`、デフォルトは`(True, True, False, False)`) : 時間方向のダウンサンプリングを有効にするブロックを示すブール値のタプル。

	latent_channels (`int`、デフォルトは`4`) : 潜在変数のチャネル数。

	layers_per_block (`int`、デフォルトは`2`) : ダウンブロックおよびアップブロックごとのresnet層、attention層、またはtemporal convolution層の数。

	act_fn (`str`、デフォルトは`"silu"`) : 使用する活性化関数。

	norm_num_groups (`int`、デフォルトは`32`) : 正規化層で使用するグループ数。

	temporal_compression_ratio (`int`、デフォルトは`4`) : サンプルの時間次元が圧縮される比率。

	sample_size (`int`、デフォルトは`320`) : デフォルトの潜在サイズ。

	scaling_factor (`float`、デフォルトは `0.13235`) : 学習セットの最初のバッチを使用して計算された、学習済み潜在空間の要素ごとの標準偏差です。これは、拡散モデルの学習時に潜在空間を分散 1 にスケーリングするために使用されます。潜在変数は、拡散モデルに渡される前に `z = z * scaling_factor` という式でスケーリングされます。デコード時には、`z = 1 / scaling_factor * z` という式で元のスケールに戻されます。詳細については、[High-Resolution Image Synthesis with Latent Diffusion Models](https://huggingface.co/papers/2112.10752) 論文のセクション 4.3.2 と D.1 を参照してください。

	force_upcast (`bool`、デフォルトは`True`) : 有効にすると、SD-XLのような高解像度画像のパイプラインにおいて、VAEをfloat32で実行するよう強制します。VAEは、精度を大きく失うことなく低い範囲にファインチューニング/トレーニングできる場合があり、その場合は`force_upcast`を`False`に設定できます - 参考: https://huggingface.co/madebyollin/sdxl-vae-fp16-fix

	KL損失を用いて動画を潜在変数にエンコードし、潜在表現を動画にデコードするためのVAEモデル。[Allegro](https://github.com/rhymes-ai/Allegro)で使用されます。

	このモデルは [ModelMixin](/docs/diffusers/main/ja/api/models/overview#diffusers.ModelMixin) を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存など）については、スーパークラスのドキュメントを参照してください。

	#### decode[[diffusers.AutoencoderKLAllegro.decode]]

	```python
	decode(z: Tensor, return_dict: bool = True)
	```

	[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_allegro.py#L843)

	パラメータ:

	z (`torch.Tensor`) : 潜在ベクトルの入力バッチ。

	return_dict (`bool`、デフォルトは`True`) : プレーンなタプルではなく`~models.vae.DecoderOutput`を返すかどうか。

	戻り値: `~models.vae.DecoderOutput` または `tuple`

	return_dict が True の場合、`~models.vae.DecoderOutput` が返され、それ以外の場合は通常の `tuple` が返されます。

	バッチの動画をデコードします。

	#### encode[[diffusers.AutoencoderKLAllegro.encode]]

	```python
	encode(x: Tensor, return_dict: bool = True)
	```

	[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_allegro.py#L806)

	パラメータ:

	x (`torch.Tensor`) : 入力バッチの動画。

	return_dict (`bool`、デフォルトは`True`) : プレーンなタプルではなく`~models.autoencoder_kl.AutoencoderKLOutput`を返すかどうか。

	戻り値:

	エンコードされた動画の潜在表現。`return_dict`がTrueの場合、`~models.autoencoder_kl.AutoencoderKLOutput`が返され、それ以外の場合は通常の`tuple`が返されます。

	バッチの動画を潜在変数にエンコードします。

	#### forward[[diffusers.AutoencoderKLAllegro.forward]]

	```python
	forward(sample: Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None)
	```

	[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_allegro.py#L1041)

	パラメータ:

	sample (`torch.Tensor`) : 入力サンプル。

	sample_posterior (`bool`、任意、デフォルトは`False`) : 事後分布からサンプリングするかどうか。

	return_dict (`bool`、任意、デフォルトは`True`) : プレーンなタプルではなく`DecoderOutput`を返すかどうか。

	generator (`torch.Generator`, 任意) : PyTorchの乱数生成器。

	戻り値: `~models.vae.DecoderOutput` または `tuple`

	`return_dict` が True の場合、`~models.vae.DecoderOutput` が返され、それ以外の場合は通常の `tuple` が返されます。

	## AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]]

	#### diffusers.models.modeling_outputs.AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]]

	```python
	diffusers.models.modeling_outputs.AutoencoderKLOutput(latent_dist: DiagonalGaussianDistribution)
	```

	[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/modeling_outputs.py#L7)

	パラメータ:

	latent_dist (`DiagonalGaussianDistribution`) : `Encoder` のエンコード済み出力を、`DiagonalGaussianDistribution` の平均と logvar として表したものです。`DiagonalGaussianDistribution` を使用すると、この分布から潜在変数をサンプリングできます。

	AutoencoderKLのエンコードメソッドの出力。

	## DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

	#### diffusers.models.autoencoders.vae.DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

	```python
	diffusers.models.autoencoders.vae.DecoderOutput(sample: Tensor, commit_loss: typing.Optional[torch.FloatTensor] = None)
	```

	[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/vae.py#L49)

	パラメータ:

	sample (`torch.Tensor`、形状 `(batch_size, num_channels, height, width)`) : モデルの最終層からのデコード済み出力サンプル。

	デコードメソッドの出力。