Hugging Face's logo

Buckets:
hf-doc-build
/
doc

Files
xet
hf-doc-build/doc / diffusers /v0.43.0 /zh /api /models /autoencoder_dc.md
mishig's picture
mishig
preview code
|
download
raw
12 kB
# AutoencoderDC
[SANA](https://huggingface.co/papers/2410.10629) 中使用的 2D 自编码器模型，由 MIT HAN Lab 的 Junyu Chen\*、Han Cai\*、Junsong Chen、Enze Xie、Shang Yang、Haotian Tang、Muyang Li、Yao Lu 和 Song Han 在 [DCAE](https://huggingface.co/papers/2410.10733) 中提出。
该论文的摘要如下：
*我们提出了 Deep Compression Autoencoder（DC-AE），这是一种用于加速高分辨率扩散模型的新型自编码器模型家族。现有的自编码器模型在中等空间压缩比（例如 8x）下已展现出令人印象深刻的结果，但在高空间压缩比（例如 64x）下无法保持令人满意的重建精度。我们通过引入两项关键技术来解决这一挑战：（1）残差自编码（Residual Autoencoding），我们设计模型基于空间到通道（space-to-channel）变换后的特征来学习残差，以缓解高空间压缩自编码器的优化难度；（2）解耦高分辨率适配（Decoupled High-Resolution Adaptation），一种高效的解耦三阶段训练策略，用于减轻高空间压缩自编码器的泛化惩罚。借助这些设计，我们在保持重建质量的同时，将自编码器的空间压缩比提升至 128。将我们的 DC-AE 应用于潜在扩散模型（latent diffusion models）时，我们在不降低精度的情况下实现了显著的速度提升。例如，在 ImageNet 512x512 上，与广泛使用的 SD-VAE-f8 自编码器相比，我们的 DC-AE 在 H100 GPU 上为 UViT-H 提供了 19.1 倍的推理加速和 17.9 倍的训练加速，同时取得了更好的 FID。我们的代码可在 [this https URL](https://github.com/mit-han-lab/efficientvit) 获取。*
以下 DCAE 模型已在 Diffusers 中发布并得到支持。
| Diffusers 格式 | 原始格式 |
|:----------------:|:---------------:|
| [`mit-han-lab/dc-ae-f32c32-sana-1.0-diffusers`](https://huggingface.co/mit-han-lab/dc-ae-f32c32-sana-1.0-diffusers) | [`mit-han-lab/dc-ae-f32c32-sana-1.0`](https://huggingface.co/mit-han-lab/dc-ae-f32c32-sana-1.0)
| [`mit-han-lab/dc-ae-f32c32-in-1.0-diffusers`](https://huggingface.co/mit-han-lab/dc-ae-f32c32-in-1.0-diffusers) | [`mit-han-lab/dc-ae-f32c32-in-1.0`](https://huggingface.co/mit-han-lab/dc-ae-f32c32-in-1.0)
| [`mit-han-lab/dc-ae-f32c32-mix-1.0-diffusers`](https://huggingface.co/mit-han-lab/dc-ae-f32c32-mix-1.0-diffusers) | [`mit-han-lab/dc-ae-f32c32-mix-1.0`](https://huggingface.co/mit-han-lab/dc-ae-f32c32-mix-1.0)
| [`mit-han-lab/dc-ae-f64c128-in-1.0-diffusers`](https://huggingface.co/mit-han-lab/dc-ae-f64c128-in-1.0-diffusers) | [`mit-han-lab/dc-ae-f64c128-in-1.0`](https://huggingface.co/mit-han-lab/dc-ae-f64c128-in-1.0)
| [`mit-han-lab/dc-ae-f64c128-mix-1.0-diffusers`](https://huggingface.co/mit-han-lab/dc-ae-f64c128-mix-1.0-diffusers) | [`mit-han-lab/dc-ae-f64c128-mix-1.0`](https://huggingface.co/mit-han-lab/dc-ae-f64c128-mix-1.0)
| [`mit-han-lab/dc-ae-f128c512-in-1.0-diffusers`](https://huggingface.co/mit-han-lab/dc-ae-f128c512-in-1.0-diffusers) | [`mit-han-lab/dc-ae-f128c512-in-1.0`](https://huggingface.co/mit-han-lab/dc-ae-f128c512-in-1.0)
| [`mit-han-lab/dc-ae-f128c512-mix-1.0-diffusers`](https://huggingface.co/mit-han-lab/dc-ae-f128c512-mix-1.0-diffusers) | [`mit-han-lab/dc-ae-f128c512-mix-1.0`](https://huggingface.co/mit-han-lab/dc-ae-f128c512-mix-1.0)
该模型由 [lawrence-cj](https://github.com/lawrence-cj) 贡献。
使用 [from_pretrained()](/docs/diffusers/v0.43.0/zh/api/models/overview#diffusers.ModelMixin.from_pretrained) 以 Diffusers 格式加载模型。
```python
from diffusers import AutoencoderDC
ae = AutoencoderDC.from_pretrained("mit-han-lab/dc-ae-f32c32-sana-1.0-diffusers", dtype=torch.float32).to("cuda") # or "mps", "xpu", "cpu"
```
## 通过 `from_single_file` 在 Diffusers 中加载模型
```python
from difusers import AutoencoderDC
ckpt_path = "https://huggingface.co/mit-han-lab/dc-ae-f32c32-sana-1.0/blob/main/model.safetensors"
model = AutoencoderDC.from_single_file(ckpt_path)
```
`AutoencoderDC` 模型具有 `in` 和 `mix` 两种单文件检查点变体，它们的检查点键相匹配，但使用不同的缩放因子。Diffusers 无法仅根据检查点自动推断出应使用的正确配置文件，因此默认会使用 `mix` 变体的配置文件来配置模型。若要覆盖自动确定的配置，请在对 `in` 变体检查点使用单文件加载时，使用 `config` 参数。
```python
from diffusers import AutoencoderDC
ckpt_path = "https://huggingface.co/mit-han-lab/dc-ae-f128c512-in-1.0/blob/main/model.safetensors"
model = AutoencoderDC.from_single_file(ckpt_path, config="mit-han-lab/dc-ae-f128c512-in-1.0-diffusers")
```
## AutoencoderDC[[diffusers.AutoencoderDC]]
#### diffusers.AutoencoderDC[[diffusers.AutoencoderDC]]
```python
diffusers.AutoencoderDC(in_channels: int = 3, latent_channels: int = 32, attention_head_dim: int = 32, encoder_block_types: str | tuple[str] = 'ResBlock', decoder_block_types: str | tuple[str] = 'ResBlock', encoder_block_out_channels: tuple[int, ...] = (128, 256, 512, 512, 1024, 1024), decoder_block_out_channels: tuple[int, ...] = (128, 256, 512, 512, 1024, 1024), encoder_layers_per_block: tuple[int, ...] = (2, 2, 2, 3, 3, 3), decoder_layers_per_block: tuple[int, ...] = (3, 3, 3, 3, 3, 3), encoder_qkv_multiscales: tuple[tuple[int, ...], ...] = ((), (), (), (5,), (5,), (5,)), decoder_qkv_multiscales: tuple[tuple[int, ...], ...] = ((), (), (), (5,), (5,), (5,)), upsample_block_type: str = 'pixel_shuffle', downsample_block_type: str = 'pixel_unshuffle', decoder_norm_types: str | tuple[str] = 'rms_norm', decoder_act_fns: str | tuple[str] = 'silu', encoder_out_shortcut: bool = True, decoder_in_shortcut: bool = True, decoder_conv_act_fn: str = 'relu', scaling_factor: float = 1.0)
```
[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/autoencoders/autoencoder_dc.py#L380)
**参数：**
in_channels (`int`，默认为 `3`)：样本中的输入通道数。
latent_channels (`int`，默认为 `32`)：潜在空间表示中的通道数。
encoder_block_types (`str | tuple[str]`，默认为 `"ResBlock"`)：编码器中使用的块类型。
decoder_block_types (`str | tuple[str]`，默认为 `"ResBlock"`)：解码器中使用的块类型。
encoder_block_out_channels (`tuple[int, ...]`，默认为 `(128, 256, 512, 512, 1024, 1024)`)：编码器中每个块的输出通道数。
decoder_block_out_channels (`tuple[int, ...]`，默认为 `(128, 256, 512, 512, 1024, 1024)`)：解码器中每个块的输出通道数。
encoder_layers_per_block (`tuple[int]`，默认为 `(2, 2, 2, 3, 3, 3)`)：编码器中每个块的层数。
decoder_layers_per_block (`tuple[int]`，默认为 `(3, 3, 3, 3, 3, 3)`)：解码器中每个 block 的层数。
encoder_qkv_multiscales (`tuple[tuple[int, ...], ...]`，默认为 `((), (), (), (5,), (5,), (5,))`)：编码器 QKV（query-key-value）变换的多尺度配置。
decoder_qkv_multiscales (`tuple[tuple[int, ...], ...]`，默认为 `((), (), (), (5,), (5,), (5,))`)：解码器 QKV（query-key-value）变换的多尺度配置。
upsample_block_type (`str`，默认为 `"pixel_shuffle"`)：在解码器中用于上采样的块类型。
downsample_block_type (`str`，默认为 `"pixel_unshuffle"`)：编码器中用于下采样的块类型。
decoder_norm_types (`str | tuple[str]`，默认为 `"rms_norm"`)：解码器中使用的归一化类型。
decoder_act_fns (`str | tuple[str]`，默认为 `"silu"`)：解码器中使用的激活函数。
encoder_out_shortcut (`bool`, 默认为 `True`) : 是否在编码器末尾使用 shortcut。
decoder_in_shortcut (`bool`，默认为 `True`)：是否在解码器开头使用快捷方式。
decoder_conv_act_fn (`str`，默认为 `"relu"`)：解码器末尾使用的激活函数。
scaling_factor (`float`，默认为 `1.0`)：潜在特征均方根值的乘法逆元。该值用于在训练扩散模型时将潜在空间缩放至单位方差。在传入扩散模型之前，潜在变量会按公式 `z = z * scaling_factor` 进行缩放。解码时，潜在变量会按以下公式缩放回原始尺度：`z = 1 / scaling_factor * z`。
在 [DCAE](https://huggingface.co/papers/2410.10733) 中引入并在 [SANA](https://huggingface.co/papers/2410.10629) 中使用的自编码器模型。
该模型继承自 [ModelMixin](/docs/diffusers/v0.43.0/zh/api/models/overview#diffusers.ModelMixin)。请查阅其父类文档，了解为所有模型实现的通用方法（例如下载或保存）。
#### encode[[diffusers.AutoencoderDC.encode]]
```python
encode(x: Tensor, return_dict: bool = True)
```
[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/autoencoders/autoencoder_dc.py#L548)
**参数：**
x (`torch.Tensor`) : 输入图像批次。
return_dict (`bool`，默认为 `True`)：是否返回 `~models.vae.EncoderOutput` 而不是普通元组。
**返回值：**
编码视频的潜在表示。如果 `return_dict` 为 True，则返回 `~models.vae.EncoderOutput`，否则返回普通的 `tuple`。
将一批图像编码为潜在表示。
#### decode[[diffusers.AutoencoderDC.decode]]
```python
decode(z: Tensor, return_dict: bool = True)
```
[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/autoencoders/autoencoder_dc.py#L582)
**参数：**
z (`torch.Tensor`) : 输入的潜在向量批次。
return_dict (`bool`，默认为 `True`)：是否返回 `~models.vae.DecoderOutput` 而不是普通元组。
**返回：** `~models.vae.DecoderOutput` 或 `tuple`
如果 return_dict 为 True，则返回 `~models.vae.DecoderOutput`，否则返回普通的 `tuple`。
解码一批图像。
#### enable_tiling[[diffusers.AutoencoderDC.enable_tiling]]
```python
enable_tiling(tile_sample_min_height: int | None = None, tile_sample_min_width: int | None = None, tile_sample_stride_height: float | None = None, tile_sample_stride_width: float | None = None)
```
[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/autoencoders/autoencoder_dc.py#L506)
**参数：**
tile_sample_min_height (`int`, *可选*) : 样本在高度维度上被分割为多个图块所需的最小高度。
tile_sample_min_width (`int`, *可选*) : 将样本沿宽度维度分割为多个图块所需的最小宽度。
tile_sample_stride_height (`int`, *可选*) : 两个连续垂直瓦片之间的最小重叠量。这旨在确保在高度维度上不会产生瓦片拼接伪影。
tile_sample_stride_width (`int`, *可选*) : 两个相邻水平瓦片之间的步长。这用于确保在宽度维度上不会产生瓦片伪影。
启用分块 AE 解码。启用此选项后，AE 会将输入张量拆分为多个块，分步执行解码和编码。这有助于节省大量内存，并支持处理更大的图像。
#### forward[[diffusers.AutoencoderDC.forward]]
```python
forward(sample: Tensor, return_dict: bool = True)
```
[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/autoencoders/autoencoder_dc.py#L708)
**参数：**
sample (`torch.Tensor`) : 输入样本。
return_dict (`bool`，*可选*，默认为 `True`)：是否返回 `DecoderOutput` 而不是普通元组。
**返回：** `~models.vae.DecoderOutput` 或 `tuple`
如果 `return_dict` 为 True，则返回 `~models.vae.DecoderOutput`，否则返回普通的 `tuple`。
## DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]
#### diffusers.models.autoencoders.vae.DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]
```python
diffusers.models.autoencoders.vae.DecoderOutput(sample: Tensor, commit_loss: typing.Optional[torch.FloatTensor] = None)
```
[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/autoencoders/vae.py#L49)
**参数：**
sample (`torch.Tensor`，形状为 `(batch_size, num_channels, height, width)`)：模型最后一层解码后的输出样本。
解码方法的输出。

Xet Storage Details

Size:
12 kB
·
Xet hash:
852f549dc866dc26c08f315241f7dee5aff4c4b1cfe95c0c35bfc905553d657d

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.