Buckets:

hf-doc-build
/

doc

Files

xet

hf-doc-build/doc / diffusers /main /ru /api /models /sana_transformer2d.md

mishig

8 days ago

preview code

download

raw

11.6 kB

# SanaTransformer2DModel

Модель Diffusion Transformer для 2D-данных из [SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformers](https://huggingface.co/papers/2410.10629) была представлена NVIDIA и MIT HAN Lab, авторами Enze Xie, Junsong Chen, Junyu Chen, Han Cai, Haotian Tang, Yujun Lin, Zhekai Zhang, Muyang Li, Ligeng Zhu, Yao Lu, Song Han.

Аннотация из статьи:

*Мы представляем Sana — фреймворк для генерации изображений по текстовому описанию, способный эффективно создавать изображения с разрешением до 4096×4096. Sana синтезирует изображения высокого разрешения и качества с сильной согласованностью текста и изображения на удивительно высокой скорости, при этом его можно развернуть на GPU ноутбука. Ключевые элементы архитектуры: (1) Автоэнкодер с глубокой компрессией: в отличие от традиционных AE, которые сжимают изображения только в 8 раз, мы обучили AE, способный сжимать изображения в 32 раза, что эффективно снижает количество латентных токенов. (2) Linear DiT: мы заменили все стандартные механизмы внимания в DiT на линейное внимание, которое более эффективно при высоких разрешениях без потери качества. (3) Текстовый энкодер только с декодером: мы заменили T5 на современный небольшой LLM с архитектурой только с декодером в качестве текстового энкодера и разработали сложные инструкции для людей с использованием обучения в контексте, чтобы усилить согласованность текста и изображения. (4) Эффективное обучение и сэмплирование: мы предлагаем Flow-DPM-Solver для сокращения числа шагов сэмплирования, а также эффективное размечивание и отбор описаний для ускорения сходимости. В результате Sana-0.6B очень конкурентоспособен по сравнению с современными гигантскими диффузионными моделями (например, Flux-12B), будучи в 20 раз меньше и более чем в 100 раз быстрее по измеренной пропускной способности. Более того, Sana-0.6B можно развернуть на GPU ноутбука с 16 ГБ памяти, при этом генерация изображения с разрешением 1024×1024 занимает менее 1 секунды. Sana позволяет создавать контент с низкими затратами. Код и модель будут опубликованы.*

Модель можно загрузить с помощью следующего фрагмента кода.

```python
from diffusers import SanaTransformer2DModel
transformer = SanaTransformer2DModel.from_pretrained("Efficient-Large-Model/Sana_1600M_1024px_BF16_diffusers", subfolder="transformer", dtype=torch.bfloat16)
```

## SanaTransformer2DModel[[diffusers.SanaTransformer2DModel]]

#### diffusers.SanaTransformer2DModel[[diffusers.SanaTransformer2DModel]]

```python
diffusers.SanaTransformer2DModel(in_channels: int = 32, out_channels: int | None = 32, num_attention_heads: int = 70, attention_head_dim: int = 32, num_layers: int = 20, num_cross_attention_heads: int | None = 20, cross_attention_head_dim: int | None = 112, cross_attention_dim: int | None = 2240, caption_channels: int = 2304, mlp_ratio: float = 2.5, dropout: float = 0.0, attention_bias: bool = False, sample_size: int = 32, patch_size: int = 1, norm_elementwise_affine: bool = False, norm_eps: float = 1e-06, interpolation_scale: int | None = None, guidance_embeds: bool = False, guidance_embeds_scale: float = 0.1, qk_norm: str | None = None, timestep_scale: float = 1.0)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/sana_transformer.py#L294)

**Параметры:**

in_channels (`int`, по умолчанию `32`) : количество каналов на входе.
out_channels (`int`, *необязательный*, по умолчанию `32`) : Количество каналов на выходе.

num_attention_heads (`int`, по умолчанию `70`) : Количество головок для использования в механизме multi-head attention.

attention_head_dim (`int`, по умолчанию `32`) : количество каналов в каждой голове.

num_layers (`int`, по умолчанию `20`) : Количество блоков Transformer, которые следует использовать.
num_cross_attention_heads (`int`, *необязательный*, по умолчанию `20`) : Количество головок, используемых для кросс-внимания.

cross_attention_head_dim (`int`, *необязательный*, по умолчанию `112`) : Количество каналов в каждой голове для кросс-внимания.
cross_attention_dim (`int`, *необязательный*, по умолчанию `2240`) : Количество каналов на выходе кросс-внимания.
caption_channels (`int`, по умолчанию `2304`) : Количество каналов в эмбеддингах подписей.

mlp_ratio (`float`, по умолчанию `2.5`) : Коэффициент расширения, используемый в слое GLUMBConv.
dropout (`float`, по умолчанию `0.0`) : Вероятность dropout.
attention_bias (`bool`, по умолчанию `False`) : Использовать ли смещение (bias) в слое внимания.

sample_size (`int`, по умолчанию `32`) : Базовый размер входного латента.
patch_size (`int`, по умолчанию `1`) : Размер патчей, используемых в слое встраивания патчей.

norm_elementwise_affine (`bool`, по умолчанию `False`) : Использовать ли поэлементное сродство в слое нормализации.

norm_eps (`float`, по умолчанию `1e-6`) : Значение эпсилона для слоя нормализации.
qk_norm (`str`, *необязательный*, по умолчанию `None`) : Нормализация, используемая для запроса и ключа.

timestep_scale (`float`, по умолчанию `1.0`) : Масштаб, используемый для шагов времени.
Двумерная модель Transformer, представленная в семействе моделей [Sana](https://huggingface.co/papers/2410.10629).
#### forward[[diffusers.SanaTransformer2DModel.forward]]
```python
forward(hidden_states: Tensor, encoder_hidden_states: Tensor, timestep: Tensor, guidance: typing.Optional[torch.Tensor] = None, encoder_attention_mask: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, attention_kwargs: dict[str, typing.Any] | None = None, controlnet_block_samples: tuple[torch.Tensor] | None = None, return_dict: bool = True)
```
[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/sana_transformer.py#L419)
**Параметры:**
hidden_states (`torch.Tensor` формы `(batch_size, in_channels, height, width)`) : Входные `hidden_states`.

encoder_hidden_states (`torch.Tensor` формы `(batch_size, sequence_len, embed_dims)`) : Условные эмбеддинги (эмбеддинги, вычисленные на основе входных условий, таких как промпты), которые следует использовать.

timestep (`torch.LongTensor`) : Используется для указания шага денойзинга.

guidance (`torch.Tensor`, *необязательный*) : Встраивание масштаба руководства.

encoder_attention_mask (`torch.Tensor`, *необязательный*) : Маска кросс-внимания, применяемая к `encoder_hidden_states`.

attention_mask (`torch.Tensor`, *необязательный*) : Маска само-внимания, применяемая к `hidden_states`.

attention_kwargs (`dict`, *необязательный*) : Словарь kwargs, который при указании передается в `AttentionProcessor`, определенный в `self.processor` в [diffusers.models.attention_processor](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py).
controlnet_block_samples (`tuple` из `torch.Tensor`, *необязательный*) : Список тензоров, которые при указании добавляются к остаточным связям блоков трансформера.
return_dict (`bool`, *необязательный*, по умолчанию `True`) : Возвращать ли `~models.transformer_2d.Transformer2DModelOutput` вместо обычного кортежа.

**Возвращает:**

Если `return_dict` равно True, возвращается `~models.transformer_2d.Transformer2DModelOutput`, иначе — `tuple`, первым элементом которого является тензор выборки.

Метод forward модели [SanaTransformer2DModel](/docs/diffusers/main/ru/api/models/sana_transformer2d#diffusers.SanaTransformer2DModel).

## Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]
#### diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]
```python
diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)
```
[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/modeling_outputs.py#L21)
**Параметры:**
sample (`torch.Tensor` формы `(batch_size, num_channels, height, width)` или `(batch size, num_vector_embeds - 1, num_latent_pixels)`, если [Transformer2DModel](/docs/diffusers/main/ru/api/models/transformer2d#diffusers.Transformer2DModel) дискретный): выходные скрытые состояния, обусловленные входом `encoder_hidden_states`. Если модель дискретная, возвращает распределения вероятностей для ненашумленных латентных пикселей.
Вывод [Transformer2DModel](/docs/diffusers/main/ru/api/models/transformer2d#diffusers.Transformer2DModel).

Xet Storage Details

Size:: 11.6 kB
Xet hash:: e7e9d74491fb63820d981dac2ddbf3d298c66ba63c7134a59212d46b34c0c729

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.

	# SanaTransformer2DModel

	Модель Diffusion Transformer для 2D-данных из [SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformers](https://huggingface.co/papers/2410.10629) была представлена NVIDIA и MIT HAN Lab, авторами Enze Xie, Junsong Chen, Junyu Chen, Han Cai, Haotian Tang, Yujun Lin, Zhekai Zhang, Muyang Li, Ligeng Zhu, Yao Lu, Song Han.

	Аннотация из статьи:

	Мы представляем Sana — фреймворк для генерации изображений по текстовому описанию, способный эффективно создавать изображения с разрешением до 4096×4096. Sana синтезирует изображения высокого разрешения и качества с сильной согласованностью текста и изображения на удивительно высокой скорости, при этом его можно развернуть на GPU ноутбука. Ключевые элементы архитектуры: (1) Автоэнкодер с глубокой компрессией: в отличие от традиционных AE, которые сжимают изображения только в 8 раз, мы обучили AE, способный сжимать изображения в 32 раза, что эффективно снижает количество латентных токенов. (2) Linear DiT: мы заменили все стандартные механизмы внимания в DiT на линейное внимание, которое более эффективно при высоких разрешениях без потери качества. (3) Текстовый энкодер только с декодером: мы заменили T5 на современный небольшой LLM с архитектурой только с декодером в качестве текстового энкодера и разработали сложные инструкции для людей с использованием обучения в контексте, чтобы усилить согласованность текста и изображения. (4) Эффективное обучение и сэмплирование: мы предлагаем Flow-DPM-Solver для сокращения числа шагов сэмплирования, а также эффективное размечивание и отбор описаний для ускорения сходимости. В результате Sana-0.6B очень конкурентоспособен по сравнению с современными гигантскими диффузионными моделями (например, Flux-12B), будучи в 20 раз меньше и более чем в 100 раз быстрее по измеренной пропускной способности. Более того, Sana-0.6B можно развернуть на GPU ноутбука с 16 ГБ памяти, при этом генерация изображения с разрешением 1024×1024 занимает менее 1 секунды. Sana позволяет создавать контент с низкими затратами. Код и модель будут опубликованы.

	Модель можно загрузить с помощью следующего фрагмента кода.

	```python
	from diffusers import SanaTransformer2DModel

	transformer = SanaTransformer2DModel.from_pretrained("Efficient-Large-Model/Sana_1600M_1024px_BF16_diffusers", subfolder="transformer", dtype=torch.bfloat16)
	```

	## SanaTransformer2DModel[[diffusers.SanaTransformer2DModel]]

	#### diffusers.SanaTransformer2DModel[[diffusers.SanaTransformer2DModel]]

	```python
	diffusers.SanaTransformer2DModel(in_channels: int = 32, out_channels: int \| None = 32, num_attention_heads: int = 70, attention_head_dim: int = 32, num_layers: int = 20, num_cross_attention_heads: int \| None = 20, cross_attention_head_dim: int \| None = 112, cross_attention_dim: int \| None = 2240, caption_channels: int = 2304, mlp_ratio: float = 2.5, dropout: float = 0.0, attention_bias: bool = False, sample_size: int = 32, patch_size: int = 1, norm_elementwise_affine: bool = False, norm_eps: float = 1e-06, interpolation_scale: int \| None = None, guidance_embeds: bool = False, guidance_embeds_scale: float = 0.1, qk_norm: str \| None = None, timestep_scale: float = 1.0)
	```

	[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/sana_transformer.py#L294)

	Параметры:

	in_channels (`int`, по умолчанию `32`) : количество каналов на входе.

	out_channels (`int`, необязательный, по умолчанию `32`) : Количество каналов на выходе.

	num_attention_heads (`int`, по умолчанию `70`) : Количество головок для использования в механизме multi-head attention.

	attention_head_dim (`int`, по умолчанию `32`) : количество каналов в каждой голове.

	num_layers (`int`, по умолчанию `20`) : Количество блоков Transformer, которые следует использовать.

	num_cross_attention_heads (`int`, необязательный, по умолчанию `20`) : Количество головок, используемых для кросс-внимания.

	cross_attention_head_dim (`int`, необязательный, по умолчанию `112`) : Количество каналов в каждой голове для кросс-внимания.

	cross_attention_dim (`int`, необязательный, по умолчанию `2240`) : Количество каналов на выходе кросс-внимания.

	caption_channels (`int`, по умолчанию `2304`) : Количество каналов в эмбеддингах подписей.

	mlp_ratio (`float`, по умолчанию `2.5`) : Коэффициент расширения, используемый в слое GLUMBConv.

	dropout (`float`, по умолчанию `0.0`) : Вероятность dropout.

	attention_bias (`bool`, по умолчанию `False`) : Использовать ли смещение (bias) в слое внимания.

	sample_size (`int`, по умолчанию `32`) : Базовый размер входного латента.

	patch_size (`int`, по умолчанию `1`) : Размер патчей, используемых в слое встраивания патчей.

	norm_elementwise_affine (`bool`, по умолчанию `False`) : Использовать ли поэлементное сродство в слое нормализации.

	norm_eps (`float`, по умолчанию `1e-6`) : Значение эпсилона для слоя нормализации.

	qk_norm (`str`, необязательный, по умолчанию `None`) : Нормализация, используемая для запроса и ключа.

	timestep_scale (`float`, по умолчанию `1.0`) : Масштаб, используемый для шагов времени.

	Двумерная модель Transformer, представленная в семействе моделей [Sana](https://huggingface.co/papers/2410.10629).

	#### forward[[diffusers.SanaTransformer2DModel.forward]]

	```python
	forward(hidden_states: Tensor, encoder_hidden_states: Tensor, timestep: Tensor, guidance: typing.Optional[torch.Tensor] = None, encoder_attention_mask: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, attention_kwargs: dict[str, typing.Any] \| None = None, controlnet_block_samples: tuple[torch.Tensor] \| None = None, return_dict: bool = True)
	```

	[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/sana_transformer.py#L419)

	Параметры:

	hidden_states (`torch.Tensor` формы `(batch_size, in_channels, height, width)`) : Входные `hidden_states`.

	encoder_hidden_states (`torch.Tensor` формы `(batch_size, sequence_len, embed_dims)`) : Условные эмбеддинги (эмбеддинги, вычисленные на основе входных условий, таких как промпты), которые следует использовать.

	timestep (`torch.LongTensor`) : Используется для указания шага денойзинга.

	guidance (`torch.Tensor`, необязательный) : Встраивание масштаба руководства.

	encoder_attention_mask (`torch.Tensor`, необязательный) : Маска кросс-внимания, применяемая к `encoder_hidden_states`.

	attention_mask (`torch.Tensor`, необязательный) : Маска само-внимания, применяемая к `hidden_states`.

	attention_kwargs (`dict`, необязательный) : Словарь kwargs, который при указании передается в `AttentionProcessor`, определенный в `self.processor` в [diffusers.models.attention_processor](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py).

	controlnet_block_samples (`tuple` из `torch.Tensor`, необязательный) : Список тензоров, которые при указании добавляются к остаточным связям блоков трансформера.

	return_dict (`bool`, необязательный, по умолчанию `True`) : Возвращать ли `~models.transformer_2d.Transformer2DModelOutput` вместо обычного кортежа.

	Возвращает:

	Если `return_dict` равно True, возвращается `~models.transformer_2d.Transformer2DModelOutput`, иначе — `tuple`, первым элементом которого является тензор выборки.

	Метод forward модели [SanaTransformer2DModel](/docs/diffusers/main/ru/api/models/sana_transformer2d#diffusers.SanaTransformer2DModel).

	## Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

	#### diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

	```python
	diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)
	```

	[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/modeling_outputs.py#L21)

	Параметры:

	sample (`torch.Tensor` формы `(batch_size, num_channels, height, width)` или `(batch size, num_vector_embeds - 1, num_latent_pixels)`, если [Transformer2DModel](/docs/diffusers/main/ru/api/models/transformer2d#diffusers.Transformer2DModel) дискретный): выходные скрытые состояния, обусловленные входом `encoder_hidden_states`. Если модель дискретная, возвращает распределения вероятностей для ненашумленных латентных пикселей.

	Вывод [Transformer2DModel](/docs/diffusers/main/ru/api/models/transformer2d#diffusers.Transformer2DModel).