Buckets:

hf-doc-build
/

doc

Files

xet

hf-doc-build/doc / diffusers /main /vi /api /models /allegro_transformer3d.md

mishig

8 days ago

preview code

download

raw

4.42 kB

# AllegroTransformer3DModel

Một mô hình Diffusion Transformer cho dữ liệu 3D từ [Allegro](https://github.com/rhymes-ai/Allegro) đã được giới thiệu trong [Allegro: Open the Black Box of Commercial-Level Video Generation Model](https://huggingface.co/papers/2410.15458) bởi RhymesAI.

Mô hình có thể được tải bằng đoạn mã sau.

```python
from diffusers import AllegroTransformer3DModel
transformer = AllegroTransformer3DModel.from_pretrained("rhymes-ai/Allegro", subfolder="transformer", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"
```

## AllegroTransformer3DModel[[diffusers.AllegroTransformer3DModel]]

#### diffusers.AllegroTransformer3DModel[[diffusers.AllegroTransformer3DModel]]

```python
diffusers.AllegroTransformer3DModel(patch_size: int = 2, patch_size_t: int = 1, num_attention_heads: int = 24, attention_head_dim: int = 96, in_channels: int = 4, out_channels: int = 4, num_layers: int = 32, dropout: float = 0.0, cross_attention_dim: int = 2304, attention_bias: bool = True, sample_height: int = 90, sample_width: int = 160, sample_frames: int = 22, activation_fn: str = 'gelu-approximate', norm_elementwise_affine: bool = False, norm_eps: float = 1e-06, caption_channels: int = 4096, interpolation_scale_h: float = 2.0, interpolation_scale_w: float = 2.0, interpolation_scale_t: float = 2.2)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/transformer_allegro.py#L174)

#### forward[[diffusers.AllegroTransformer3DModel.forward]]

```python
forward(hidden_states: Tensor, encoder_hidden_states: Tensor, timestep: LongTensor, attention_mask: typing.Optional[torch.Tensor] = None, encoder_attention_mask: typing.Optional[torch.Tensor] = None, image_rotary_emb: tuple[torch.Tensor, torch.Tensor] | None = None, return_dict: bool = True)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/transformer_allegro.py#L305)

**Tham số:**

hidden_states (`torch.Tensor` có hình dạng `(batch_size, num_channels, num_frames, height, width)`) : `hidden_states` đầu vào.
encoder_hidden_states (`torch.Tensor` có shape `(batch_size, sequence_len, embed_dims)`) : Các embeddings điều kiện (embeddings được tính từ các điều kiện đầu vào như prompts) cần sử dụng.

timestep (`torch.LongTensor`) : Dùng để chỉ bước khử nhiễu.

attention_mask (`torch.Tensor`, *tùy chọn*) : Mặt nạ tự chú ý (self-attention mask) được áp dụng cho `hidden_states`.

encoder_attention_mask (`torch.Tensor`, *tùy chọn*) : Mặt nạ chú ý chéo (cross-attention mask) được áp dụng cho `encoder_hidden_states`.

image_rotary_emb (`tuple` của `torch.Tensor`, *tuỳ chọn*) : Các nhúng vị trí quay đã tính trước.

return_dict (`bool`, *tùy chọn*, mặc định là `True`) : Có nên trả về một `~models.transformer_2d.Transformer2DModelOutput` thay vì một tuple thông thường hay không.

**Trả về:**

Nếu `return_dict` là True, một `~models.transformer_2d.Transformer2DModelOutput` sẽ được trả về, ngược lại một `tuple` trong đó phần tử đầu tiên là tensor mẫu.

Phương thức forward của [AllegroTransformer3DModel](/docs/diffusers/main/vi/api/models/allegro_transformer3d#diffusers.AllegroTransformer3DModel).

## Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]
#### diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]
```python
diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)
```
[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/modeling_outputs.py#L21)
**Tham số:**
sample (`torch.Tensor` có shape `(batch_size, num_channels, height, width)` hoặc `(batch size, num_vector_embeds - 1, num_latent_pixels)` nếu [Transformer2DModel](/docs/diffusers/main/vi/api/models/transformer2d#diffusers.Transformer2DModel) là discrete) : Đầu ra của hidden states được điều kiện bởi đầu vào `encoder_hidden_states`. Nếu là discrete, trả về các phân phối xác suất cho các latent pixels chưa bị nhiễu.
Đầu ra của [Transformer2DModel](/docs/diffusers/main/vi/api/models/transformer2d#diffusers.Transformer2DModel).

Xet Storage Details

Size:: 4.42 kB
Xet hash:: f49d076ace8ed36bd16ff5e7a949e869e8a98f6b41fdea298464b7ee0ed6b201

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.

	# AllegroTransformer3DModel

	Một mô hình Diffusion Transformer cho dữ liệu 3D từ [Allegro](https://github.com/rhymes-ai/Allegro) đã được giới thiệu trong [Allegro: Open the Black Box of Commercial-Level Video Generation Model](https://huggingface.co/papers/2410.15458) bởi RhymesAI.

	Mô hình có thể được tải bằng đoạn mã sau.

	```python
	from diffusers import AllegroTransformer3DModel

	transformer = AllegroTransformer3DModel.from_pretrained("rhymes-ai/Allegro", subfolder="transformer", dtype=torch.bfloat16).to("cuda") # or "mps", "xpu", "cpu"
	```

	## AllegroTransformer3DModel[[diffusers.AllegroTransformer3DModel]]

	#### diffusers.AllegroTransformer3DModel[[diffusers.AllegroTransformer3DModel]]

	```python
	diffusers.AllegroTransformer3DModel(patch_size: int = 2, patch_size_t: int = 1, num_attention_heads: int = 24, attention_head_dim: int = 96, in_channels: int = 4, out_channels: int = 4, num_layers: int = 32, dropout: float = 0.0, cross_attention_dim: int = 2304, attention_bias: bool = True, sample_height: int = 90, sample_width: int = 160, sample_frames: int = 22, activation_fn: str = 'gelu-approximate', norm_elementwise_affine: bool = False, norm_eps: float = 1e-06, caption_channels: int = 4096, interpolation_scale_h: float = 2.0, interpolation_scale_w: float = 2.0, interpolation_scale_t: float = 2.2)
	```

	[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/transformer_allegro.py#L174)

	#### forward[[diffusers.AllegroTransformer3DModel.forward]]

	```python
	forward(hidden_states: Tensor, encoder_hidden_states: Tensor, timestep: LongTensor, attention_mask: typing.Optional[torch.Tensor] = None, encoder_attention_mask: typing.Optional[torch.Tensor] = None, image_rotary_emb: tuple[torch.Tensor, torch.Tensor] \| None = None, return_dict: bool = True)
	```

	[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/transformer_allegro.py#L305)

	Tham số:

	hidden_states (`torch.Tensor` có hình dạng `(batch_size, num_channels, num_frames, height, width)`) : `hidden_states` đầu vào.

	encoder_hidden_states (`torch.Tensor` có shape `(batch_size, sequence_len, embed_dims)`) : Các embeddings điều kiện (embeddings được tính từ các điều kiện đầu vào như prompts) cần sử dụng.

	timestep (`torch.LongTensor`) : Dùng để chỉ bước khử nhiễu.

	attention_mask (`torch.Tensor`, tùy chọn) : Mặt nạ tự chú ý (self-attention mask) được áp dụng cho `hidden_states`.

	encoder_attention_mask (`torch.Tensor`, tùy chọn) : Mặt nạ chú ý chéo (cross-attention mask) được áp dụng cho `encoder_hidden_states`.

	image_rotary_emb (`tuple` của `torch.Tensor`, tuỳ chọn) : Các nhúng vị trí quay đã tính trước.

	return_dict (`bool`, tùy chọn, mặc định là `True`) : Có nên trả về một `~models.transformer_2d.Transformer2DModelOutput` thay vì một tuple thông thường hay không.

	Trả về:

	Nếu `return_dict` là True, một `~models.transformer_2d.Transformer2DModelOutput` sẽ được trả về, ngược lại một `tuple` trong đó phần tử đầu tiên là tensor mẫu.

	Phương thức forward của [AllegroTransformer3DModel](/docs/diffusers/main/vi/api/models/allegro_transformer3d#diffusers.AllegroTransformer3DModel).

	## Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

	#### diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

	```python
	diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)
	```

	[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/modeling_outputs.py#L21)

	Tham số:

	sample (`torch.Tensor` có shape `(batch_size, num_channels, height, width)` hoặc `(batch size, num_vector_embeds - 1, num_latent_pixels)` nếu [Transformer2DModel](/docs/diffusers/main/vi/api/models/transformer2d#diffusers.Transformer2DModel) là discrete) : Đầu ra của hidden states được điều kiện bởi đầu vào `encoder_hidden_states`. Nếu là discrete, trả về các phân phối xác suất cho các latent pixels chưa bị nhiễu.

	Đầu ra của [Transformer2DModel](/docs/diffusers/main/vi/api/models/transformer2d#diffusers.Transformer2DModel).