Buckets:

hf-doc-build
/

doc

Files

xet

hf-doc-build/doc / diffusers /main /vi /api /models /bria_transformer.md

mishig

about 3 hours ago

preview code

download

raw

5.19 kB

# BriaTransformer2DModel

Mô hình Transformer flux đã được sửa đổi từ [Bria](https://huggingface.co/briaai).

## BriaTransformer2DModel[[diffusers.BriaTransformer2DModel]]

#### diffusers.BriaTransformer2DModel[[diffusers.BriaTransformer2DModel]]

```python
diffusers.BriaTransformer2DModel(patch_size: int = 1, in_channels: int = 64, num_layers: int = 19, num_single_layers: int = 38, attention_head_dim: int = 128, num_attention_heads: int = 24, joint_attention_dim: int = 4096, pooled_projection_dim: int = None, guidance_embeds: bool = False, axes_dims_rope: list[int] = [16, 56, 56], rope_theta = 10000, time_theta = 10000)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/transformer_bria.py#L504)

**Tham số:**

patch_size (`int`) : Kích thước patch để chuyển dữ liệu đầu vào thành các patch nhỏ.
in_channels (`int`, *tuỳ chọn*, mặc định là 16) : Số lượng kênh trong đầu vào.

num_layers (`int`, *tuỳ chọn*, mặc định là 18) : Số lượng lớp của các khối MMDiT được sử dụng.
num_single_layers (`int`, *tuỳ chọn*, mặc định là 18) : Số lượng lớp của các khối DiT đơn cần sử dụng.
attention_head_dim (`int`, *tuỳ chọn*, mặc định là 64) : Số lượng kênh trong mỗi đầu.
num_attention_heads (`int`, *tuỳ chọn*, mặc định là 18) : Số lượng đầu (heads) được sử dụng cho chú ý đa đầu (multi-head attention).
joint_attention_dim (`int`, *optional*) : Số chiều của `encoder_hidden_states` cần sử dụng.
pooled_projection_dim (`int`) : Số chiều cần sử dụng khi chiếu `pooled_projections`.

guidance_embeds (`bool`, mặc định là False) : Có sử dụng guidance embeddings hay không.
Mô hình Transformer được giới thiệu trong Flux. Dựa trên FluxPipeline với một số thay đổi:
- không có embedding được pool
- Chúng tôi sử dụng zero padding cho prompts
- Không có guidance embedding vì đây không phải là phiên bản đã được distilled
Tham khảo: https://blackforestlabs.ai/announcing-black-forest-labs/
#### forward[[diffusers.BriaTransformer2DModel.forward]]
```python
forward(hidden_states: Tensor, encoder_hidden_states: Tensor = None, pooled_projections: Tensor = None, timestep: LongTensor = None, img_ids: Tensor = None, txt_ids: Tensor = None, guidance: Tensor = None, attention_kwargs: dict[str, typing.Any] | None = None, return_dict: bool = True, controlnet_block_samples = None, controlnet_single_block_samples = None)
```
[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/transformer_bria.py#L582)
**Tham số:**
hidden_states (`torch.FloatTensor` có hình dạng `(batch size, channel, height, width)`) : `hidden_states` đầu vào.
encoder_hidden_states (`torch.FloatTensor` có shape `(batch size, sequence_len, embed_dims)`) : Các embeddings điều kiện (embeddings được tính từ các điều kiện đầu vào như prompts) cần sử dụng.
pooled_projections (`torch.FloatTensor` có hình dạng `(batch_size, projection_dim)`) : Các embedding được chiếu từ các embedding của các điều kiện đầu vào.
timestep ( `torch.LongTensor`) : Dùng để chỉ bước khử nhiễu.
img_ids (`torch.Tensor`) : Các id vị trí ảnh được sử dụng để tính các nhúng vị trí quay (rotary positional embeddings).
txt_ids (`torch.Tensor`) : Các id vị trí văn bản được sử dụng để tính các nhúng vị trí quay (rotary positional embeddings).
guidance (`torch.Tensor`, *tùy chọn*) : Nhúng thang độ dẫn hướng được sử dụng cho các biến thể đã chưng cất dẫn hướng của mô hình.
controlnet_block_samples (`list` của `torch.Tensor`, *tùy chọn*) : Một danh sách các tensor mà nếu được chỉ định sẽ được cộng vào phần dư (residuals) của các khối transformer.
controlnet_single_block_samples (`list` của `torch.Tensor`, *tùy chọn*) : Một danh sách các tensor mà nếu được chỉ định sẽ được cộng vào phần dư (residuals) của các khối transformer đơn lẻ.
attention_kwargs (`dict`, *tùy chọn*) : Một từ điển kwargs mà nếu được chỉ định sẽ được truyền đến `AttentionProcessor` như đã định nghĩa dưới `self.processor` trong [diffusers.models.attention_processor](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py).
return_dict (`bool`, *tùy chọn*, mặc định là `True`) : Có nên trả về một `~models.transformer_2d.Transformer2DModelOutput` thay vì một tuple thông thường hay không.
**Trả về:**
Nếu `return_dict` là True, một `~models.transformer_2d.Transformer2DModelOutput` sẽ được trả về, ngược lại một `tuple` trong đó phần tử đầu tiên là tensor mẫu.
Phương thức forward của [BriaTransformer2DModel](/docs/diffusers/main/vi/api/models/bria_transformer#diffusers.BriaTransformer2DModel).

Xet Storage Details

Size:: 5.19 kB
Xet hash:: 41d6ee5d02c4ee36497ec842ad8bf778e287dff16d0524c242b4e541c702683e

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.

	# BriaTransformer2DModel

	Mô hình Transformer flux đã được sửa đổi từ [Bria](https://huggingface.co/briaai).

	## BriaTransformer2DModel[[diffusers.BriaTransformer2DModel]]

	#### diffusers.BriaTransformer2DModel[[diffusers.BriaTransformer2DModel]]

	```python
	diffusers.BriaTransformer2DModel(patch_size: int = 1, in_channels: int = 64, num_layers: int = 19, num_single_layers: int = 38, attention_head_dim: int = 128, num_attention_heads: int = 24, joint_attention_dim: int = 4096, pooled_projection_dim: int = None, guidance_embeds: bool = False, axes_dims_rope: list[int] = [16, 56, 56], rope_theta = 10000, time_theta = 10000)
	```

	[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/transformer_bria.py#L504)

	Tham số:

	patch_size (`int`) : Kích thước patch để chuyển dữ liệu đầu vào thành các patch nhỏ.

	in_channels (`int`, tuỳ chọn, mặc định là 16) : Số lượng kênh trong đầu vào.

	num_layers (`int`, tuỳ chọn, mặc định là 18) : Số lượng lớp của các khối MMDiT được sử dụng.

	num_single_layers (`int`, tuỳ chọn, mặc định là 18) : Số lượng lớp của các khối DiT đơn cần sử dụng.

	attention_head_dim (`int`, tuỳ chọn, mặc định là 64) : Số lượng kênh trong mỗi đầu.

	num_attention_heads (`int`, tuỳ chọn, mặc định là 18) : Số lượng đầu (heads) được sử dụng cho chú ý đa đầu (multi-head attention).

	joint_attention_dim (`int`, optional) : Số chiều của `encoder_hidden_states` cần sử dụng.

	pooled_projection_dim (`int`) : Số chiều cần sử dụng khi chiếu `pooled_projections`.

	guidance_embeds (`bool`, mặc định là False) : Có sử dụng guidance embeddings hay không.

	Mô hình Transformer được giới thiệu trong Flux. Dựa trên FluxPipeline với một số thay đổi:
	- không có embedding được pool
	- Chúng tôi sử dụng zero padding cho prompts
	- Không có guidance embedding vì đây không phải là phiên bản đã được distilled
	Tham khảo: https://blackforestlabs.ai/announcing-black-forest-labs/

	#### forward[[diffusers.BriaTransformer2DModel.forward]]

	```python
	forward(hidden_states: Tensor, encoder_hidden_states: Tensor = None, pooled_projections: Tensor = None, timestep: LongTensor = None, img_ids: Tensor = None, txt_ids: Tensor = None, guidance: Tensor = None, attention_kwargs: dict[str, typing.Any] \| None = None, return_dict: bool = True, controlnet_block_samples = None, controlnet_single_block_samples = None)
	```

	[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/transformer_bria.py#L582)

	Tham số:

	hidden_states (`torch.FloatTensor` có hình dạng `(batch size, channel, height, width)`) : `hidden_states` đầu vào.

	encoder_hidden_states (`torch.FloatTensor` có shape `(batch size, sequence_len, embed_dims)`) : Các embeddings điều kiện (embeddings được tính từ các điều kiện đầu vào như prompts) cần sử dụng.

	pooled_projections (`torch.FloatTensor` có hình dạng `(batch_size, projection_dim)`) : Các embedding được chiếu từ các embedding của các điều kiện đầu vào.

	timestep ( `torch.LongTensor`) : Dùng để chỉ bước khử nhiễu.

	img_ids (`torch.Tensor`) : Các id vị trí ảnh được sử dụng để tính các nhúng vị trí quay (rotary positional embeddings).

	txt_ids (`torch.Tensor`) : Các id vị trí văn bản được sử dụng để tính các nhúng vị trí quay (rotary positional embeddings).

	guidance (`torch.Tensor`, tùy chọn) : Nhúng thang độ dẫn hướng được sử dụng cho các biến thể đã chưng cất dẫn hướng của mô hình.

	controlnet_block_samples (`list` của `torch.Tensor`, tùy chọn) : Một danh sách các tensor mà nếu được chỉ định sẽ được cộng vào phần dư (residuals) của các khối transformer.

	controlnet_single_block_samples (`list` của `torch.Tensor`, tùy chọn) : Một danh sách các tensor mà nếu được chỉ định sẽ được cộng vào phần dư (residuals) của các khối transformer đơn lẻ.

	attention_kwargs (`dict`, tùy chọn) : Một từ điển kwargs mà nếu được chỉ định sẽ được truyền đến `AttentionProcessor` như đã định nghĩa dưới `self.processor` trong [diffusers.models.attention_processor](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py).

	return_dict (`bool`, tùy chọn, mặc định là `True`) : Có nên trả về một `~models.transformer_2d.Transformer2DModelOutput` thay vì một tuple thông thường hay không.

	Trả về:

	Nếu `return_dict` là True, một `~models.transformer_2d.Transformer2DModelOutput` sẽ được trả về, ngược lại một `tuple` trong đó phần tử đầu tiên là tensor mẫu.

	Phương thức forward của [BriaTransformer2DModel](/docs/diffusers/main/vi/api/models/bria_transformer#diffusers.BriaTransformer2DModel).