diffusers/v0.43.0/vi/api/normalization.md

Các lớp chuẩn hóa

Các lớp chuẩn hóa tùy chỉnh để hỗ trợ nhiều mô hình khác nhau trong 🤗 Diffusers.

AdaLayerNorm[[diffusers.models.normalization.AdaLayerNorm]]

diffusers.models.normalization.AdaLayerNorm[[diffusers.models.normalization.AdaLayerNorm]]

diffusers.models.normalization.AdaLayerNorm(embedding_dim: int, num_embeddings: int | None = None, output_dim: int | None = None, norm_elementwise_affine: bool = False, norm_eps: float = 1e-05, chunk_dim: int = 0)

Nguồn

Tham số:

embedding_dim (int) : Kích thước của mỗi vector nhúng.

num_embeddings (int, tuỳ chọn) : Kích thước của từ điển nhúng.

output_dim (int, tùy chọn) --

norm_elementwise_affine (bool, mặc định là `False) --

norm_eps (bool, mặc định là False) --

chunk_dim (int, mặc định là 0) --

Tầng chuẩn hóa được sửa đổi để tích hợp các nhúng bước thời gian.

AdaLayerNormZero[[diffusers.models.normalization.AdaLayerNormZero]]

diffusers.models.normalization.AdaLayerNormZero[[diffusers.models.normalization.AdaLayerNormZero]]

diffusers.models.normalization.AdaLayerNormZero(embedding_dim: int, num_embeddings: int | None = None, norm_type = 'layer_norm', bias = True)

Nguồn

Tham số:

embedding_dim (int) : Kích thước của mỗi vector nhúng.

num_embeddings (int) : Kích thước của từ điển embeddings.

Tầng chuẩn hóa thích ứng chuẩn hóa lớp không (adaLN-Zero).

AdaLayerNormSingle[[diffusers.models.normalization.AdaLayerNormSingle]]

diffusers.models.normalization.AdaLayerNormSingle[[diffusers.models.normalization.AdaLayerNormSingle]]

diffusers.models.normalization.AdaLayerNormSingle(embedding_dim: int, use_additional_conditions: bool = False)

Nguồn

Tham số:

embedding_dim (int) : Kích thước của mỗi vector nhúng.

use_additional_conditions (bool) : Có sử dụng các điều kiện bổ sung cho việc chuẩn hóa hay không.

Tầng chuẩn hóa thích ứng chuẩn hóa lớp đơn (adaLN-single).

Như đã đề xuất trong PixArt-Alpha (xem: https://huggingface.co/papers/2310.00426; Mục 2.3).

AdaGroupNorm[[diffusers.models.normalization.AdaGroupNorm]]

diffusers.models.normalization.AdaGroupNorm[[diffusers.models.normalization.AdaGroupNorm]]

diffusers.models.normalization.AdaGroupNorm(embedding_dim: int, out_dim: int, num_groups: int, act_fn: str | None = None, eps: float = 1e-05)

Nguồn

Tham số:

embedding_dim (int) : Kích thước của mỗi vector nhúng.

num_embeddings (int) : Kích thước của từ điển embeddings.

num_groups (int) : Số nhóm để tách các kênh thành.

act_fn (str, tùy chọn, mặc định là None) : Hàm kích hoạt cần sử dụng.

eps (float, tuỳ chọn, mặc định là 1e-5) : Giá trị epsilon được sử dụng để đảm bảo ổn định số.

Tầng GroupNorm được sửa đổi để tích hợp các nhúng bước thời gian.

AdaLayerNormContinuous[[diffusers.models.normalization.AdaLayerNormContinuous]]

diffusers.models.normalization.AdaLayerNormContinuous[[diffusers.models.normalization.AdaLayerNormContinuous]]

diffusers.models.normalization.AdaLayerNormContinuous(embedding_dim: int, conditioning_embedding_dim: int, elementwise_affine = True, eps = 1e-05, bias = True, norm_type = 'layer_norm')

Nguồn

Tham số:

embedding_dim (int) : Kích thước embedding cần sử dụng trong quá trình chiếu (projection).

conditioning_embedding_dim (int) : Kích thước của điều kiện đầu vào.

elementwise_affine (bool, defaults to True) : Boolean flag to denote if affine transformation should be applied.

eps (float, mặc định là 1e-5) : Hệ số epsilon.

bias (bias, mặc định là True) : Cờ Boolean để chỉ định có nên sử dụng bias hay không.

norm_type (str, mặc định là "layer_norm") : Lớp chuẩn hóa cần sử dụng. Các giá trị được hỗ trợ: "layer_norm", "rms_norm".

Tầng chuẩn hóa thích ứng với một tầng chuẩn hóa (layer_norm hoặc rms_norm).

RMSNorm[[diffusers.models.normalization.RMSNorm]]

diffusers.models.normalization.RMSNorm[[diffusers.models.normalization.RMSNorm]]

diffusers.models.normalization.RMSNorm(dim, eps: float, elementwise_affine: bool = True, bias: bool = False)

Nguồn

Tham số:

dim (int) : Số chiều cần sử dụng cho weights. Chỉ có hiệu lực khi elementwise_affine là True.

eps (float) : Giá trị nhỏ được sử dụng khi tính nghịch đảo của căn bậc hai.

elementwise_affine (bool, mặc định là True) : Cờ logic để chỉ định có nên áp dụng phép biến đổi affine hay không.

bias (bool, mặc định là False) : Nếu cũng huấn luyện tham số bias.

RMS Norm được giới thiệu trong https://huggingface.co/papers/1910.07467 bởi Zhang et al.

GlobalResponseNorm[[diffusers.models.normalization.GlobalResponseNorm]]

diffusers.models.normalization.GlobalResponseNorm[[diffusers.models.normalization.GlobalResponseNorm]]

diffusers.models.normalization.GlobalResponseNorm(dim)

Nguồn

Tham số:

dim (int) : Số chiều cần sử dụng cho gamma và beta.

Chuẩn hóa phản hồi toàn cục như được giới thiệu trong ConvNeXt-v2 (https://huggingface.co/papers/2301.00808).

LuminaLayerNormContinuous[[diffusers.models.normalization.LuminaLayerNormContinuous]]

diffusers.models.normalization.LuminaLayerNormContinuous[[diffusers.models.normalization.LuminaLayerNormContinuous]]

diffusers.models.normalization.LuminaLayerNormContinuous(embedding_dim: int, conditioning_embedding_dim: int, elementwise_affine = True, eps = 1e-05, bias = True, norm_type = 'layer_norm', out_dim: int | None = None)

Nguồn

SD35AdaLayerNormZeroX[[diffusers.models.normalization.SD35AdaLayerNormZeroX]]

diffusers.models.normalization.SD35AdaLayerNormZeroX[[diffusers.models.normalization.SD35AdaLayerNormZeroX]]

diffusers.models.normalization.SD35AdaLayerNormZeroX(embedding_dim: int, norm_type: str = 'layer_norm', bias: bool = True)

Nguồn

Tham số:

embedding_dim (int) : Kích thước của mỗi vector nhúng.

num_embeddings (int) : Kích thước của từ điển embeddings.

Tầng chuẩn hóa thích ứng chuẩn hóa lớp không (AdaLN-Zero).

AdaLayerNormZeroSingle[[diffusers.models.normalization.AdaLayerNormZeroSingle]]

diffusers.models.normalization.AdaLayerNormZeroSingle[[diffusers.models.normalization.AdaLayerNormZeroSingle]]

diffusers.models.normalization.AdaLayerNormZeroSingle(embedding_dim: int, norm_type = 'layer_norm', bias = True)

Nguồn

Tham số:

embedding_dim (int) : Kích thước của mỗi vector nhúng.

num_embeddings (int) : Kích thước của từ điển embeddings.

Tầng chuẩn hóa thích ứng chuẩn hóa lớp không (adaLN-Zero).

LuminaRMSNormZero[[diffusers.models.normalization.LuminaRMSNormZero]]

diffusers.models.normalization.LuminaRMSNormZero[[diffusers.models.normalization.LuminaRMSNormZero]]

diffusers.models.normalization.LuminaRMSNormZero(embedding_dim: int, norm_eps: float, norm_elementwise_affine: bool)

Nguồn

Tham số:

embedding_dim (int) : Kích thước của mỗi vector nhúng.

Tầng chuẩn hóa chuẩn RMS thích ứng bằng không.

LpNorm[[diffusers.models.normalization.LpNorm]]

diffusers.models.normalization.LpNorm[[diffusers.models.normalization.LpNorm]]

diffusers.models.normalization.LpNorm(p: int = 2, dim: int = -1, eps: float = 1e-12)

Nguồn

CogView3PlusAdaLayerNormZeroTextImage[[diffusers.models.normalization.CogView3PlusAdaLayerNormZeroTextImage]]

diffusers.models.normalization.CogView3PlusAdaLayerNormZeroTextImage[[diffusers.models.normalization.CogView3PlusAdaLayerNormZeroTextImage]]

diffusers.models.normalization.CogView3PlusAdaLayerNormZeroTextImage(embedding_dim: int, dim: int)

Nguồn

Tham số:

embedding_dim (int) : Kích thước của mỗi vector nhúng.

num_embeddings (int) : Kích thước của từ điển embeddings.

Tầng chuẩn hóa thích ứng chuẩn hóa lớp không (adaLN-Zero).

CogVideoXLayerNormZero[[diffusers.models.normalization.CogVideoXLayerNormZero]]

diffusers.models.normalization.CogVideoXLayerNormZero[[diffusers.models.normalization.CogVideoXLayerNormZero]]

diffusers.models.normalization.CogVideoXLayerNormZero(conditioning_dim: int, embedding_dim: int, elementwise_affine: bool = True, eps: float = 1e-05, bias: bool = True)

Nguồn

MochiRMSNormZero[[diffusers.models.transformers.transformer_mochi.MochiRMSNormZero]]

diffusers.models.transformers.transformer_mochi.MochiRMSNormZero[[diffusers.models.transformers.transformer_mochi.MochiRMSNormZero]]

diffusers.models.transformers.transformer_mochi.MochiRMSNormZero(embedding_dim: int, hidden_dim: int, eps: float = 1e-05, elementwise_affine: bool = False)

Nguồn

Tham số:

embedding_dim (int) : Kích thước của mỗi vector nhúng.

Adaptive RMS Norm được sử dụng trong Mochi.

MochiRMSNorm[[diffusers.models.normalization.MochiRMSNorm]]

diffusers.models.normalization.MochiRMSNorm[[diffusers.models.normalization.MochiRMSNorm]]

diffusers.models.normalization.MochiRMSNorm(dim, eps: float, elementwise_affine: bool = True)

Nguồn