diffusers/main/ko/api/normalization.md

Normalization 레이어

🤗 Diffusers에서 다양한 모델을 지원하기 위한 사용자 정의 정규화 레이어.

AdaLayerNorm[[diffusers.models.normalization.AdaLayerNorm]]

diffusers.models.normalization.AdaLayerNorm[[diffusers.models.normalization.AdaLayerNorm]]

diffusers.models.normalization.AdaLayerNorm(embedding_dim: int, num_embeddings: int | None = None, output_dim: int | None = None, norm_elementwise_affine: bool = False, norm_eps: float = 1e-05, chunk_dim: int = 0)

소스

매개변수:

embedding_dim (int) : 각 임베딩 벡터의 크기.

num_embeddings (int, 선택 사항) : 임베딩 사전의 크기.

output_dim (int, 선택 사항) --

norm_elementwise_affine (bool, 기본값은 `False) --

norm_eps (bool, 기본값은 False) --

chunk_dim (int, 기본값 0) --

timestep 임베딩을 포함하도록 수정된 Norm 레이어.

AdaLayerNormZero[[diffusers.models.normalization.AdaLayerNormZero]]

diffusers.models.normalization.AdaLayerNormZero[[diffusers.models.normalization.AdaLayerNormZero]]

diffusers.models.normalization.AdaLayerNormZero(embedding_dim: int, num_embeddings: int | None = None, norm_type = 'layer_norm', bias = True)

소스

매개변수:

embedding_dim (int) : 각 임베딩 벡터의 크기.

num_embeddings (int) : 임베딩 사전의 크기.

Norm layer adaptive layer norm zero (adaLN-Zero).

AdaLayerNormSingle[[diffusers.models.normalization.AdaLayerNormSingle]]

diffusers.models.normalization.AdaLayerNormSingle[[diffusers.models.normalization.AdaLayerNormSingle]]

diffusers.models.normalization.AdaLayerNormSingle(embedding_dim: int, use_additional_conditions: bool = False)

소스

매개변수:

embedding_dim (int) : 각 임베딩 벡터의 크기.

use_additional_conditions (bool) : 정규화에 추가 조건을 사용할지 여부.

Norm 레이어 적응형 레이어 정규화 단일(adaLN-single).

PixArt-Alpha에서 제안한 바와 같습니다(참조: https://huggingface.co/papers/2310.00426; 2.3 섹션).

AdaGroupNorm[[diffusers.models.normalization.AdaGroupNorm]]

diffusers.models.normalization.AdaGroupNorm[[diffusers.models.normalization.AdaGroupNorm]]

diffusers.models.normalization.AdaGroupNorm(embedding_dim: int, out_dim: int, num_groups: int, act_fn: str | None = None, eps: float = 1e-05)

소스

매개변수:

embedding_dim (int) : 각 임베딩 벡터의 크기.

num_embeddings (int) : 임베딩 사전의 크기.

num_groups (int) : 채널을 분리할 그룹의 수.

act_fn (str, 선택 사항, 기본값 None) : 사용할 활성화 함수입니다.

eps (float, 선택 사항, 기본값 1e-5) : 수치적 안정성을 위해 사용할 epsilon 값입니다.

timestep 임베딩을 통합하도록 수정된 GroupNorm 레이어.

AdaLayerNormContinuous[[diffusers.models.normalization.AdaLayerNormContinuous]]

diffusers.models.normalization.AdaLayerNormContinuous[[diffusers.models.normalization.AdaLayerNormContinuous]]

diffusers.models.normalization.AdaLayerNormContinuous(embedding_dim: int, conditioning_embedding_dim: int, elementwise_affine = True, eps = 1e-05, bias = True, norm_type = 'layer_norm')

소스

매개변수:

embedding_dim (int) : 투영 과정에서 사용할 임베딩 차원.

conditioning_embedding_dim (int) : 입력 조건의 차원.

elementwise_affine (bool, 기본값 True) : affine 변환을 적용할지 여부를 나타내는 Boolean 플래그입니다.

eps (float, 기본값 1e-5) : Epsilon 계수.

bias (bias, 기본값은 True) : bias를 사용할지 여부를 나타내는 Boolean 플래그.

norm_type (str, 기본값 "layer_norm") : 사용할 정규화 레이어. 지원되는 값: "layer_norm", "rms_norm".

norm 레이어(layer_norm 또는 rms_norm)를 갖춘 적응형 정규화 레이어.

RMSNorm[[diffusers.models.normalization.RMSNorm]]

diffusers.models.normalization.RMSNorm[[diffusers.models.normalization.RMSNorm]]

diffusers.models.normalization.RMSNorm(dim, eps: float, elementwise_affine: bool = True, bias: bool = False)

소스

매개변수:

dim (int) : weights에 사용할 차원의 수입니다. elementwise_affine가 True일 때만 적용됩니다.

eps (float) : 제곱근의 역수를 계산할 때 사용할 작은 값.

elementwise_affine (bool, 기본값 True) : affine 변환을 적용할지 여부를 나타내는 Boolean 플래그입니다.

bias (bool, 기본값 False) : bias 파라미터도 함께 학습할지 여부.

Zhang et al.이 https://huggingface.co/papers/1910.07467에서 소개한 RMS Norm

GlobalResponseNorm[[diffusers.models.normalization.GlobalResponseNorm]]

diffusers.models.normalization.GlobalResponseNorm[[diffusers.models.normalization.GlobalResponseNorm]]

diffusers.models.normalization.GlobalResponseNorm(dim)

소스

매개변수:

dim (int) : gamma와 beta에 사용할 차원의 수.

ConvNeXt-v2(https://huggingface.co/papers/2301.00808)에서 도입한 전역 응답 정규화(Global response normalization)입니다.

LuminaLayerNormContinuous[[diffusers.models.normalization.LuminaLayerNormContinuous]]

diffusers.models.normalization.LuminaLayerNormContinuous[[diffusers.models.normalization.LuminaLayerNormContinuous]]

diffusers.models.normalization.LuminaLayerNormContinuous(embedding_dim: int, conditioning_embedding_dim: int, elementwise_affine = True, eps = 1e-05, bias = True, norm_type = 'layer_norm', out_dim: int | None = None)

소스

SD35AdaLayerNormZeroX[[diffusers.models.normalization.SD35AdaLayerNormZeroX]]

diffusers.models.normalization.SD35AdaLayerNormZeroX[[diffusers.models.normalization.SD35AdaLayerNormZeroX]]

diffusers.models.normalization.SD35AdaLayerNormZeroX(embedding_dim: int, norm_type: str = 'layer_norm', bias: bool = True)

소스

매개변수:

embedding_dim (int) : 각 임베딩 벡터의 크기.

num_embeddings (int) : 임베딩 사전의 크기.

Norm 레이어 적응형 레이어 노름 제로(AdaLN-Zero).

AdaLayerNormZeroSingle[[diffusers.models.normalization.AdaLayerNormZeroSingle]]

diffusers.models.normalization.AdaLayerNormZeroSingle[[diffusers.models.normalization.AdaLayerNormZeroSingle]]

diffusers.models.normalization.AdaLayerNormZeroSingle(embedding_dim: int, norm_type = 'layer_norm', bias = True)

소스

매개변수:

embedding_dim (int) : 각 임베딩 벡터의 크기.

num_embeddings (int) : 임베딩 사전의 크기.

Norm layer adaptive layer norm zero (adaLN-Zero).

LuminaRMSNormZero[[diffusers.models.normalization.LuminaRMSNormZero]]

diffusers.models.normalization.LuminaRMSNormZero[[diffusers.models.normalization.LuminaRMSNormZero]]

diffusers.models.normalization.LuminaRMSNormZero(embedding_dim: int, norm_eps: float, norm_elementwise_affine: bool)

소스

매개변수:

embedding_dim (int) : 각 임베딩 벡터의 크기.

Norm 레이어 적응형 RMS 정규화 zero.

LpNorm[[diffusers.models.normalization.LpNorm]]

diffusers.models.normalization.LpNorm[[diffusers.models.normalization.LpNorm]]

diffusers.models.normalization.LpNorm(p: int = 2, dim: int = -1, eps: float = 1e-12)

소스

CogView3PlusAdaLayerNormZeroTextImage[[diffusers.models.normalization.CogView3PlusAdaLayerNormZeroTextImage]]

diffusers.models.normalization.CogView3PlusAdaLayerNormZeroTextImage[[diffusers.models.normalization.CogView3PlusAdaLayerNormZeroTextImage]]

diffusers.models.normalization.CogView3PlusAdaLayerNormZeroTextImage(embedding_dim: int, dim: int)

소스

매개변수:

embedding_dim (int) : 각 임베딩 벡터의 크기.

num_embeddings (int) : 임베딩 사전의 크기.

Norm layer adaptive layer norm zero (adaLN-Zero).

CogVideoXLayerNormZero[[diffusers.models.normalization.CogVideoXLayerNormZero]]

diffusers.models.normalization.CogVideoXLayerNormZero[[diffusers.models.normalization.CogVideoXLayerNormZero]]

diffusers.models.normalization.CogVideoXLayerNormZero(conditioning_dim: int, embedding_dim: int, elementwise_affine: bool = True, eps: float = 1e-05, bias: bool = True)

소스

MochiRMSNormZero[[diffusers.models.transformers.transformer_mochi.MochiRMSNormZero]]

diffusers.models.transformers.transformer_mochi.MochiRMSNormZero[[diffusers.models.transformers.transformer_mochi.MochiRMSNormZero]]

diffusers.models.transformers.transformer_mochi.MochiRMSNormZero(embedding_dim: int, hidden_dim: int, eps: float = 1e-05, elementwise_affine: bool = False)

소스

매개변수:

embedding_dim (int) : 각 임베딩 벡터의 크기.

Mochi에서 사용되는 Adaptive RMS Norm입니다.

MochiRMSNorm[[diffusers.models.normalization.MochiRMSNorm]]

diffusers.models.normalization.MochiRMSNorm[[diffusers.models.normalization.MochiRMSNorm]]

diffusers.models.normalization.MochiRMSNorm(dim, eps: float, elementwise_affine: bool = True)

소스