diffusers/main/ru/api/activations.md

Функции активации

Пользовательские функции активации для поддержки различных моделей в 🤗 Diffusers.

GELU[[diffusers.models.activations.GELU]]

diffusers.models.activations.GELU[[diffusers.models.activations.GELU]]

diffusers.models.activations.GELU(dim_in: int, dim_out: int, approximate: str = 'none', bias: bool = True)

Источник

Параметры:

dim_in (int) : количество каналов на входе.

dim_out (int) : Количество каналов на выходе.

approximate (str, необязательный, по умолчанию "none") : Если "tanh", используется приближение tanh.

bias (bool, по умолчанию True) : Использовать ли смещение (bias) в линейном слое.

Функция активации GELU с поддержкой аппроксимации tanh при approximate="tanh".

GEGLU[[diffusers.models.activations.GEGLU]]

diffusers.models.activations.GEGLU[[diffusers.models.activations.GEGLU]]

diffusers.models.activations.GEGLU(dim_in: int, dim_out: int, bias: bool = True)

Источник

Параметры:

dim_in (int) : количество каналов на входе.

dim_out (int) : Количество каналов на выходе.

bias (bool, по умолчанию True) : Использовать ли смещение (bias) в линейном слое.

Вариант функции активации gated linear unit.

ApproximateGELU[[diffusers.models.activations.ApproximateGELU]]

diffusers.models.activations.ApproximateGELU[[diffusers.models.activations.ApproximateGELU]]

diffusers.models.activations.ApproximateGELU(dim_in: int, dim_out: int, bias: bool = True)

Источник

Параметры:

dim_in (int) : количество каналов на входе.

dim_out (int) : Количество каналов на выходе.

bias (bool, по умолчанию True) : Использовать ли смещение (bias) в линейном слое.

Приближённая форма функции активации Gaussian Error Linear Unit (GELU). Дополнительные сведения см. в разделе 2 этой статьи.

SwiGLU[[diffusers.models.activations.SwiGLU]]

diffusers.models.activations.SwiGLU[[diffusers.models.activations.SwiGLU]]

diffusers.models.activations.SwiGLU(dim_in: int, dim_out: int, bias: bool = True)

Источник

Параметры:

dim_in (int) : количество каналов на входе.

dim_out (int) : Количество каналов на выходе.

bias (bool, по умолчанию True) : Использовать ли смещение (bias) в линейном слое.

Вариант функции активации gated linear unit. Похожа на GEGLU, но использует SiLU / Swish вместо GeLU.

FP32SiLU[[diffusers.models.activations.FP32SiLU]]

diffusers.models.activations.FP32SiLU[[diffusers.models.activations.FP32SiLU]]

diffusers.models.activations.FP32SiLU()

Источник

Функция активации SiLU с входом, преобразованным в torch.float32.

LinearActivation[[diffusers.models.activations.LinearActivation]]

diffusers.models.activations.LinearActivation[[diffusers.models.activations.LinearActivation]]

diffusers.models.activations.LinearActivation(dim_in: int, dim_out: int, bias: bool = True, activation: str = 'silu')

Источник