diffusers/v0.43.0/id/api/activations.md

Fungsi aktivasi

Fungsi aktivasi yang dikustomisasi untuk mendukung berbagai model di 🤗 Diffusers.

GELU[[diffusers.models.activations.GELU]]

diffusers.models.activations.GELU[[diffusers.models.activations.GELU]]

diffusers.models.activations.GELU(dim_in: int, dim_out: int, approximate: str = 'none', bias: bool = True)

Sumber

Parameter:

dim_in (int) : Jumlah channel pada input.

dim_out (int) : Jumlah channel pada output.

approximate (str, opsional, defaultnya "none") : Jika "tanh", gunakan aproksimasi tanh.

bias (bool, defaultnya True) : Apakah akan menggunakan bias pada lapisan linear.

Fungsi aktivasi GELU dengan dukungan aproksimasi tanh menggunakan approximate="tanh".

GEGLU[[diffusers.models.activations.GEGLU]]

diffusers.models.activations.GEGLU[[diffusers.models.activations.GEGLU]]

diffusers.models.activations.GEGLU(dim_in: int, dim_out: int, bias: bool = True)

Sumber

Parameter:

dim_in (int) : Jumlah channel pada input.

dim_out (int) : Jumlah channel pada output.

bias (bool, defaultnya True) : Apakah akan menggunakan bias pada lapisan linear.

Sebuah varian dari fungsi aktivasi gated linear unit.

ApproximateGELU[[diffusers.models.activations.ApproximateGELU]]

diffusers.models.activations.ApproximateGELU[[diffusers.models.activations.ApproximateGELU]]

diffusers.models.activations.ApproximateGELU(dim_in: int, dim_out: int, bias: bool = True)

Sumber

Parameter:

dim_in (int) : Jumlah channel pada input.

dim_out (int) : Jumlah channel pada output.

bias (bool, defaultnya True) : Apakah akan menggunakan bias pada lapisan linear.

Bentuk aproksimasi dari Gaussian Error Linear Unit (GELU). Untuk detail lebih lanjut, lihat bagian 2 dari makalah ini.

SwiGLU[[diffusers.models.activations.SwiGLU]]

diffusers.models.activations.SwiGLU[[diffusers.models.activations.SwiGLU]]

diffusers.models.activations.SwiGLU(dim_in: int, dim_out: int, bias: bool = True)

Sumber

Parameter:

dim_in (int) : Jumlah channel pada input.

dim_out (int) : Jumlah channel pada output.

bias (bool, defaultnya True) : Apakah akan menggunakan bias pada lapisan linear.

Sebuah varian dari fungsi aktivasi gated linear unit. Fungsinya mirip dengan GEGLU tetapi menggunakan SiLU / Swish alih-alih GeLU.

FP32SiLU[[diffusers.models.activations.FP32SiLU]]

diffusers.models.activations.FP32SiLU[[diffusers.models.activations.FP32SiLU]]

diffusers.models.activations.FP32SiLU()

Sumber

Fungsi aktivasi SiLU dengan input yang di-upcast ke torch.float32.

LinearActivation[[diffusers.models.activations.LinearActivation]]

diffusers.models.activations.LinearActivation[[diffusers.models.activations.LinearActivation]]

diffusers.models.activations.LinearActivation(dim_in: int, dim_out: int, bias: bool = True, activation: str = 'silu')

Sumber