Buckets:

hf-doc-build/doc / diffusers /v0.43.0 /zh /api /activations.md
mishig's picture
|
download
raw
3.52 kB
# 激活函数
用于支持 🤗 Diffusers 中各种模型的自定义激活函数。
## GELU[[diffusers.models.activations.GELU]]
#### diffusers.models.activations.GELU[[diffusers.models.activations.GELU]]
```python
diffusers.models.activations.GELU(dim_in: int, dim_out: int, approximate: str = 'none', bias: bool = True)
```
[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/activations.py#L65)
**参数:**
dim_in (`int`) : 输入中的通道数。
dim_out (`int`) : 输出中的通道数。
approximate (`str`,*可选*,默认为 `"none"`):如果为 `"tanh"`,则使用 tanh 近似。
bias (`bool`,默认为 True):是否在线性层中使用偏置。
支持使用 `approximate="tanh"` 进行 tanh 近似的 GELU 激活函数。
## GEGLU[[diffusers.models.activations.GEGLU]]
#### diffusers.models.activations.GEGLU[[diffusers.models.activations.GEGLU]]
```python
diffusers.models.activations.GEGLU(dim_in: int, dim_out: int, bias: bool = True)
```
[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/activations.py#L90)
**参数:**
dim_in (`int`) : 输入中的通道数。
dim_out (`int`) : 输出中的通道数。
bias (`bool`,默认为 True):是否在线性层中使用偏置。
门控线性单元激活函数的[变体](https://huggingface.co/papers/2002.05202)。
## ApproximateGELU[[diffusers.models.activations.ApproximateGELU]]
#### diffusers.models.activations.ApproximateGELU[[diffusers.models.activations.ApproximateGELU]]
```python
diffusers.models.activations.ApproximateGELU(dim_in: int, dim_out: int, bias: bool = True)
```
[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/activations.py#L143)
**参数:**
dim_in (`int`) : 输入中的通道数。
dim_out (`int`) : 输出中的通道数。
bias (`bool`,默认为 True):是否在线性层中使用偏置。
高斯误差线性单元(GELU)的近似形式。更多详情请参阅此[论文](https://huggingface.co/papers/1606.08415)的第 2 节。
## SwiGLU[[diffusers.models.activations.SwiGLU]]
#### diffusers.models.activations.SwiGLU[[diffusers.models.activations.SwiGLU]]
```python
diffusers.models.activations.SwiGLU(dim_in: int, dim_out: int, bias: bool = True)
```
[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/activations.py#L120)
**参数:**
dim_in (`int`) : 输入中的通道数。
dim_out (`int`) : 输出中的通道数。
bias (`bool`,默认为 True):是否在线性层中使用偏置。
门控线性单元激活函数的[变体](https://huggingface.co/papers/2002.05202)。它与 `GEGLU` 类似,但使用 SiLU / Swish 代替 GeLU。
## FP32SiLU[[diffusers.models.activations.FP32SiLU]]
#### diffusers.models.activations.FP32SiLU[[diffusers.models.activations.FP32SiLU]]
```python
diffusers.models.activations.FP32SiLU()
```
[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/activations.py#L53)
输入被上转换为 torch.float32 的 SiLU 激活函数。
## LinearActivation[[diffusers.models.activations.LinearActivation]]
#### diffusers.models.activations.LinearActivation[[diffusers.models.activations.LinearActivation]]
```python
diffusers.models.activations.LinearActivation(dim_in: int, dim_out: int, bias: bool = True, activation: str = 'silu')
```
[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/activations.py#L163)

Xet Storage Details

Size:
3.52 kB
·
Xet hash:
46f267c11d45d8370bee1fbf230771059e04b10fc23f51d8c4b22f083dc1c4a8

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.