Hugging Face's logo

Diffusers documentation

活性化関数

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.43.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

活性化関数

🤗 Diffusersでさまざまなモデルをサポートするためのカスタマイズされた活性化関数。

GELU

クラス diffusers.models.activations.GELU

< >

( dim_in: intdim_out: intapproximate: str = 'none'bias: bool = True )

パラメータ

  • dim_in (int) — 入力チャネル数。
  • dim_out (int) — 出力のチャネル数。
  • approximate (str、任意、デフォルトは"none") — "tanh"の場合、tanh近似を使用します。
  • bias (bool, デフォルトは True) — 線形層でバイアスを使用するかどうか。

approximate="tanh" による tanh 近似をサポートする GELU 活性化関数。

GEGLU

クラス diffusers.models.activations.GEGLU

< >

( dim_in: intdim_out: intbias: bool = True )

パラメータ

  • dim_in (int) — 入力チャネル数。
  • dim_out (int) — 出力のチャネル数。
  • bias (bool, デフォルトは True) — 線形層でバイアスを使用するかどうか。

ゲート付き線形ユニット活性化関数のバリアント。

ApproximateGELU

クラス diffusers.models.activations.ApproximateGELU

< >

( dim_in: intdim_out: intbias: bool = True )

パラメータ

  • dim_in (int) — 入力チャネル数。
  • dim_out (int) — 出力のチャネル数。
  • bias (bool, デフォルトは True) — 線形層でバイアスを使用するかどうか。

ガウス誤差線形ユニット（GELU）の近似形です。詳細については、この論文のセクション2を参照してください。

SwiGLU

クラス diffusers.models.activations.SwiGLU

< >

( dim_in: intdim_out: intbias: bool = True )

パラメータ

  • dim_in (int) — 入力チャネル数。
  • dim_out (int) — 出力のチャネル数。
  • bias (bool, デフォルトは True) — 線形層でバイアスを使用するかどうか。

ゲート付き線形ユニット活性化関数のバリアントです。GEGLUに似ていますが、GeLUの代わりにSiLU / Swishを使用します。

FP32SiLU

クラス diffusers.models.activations.FP32SiLU

< >

( )

入力をtorch.float32にキャストしたSiLU活性化関数。

LinearActivation

クラス diffusers.models.activations.LinearActivation

< >

( dim_in: intdim_out: intbias: bool = Trueactivation: str = 'silu' )

Update on GitHub

←アテンションプロセッサ キャッシュ手法→