Aktivasyon fonksiyonları

🤗 Diffusers'ta çeşitli modelleri desteklemek için özelleştirilmiş aktivasyon fonksiyonları.

GELU

( dim_in: intdim_out: intapproximate: str = 'none'bias: bool = True )

Parametreler

dim_in (int) — Girdideki kanal sayısı.
dim_out (int) — Çıktıdaki kanal sayısı.
approximate (str, isteğe bağlı, varsayılan "none") — "tanh" ise, tanh yaklaşımı kullanılır.
bias (bool, varsayılan True) — Doğrusal katmanda sapma (bias) kullanılıp kullanılmayacağı.

approximate="tanh" ile tanh yaklaşımı desteğine sahip GELU aktivasyon fonksiyonu.

( dim_in: intdim_out: intbias: bool = True )

Parametreler

dim_in (int) — Girdideki kanal sayısı.
dim_out (int) — Çıktıdaki kanal sayısı.
bias (bool, varsayılan True) — Doğrusal katmanda sapma (bias) kullanılıp kullanılmayacağı.

Kapılı doğrusal birim aktivasyon fonksiyonunun bir varyantı.

( dim_in: intdim_out: intbias: bool = True )

Parametreler

dim_in (int) — Girdideki kanal sayısı.
dim_out (int) — Çıktıdaki kanal sayısı.
bias (bool, varsayılan True) — Doğrusal katmanda sapma (bias) kullanılıp kullanılmayacağı.

Gaussian Error Linear Unit (GELU)'nun yaklaşık formu. Daha fazla ayrıntı için bu makalenin 2. bölümüne bakın.

( dim_in: intdim_out: intbias: bool = True )

Parametreler

dim_in (int) — Girdideki kanal sayısı.
dim_out (int) — Çıktıdaki kanal sayısı.
bias (bool, varsayılan True) — Doğrusal katmanda sapma (bias) kullanılıp kullanılmayacağı.

Kapılı doğrusal birim aktivasyon fonksiyonunun bir varyantı. GEGLU'ye benzer ancak GeLU yerine SiLU / Swish kullanır.

( )

Girdisi torch.float32'ye yükseltilmiş SiLU aktivasyon fonksiyonu.

( dim_in: intdim_out: intbias: bool = Trueactivation: str = 'silu' )