Buckets:

hf-doc-build/doc / diffusers /main /tr /api /models /kandinsky6_vae.md
mishig's picture
|
download
raw
14.5 kB
# Kandinsky 6 VAE'leri
Kandinsky 6, video süper çözünürlüğü için nedensel 3D K-VAE'yi ve senkronize ses üretimi için ayrı bir BigVGAN [MMAudioVocoder](/docs/diffusers/main/tr/api/models/kandinsky6_vae#diffusers.MMAudioVocoder) ile eşleştirilmiş MMAudio mel-spektrogram VAE'sini kullanır.
## Kandinsky6SRVAE[[diffusers.Kandinsky6SRVAE]]
[Kandinsky6SRPipeline](/docs/diffusers/main/tr/api/pipelines/kandinsky6#diffusers.Kandinsky6SRPipeline) tarafından kullanılan nedensel 3D K-VAE. Sınırlı bellekli segmentlerde keyfi uzunluktaki videoları işlerken tek, segmentlenmemiş geçişin tam çıktısını yeniden üretir.
```python
import torch
from diffusers import Kandinsky6SRVAE
vae = Kandinsky6SRVAE.from_pretrained(
"kandinskylab/Kandinsky-6.0-VSR-5s-Diffusers", subfolder="vae", torch_dtype=torch.bfloat16
)
```
#### diffusers.Kandinsky6SRVAE[[diffusers.Kandinsky6SRVAE]]
```python
diffusers.Kandinsky6SRVAE(in_channels: int = 3, out_channels: int = 3, latent_channels: int = 64, encoder_block_out_channels: tuple[int, ...] = (16, 128, 256, 512, 1024), decoder_block_out_channels: tuple[int, ...] = (16, 256, 512, 1024, 2048), layers_per_block: int = 2, temporal_compression_ratio: int = 4, temporal_compression_start_level: int = 1, scaling_factor: float = 0.910344004631042)
```
[Kaynak](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kandinsky6_sr.py#L516)
**Parametreler:**
in_channels (`int`, varsayılan `3`) : Piksel kanal sayısı.
out_channels (`int`, varsayılan `3`) : Yeniden oluşturulan piksel kanal sayısı.
latent_channels (`int`, varsayılan `64`) : Gizli kanal sayısı.
encoder_block_out_channels (`tuple[int, ...]`, varsayılan `(16, 128, 256, 512, 1024)`) : Her kodlayıcı seviyesindeki artımsal blokların çıktı genişliği; son seviye hariç her seviye, bir sonraki seviyeye geçerken uzamsal boyutu yarıya indirir ve genişliği ikiye katlar.
decoder_block_out_channels (`tuple[int, ...]`, varsayılan `(16, 256, 512, 1024, 2048)`) : Her çözücü seviyesinde artımsal blokların çıktı genişliği.
layers_per_block (`int`, varsayılan `2`) : Her kodlayıcı seviyesi başına kalan blok sayısı; kodlayıcı her seviyede bir fazlasını kullanır.
temporal_compression_ratio (`int`, varsayılan `4`) : Zamsal sıkıştırma faktörü; ardışık `log2` seviyesi de zamanı sıkıştırır.
temporal_compression_start_level (`int`, varsayılan `1`) : Zamanı sıkıştıran ilk seviye.
scaling_factor (`float`, varsayılan `0.910344`) : Difüzyon dönüştürücüsüne girmeden önce latentlere uygulanan ölçek.
[Kandinsky6SRPipeline](/docs/diffusers/main/tr/api/pipelines/kandinsky6#diffusers.Kandinsky6SRPipeline) tarafından videoyu kodlamak ve çözmek için kullanılan Nedenli 3D K-VAE.
Videolar, 16 piksel karesi (başlangıç karesi hariç) uzunluğunda zaman dilimlerinde işlenir. Neden-sonuç konvolüsyonlar, yastıklama durumlarını dilimler arasında taşır; bu nedenle segmentasyon yalnızca tepe bellek kullanımını sınırlar, sonucu değiştirmez.
#### encode[[diffusers.Kandinsky6SRVAE.encode]]
```python
encode(x: torch.Tensor, return_dict: bool = True)
```
[Kaynak](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kandinsky6_sr.py#L585)
**Parametreler:**
x (`torch.Tensor`, şekli `(batch_size, channels, num_frames, height, width)`) : `[-1, 1]` aralığında piksel video. `num_frames` değeri `1 + k * temporal_compression_ratio` olmalıdır.
return_dict (`bool`, varsayılan `True`) : Düz bir tuple yerine [AutoencoderKLOutput](/docs/diffusers/main/tr/api/models/autoencoderkl_qwenimage#diffusers.models.modeling_outputs.AutoencoderKLOutput) döndürülüp döndürülmemesi.
Bir videoyu gizli dağılımına kodlayın.
#### decode[[diffusers.Kandinsky6SRVAE.decode]]
```python
decode(z: torch.Tensor, return_dict: bool = True)
```
[Kaynak](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kandinsky6_sr.py#L611)
**Parametreler:**
z (`torch.Tensor`, şekli `(batch_size, latent_channels, num_latent_frames, height, width)`) : `scaling_factor` değerine bölünmüş latentler.
return_dict (`bool`, varsayılan `True`) : Düz bir tuple yerine `~models.autoencoder_kl.DecoderOutput` döndürülüp döndürülmemesi.
Latentleri bir videoya dönüştürün.
#### forward[[diffusers.Kandinsky6SRVAE.forward]]
```python
forward(sample: torch.Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: torch.Generator | None = None)
```
[Kaynak](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kandinsky6_sr.py#L642)
**Parametreler:**
sample (`torch.Tensor`, şekli `(batch_size, channels, num_frames, height, width)`) : `[-1, 1]` aralığında piksel video. `num_frames` değeri `1 + k * temporal_compression_ratio` olmalıdır.
sample_posterior (`bool`, *isteğe bağlı*, varsayılan `False`) : Modu kullanmak yerine latent posterior'dan örneklem alınıp alınmayacağı.
return_dict (`bool`, *isteğe bağlı*, varsayılan `True`) : Düz bir tuple yerine `~models.autoencoder_kl.DecoderOutput` döndürülüp döndürülmediğini belirtir.
generator (`torch.Generator`, *isteğe bağlı*) : Örnekleme işlemini deterministik hale getirmek için kullanılan bir [`torch.Generator`](https://pytorch.org/docs/stable/generated/torch.Generator.html).
**Dönüş:** `~models.autoencoder_kl.DecoderOutput` veya `tuple`
`return_dict` True ise, `~models.autoencoder_kl.DecoderOutput` döndürülür, aksi takdirde düz bir `tuple` döndürülür. `sample` alanı, yeniden oluşturulan videoya karşılık gelir.
## MMAudioVAE[[diffusers.MMAudioVAE]]
`sample_audio=True` olduğunda [Kandinsky6TI2VAPipeline](/docs/diffusers/main/tr/api/pipelines/kandinsky6#diffusers.Kandinsky6TI2VAPipeline)'ın kullandığı mel-spektrogram VAE. `decode` çıktısı bir mel spektrogramdır; dalga formu almak için bunu [MMAudioVocoder](/docs/diffusers/main/tr/api/models/kandinsky6_vae#diffusers.MMAudioVocoder) üzerinden geçirin.
Referans uygulama [hkchengrex/MMAudio](https://github.com/hkchengrex/MMAudio) adresinde bulunabilir (MIT lisansı).
```python
import torch
from diffusers import MMAudioVAE
audio_vae = MMAudioVAE.from_pretrained(
"kandinskylab/Kandinsky-6.0-Pro-distill-5s-Diffusers", subfolder="audio_vae", torch_dtype=torch.bfloat16
)
```
#### diffusers.MMAudioVAE[[diffusers.MMAudioVAE]]
```python
diffusers.MMAudioVAE(mel_bins: int = 128, latent_channels: int = 40, hidden_channels: int = 512, channel_multipliers: tuple[int, ...] = (1, 2, 4), layers_per_block: int = 2, sample_rate: int = 44100, n_fft: int = 2048, hop_length: int = 512, scaling_factor: float = 0.417)
```
[Kaynak](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_mmaudio.py#L350)
**Parametreler:**
mel_bins (`int`, varsayılan `128`) : Mel kutu sayısı.
latent_channels (`int`, varsayılan `40`) : Gizli kanal sayısı.
hidden_channels (`int`, varsayılan `512`) : Otoenkoderin taban genişliği.
channel_multipliers (`tuple[int, ...]`, varsayılan `(1, 2, 4)`) : Otoenkoder seviyelerinin genişlik çarpanları.
layers_per_block (`int`, varsayılan `2`) : Her kodlayıcı seviyesi için artımsal blok sayısı; çözücü her seviye için bir fazlasını kullanır.
sample_rate (`int`, varsayılan `44100`) : Dalga formu örneklem hızı.
n_fft (`int`, varsayılan `2048`) : mel ön ucunun FFT boyutu.
hop_length (`int`, varsayılan `512`) : Mel ön ucunun atlama uzunluğu. Bu VAE ile eşleştirilen [MMAudioVocoder](/docs/diffusers/main/tr/api/models/kandinsky6_vae#diffusers.MMAudioVocoder)'nin toplam örnekleme artırma katsayısıyla eşleşmelidir.
scaling_factor (`float`, varsayılan `0.417`) : Difüzyon dönüştürücüsüne girmeden önce latentlere uygulanan ölçek.
[Kandinsky6TI2VAPipeline](/docs/diffusers/main/tr/api/pipelines/kandinsky6#diffusers.Kandinsky6TI2VAPipeline)'in ses VAE'si: log-mel spektrogramları üzerinde büyüklük koruyucu bir otoenkoder (MMAudio, https://arxiv.org/abs/2412.15322).
`encode`, bir dalga formunu gizli bir dağıtıma dönüştürür; `decode`, gizli değerleri tekrar bir mel spektrograma dönüştürür ve [MMAudioVocoder](/docs/diffusers/main/tr/api/models/kandinsky6_vae#diffusers.MMAudioVocoder) bunu bir dalga formuna çevirir. Bir gizli çerçeve `hop_length * 2` örneklemi kapsar.
#### encode[[diffusers.MMAudioVAE.encode]]
```python
encode(audio: torch.Tensor, return_dict: bool = True)
```
[Kaynak](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_mmaudio.py#L403)
**Parametreler:**
audio (`torch.Tensor`, şekli `(batch_size, num_samples)`) : `sample_rate` örnekleme hızında, `[-1, 1]` aralığında mono dalga formu.
return_dict (`bool`, varsayılan `True`) : Düz bir tuple yerine [AutoencoderKLOutput](/docs/diffusers/main/tr/api/models/autoencoderkl_qwenimage#diffusers.models.modeling_outputs.AutoencoderKLOutput) döndürülüp döndürülmemesi.
Bir dalga formunu gizli dağılımına kodlayın.
#### decode[[diffusers.MMAudioVAE.decode]]
```python
decode(z: torch.Tensor, return_dict: bool = True)
```
[Kaynak](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_mmaudio.py#L420)
**Parametreler:**
z (`torch.Tensor`, şekli `(batch_size, latent_channels, num_latent_frames)`) : `scaling_factor` değerine bölünmüş latentler.
return_dict (`bool`, varsayılan `True`) : Düz bir tuple yerine `~models.autoencoder_kl.DecoderOutput` döndürülüp döndürülmemesi.
**Dönüş:**
[MMAudioVocoder](/docs/diffusers/main/tr/api/models/kandinsky6_vae#diffusers.MMAudioVocoder) için hazır, `(batch_size, mel_bins, num_mel_frames)` boyutlu mel spektrogramı.
Latentleri mel spektrograma çözümlen.
#### forward[[diffusers.MMAudioVAE.forward]]
```python
forward(sample: torch.Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: torch.Generator | None = None)
```
[Kaynak](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_mmaudio.py#L439)
**Parametreler:**
sample (`torch.Tensor`, şekli `(batch_size, num_samples)`) : Mel spektrogram olarak kodlanacak ve yeniden oluşturulacak, `sample_rate` örnekleme hızında `[-1, 1]` aralığında mono dalga formu.
sample_posterior (`bool`, *isteğe bağlı*, varsayılan `False`) : Modu kullanmak yerine latent posterior'dan örneklem alınıp alınmayacağı.
return_dict (`bool`, *isteğe bağlı*, varsayılan `True`) : Düz bir tuple yerine `~models.autoencoder_kl.DecoderOutput` döndürülüp döndürülmediğini belirtir.
generator (`torch.Generator`, *isteğe bağlı*) : Örnekleme işlemini deterministik hale getirmek için kullanılan bir [`torch.Generator`](https://pytorch.org/docs/stable/generated/torch.Generator.html).
**Dönüş:** `~models.autoencoder_kl.DecoderOutput` veya `tuple`
`return_dict` True ise, `~models.autoencoder_kl.DecoderOutput` döndürülür, aksi takdirde düz bir `tuple` döndürülür. `sample` alanı, `(batch_size, mel_bins, num_mel_frames)` biçiminde yeniden oluşturulmuş mel spektrumudur.
## MMAudioVocoder[[diffusers.MMAudioVocoder]]
MMAudio demetleri, BigVGAN-v2 vokalizerinden uyarlanmıştır; bu demetler de [NVIDIA/BigVGAN](https://github.com/NVIDIA/BigVGAN) (MIT lisansı) kaynaklıdır ve [alias-free-torch](https://github.com/junjun3518/alias-free-torch)'ün (Apache Lisansı 2.0) anti-aliased Snake aktivasyonlarını içerir.
#### diffusers.MMAudioVocoder[[diffusers.MMAudioVocoder]]
```python
diffusers.MMAudioVocoder(num_mels: int = 128, upsample_initial_channel: int = 1536, upsample_rates: tuple[int, ...] = (8, 4, 2, 2, 2, 2), upsample_kernel_sizes: tuple[int, ...] = (16, 8, 4, 4, 4, 4), resblock_kernel_sizes: tuple[int, ...] = (3, 7, 11), resblock_dilation_sizes: tuple[tuple[int, ...], ...] = ((1, 3, 5), (1, 3, 5), (1, 3, 5)))
```
[Kaynak](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/mmaudio_vocoder.py#L154)
**Parametreler:**
num_mels (`int`, varsayılan `128`) : Girdi spektrogramının mel kutu sayısı. Eşleşen [MMAudioVAE](/docs/diffusers/main/tr/api/models/kandinsky6_vae#diffusers.MMAudioVAE)'nin `mel_bins` değeriyle aynı olmalıdır.
upsample_initial_channel (`int`, varsayılan `1536`) : İlk katmanın genişliği.
upsample_rates (`tuple[int, ...]`, varsayılan `(8, 4, 2, 2, 2, 2)`) : Vokoder aşamalarının örnekleme artırma (upsampling) çarpanları. Bunların çarpımı toplam örnekleme artırma çarpanını verir ve eşleşen [MMAudioVAE](/docs/diffusers/main/tr/api/models/kandinsky6_vae#diffusers.MMAudioVAE)'nin `hop_length` değeriyle aynı olmalıdır.
upsample_kernel_sizes (`tuple[int, ...]`, varsayılan `(16, 8, 4, 4, 4, 4)`) : Vokoder aşamalarının transpoze-konvolüsyon çekirdek boyutları.
resblock_kernel_sizes (`tuple[int, ...]`, varsayılan `(3, 7, 11)`) : Kalıntı bloklarının çekirdek boyutları.
resblock_dilation_sizes (`tuple[tuple[int, ...], ...]`, varsayılan `((1, 3, 5), (1, 3, 5), (1, 3, 5))`) : Kalıntı bloklarının dilasyonları.
Anti-aliased Snake aktivasyonlarına sahip (https://github.com/junjun3518/alias-free-torch, Apache 2.0) BigVGAN-v2 vokoderi (https://github.com/NVIDIA/BigVGAN, MIT lisansı), [MMAudioVAE](/docs/diffusers/main/tr/api/models/kandinsky6_vae#diffusers.MMAudioVAE)'nin çözdüğü mel spektrogramlarını [Kandinsky6TI2VAPipeline](/docs/diffusers/main/tr/api/pipelines/kandinsky6#diffusers.Kandinsky6TI2VAPipeline) için dalga formlarına dönüştürür.
#### forward[[diffusers.MMAudioVocoder.forward]]
```python
forward(mel: torch.Tensor, return_dict: bool = True)
```
[Kaynak](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/mmaudio_vocoder.py#L213)
**Parametreler:**
mel (`torch.Tensor`, şekli `(batch_size, num_mels, num_mel_frames)`) : [MMAudioVAE](/docs/diffusers/main/tr/api/models/kandinsky6_vae#diffusers.MMAudioVAE) tarafından çözülen mel spektrogramı.
return_dict (`bool`, varsayılan `True`) : Düz bir tuple yerine `~models.autoencoder_kl.DecoderOutput` döndürülüp döndürülmemesi.
**Dönüş:**
`[-1, 1]` aralığında, `(batch_size, 1, num_samples)` biçimindeki dalga formu.

Xet Storage Details

Size:
14.5 kB
·
Xet hash:
e4ef30b94af13e9a17edfc5d25931907c2e99c3b15658cf17ac3eec54ea62837

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.