diffusers/v0.43.0/ja/api/models/autoencoder_oobleck.md

AutoencoderOobleck

KL損失付きのOobleck変分オートエンコーダー（VAE）モデルは、Stability AIのStability-AI/stable-audio-toolsおよびStable Audio Openで導入されました。このモデルは、🤗 Diffusersにおいて、オーディオ波形を潜在変数にエンコードし、潜在表現をオーディオ波形にデコードするために使用されます。

論文の抄録は以下の通りです：

オープンな生成モデルはコミュニティにとって極めて重要であり、ファインチューニングを可能にし、新しいモデルを提示する際のベースラインとして機能します。しかし、現在のテキストからオーディオを生成するモデルの多くは非公開であり、アーティストや研究者がその上に構築することができません。ここでは、クリエイティブ・コモンズデータで学習された新しいオープンウェイトのテキストからオーディオを生成するモデルのアーキテクチャと学習プロセスについて説明します。評価の結果、このモデルの性能は、さまざまな指標において最先端のモデルと競合できることが示されました。特に、FDopenl3の結果（生成物のリアリズムを測定する指標）は、44.1kHzでの高品質ステレオサウンド合成におけるその可能性を示しています。

AutoencoderOobleck[[diffusers.AutoencoderOobleck]]

diffusers.AutoencoderOobleck[[diffusers.AutoencoderOobleck]]

diffusers.AutoencoderOobleck(encoder_hidden_size = 128, downsampling_ratios = [2, 4, 4, 8, 8], channel_multiples = [1, 2, 4, 8, 16], decoder_channels = 128, decoder_input_channels = 64, audio_channels = 2, sampling_rate = 44100)

ソース

パラメータ:

encoder_hidden_size (int、任意、デフォルトは 128) : エンコーダーの中間表現次元数。

downsampling_ratios (list[int]、任意、デフォルトは[2, 4, 4, 8, 8]) : エンコーダーにおけるダウンサンプリングの比率です。デコーダーにおけるアップサンプリングには、これらの比率を逆順で使用します。

channel_multiples (list[int]、optional、デフォルトは[1, 2, 4, 8, 16]) : 隠れ層のサイズを決定するために使用される倍数です。

decoder_channels (int、任意、デフォルトは 128) : デコーダーの中間表現次元数。

decoder_input_channels (int、optional、デフォルトは 64) : デコーダーの入力次元。潜在次元に対応します。

audio_channels (int、optional、デフォルトは 2) : 音声データのチャネル数。モノラルの場合は 1、ステレオの場合は 2 を指定します。

sampling_rate (int、optional、デフォルトは 44100) : 音声波形をデジタル化するためのサンプリングレート (Hz)。

波形を潜在変数にエンコードし、潜在表現を波形にデコードするためのオートエンコーダーです。Stable Audio で初めて導入されました。

このモデルは ModelMixin を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存など）については、スーパークラスのドキュメントを参照してください。

decode[[diffusers.AutoencoderOobleck.decode]]

decode(z: FloatTensor, return_dict: bool = True, generator = None)

ソース

パラメータ:

z (torch.Tensor) : 潜在ベクトルの入力バッチ。

return_dict (bool、任意、デフォルトはTrue) : 通常のタプルではなく~models.vae.OobleckDecoderOutputを返すかどうか。

戻り値: ~models.vae.OobleckDecoderOutput または tuple

If return_dict is True, a ~models.vae.OobleckDecoderOutput is returned, otherwise a plain tuple is returned.

画像のバッチをデコードします。

encode[[diffusers.AutoencoderOobleck.encode]]

encode(x: Tensor, return_dict: bool = True)

ソース

パラメータ:

x (torch.Tensor) : 画像の入力バッチ。

return_dict (bool、任意、デフォルトはTrue) : プレーンなタプルではなく~models.autoencoder_kl.AutoencoderKLOutputを返すかどうか。

戻り値:

エンコードされた画像の潜在表現。return_dictがTrueの場合、~models.autoencoder_kl.AutoencoderKLOutputが返され、それ以外の場合は通常のtupleが返されます。

バッチの画像を潜在変数にエンコードします。

forward[[diffusers.AutoencoderOobleck.forward]]

forward(sample: Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None)

ソース

パラメータ:

sample (torch.Tensor) : 入力サンプル。

sample_posterior (bool、任意、デフォルトはFalse) : 事後分布からサンプリングするかどうか。

return_dict (bool, 任意, デフォルトは True) : プレーンなタプルではなく OobleckDecoderOutput を返すかどうか。

generator (torch.Generator, 任意) : サンプリングを決定論的にするための torch.Generator。

戻り値: ~models.vae.OobleckDecoderOutput または tuple

return_dict が True の場合、~models.vae.OobleckDecoderOutput が返され、それ以外の場合は通常の tuple が返されます。

OobleckDecoderOutput[[diffusers.models.autoencoders.autoencoder_oobleck.OobleckDecoderOutput]]

diffusers.models.autoencoders.autoencoder_oobleck.OobleckDecoderOutput[[diffusers.models.autoencoders.autoencoder_oobleck.OobleckDecoderOutput]]

diffusers.models.autoencoders.autoencoder_oobleck.OobleckDecoderOutput(sample: Tensor)

ソース

パラメータ:

sample (torch.Tensor、形状 (batch_size, audio_channels, sequence_length)) : モデルの最終層からのデコード済み出力サンプル。

デコードメソッドの出力。

AutoencoderOobleckOutput[[diffusers.models.autoencoders.autoencoder_oobleck.AutoencoderOobleckOutput]]

diffusers.models.autoencoders.autoencoder_oobleck.AutoencoderOobleckOutput[[diffusers.models.autoencoders.autoencoder_oobleck.AutoencoderOobleckOutput]]

diffusers.models.autoencoders.autoencoder_oobleck.AutoencoderOobleckOutput(latent_dist: OobleckDiagonalGaussianDistribution)

ソース

パラメータ:

latent_dist (OobleckDiagonalGaussianDistribution) : Encoderのエンコード済み出力を、OobleckDiagonalGaussianDistributionの平均と標準偏差として表したものです。OobleckDiagonalGaussianDistributionを使用すると、この分布から潜在変数をサンプリングできます。

AutoencoderOobleck のエンコードメソッドの出力。