Buckets:

hf-doc-build
/

doc

Files
xet
hf-doc-build/doc / diffusers /main /ja /api /pipelines /auto_pipeline.md
mishig
7 days ago
preview code
download
raw
45.1 kB
# AutoPipeline

`AutoPipeline`は、特定のpipelineクラスを知らなくてもタスクのチェックポイントを簡単に読み込むことができるよう設計されています。タスクに基づいて、`AutoPipeline`はチェックポイントの`model_index.json`ファイルから正しいpipelineクラスを自動的に取得します。

> [!TIP]
> このAPIの使い方を学ぶには、[AutoPipeline](../../tutorials/autopipeline)のチュートリアルをご覧ください!

## AutoPipelineForText2Image[[diffusers.AutoPipelineForText2Image]]

#### diffusers.AutoPipelineForText2Image[[diffusers.AutoPipelineForText2Image]]

```python
diffusers.AutoPipelineForText2Image(*args, **kwargs)
```

[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L378)

[AutoPipelineForText2Image](/docs/diffusers/main/ja/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Image) is a generic pipeline class that instantiates a text-to-image pipeline class. The specific underlying pipeline class is automatically selected from either the [from_pretrained()](/docs/diffusers/main/ja/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Image.from_pretrained) or [from_pipe()](/docs/diffusers/main/ja/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Image.from_pipe) methods.

このクラスは`__init__()`を使用してインスタンス化できません（エラーが発生します）。

クラス属性:

- **config_name** (`str`) -- 拡散パイプラインのすべてのコンポーネントのクラス名とモジュール名を保存する設定ファイルの名前。
#### from_pretrained[[diffusers.AutoPipelineForText2Image.from_pretrained]]
```python
from_pretrained(pretrained_model_or_path, **kwargs)
```
[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L403)
**パラメータ:**
pretrained_model_or_path (`str` または `os.PathLike`、*任意*) : 以下のいずれかです。 - Hub にホストされている事前学習済みパイプラインの *repo id*（例: `CompVis/ldm-text2im-large-256`）を表す文字列。 - [save_pretrained()](/docs/diffusers/main/ja/api/pipelines/overview#diffusers.DiffusionPipeline.save_pretrained) を使用して保存されたパイプラインの重みを格納した *ディレクトリ*（例: `./my_pipeline_directory/`）へのパス。
dtype (`torch.dtype`、*任意*) : デフォルトの `torch.dtype` を上書きし、別の dtype でモデルを読み込みます。
force_download (`bool`, *任意*, デフォルトは `False`) : モデルの重みと設定ファイルの(再)ダウンロードを強制するかどうか。キャッシュされたバージョンが存在する場合でも、それを上書きします。
cache_dir (`str | os.PathLike`、*任意*) : 標準のキャッシュを使用しない場合、ダウンロードした事前学習済みモデルの構成がキャッシュされるディレクトリのパス。
proxies (`dict[str, str]`、*省略可*) : プロトコルまたはエンドポイントごとに使用するプロキシサーバーの辞書です。例えば、`{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}` のように指定します。これらのプロキシは、各リクエストで使用されます。
output_loading_info(`bool`, *optional*, デフォルトは `False`) : 欠落キー、予期しないキー、エラーメッセージを含む辞書を返すかどうか。
local_files_only (`bool`、*任意*、デフォルトは`False`) : ローカルのモデルの重みと設定ファイルのみを読み込むかどうかを指定します。`True`に設定すると、モデルは Hub からダウンロードされません。
token (`str` または *bool*、*省略可能*) : リモートファイルの HTTP ベアラ認証に使用するトークン。`True` の場合、`diffusers-cli login` で生成されたトークン（`~/.huggingface` に保存）が使用されます。
revision (`str`、*任意*、デフォルトは`"main"`) : 使用する特定のモデルバージョンです。ブランチ名、タグ名、コミット ID、または Git で許可されている任意の識別子を使用できます。
custom_revision (`str`、*任意*、デフォルトは `"main"`) : 使用する特定のモデルバージョンです。Hub からカスタムパイプラインを読み込む場合、`revision` と同様に、ブランチ名、タグ名、またはコミット ID を指定できます。GitHub からカスタムパイプラインを読み込む場合は、🤗 Diffusers のバージョンを指定でき、それ以外の場合は Hub から読み込む際にデフォルトで `"main"` が使用されます。
mirror (`str`, *任意*) : 中国でモデルをダウンロードする場合、アクセシビリティの問題を解決するためのミラーソースを指定します。ソースの鮮度や安全性は保証されませんので、詳細についてはミラーサイトをご参照ください。
device_map (`str` または `dict[str, int | str | torch.device]`、*省略可*) : 各サブモジュールをどのデバイスに配置するかを指定するマップです。すべてのパラメータ/バッファ名に対して定義する必要はありません。特定のモジュール名がマップに含まれている場合、そのモジュールのすべてのサブモジュールは同じデバイスに送信されます。 `device_map="auto"` を設定すると、🤗 Accelerate が最も最適化された `device_map` を自動的に計算します。各オプションの詳細については、[デバイスマップの設計](https://hf.co/docs/accelerate/main/en/usage_guides/big_modeling#designing-a-device-map)を参照してください。
max_memory (`Dict`, *省略可*) : 最大メモリに対するデバイスの識別子の辞書です。未設定の場合、各 GPU の利用可能な最大メモリと、利用可能な CPU RAM がデフォルトとして使用されます。
offload_folder (`str` または `os.PathLike`、*省略可能*) : `"disk"` が device_map に含まれる場合の、重みのオフロード先パス。
offload_state_dict (`bool`, *任意*) : `True`の場合、CPU state dictの重みとチェックポイントの最大のシャードの合計がCPU RAMに収まらない場合に、CPU RAMの枯渇を避けるため、CPU state dictを一時的にハードドライブにオフロードします。ディスクオフロードが存在する場合、デフォルトは`True`です。
low_cpu_mem_usage (`bool`、*任意*、torch のバージョンが 1.9.0 以上ならデフォルトは `True`、それ未満なら `False`) : 重みの初期化を行わず、事前学習済み重みのみを読み込むことでモデルの読み込みを高速化します。また、モデルの読み込み時に CPU メモリ（ピークメモリを含む）をモデルサイズの 1 倍以下に抑えるよう試みます。PyTorch 1.9.0 以上でのみサポートされています。PyTorch の古いバージョンを使用している場合、この引数を `True` に設定するとエラーが発生します。
use_safetensors (`bool`, *optional*, defaults to `None`) : If set to `None`, the safetensors weights are downloaded if they're available **and** if the safetensors library is installed. If set to `True`, the model is forcibly loaded from safetensors weights. If set to `False`, safetensors weights are not loaded.
kwargs (残りのキーワード引数の辞書、*任意*) : 読み込みおよび保存可能な変数（特定の pipeline クラスの pipeline コンポーネント）を上書きするために使用できます。上書きされたコンポーネントは、pipeline の `__init__` メソッドに直接渡されます。詳細は以下の例を参照してください。
variant (`str`, *任意*) : `"fp16"` や `"ema"` のような指定されたバリアントファイル名から重みを読み込みます。
事前学習済みのパイプライン重みから、テキストから画像を生成する Pytorch 拡散パイプラインをインスタンス化します。
from_pretrained() メソッドは、以下により、正しいパイプラインクラスのインスタンスを返す処理を行います:
1. pretrained_model_or_path の設定オブジェクトの _class_name プロパティに基づいて、パイプラインクラスを検出します
2. パイプラインクラス名のパターンマッチングを使用して、パイプラインクラスに関連付けられたテキストから画像へのパイプラインを検索します。
`controlnet` 引数が渡された場合、[StableDiffusionControlNetPipeline](/docs/diffusers/main/ja/api/pipelines/controlnet#diffusers.StableDiffusionControlNetPipeline) オブジェクトがインスタンス化されます。
パイプラインはデフォルトで評価モード(`model.eval()`)に設定されます。
以下のエラーメッセージが表示された場合、下流タスク用に重みをファインチューニングする必要があります。
```
Some weights of UNet2DConditionModel were not initialized from the model checkpoint at stable-diffusion-v1-5/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.
```
> [!TIP] > プライベートモデルや[gated](https://huggingface.co/docs/hub/models-gated#gated-models)モデルを使用するには、ログインしてください
`hf > auth login` を使用します。
例:
```py
>>> from diffusers import AutoPipelineForText2Image
>>> pipeline = AutoPipelineForText2Image.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
>>> image = pipeline(prompt).images[0]
```
#### from_pipe[[diffusers.AutoPipelineForText2Image.from_pipe]]
```python
from_pipe(pipeline, **kwargs)
```
[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L559)
**パラメータ:**
pipeline (`DiffusionPipeline`) : インスタンス化された`DiffusionPipeline`オブジェクト
別のインスタンス化済みの拡散パイプラインクラスから、テキストから画像への変換を行う Pytorch 拡散パイプラインをインスタンス化します。
from_pipe() メソッドは、パイプラインクラス名のパターンマッチングを用いて、そのパイプラインクラスに関連付けられたテキストから画像へのパイプラインを見つけ出し、正しいパイプラインクラスのインスタンスを返す処理を担当します。
パイプラインが含むすべてのモジュールが、追加のメモリを再割り当てせずに新しいパイプラインを初期化するために使用されます。
パイプラインはデフォルトで評価モード(`model.eval()`)に設定されます。
```py
>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForImage2Image

>>> pipe_i2i = AutoPipelineForImage2Image.from_pretrained(
...     "stable-diffusion-v1-5/stable-diffusion-v1-5", requires_safety_checker=False
... )

>>> pipe_t2i = AutoPipelineForText2Image.from_pipe(pipe_i2i)
>>> image = pipe_t2i(prompt).images[0]
```
## AutoPipelineForImage2Image[[diffusers.AutoPipelineForImage2Image]]
#### diffusers.AutoPipelineForImage2Image[[diffusers.AutoPipelineForImage2Image]]
```python
diffusers.AutoPipelineForImage2Image(*args, **kwargs)
```
[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L676)
[AutoPipelineForImage2Image](/docs/diffusers/main/ja/api/pipelines/auto_pipeline#diffusers.AutoPipelineForImage2Image) is a generic pipeline class that instantiates an image-to-image pipeline class. The specific underlying pipeline class is automatically selected from either the [from_pretrained()](/docs/diffusers/main/ja/api/pipelines/auto_pipeline#diffusers.AutoPipelineForImage2Image.from_pretrained) or [from_pipe()](/docs/diffusers/main/ja/api/pipelines/auto_pipeline#diffusers.AutoPipelineForImage2Image.from_pipe) methods.
このクラスは`__init__()`を使用してインスタンス化できません（エラーが発生します）。
クラス属性:
- **config_name** (`str`) -- 拡散パイプラインのすべてのコンポーネントのクラス名とモジュール名を保存する設定ファイルの名前。

#### from_pretrained[[diffusers.AutoPipelineForImage2Image.from_pretrained]]

```python
from_pretrained(pretrained_model_or_path, **kwargs)
```

[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L701)

**パラメータ:**

pretrained_model_or_path (`str` または `os.PathLike`、*任意*) : 以下のいずれかです。 - Hub にホストされている事前学習済みパイプラインの *repo id*（例: `CompVis/ldm-text2im-large-256`）を表す文字列。 - [save_pretrained()](/docs/diffusers/main/ja/api/pipelines/overview#diffusers.DiffusionPipeline.save_pretrained) を使用して保存されたパイプラインの重みを格納した *ディレクトリ*（例: `./my_pipeline_directory/`）へのパス。
dtype (`str` または `torch.dtype`、*省略可能*) : デフォルトの `torch.dtype` を上書きし、別の dtype でモデルを読み込みます。
force_download (`bool`, *任意*, デフォルトは `False`) : モデルの重みと設定ファイルの(再)ダウンロードを強制するかどうか。キャッシュされたバージョンが存在する場合でも、それを上書きします。

cache_dir (`str | os.PathLike`、*任意*) : 標準のキャッシュを使用しない場合、ダウンロードした事前学習済みモデルの構成がキャッシュされるディレクトリのパス。
proxies (`dict[str, str]`、*省略可*) : プロトコルまたはエンドポイントごとに使用するプロキシサーバーの辞書です。例えば、`{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}` のように指定します。これらのプロキシは、各リクエストで使用されます。
output_loading_info(`bool`, *optional*, デフォルトは `False`) : 欠落キー、予期しないキー、エラーメッセージを含む辞書を返すかどうか。
local_files_only (`bool`、*任意*、デフォルトは`False`) : ローカルのモデルの重みと設定ファイルのみを読み込むかどうかを指定します。`True`に設定すると、モデルは Hub からダウンロードされません。
token (`str` または *bool*、*省略可能*) : リモートファイルの HTTP ベアラ認証に使用するトークン。`True` の場合、`diffusers-cli login` で生成されたトークン（`~/.huggingface` に保存）が使用されます。
revision (`str`、*任意*、デフォルトは`"main"`) : 使用する特定のモデルバージョンです。ブランチ名、タグ名、コミット ID、または Git で許可されている任意の識別子を使用できます。
custom_revision (`str`、*任意*、デフォルトは `"main"`) : 使用する特定のモデルバージョンです。Hub からカスタムパイプラインを読み込む場合、`revision` と同様に、ブランチ名、タグ名、またはコミット ID を指定できます。GitHub からカスタムパイプラインを読み込む場合は、🤗 Diffusers のバージョンを指定でき、それ以外の場合は Hub から読み込む際にデフォルトで `"main"` が使用されます。

mirror (`str`, *任意*) : 中国でモデルをダウンロードする場合、アクセシビリティの問題を解決するためのミラーソースを指定します。ソースの鮮度や安全性は保証されませんので、詳細についてはミラーサイトをご参照ください。

device_map (`str` または `dict[str, int | str | torch.device]`、*省略可*) : 各サブモジュールをどのデバイスに配置するかを指定するマップです。すべてのパラメータ/バッファ名に対して定義する必要はありません。特定のモジュール名がマップに含まれている場合、そのモジュールのすべてのサブモジュールは同じデバイスに送信されます。 `device_map="auto"` を設定すると、🤗 Accelerate が最も最適化された `device_map` を自動的に計算します。各オプションの詳細については、[デバイスマップの設計](https://hf.co/docs/accelerate/main/en/usage_guides/big_modeling#designing-a-device-map)を参照してください。
max_memory (`Dict`, *省略可*) : 最大メモリに対するデバイスの識別子の辞書です。未設定の場合、各 GPU の利用可能な最大メモリと、利用可能な CPU RAM がデフォルトとして使用されます。

offload_folder (`str` または `os.PathLike`、*省略可能*) : `"disk"` が device_map に含まれる場合の、重みのオフロード先パス。

offload_state_dict (`bool`, *任意*) : `True`の場合、CPU state dictの重みとチェックポイントの最大のシャードの合計がCPU RAMに収まらない場合に、CPU RAMの枯渇を避けるため、CPU state dictを一時的にハードドライブにオフロードします。ディスクオフロードが存在する場合、デフォルトは`True`です。

low_cpu_mem_usage (`bool`、*任意*、torch のバージョンが 1.9.0 以上ならデフォルトは `True`、それ未満なら `False`) : 重みの初期化を行わず、事前学習済み重みのみを読み込むことでモデルの読み込みを高速化します。また、モデルの読み込み時に CPU メモリ（ピークメモリを含む）をモデルサイズの 1 倍以下に抑えるよう試みます。PyTorch 1.9.0 以上でのみサポートされています。PyTorch の古いバージョンを使用している場合、この引数を `True` に設定するとエラーが発生します。
use_safetensors (`bool`, *optional*, defaults to `None`) : If set to `None`, the safetensors weights are downloaded if they're available **and** if the safetensors library is installed. If set to `True`, the model is forcibly loaded from safetensors weights. If set to `False`, safetensors weights are not loaded.

kwargs (残りのキーワード引数の辞書、*任意*) : 読み込みおよび保存可能な変数（特定の pipeline クラスの pipeline コンポーネント）を上書きするために使用できます。上書きされたコンポーネントは、pipeline の `__init__` メソッドに直接渡されます。詳細は以下の例を参照してください。

variant (`str`, *任意*) : `"fp16"` や `"ema"` のような指定されたバリアントファイル名から重みを読み込みます。

pretrained pipeline weightから、画像から画像へのPytorch拡散パイプラインをインスタンス化します。

from_pretrained() メソッドは、以下により、正しいパイプラインクラスのインスタンスを返す処理を行います:
1. pretrained_model_or_path の設定オブジェクトの _class_name プロパティに基づいて、パイプラインクラスを検出します
2. パイプラインクラス名のパターンマッチングを使用して、パイプラインクラスに関連付けられたimage-to-imageパイプラインを検索します。

`controlnet` 引数が渡された場合、[StableDiffusionControlNetImg2ImgPipeline](/docs/diffusers/main/ja/api/pipelines/controlnet#diffusers.StableDiffusionControlNetImg2ImgPipeline) オブジェクトがインスタンス化されます。

パイプラインはデフォルトで評価モード(`model.eval()`)に設定されます。

以下のエラーメッセージが表示された場合、下流タスク用に重みをファインチューニングする必要があります。

```
Some weights of UNet2DConditionModel were not initialized from the model checkpoint at stable-diffusion-v1-5/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.
```

> [!TIP] > プライベートモデルや[gated](https://huggingface.co/docs/hub/models-gated#gated-models)モデルを使用するには、ログインしてください
`hf > auth login` を使用します。

例:

```py
>>> from diffusers import AutoPipelineForImage2Image
>>> pipeline = AutoPipelineForImage2Image.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
>>> image = pipeline(prompt, image).images[0]
```

#### from_pipe[[diffusers.AutoPipelineForImage2Image.from_pipe]]

```python
from_pipe(pipeline, **kwargs)
```

[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L868)

**パラメータ:**

pipeline (`DiffusionPipeline`) : インスタンス化された`DiffusionPipeline`オブジェクト

別のインスタンス化済みの拡散パイプラインクラスから、画像から画像への Pytorch 拡散パイプラインをインスタンス化します。

from_pipe() メソッドは、パイプラインクラス名のパターンマッチングを用いて、そのパイプラインクラスに関連付けられた image-to-image パイプラインを特定し、正しいパイプラインクラスのインスタンスを返す処理を担当します。
パイプラインが含むすべてのモジュールが、追加のメモリを再割り当てせずに新しいパイプラインを初期化するために使用されます。
パイプラインはデフォルトで評価モード(`model.eval()`)に設定されます。
例:
```py
>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForImage2Image
>>> pipe_t2i = AutoPipelineForText2Image.from_pretrained(
...     "stable-diffusion-v1-5/stable-diffusion-v1-5", requires_safety_checker=False
... )
>>> pipe_i2i = AutoPipelineForImage2Image.from_pipe(pipe_t2i)
>>> image = pipe_i2i(prompt, image).images[0]
```
## AutoPipelineForInpainting[[diffusers.AutoPipelineForInpainting]]
#### diffusers.AutoPipelineForInpainting[[diffusers.AutoPipelineForInpainting]]
```python
diffusers.AutoPipelineForInpainting(*args, **kwargs)
```
[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L990)
[AutoPipelineForInpainting](/docs/diffusers/main/ja/api/pipelines/auto_pipeline#diffusers.AutoPipelineForInpainting) は、インペインティングのパイプラインクラスをインスタンス化する汎用的なパイプラインクラスです。具体的な基盤となるパイプラインクラスは、[from_pretrained()](/docs/diffusers/main/ja/api/pipelines/auto_pipeline#diffusers.AutoPipelineForInpainting.from_pretrained) または [from_pipe()](/docs/diffusers/main/ja/api/pipelines/auto_pipeline#diffusers.AutoPipelineForInpainting.from_pipe) メソッドから自動的に選択されます。
このクラスは`__init__()`を使用してインスタンス化できません（エラーが発生します）。
クラス属性:
- **config_name** (`str`) -- 拡散パイプラインのすべてのコンポーネントのクラス名とモジュール名を保存する設定ファイルの名前。

#### from_pretrained[[diffusers.AutoPipelineForInpainting.from_pretrained]]

```python
from_pretrained(pretrained_model_or_path, **kwargs)
```

[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L1015)

**パラメータ:**

pretrained_model_or_path (`str` または `os.PathLike`、*任意*) : 以下のいずれかです。 - Hub にホストされている事前学習済みパイプラインの *repo id*（例: `CompVis/ldm-text2im-large-256`）を表す文字列。 - [save_pretrained()](/docs/diffusers/main/ja/api/pipelines/overview#diffusers.DiffusionPipeline.save_pretrained) を使用して保存されたパイプラインの重みを格納した *ディレクトリ*（例: `./my_pipeline_directory/`）へのパス。
dtype (`str` または `torch.dtype`、*省略可能*) : デフォルトの `torch.dtype` を上書きし、別の dtype でモデルを読み込みます。
force_download (`bool`, *任意*, デフォルトは `False`) : モデルの重みと設定ファイルの(再)ダウンロードを強制するかどうか。キャッシュされたバージョンが存在する場合でも、それを上書きします。

cache_dir (`str | os.PathLike`、*任意*) : 標準のキャッシュを使用しない場合、ダウンロードした事前学習済みモデルの構成がキャッシュされるディレクトリのパス。
proxies (`dict[str, str]`、*省略可*) : プロトコルまたはエンドポイントごとに使用するプロキシサーバーの辞書です。例えば、`{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}` のように指定します。これらのプロキシは、各リクエストで使用されます。
output_loading_info(`bool`, *optional*, デフォルトは `False`) : 欠落キー、予期しないキー、エラーメッセージを含む辞書を返すかどうか。
local_files_only (`bool`、*任意*、デフォルトは`False`) : ローカルのモデルの重みと設定ファイルのみを読み込むかどうかを指定します。`True`に設定すると、モデルは Hub からダウンロードされません。
token (`str` または *bool*、*省略可能*) : リモートファイルの HTTP ベアラ認証に使用するトークン。`True` の場合、`diffusers-cli login` で生成されたトークン（`~/.huggingface` に保存）が使用されます。
revision (`str`、*任意*、デフォルトは`"main"`) : 使用する特定のモデルバージョンです。ブランチ名、タグ名、コミット ID、または Git で許可されている任意の識別子を使用できます。
custom_revision (`str`、*任意*、デフォルトは `"main"`) : 使用する特定のモデルバージョンです。Hub からカスタムパイプラインを読み込む場合、`revision` と同様に、ブランチ名、タグ名、またはコミット ID を指定できます。GitHub からカスタムパイプラインを読み込む場合は、🤗 Diffusers のバージョンを指定でき、それ以外の場合は Hub から読み込む際にデフォルトで `"main"` が使用されます。

mirror (`str`, *任意*) : 中国でモデルをダウンロードする場合、アクセシビリティの問題を解決するためのミラーソースを指定します。ソースの鮮度や安全性は保証されませんので、詳細についてはミラーサイトをご参照ください。

device_map (`str` または `dict[str, int | str | torch.device]`、*省略可*) : 各サブモジュールをどのデバイスに配置するかを指定するマップです。すべてのパラメータ/バッファ名に対して定義する必要はありません。特定のモジュール名がマップに含まれている場合、そのモジュールのすべてのサブモジュールは同じデバイスに送信されます。 `device_map="auto"` を設定すると、🤗 Accelerate が最も最適化された `device_map` を自動的に計算します。各オプションの詳細については、[デバイスマップの設計](https://hf.co/docs/accelerate/main/en/usage_guides/big_modeling#designing-a-device-map)を参照してください。
max_memory (`Dict`, *省略可*) : 最大メモリに対するデバイスの識別子の辞書です。未設定の場合、各 GPU の利用可能な最大メモリと、利用可能な CPU RAM がデフォルトとして使用されます。

offload_folder (`str` または `os.PathLike`、*省略可能*) : `"disk"` が device_map に含まれる場合の、重みのオフロード先パス。

offload_state_dict (`bool`, *任意*) : `True`の場合、CPU state dictの重みとチェックポイントの最大のシャードの合計がCPU RAMに収まらない場合に、CPU RAMの枯渇を避けるため、CPU state dictを一時的にハードドライブにオフロードします。ディスクオフロードが存在する場合、デフォルトは`True`です。

low_cpu_mem_usage (`bool`、*任意*、torch のバージョンが 1.9.0 以上ならデフォルトは `True`、それ未満なら `False`) : 重みの初期化を行わず、事前学習済み重みのみを読み込むことでモデルの読み込みを高速化します。また、モデルの読み込み時に CPU メモリ（ピークメモリを含む）をモデルサイズの 1 倍以下に抑えるよう試みます。PyTorch 1.9.0 以上でのみサポートされています。PyTorch の古いバージョンを使用している場合、この引数を `True` に設定するとエラーが発生します。
use_safetensors (`bool`, *optional*, defaults to `None`) : If set to `None`, the safetensors weights are downloaded if they're available **and** if the safetensors library is installed. If set to `True`, the model is forcibly loaded from safetensors weights. If set to `False`, safetensors weights are not loaded.

kwargs (残りのキーワード引数の辞書、*任意*) : 読み込みおよび保存可能な変数（特定の pipeline クラスの pipeline コンポーネント）を上書きするために使用できます。上書きされたコンポーネントは、pipeline の `__init__` メソッドに直接渡されます。詳細は以下の例を参照してください。

variant (`str`, *任意*) : `"fp16"` や `"ema"` のような指定されたバリアントファイル名から重みを読み込みます。

事前学習済みのパイプライン重みから、インペインティング用の Pytorch 拡散パイプラインをインスタンス化します。

from_pretrained() メソッドは、以下により、正しいパイプラインクラスのインスタンスを返す処理を行います:
1. pretrained_model_or_path の設定オブジェクトの _class_name プロパティに基づいて、パイプラインクラスを検出します
2. パイプラインクラス名のパターンマッチングを使用して、インペインティングパイプラインにリンクされたパイプラインクラスを検索します。

`controlnet` 引数が渡された場合、[StableDiffusionControlNetInpaintPipeline](/docs/diffusers/main/ja/api/pipelines/controlnet#diffusers.StableDiffusionControlNetInpaintPipeline) オブジェクトがインスタンス化されます。

パイプラインはデフォルトで評価モード(`model.eval()`)に設定されます。

以下のエラーメッセージが表示された場合、下流タスク用に重みをファインチューニングする必要があります。

```
Some weights of UNet2DConditionModel were not initialized from the model checkpoint at stable-diffusion-v1-5/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.
```

> [!TIP] > プライベートモデルや[gated](https://huggingface.co/docs/hub/models-gated#gated-models)モデルを使用するには、ログインしてください
`hf > auth login` を使用します。

例:

```py
>>> from diffusers import AutoPipelineForInpainting
>>> pipeline = AutoPipelineForInpainting.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
>>> image = pipeline(prompt, image=init_image, mask_image=mask_image).images[0]
```

#### from_pipe[[diffusers.AutoPipelineForInpainting.from_pipe]]

```python
from_pipe(pipeline, **kwargs)
```

[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L1179)

**パラメータ:**

pipeline (`DiffusionPipeline`) : インスタンス化された`DiffusionPipeline`オブジェクト

別のインスタンス化済みの拡散パイプラインクラスから、inpainting用のPyTorch拡散パイプラインをインスタンス化します。

from_pipe() メソッドは、パイプラインクラス名のパターンマッチングを用いて、そのパイプラインクラスに関連付けられたインペインティングパイプラインを特定し、正しいパイプラインクラスのインスタンスを返す処理を担当します。
pipeline クラスが含むすべてのモジュールは、追加のメモリを確保せずに新しいパイプラインを初期化するために使用されます。
パイプラインはデフォルトで評価モード(`model.eval()`)に設定されます。
例:
```py
>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForInpainting
>>> pipe_t2i = AutoPipelineForText2Image.from_pretrained(
...     "DeepFloyd/IF-I-XL-v1.0", requires_safety_checker=False
... )
>>> pipe_inpaint = AutoPipelineForInpainting.from_pipe(pipe_t2i)
>>> image = pipe_inpaint(prompt, image=init_image, mask_image=mask_image).images[0]
```
## AutoPipelineForText2Audio[[diffusers.AutoPipelineForText2Audio]]
#### diffusers.AutoPipelineForText2Audio[[diffusers.AutoPipelineForText2Audio]]
```python
diffusers.AutoPipelineForText2Audio(*args, **kwargs)
```
[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L1298)
[AutoPipelineForText2Audio](/docs/diffusers/main/ja/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Audio) is a generic pipeline class that instantiates a text-to-audio pipeline class. The specific underlying pipeline class is automatically selected from either the [from_pretrained()](/docs/diffusers/main/ja/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Audio.from_pretrained) or [from_pipe()](/docs/diffusers/main/ja/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Audio.from_pipe) methods.
このクラスは`__init__()`を使用してインスタンス化できません（エラーが発生します）。
クラス属性:
- **config_name** (`str`) -- 拡散パイプラインのすべてのコンポーネントのクラス名とモジュール名を保存する設定ファイルの名前。

#### from_pretrained[[diffusers.AutoPipelineForText2Audio.from_pretrained]]

```python
from_pretrained(pretrained_model_or_path, **kwargs)
```

[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L1323)

**パラメータ:**

pretrained_model_or_path (`str` または `os.PathLike`、*省略可*) : 以下のいずれかです。 - Hub にホストされている事前学習済みパイプラインの *repo id*（例: `stabilityai/stable-audio-open-1.0`）を表す文字列。 - [save_pretrained()](/docs/diffusers/main/ja/api/pipelines/overview#diffusers.DiffusionPipeline.save_pretrained) を使用して保存されたパイプラインの重みを格納した *ディレクトリ*（例: `./my_pipeline_directory/`）へのパス。
dtype (`torch.dtype`、*任意*) : デフォルトの `torch.dtype` を上書きし、別の dtype でモデルを読み込みます。
force_download (`bool`, *任意*, デフォルトは `False`) : モデルの重みと設定ファイルの(再)ダウンロードを強制するかどうか。キャッシュされたバージョンが存在する場合でも、それを上書きします。

cache_dir (`str | os.PathLike`、*任意*) : 標準のキャッシュを使用しない場合、ダウンロードした事前学習済みモデルの構成がキャッシュされるディレクトリのパス。
proxies (`dict[str, str]`、*省略可*) : プロトコルまたはエンドポイントごとに使用するプロキシサーバーの辞書です。例えば、`{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}` のように指定します。これらのプロキシは、各リクエストで使用されます。
output_loading_info(`bool`, *optional*, デフォルトは `False`) : 欠落キー、予期しないキー、エラーメッセージを含む辞書を返すかどうか。
local_files_only (`bool`、*任意*、デフォルトは`False`) : ローカルのモデルの重みと設定ファイルのみを読み込むかどうかを指定します。`True`に設定すると、モデルは Hub からダウンロードされません。
token (`str` または *bool*、*省略可能*) : リモートファイルの HTTP ベアラ認証に使用するトークン。`True` の場合、`diffusers-cli login` で生成されたトークン（`~/.huggingface` に保存）が使用されます。
revision (`str`、*任意*、デフォルトは`"main"`) : 使用する特定のモデルバージョンです。ブランチ名、タグ名、コミット ID、または Git で許可されている任意の識別子を使用できます。
custom_revision (`str`、*任意*、デフォルトは `"main"`) : 使用する特定のモデルバージョンです。Hub からカスタムパイプラインを読み込む場合、`revision` と同様に、ブランチ名、タグ名、またはコミット ID を指定できます。GitHub からカスタムパイプラインを読み込む場合は、🤗 Diffusers のバージョンを指定でき、それ以外の場合は Hub から読み込む際にデフォルトで `"main"` が使用されます。

mirror (`str`, *任意*) : 中国でモデルをダウンロードする場合、アクセシビリティの問題を解決するためのミラーソースを指定します。ソースの鮮度や安全性を保証するものではなく、詳細についてはミラーサイトをご参照ください。

device_map (`str` または `dict[str, int | str | torch.device]`、*省略可*) : 各サブモジュールをどのデバイスに配置するかを指定するマップです。各パラメータやバッファの名前すべてに対して定義する必要はありません。特定のモジュール名がマップに含まれている場合、そのモジュールのすべてのサブモジュールは同じデバイスに送信されます。 `device_map="auto"` を設定すると、🤗 Accelerate が最も最適化された `device_map` を自動的に計算します。各オプションの詳細については、[デバイスマップの設計](https://hf.co/docs/accelerate/main/en/usage_guides/big_modeling#designing-a-device-map)を参照してください。
max_memory (`Dict`, *省略可*) : 最大メモリに対するデバイスの識別子の辞書です。未設定の場合、各 GPU の利用可能な最大メモリと、利用可能な CPU RAM がデフォルトとして使用されます。

offload_folder (`str` または `os.PathLike`、*省略可能*) : `"disk"` が device_map に含まれる場合の、重みのオフロード先パス。

offload_state_dict (`bool`, *任意*) : `True`の場合、CPU state dictの重みとチェックポイントの最大のシャードの合計がCPU RAMに収まらない場合に、CPU RAMの枯渇を避けるため、CPU state dictを一時的にハードドライブにオフロードします。ディスクオフロードが存在する場合、デフォルトは`True`です。

low_cpu_mem_usage (`bool`、*任意*、torch のバージョンが 1.9.0 以上ならデフォルトは `True`、それ未満なら `False`) : 重みの初期化を行わず、事前学習済み重みのみを読み込むことでモデルの読み込みを高速化します。また、モデルの読み込み時に CPU メモリ（ピークメモリを含む）をモデルサイズの 1 倍以下に抑えるよう試みます。PyTorch 1.9.0 以上でのみサポートされています。PyTorch の古いバージョンを使用している場合、この引数を `True` に設定するとエラーが発生します。
use_safetensors (`bool`, *optional*, defaults to `None`) : If set to `None`, the safetensors weights are downloaded if they're available **and** if the safetensors library is installed. If set to `True`, the model is forcibly loaded from safetensors weights. If set to `False`, safetensors weights are not loaded.

kwargs (残りのキーワード引数の辞書、*任意*) : 読み込みおよび保存可能な変数（特定の pipeline クラスの pipeline コンポーネント）を上書きするために使用できます。上書きされたコンポーネントは、pipeline の `__init__` メソッドに直接渡されます。詳細は以下の例を参照してください。

variant (`str`, *任意*) : `"fp16"` や `"ema"` のような指定されたバリアントファイル名から重みを読み込みます。

事前学習済みのパイプライン重みから、テキストからオーディオを生成する Pytorch 拡散パイプラインをインスタンス化します。

from_pretrained() メソッドは、以下により、正しいパイプラインクラスのインスタンスを返す処理を行います:
1. pretrained_model_or_path の設定オブジェクトの _class_name プロパティに基づいて、パイプラインクラスを検出します
2. パイプラインクラス名のパターンマッチングを使用して、パイプラインクラスに関連付けられたテキストからオーディオへのパイプラインを検索します。

パイプラインはデフォルトで評価モード(`model.eval()`)に設定されます。

> [!TIP] > プライベートモデルや[gated](https://huggingface.co/docs/hub/models-gated#gated-models)モデルを使用するには、ログインしてください
`hf > auth login` を使用します。

例:

```py
>>> import torch
>>> import soundfile as sf
>>> from diffusers import AutoPipelineForText2Audio
>>> pipeline = AutoPipelineForText2Audio.from_pretrained(
...     "stabilityai/stable-audio-open-1.0", torch_dtype=torch.float16
... )
>>> pipeline = pipeline.to("cuda")
>>> output = pipeline(
...     "Generate a male voice reading a paragraph",
...     num_inference_steps=200,
...     audio_end_in_s=10.0,
... )
>>> audio = output.audios[0].T.float().cpu().numpy()
>>> sf.write("audio.wav", audio, pipeline.vae.sampling_rate)
```

#### from_pipe[[diffusers.AutoPipelineForText2Audio.from_pipe]]

```python
from_pipe(pipeline, **kwargs)
```

[ソース](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L1467)

**パラメータ:**

pipeline (`DiffusionPipeline`) : インスタンス化された`DiffusionPipeline`オブジェクト

別のインスタンス化済みの拡散パイプラインクラスから、テキストからオーディオを生成する Pytorch 拡散パイプラインをインスタンス化します。

from_pipe() メソッドは、パイプラインクラス名のパターンマッチングを用いて、パイプラインクラスに関連付けられたテキストからオーディオへのパイプラインを見つけ出し、正しいパイプラインクラスのインスタンスを返す処理を担当します。
パイプラインが含むすべてのモジュールが、追加のメモリを再割り当てせずに新しいパイプラインを初期化するために使用されます。
パイプラインはデフォルトで評価モード(`model.eval()`)に設定されます。
```py
>>> import torch
>>> import soundfile as sf
>>> from diffusers import AutoPipelineForText2Audio, StableAudioPipeline
>>> pipe = StableAudioPipeline.from_pretrained("stabilityai/stable-audio-open-1.0", torch_dtype=torch.float16)
>>> pipe_audio = AutoPipelineForText2Audio.from_pipe(pipe)
>>> output = pipe_audio(
...     "Generate a sound",
...     num_inference_steps=200,
...     audio_end_in_s=10.0,
... )
>>> audio = output.audios[0].T.float().cpu().numpy()
>>> sf.write("audio.wav", audio, pipe_audio.vae.sampling_rate)
```
Xet Storage Details

Size:: 45.1 kB
Xet hash:: 3907c651caf5a85e1f6f1615184ee9bd9850e4f6aa9fb5cb82ccbc78a4df6036
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.