Buckets:

hf-doc-build
/

doc

Files

xet

hf-doc-build/doc / diffusers /main /id /api /loaders /textual_inversion.md

mishig

8 days ago

preview code

download

raw

9.66 kB

# Textual Inversion

Textual Inversion adalah metode pelatihan untuk mempersonalisasi model dengan mempelajari embedding teks baru dari beberapa gambar contoh. File yang dihasilkan dari pelatihan sangat kecil (beberapa KB) dan embedding baru dapat dimuat ke dalam text encoder.

`TextualInversionLoaderMixin` menyediakan fungsi untuk memuat embedding Textual Inversion dari Diffusers dan Automatic1111 ke dalam text encoder, serta memuat token khusus untuk mengaktifkan embedding tersebut.

> [!TIP]
> Untuk mempelajari lebih lanjut tentang cara memuat embedding Textual Inversion, lihat panduan pemuatan [Textual Inversion](../../using-diffusers/legacy_adapters#textual-inversion).

## TextualInversionLoaderMixin[[diffusers.loaders.TextualInversionLoaderMixin]]

#### diffusers.loaders.TextualInversionLoaderMixin[[diffusers.loaders.TextualInversionLoaderMixin]]

```python
diffusers.loaders.TextualInversionLoaderMixin()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/loaders/textual_inversion.py#L118)

Muat token dan embedding Textual Inversion ke tokenizer dan text encoder.

#### load_textual_inversion[[diffusers.loaders.TextualInversionLoaderMixin.load_textual_inversion]]

```python
load_textual_inversion(pretrained_model_name_or_path: str | list[str] | dict[str, torch.Tensor] | list[dict[str, torch.Tensor]], token: str | list[str] | None = None, tokenizer: 'PreTrainedTokenizer' | None = None, text_encoder: 'PreTrainedModel' | None = None, **kwargs)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/loaders/textual_inversion.py#L271)

**Parameter:**

pretrained_model_name_or_path (`str` atau `os.PathLike` atau `list[str or os.PathLike]` atau `Dict` atau `list[Dict]`) : Dapat berupa salah satu dari berikut ini atau daftar dari salah satu di antaranya: - String, *model id* (misalnya `sd-concepts-library/low-poly-hd-logos-icons`) dari model pretrained yang dihosting di Hub. - Path ke *directory* (misalnya `./my_text_inversion_directory/`) yang berisi bobot textual inversion. - Path ke *file* (misalnya `./my_text_inversions.pt`) yang berisi bobot textual inversion. - [torch state dict](https://pytorch.org/tutorials/beginner/saving_loading_models.html#what-is-a-state-dict).

token (`str` atau `list[str]`, *opsional*) : Menimpa token yang digunakan untuk bobot inversi tekstual. Jika `pretrained_model_name_or_path` adalah daftar, maka `token` juga harus berupa daftar dengan panjang yang sama.

text_encoder ([CLIPTextModel](https://huggingface.co/docs/transformers/main/en/model_doc/clip#transformers.CLIPTextModel), *opsional*) : Text-encoder beku ([clip-vit-large-patch14](https://huggingface.co/openai/clip-vit-large-patch14)). Jika tidak ditentukan, fungsi akan mengambil self.tokenizer.
tokenizer ([CLIPTokenizer](https://huggingface.co/docs/transformers/main/en/model_doc/clip#transformers.CLIPTokenizer), *opsional*) : `CLIPTokenizer` untuk melakukan tokenisasi teks. Jika tidak ditentukan, fungsi akan mengambil self.tokenizer.
weight_name (`str`, *opsional*) : Nama file bobot kustom. Ini harus digunakan ketika: - File textual inversion yang disimpan berada dalam format 🤗 Diffusers, tetapi disimpan dengan nama bobot tertentu seperti `text_inv.bin`. - File textual inversion yang disimpan berada dalam format Automatic1111.

cache_dir (`str | os.PathLike`, *opsional*) : Path ke direktori tempat konfigurasi model pretrained yang diunduh di-cache jika cache standar tidak digunakan.
force_download (`bool`, *opsional*, defaultnya `False`) : Apakah akan memaksa (mengunduh ulang) bobot model dan file konfigurasi, menimpa versi yang di-cache jika ada.

proxies (`dict[str, str]`, *opsional*) : Kamus server proxy yang akan digunakan berdasarkan protokol atau endpoint, misalnya `{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}`. Proxy digunakan pada setiap permintaan.

local_files_only (`bool`, *opsional*, defaultnya `False`) : Apakah hanya memuat bobot model dan file konfigurasi lokal atau tidak. Jika diatur ke `True`, model tidak akan diunduh dari Hub.

hf_token (`str` atau *bool*, *opsional*) : Token yang digunakan sebagai otorisasi bearer HTTP untuk file jarak jauh. Jika `True`, token yang dihasilkan dari `diffusers-cli login` (disimpan di `~/.huggingface`) akan digunakan.
revision (`str`, *opsional*, defaultnya `"main"`) : Versi model spesifik yang akan digunakan. Bisa berupa nama branch, nama tag, id commit, atau identifikasi apa pun yang diizinkan oleh Git.
subfolder (`str`, *opsional*, defaultnya `""`) : Lokasi subfolder dari file model di dalam repositori model yang lebih besar di Hub atau secara lokal.
mirror (`str`, *opsional*) : Sumber cermin untuk menyelesaikan masalah aksesibilitas jika Anda mengunduh model di Tiongkok. Kami tidak menjamin ketepatan waktu atau keamanan sumber, dan Anda harus merujuk ke situs cermin untuk informasi lebih lanjut.
Muat embedding Textual Inversion ke dalam text encoder dari [StableDiffusionPipeline](/docs/diffusers/main/id/api/pipelines/stable_diffusion/text2img#diffusers.StableDiffusionPipeline) (format 🤗 Diffusers dan Automatic1111 didukung).
Contoh:
Untuk memuat vektor embedding Textual Inversion dalam format 🤗 Diffusers:
```py
from diffusers import StableDiffusionPipeline
import torch
model_id = "stable-diffusion-v1-5/stable-diffusion-v1-5"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16).to("cuda")
pipe.load_textual_inversion("sd-concepts-library/cat-toy")
prompt = "A <cat-toy> backpack"
image = pipe(prompt, num_inference_steps=50).images[0]
image.save("cat-backpack.png")
```
Untuk memuat vektor embedding Textual Inversion dalam format Automatic1111, pastikan untuk mengunduh vektornya terlebih dahulu (misalnya dari [civitAI](https://civitai.com/models/3036?modelVersionId=9857)) dan kemudian memuat vektor tersebut
secara lokal:
```py
from diffusers import StableDiffusionPipeline
import torch
model_id = "stable-diffusion-v1-5/stable-diffusion-v1-5"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16).to("cuda")
pipe.load_textual_inversion("./charturnerv2.pt", token="charturnerv2")
prompt = "charturnerv2, multiple views of the same character in the same outfit, a character turnaround of a woman wearing a black jacket and red shirt, best quality, intricate details."
image = pipe(prompt, num_inference_steps=50).images[0]
image.save("character.png")
```
#### maybe_convert_prompt[[diffusers.loaders.TextualInversionLoaderMixin.maybe_convert_prompt]]
```python
maybe_convert_prompt(prompt: str | list[str], tokenizer: 'PreTrainedTokenizer')
```
[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/loaders/textual_inversion.py#L123)
**Parameter:**
prompt (`str` atau list of `str`) : Prompt atau prompt-prompt untuk mengarahkan generasi gambar.
tokenizer (`PreTrainedTokenizer`) : Tokenizer yang bertanggung jawab untuk mengkodekan prompt menjadi token input.
**Mengembalikan:** `str` atau daftar `str`
Prompt yang dikonversi
Memproses prompt yang mencakup token khusus yang sesuai dengan embedding inversi teks multi-vektor untuk diganti dengan beberapa token khusus, masing-masing sesuai dengan salah satu vektor. Jika prompt tidak memiliki token inversi teks atau jika token inversi teks tersebut adalah vektor tunggal, prompt input dikembalikan.
#### unload_textual_inversion[[diffusers.loaders.TextualInversionLoaderMixin.unload_textual_inversion]]
```python
unload_textual_inversion(tokens: str | list[str] | None = None, tokenizer: 'PreTrainedTokenizer' | None = None, text_encoder: 'PreTrainedModel' | None = None)
```
[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/loaders/textual_inversion.py#L467)
Muat turun embedding Textual Inversion dari text encoder dari [StableDiffusionPipeline](/docs/diffusers/main/id/api/pipelines/stable_diffusion/text2img#diffusers.StableDiffusionPipeline)
Contoh:
```py
from diffusers import AutoPipelineForText2Image
import torch

pipeline = AutoPipelineForText2Image.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
# Example 1
pipeline.load_textual_inversion("sd-concepts-library/gta5-artwork")
pipeline.load_textual_inversion("sd-concepts-library/moeb-style")
# Remove all token embeddings
pipeline.unload_textual_inversion()
# Example 2
pipeline.load_textual_inversion("sd-concepts-library/moeb-style")
pipeline.load_textual_inversion("sd-concepts-library/gta5-artwork")
# Remove just one token
pipeline.unload_textual_inversion("<moe-bius>")
# Example 3: unload from SDXL
pipeline = AutoPipelineForText2Image.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0")
embedding_path = hf_hub_download(
    repo_id="linoyts/web_y2k", filename="web_y2k_emb.safetensors", repo_type="model"
)

# load embeddings to the text encoders
state_dict = load_file(embedding_path)
# load embeddings of text_encoder 1 (CLIP ViT-L/14)
pipeline.load_textual_inversion(
    state_dict["clip_l"],
    tokens=["<s0>", "<s1>"],
    text_encoder=pipeline.text_encoder,
    tokenizer=pipeline.tokenizer,
)
# load embeddings of text_encoder 2 (CLIP ViT-G/14)
pipeline.load_textual_inversion(
    state_dict["clip_g"],
    tokens=["<s0>", "<s1>"],
    text_encoder=pipeline.text_encoder_2,
    tokenizer=pipeline.tokenizer_2,
)
# Unload explicitly from both text encoders and tokenizers
pipeline.unload_textual_inversion(
    tokens=["<s0>", "<s1>"], text_encoder=pipeline.text_encoder, tokenizer=pipeline.tokenizer
)
pipeline.unload_textual_inversion(
    tokens=["<s0>", "<s1>"], text_encoder=pipeline.text_encoder_2, tokenizer=pipeline.tokenizer_2
)
```

Xet Storage Details

Size:: 9.66 kB
Xet hash:: 938780bd448e13a580dfd0a5d6fa20111fdb445334f0ca1bee8f5a2dba57f4c8

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.

	# Textual Inversion

	Textual Inversion adalah metode pelatihan untuk mempersonalisasi model dengan mempelajari embedding teks baru dari beberapa gambar contoh. File yang dihasilkan dari pelatihan sangat kecil (beberapa KB) dan embedding baru dapat dimuat ke dalam text encoder.

	`TextualInversionLoaderMixin` menyediakan fungsi untuk memuat embedding Textual Inversion dari Diffusers dan Automatic1111 ke dalam text encoder, serta memuat token khusus untuk mengaktifkan embedding tersebut.

	> [!TIP]
	> Untuk mempelajari lebih lanjut tentang cara memuat embedding Textual Inversion, lihat panduan pemuatan [Textual Inversion](../../using-diffusers/legacy_adapters#textual-inversion).

	## TextualInversionLoaderMixin[[diffusers.loaders.TextualInversionLoaderMixin]]

	#### diffusers.loaders.TextualInversionLoaderMixin[[diffusers.loaders.TextualInversionLoaderMixin]]

	```python
	diffusers.loaders.TextualInversionLoaderMixin()
	```

	[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/loaders/textual_inversion.py#L118)

	Muat token dan embedding Textual Inversion ke tokenizer dan text encoder.

	#### load_textual_inversion[[diffusers.loaders.TextualInversionLoaderMixin.load_textual_inversion]]

	```python
	load_textual_inversion(pretrained_model_name_or_path: str \| list[str] \| dict[str, torch.Tensor] \| list[dict[str, torch.Tensor]], token: str \| list[str] \| None = None, tokenizer: 'PreTrainedTokenizer' \| None = None, text_encoder: 'PreTrainedModel' \| None = None, **kwargs)
	```

	[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/loaders/textual_inversion.py#L271)

	Parameter:

	pretrained_model_name_or_path (`str` atau `os.PathLike` atau `list[str or os.PathLike]` atau `Dict` atau `list[Dict]`) : Dapat berupa salah satu dari berikut ini atau daftar dari salah satu di antaranya: - String, model id (misalnya `sd-concepts-library/low-poly-hd-logos-icons`) dari model pretrained yang dihosting di Hub. - Path ke directory (misalnya `./my_text_inversion_directory/`) yang berisi bobot textual inversion. - Path ke file (misalnya `./my_text_inversions.pt`) yang berisi bobot textual inversion. - [torch state dict](https://pytorch.org/tutorials/beginner/saving_loading_models.html#what-is-a-state-dict).

	token (`str` atau `list[str]`, opsional) : Menimpa token yang digunakan untuk bobot inversi tekstual. Jika `pretrained_model_name_or_path` adalah daftar, maka `token` juga harus berupa daftar dengan panjang yang sama.

	text_encoder ([CLIPTextModel](https://huggingface.co/docs/transformers/main/en/model_doc/clip#transformers.CLIPTextModel), opsional) : Text-encoder beku ([clip-vit-large-patch14](https://huggingface.co/openai/clip-vit-large-patch14)). Jika tidak ditentukan, fungsi akan mengambil self.tokenizer.

	tokenizer ([CLIPTokenizer](https://huggingface.co/docs/transformers/main/en/model_doc/clip#transformers.CLIPTokenizer), opsional) : `CLIPTokenizer` untuk melakukan tokenisasi teks. Jika tidak ditentukan, fungsi akan mengambil self.tokenizer.

	weight_name (`str`, opsional) : Nama file bobot kustom. Ini harus digunakan ketika: - File textual inversion yang disimpan berada dalam format 🤗 Diffusers, tetapi disimpan dengan nama bobot tertentu seperti `text_inv.bin`. - File textual inversion yang disimpan berada dalam format Automatic1111.

	cache_dir (`str \| os.PathLike`, opsional) : Path ke direktori tempat konfigurasi model pretrained yang diunduh di-cache jika cache standar tidak digunakan.

	force_download (`bool`, opsional, defaultnya `False`) : Apakah akan memaksa (mengunduh ulang) bobot model dan file konfigurasi, menimpa versi yang di-cache jika ada.

	proxies (`dict[str, str]`, opsional) : Kamus server proxy yang akan digunakan berdasarkan protokol atau endpoint, misalnya `{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}`. Proxy digunakan pada setiap permintaan.

	local_files_only (`bool`, opsional, defaultnya `False`) : Apakah hanya memuat bobot model dan file konfigurasi lokal atau tidak. Jika diatur ke `True`, model tidak akan diunduh dari Hub.

	hf_token (`str` atau bool, opsional) : Token yang digunakan sebagai otorisasi bearer HTTP untuk file jarak jauh. Jika `True`, token yang dihasilkan dari `diffusers-cli login` (disimpan di `~/.huggingface`) akan digunakan.

	revision (`str`, opsional, defaultnya `"main"`) : Versi model spesifik yang akan digunakan. Bisa berupa nama branch, nama tag, id commit, atau identifikasi apa pun yang diizinkan oleh Git.

	subfolder (`str`, opsional, defaultnya `""`) : Lokasi subfolder dari file model di dalam repositori model yang lebih besar di Hub atau secara lokal.

	mirror (`str`, opsional) : Sumber cermin untuk menyelesaikan masalah aksesibilitas jika Anda mengunduh model di Tiongkok. Kami tidak menjamin ketepatan waktu atau keamanan sumber, dan Anda harus merujuk ke situs cermin untuk informasi lebih lanjut.

	Muat embedding Textual Inversion ke dalam text encoder dari [StableDiffusionPipeline](/docs/diffusers/main/id/api/pipelines/stable_diffusion/text2img#diffusers.StableDiffusionPipeline) (format 🤗 Diffusers dan Automatic1111 didukung).

	Contoh:

	Untuk memuat vektor embedding Textual Inversion dalam format 🤗 Diffusers:

	```py
	from diffusers import StableDiffusionPipeline
	import torch

	model_id = "stable-diffusion-v1-5/stable-diffusion-v1-5"
	pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16).to("cuda")

	pipe.load_textual_inversion("sd-concepts-library/cat-toy")

	prompt = "A <cat-toy> backpack"

	image = pipe(prompt, num_inference_steps=50).images[0]
	image.save("cat-backpack.png")
	```

	Untuk memuat vektor embedding Textual Inversion dalam format Automatic1111, pastikan untuk mengunduh vektornya terlebih dahulu (misalnya dari [civitAI](https://civitai.com/models/3036?modelVersionId=9857)) dan kemudian memuat vektor tersebut

	secara lokal:

	```py
	from diffusers import StableDiffusionPipeline
	import torch

	model_id = "stable-diffusion-v1-5/stable-diffusion-v1-5"
	pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16).to("cuda")

	pipe.load_textual_inversion("./charturnerv2.pt", token="charturnerv2")

	prompt = "charturnerv2, multiple views of the same character in the same outfit, a character turnaround of a woman wearing a black jacket and red shirt, best quality, intricate details."

	image = pipe(prompt, num_inference_steps=50).images[0]
	image.save("character.png")
	```

	#### maybe_convert_prompt[[diffusers.loaders.TextualInversionLoaderMixin.maybe_convert_prompt]]

	```python
	maybe_convert_prompt(prompt: str \| list[str], tokenizer: 'PreTrainedTokenizer')
	```

	[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/loaders/textual_inversion.py#L123)

	Parameter:

	prompt (`str` atau list of `str`) : Prompt atau prompt-prompt untuk mengarahkan generasi gambar.

	tokenizer (`PreTrainedTokenizer`) : Tokenizer yang bertanggung jawab untuk mengkodekan prompt menjadi token input.

	Mengembalikan: `str` atau daftar `str`

	Prompt yang dikonversi

	Memproses prompt yang mencakup token khusus yang sesuai dengan embedding inversi teks multi-vektor untuk diganti dengan beberapa token khusus, masing-masing sesuai dengan salah satu vektor. Jika prompt tidak memiliki token inversi teks atau jika token inversi teks tersebut adalah vektor tunggal, prompt input dikembalikan.

	#### unload_textual_inversion[[diffusers.loaders.TextualInversionLoaderMixin.unload_textual_inversion]]

	```python
	unload_textual_inversion(tokens: str \| list[str] \| None = None, tokenizer: 'PreTrainedTokenizer' \| None = None, text_encoder: 'PreTrainedModel' \| None = None)
	```

	[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/loaders/textual_inversion.py#L467)

	Muat turun embedding Textual Inversion dari text encoder dari [StableDiffusionPipeline](/docs/diffusers/main/id/api/pipelines/stable_diffusion/text2img#diffusers.StableDiffusionPipeline)

	Contoh:
	```py
	from diffusers import AutoPipelineForText2Image
	import torch

	pipeline = AutoPipelineForText2Image.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")

	# Example 1
	pipeline.load_textual_inversion("sd-concepts-library/gta5-artwork")
	pipeline.load_textual_inversion("sd-concepts-library/moeb-style")

	# Remove all token embeddings
	pipeline.unload_textual_inversion()

	# Example 2
	pipeline.load_textual_inversion("sd-concepts-library/moeb-style")
	pipeline.load_textual_inversion("sd-concepts-library/gta5-artwork")

	# Remove just one token
	pipeline.unload_textual_inversion("<moe-bius>")

	# Example 3: unload from SDXL
	pipeline = AutoPipelineForText2Image.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0")
	embedding_path = hf_hub_download(
	repo_id="linoyts/web_y2k", filename="web_y2k_emb.safetensors", repo_type="model"
	)

	# load embeddings to the text encoders
	state_dict = load_file(embedding_path)

	# load embeddings of text_encoder 1 (CLIP ViT-L/14)
	pipeline.load_textual_inversion(
	state_dict["clip_l"],
	tokens=["<s0>", "<s1>"],
	text_encoder=pipeline.text_encoder,
	tokenizer=pipeline.tokenizer,
	)
	# load embeddings of text_encoder 2 (CLIP ViT-G/14)
	pipeline.load_textual_inversion(
	state_dict["clip_g"],
	tokens=["<s0>", "<s1>"],
	text_encoder=pipeline.text_encoder_2,
	tokenizer=pipeline.tokenizer_2,
	)

	# Unload explicitly from both text encoders and tokenizers
	pipeline.unload_textual_inversion(
	tokens=["<s0>", "<s1>"], text_encoder=pipeline.text_encoder, tokenizer=pipeline.tokenizer
	)
	pipeline.unload_textual_inversion(
	tokens=["<s0>", "<s1>"], text_encoder=pipeline.text_encoder_2, tokenizer=pipeline.tokenizer_2
	)
	```