DreamBooth

DreamBooth персонализирует предобученную модель под конкретный объект по нескольким изображениям (например, вашему коту), дообучая полные веса и связывая этот объект с уникальным идентификатором в промпте (sks cat). После этого вы можете генерировать изображения этого объекта в новых окружениях, при разном освещении, в разных позах и стилях.

Чекпоинты DreamBooth обычно занимают несколько ГБ, так как содержат полные веса модели. Загружайте их с помощью from_pretrained() и указывайте уникальный идентификатор в промпте, чтобы запустить генерацию.

import torch
from diffusers import AutoPipelineForText2Image

pipeline = AutoPipelineForText2Image.from_pretrained(
    "sd-dreambooth-library/herge-style",
    dtype=torch.float16
).to("cuda")  # or "mps", "xpu", "cpu"
prompt = "A cute sks herge_style brown bear eating a slice of pizza, stunning color scheme, masterpiece, illustration"
pipeline(prompt).images[0]

Чтобы обучить собственную контрольную точку, см. Обучение DreamBooth.