Diffusers documentation

DeepFloyd IF

Diffusers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

DeepFloyd IF

개요

DeepFloyd IF는 사진 같은 사실성과 언어 이해도가 높은 최신 오픈소스 텍스트-이미지 생성 모델입니다. 이 모델은 동결된 텍스트 인코더와 세 개의 연쇄된 픽셀 디퓨전 모듈로 구성된 모듈형 아키텍처입니다:

Stage 1: 텍스트 프롬프트를 기반으로 64x64 px 이미지를 생성하는 베이스 모델,
Stage 2: 64x64 px => 256x256 px 초해상도 모델, 그리고
Stage 3: 256x256 px => 1024x1024 px 초해상도 모델 Stage 1과 Stage 2는 T5 transformer 기반의 동결된 텍스트 인코더를 사용하여 텍스트 임베딩을 추출한 후, 크로스 어텐션과 어텐션 풀링으로 강화된 UNet 아키텍처에 입력합니다. Stage 3은 Stability AI의 x4 업스케일링 모델입니다. 그 결과, COCO 데이터셋에서 제로샷 FID 점수 6.66을 달성하여 현재 최첨단 모델보다 우수한 성능을 보이는 매우 효율적인 모델이 탄생했습니다. 우리의 연구는 캐스케이드 확산 모델의 첫 번째 단계에서 더 큰 UNet 아키텍처의 잠재력을 강조하며, 텍스트-이미지 합성의 유망한 미래를 보여줍니다.

사용

IF를 사용하기 전에 사용 조건을 수락해야 합니다. 이를 위해:

Hugging Face 계정이 있고 로그인되어 있는지 확인하세요.
DeepFloyd/IF-I-XL-v1.0 모델 카드에서 라이선스를 수락하세요. Stage I 모델 카드에서 라이선스를 수락하면 다른 IF 모델에 대해서도 자동으로 수락됩니다.
로컬에서 로그인했는지 확인하세요. huggingface_hub를 설치합니다:

pip install huggingface_hub --upgrade

Python 셸에서 로그인 함수를 실행합니다:

from huggingface_hub import login

login()

그리고 Hugging Face Hub 액세스 토큰을 입력하세요.

다음으로 diffusers와 종속성을 설치합니다:

pip install -q diffusers accelerate transformers

다음 섹션에서는 IF를 사용하는 방법에 대한 더 자세한 예시를 제공합니다. 구체적으로:

텍스트-이미지 생성
이미지-이미지 생성
인페인팅
모델 가중치 재사용
속도 최적화
메모리 최적화

사용 가능한 체크포인트

1단계
2단계
- DeepFloyd/IF-II-L-v1.0
- DeepFloyd/IF-II-M-v1.0
Stage-3
- stabilityai/stable-diffusion-x4-upscaler

Google Colab

텍스트-이미지 생성

기본적으로 diffusers는 model cpu offloading을 사용하여 VRAM 14 GB만으로 전체 IF 파이프라인을 실행합니다.

from diffusers import DiffusionPipeline
from diffusers.utils import pt_to_pil, make_image_grid
import torch

# stage 1
stage_1 = DiffusionPipeline.from_pretrained("DeepFloyd/IF-I-XL-v1.0", variant="fp16", dtype=torch.float16)
stage_1.enable_model_cpu_offload()

# stage 2
stage_2 = DiffusionPipeline.from_pretrained(
    "DeepFloyd/IF-II-L-v1.0", text_encoder=None, variant="fp16", dtype=torch.float16
)
stage_2.enable_model_cpu_offload()

# stage 3
safety_modules = {
    "feature_extractor": stage_1.feature_extractor,
    "safety_checker": stage_1.safety_checker,
    "watermarker": stage_1.watermarker,
}
stage_3 = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-x4-upscaler", **safety_modules, dtype=torch.float16
)
stage_3.enable_model_cpu_offload()

prompt = 'a photo of a kangaroo wearing an orange hoodie and blue sunglasses standing in front of the eiffel tower holding a sign that says "very deep learning"'
generator = torch.manual_seed(1)

# text embeds
prompt_embeds, negative_embeds = stage_1.encode_prompt(prompt)

# stage 1
stage_1_output = stage_1(
    prompt_embeds=prompt_embeds, negative_prompt_embeds=negative_embeds, generator=generator, output_type="pt"
).images
#pt_to_pil(stage_1_output)[0].save("./if_stage_I.png")

# stage 2
stage_2_output = stage_2(
    image=stage_1_output,
    prompt_embeds=prompt_embeds,
    negative_prompt_embeds=negative_embeds,
    generator=generator,
    output_type="pt",
).images
#pt_to_pil(stage_2_output)[0].save("./if_stage_II.png")

# stage 3
stage_3_output = stage_3(prompt=prompt, image=stage_2_output, noise_level=100, generator=generator).images
#stage_3_output[0].save("./if_stage_III.png")
make_image_grid([pt_to_pil(stage_1_output)[0], pt_to_pil(stage_2_output)[0], stage_3_output[0]], rows=1, rows=3)

텍스트 기반 이미지-이미지 생성

동일한 IF 모델 가중치를 텍스트 기반 이미지-이미지 변환 또는 이미지 변형에 사용할 수 있습니다. 이 경우 IFImg2ImgPipeline 및 IFImg2ImgSuperResolutionPipeline 파이프라인을 사용하여 가중치를 로드하는지 확인하십시오.

참고: 여기에서 설명한 components 인수를 활용하면 두 번 로드하지 않고 텍스트-이미지 생성 파이프라인의 가중치를 이미지-이미지 변환 파이프라인으로 직접 이동할 수도 있습니다.

from diffusers import IFImg2ImgPipeline, IFImg2ImgSuperResolutionPipeline, DiffusionPipeline
from diffusers.utils import pt_to_pil, load_image, make_image_grid
import torch

# download image
url = "https://raw.githubusercontent.com/CompVis/stable-diffusion/main/assets/stable-samples/img2img/sketch-mountains-input.jpg"
original_image = load_image(url)
original_image = original_image.resize((768, 512))

# stage 1
stage_1 = IFImg2ImgPipeline.from_pretrained("DeepFloyd/IF-I-XL-v1.0", variant="fp16", dtype=torch.float16)
stage_1.enable_model_cpu_offload()

# stage 2
stage_2 = IFImg2ImgSuperResolutionPipeline.from_pretrained(
    "DeepFloyd/IF-II-L-v1.0", text_encoder=None, variant="fp16", dtype=torch.float16
)
stage_2.enable_model_cpu_offload()

# stage 3
safety_modules = {
    "feature_extractor": stage_1.feature_extractor,
    "safety_checker": stage_1.safety_checker,
    "watermarker": stage_1.watermarker,
}
stage_3 = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-x4-upscaler", **safety_modules, dtype=torch.float16
)
stage_3.enable_model_cpu_offload()

prompt = "A fantasy landscape in style minecraft"
generator = torch.manual_seed(1)

# text embeds
prompt_embeds, negative_embeds = stage_1.encode_prompt(prompt)

# stage 1
stage_1_output = stage_1(
    image=original_image,
    prompt_embeds=prompt_embeds,
    negative_prompt_embeds=negative_embeds,
    generator=generator,
    output_type="pt",
).images
#pt_to_pil(stage_1_output)[0].save("./if_stage_I.png")

# stage 2
stage_2_output = stage_2(
    image=stage_1_output,
    original_image=original_image,
    prompt_embeds=prompt_embeds,
    negative_prompt_embeds=negative_embeds,
    generator=generator,
    output_type="pt",
).images
#pt_to_pil(stage_2_output)[0].save("./if_stage_II.png")

# stage 3
stage_3_output = stage_3(prompt=prompt, image=stage_2_output, generator=generator, noise_level=100).images
#stage_3_output[0].save("./if_stage_III.png")
make_image_grid([original_image, pt_to_pil(stage_1_output)[0], pt_to_pil(stage_2_output)[0], stage_3_output[0]], rows=1, rows=4)

텍스트 기반 인페인팅 생성

동일한 IF 모델 가중치를 텍스트 기반 이미지-이미지 변환 또는 이미지 변형에 사용할 수 있습니다. 이 경우 IFInpaintingPipeline 및 IFInpaintingSuperResolutionPipeline 파이프라인을 사용하여 가중치를 로드하는지 확인하십시오.

참고: 여기에서 설명한 ~DiffusionPipeline.components() 함수를 활용하면 두 번 로드하지 않고 텍스트-이미지 파이프라인의 가중치를 이미지-이미지 파이프라인으로 직접 이동할 수도 있습니다.

from diffusers import IFInpaintingPipeline, IFInpaintingSuperResolutionPipeline, DiffusionPipeline
from diffusers.utils import pt_to_pil, load_image, make_image_grid
import torch

# download image
url = "https://huggingface.co/datasets/diffusers/docs-images/resolve/main/if/person.png"
original_image = load_image(url)

# download mask
url = "https://huggingface.co/datasets/diffusers/docs-images/resolve/main/if/glasses_mask.png"
mask_image = load_image(url)

# stage 1
stage_1 = IFInpaintingPipeline.from_pretrained("DeepFloyd/IF-I-XL-v1.0", variant="fp16", dtype=torch.float16)
stage_1.enable_model_cpu_offload()

# stage 2
stage_2 = IFInpaintingSuperResolutionPipeline.from_pretrained(
    "DeepFloyd/IF-II-L-v1.0", text_encoder=None, variant="fp16", dtype=torch.float16
)
stage_2.enable_model_cpu_offload()

# stage 3
safety_modules = {
    "feature_extractor": stage_1.feature_extractor,
    "safety_checker": stage_1.safety_checker,
    "watermarker": stage_1.watermarker,
}
stage_3 = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-x4-upscaler", **safety_modules, dtype=torch.float16
)
stage_3.enable_model_cpu_offload()

prompt = "blue sunglasses"
generator = torch.manual_seed(1)

# text embeds
prompt_embeds, negative_embeds = stage_1.encode_prompt(prompt)

# stage 1
stage_1_output = stage_1(
    image=original_image,
    mask_image=mask_image,
    prompt_embeds=prompt_embeds,
    negative_prompt_embeds=negative_embeds,
    generator=generator,
    output_type="pt",
).images
#pt_to_pil(stage_1_output)[0].save("./if_stage_I.png")

# stage 2
stage_2_output = stage_2(
    image=stage_1_output,
    original_image=original_image,
    mask_image=mask_image,
    prompt_embeds=prompt_embeds,
    negative_prompt_embeds=negative_embeds,
    generator=generator,
    output_type="pt",
).images
#pt_to_pil(stage_1_output)[0].save("./if_stage_II.png")

# stage 3
stage_3_output = stage_3(prompt=prompt, image=stage_2_output, generator=generator, noise_level=100).images
#stage_3_output[0].save("./if_stage_III.png")
make_image_grid([original_image, mask_image, pt_to_pil(stage_1_output)[0], pt_to_pil(stage_2_output)[0], stage_3_output[0]], rows=1, rows=5)

다른 파이프라인 간 변환

from_pretrained를 통해 로드하는 것 외에도, Pipelines는 서로 직접 로드할 수도 있습니다.

from diffusers import IFPipeline, IFSuperResolutionPipeline

pipe_1 = IFPipeline.from_pretrained("DeepFloyd/IF-I-XL-v1.0")
pipe_2 = IFSuperResolutionPipeline.from_pretrained("DeepFloyd/IF-II-L-v1.0")


from diffusers import IFImg2ImgPipeline, IFImg2ImgSuperResolutionPipeline

pipe_1 = IFImg2ImgPipeline(**pipe_1.components)
pipe_2 = IFImg2ImgSuperResolutionPipeline(**pipe_2.components)


from diffusers import IFInpaintingPipeline, IFInpaintingSuperResolutionPipeline

pipe_1 = IFInpaintingPipeline(**pipe_1.components)
pipe_2 = IFInpaintingSuperResolutionPipeline(**pipe_2.components)

속도 최적화

IF를 더 빠르게 실행하기 위한 가장 간단한 최적화는 모든 모델 구성 요소를 GPU로 이동하는 것입니다.

pipe = DiffusionPipeline.from_pretrained("DeepFloyd/IF-I-XL-v1.0", variant="fp16", dtype=torch.float16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

더 적은 수의 timesteps로 diffusion 프로세스를 실행할 수도 있습니다.

num_inference_steps 인수를 사용하여 수행할 수 있습니다:

pipe("<prompt>", num_inference_steps=30)

또는 timesteps 인수를 사용하여:

from diffusers.pipelines.deepfloyd_if import fast27_timesteps

pipe("<prompt>", timesteps=fast27_timesteps)

이미지 변형 또는 inpainting을 수행할 때 strength 인수를 사용하여 timestep 수를 줄일 수도 있습니다. strength 인수는 입력 이미지에 추가할 노이즈의 양을 나타내며, 이는 노이즈 제거 과정에서 실행할 단계 수를 결정합니다. 값이 작을수록 이미지가 덜 변형되지만 실행 속도는 빨라집니다.

pipe = IFImg2ImgPipeline.from_pretrained("DeepFloyd/IF-I-XL-v1.0", variant="fp16", dtype=torch.float16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

image = pipe(image=image, prompt="<prompt>", strength=0.3).images

torch.compile도 사용할 수 있습니다. IF와 torch.compile을 포괄적으로 테스트하지 않았으며, 예상된 결과를 제공하지 못할 수 있습니다.

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("DeepFloyd/IF-I-XL-v1.0", variant="fp16", dtype=torch.float16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

pipe.text_encoder = torch.compile(pipe.text_encoder, mode="reduce-overhead", fullgraph=True)
pipe.unet = torch.compile(pipe.unet, mode="reduce-overhead", fullgraph=True)

메모리를 위한 최적화

GPU 메모리를 최적화할 때, 표준 diffusers CPU 오프로딩 API를 사용할 수 있습니다.

모델 기반 CPU 오프로딩

pipe = DiffusionPipeline.from_pretrained("DeepFloyd/IF-I-XL-v1.0", variant="fp16", dtype=torch.float16)
pipe.enable_model_cpu_offload()

또는 보다 공격적인 레이어 기반 CPU 오프로딩

pipe = DiffusionPipeline.from_pretrained("DeepFloyd/IF-I-XL-v1.0", variant="fp16", dtype=torch.float16)
pipe.enable_sequential_cpu_offload()

또한, T5는 8bit 정밀도로 로드할 수 있습니다

from transformers import T5EncoderModel

text_encoder = T5EncoderModel.from_pretrained(
    "DeepFloyd/IF-I-XL-v1.0", subfolder="text_encoder", device_map="auto", load_in_8bit=True, variant="8bit"
)

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained(
    "DeepFloyd/IF-I-XL-v1.0",
    text_encoder=text_encoder,  # pass the previously instantiated 8bit text encoder
    unet=None,
    device_map="auto",
)

prompt_embeds, negative_embeds = pipe.encode_prompt("<prompt>")

Google Colab 무료 티어처럼 CPU RAM이 제한되어 있어 모든 모델 구성 요소를 한 번에 CPU에 로드할 수 없는 환경에서는, 필요한 모델 구성 요소가 있을 때만 텍스트 인코더 또는 UNet만 로드하도록 파이프라인을 수동으로 구성할 수 있습니다.

from diffusers import IFPipeline, IFSuperResolutionPipeline
import torch
import gc
from transformers import T5EncoderModel
from diffusers.utils import pt_to_pil, make_image_grid

text_encoder = T5EncoderModel.from_pretrained(
    "DeepFloyd/IF-I-XL-v1.0", subfolder="text_encoder", device_map="auto", load_in_8bit=True, variant="8bit"
)

# text to image
pipe = DiffusionPipeline.from_pretrained(
    "DeepFloyd/IF-I-XL-v1.0",
    text_encoder=text_encoder,  # pass the previously instantiated 8bit text encoder
    unet=None,
    device_map="auto",
)

prompt = 'a photo of a kangaroo wearing an orange hoodie and blue sunglasses standing in front of the eiffel tower holding a sign that says "very deep learning"'
prompt_embeds, negative_embeds = pipe.encode_prompt(prompt)

# Remove the pipeline so we can re-load the pipeline with the unet
del text_encoder
del pipe
gc.collect()
torch.cuda.empty_cache()

pipe = IFPipeline.from_pretrained(
    "DeepFloyd/IF-I-XL-v1.0", text_encoder=None, variant="fp16", dtype=torch.float16, device_map="auto"
)

generator = torch.Generator().manual_seed(0)
stage_1_output = pipe(
    prompt_embeds=prompt_embeds,
    negative_prompt_embeds=negative_embeds,
    output_type="pt",
    generator=generator,
).images

#pt_to_pil(stage_1_output)[0].save("./if_stage_I.png")

# Remove the pipeline so we can load the super-resolution pipeline
del pipe
gc.collect()
torch.cuda.empty_cache()

# First super resolution

pipe = IFSuperResolutionPipeline.from_pretrained(
    "DeepFloyd/IF-II-L-v1.0", text_encoder=None, variant="fp16", dtype=torch.float16, device_map="auto"
)

generator = torch.Generator().manual_seed(0)
stage_2_output = pipe(
    image=stage_1_output,
    prompt_embeds=prompt_embeds,
    negative_prompt_embeds=negative_embeds,
    output_type="pt",
    generator=generator,
).images

#pt_to_pil(stage_2_output)[0].save("./if_stage_II.png")
make_image_grid([pt_to_pil(stage_1_output)[0], pt_to_pil(stage_2_output)[0]], rows=1, rows=2)

사용 가능한 파이프라인:

Pipeline	작업	Colab
pipeline_if.py	텍스트-이미지 생성	-
pipeline_if_superresolution.py	텍스트-이미지 생성	-
pipeline_if_img2img.py	이미지-이미지 생성	-
pipeline_if_img2img_superresolution.py	이미지-이미지 생성	-
pipeline_if_inpainting.py	이미지-이미지 생성	-
pipeline_if_inpainting_superresolution.py	이미지-이미지 생성	-

Diffusers

DeepFloyd IF

개요

사용

텍스트-이미지 생성

텍스트 기반 이미지-이미지 생성

텍스트 기반 인페인팅 생성

다른 파이프라인 간 변환

속도 최적화

메모리를 위한 최적화

사용 가능한 파이프라인:

IFPipeline

class diffusers.IFPipeline

__call__

encode_prompt

IFSuperResolutionPipeline

class diffusers.IFSuperResolutionPipeline

__call__

encode_prompt

IFImg2ImgPipeline

클래스 diffusers.IFImg2ImgPipeline

__call__

encode_prompt

IFImg2ImgSuperResolutionPipeline

class diffusers.IFImg2ImgSuperResolutionPipeline

__call__

encode_prompt

IFInpaintingPipeline

class diffusers.IFInpaintingPipeline

__call__

encode_prompt

IFInpaintingSuperResolutionPipeline

class diffusers.IFInpaintingSuperResolutionPipeline

__call__

encode_prompt

call

call

call

call

call

call