Diffusers documentation

Flux

Diffusers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Flux

Flux, difüzyon dönüştürücülerine dayalı bir metinden görüntüye üretim modelleri serisidir. Flux hakkında daha fazla bilgi edinmek için, Flux'un yaratıcıları olan Black Forest Labs'in orijinal blog yazısını inceleyin.

Flux için orijinal model denetim noktaları burada bulunabilir. Orijinal çıkarım kodu burada bulunabilir.

Flux, tüketici donanım cihazlarında çalıştırıldığında oldukça maliyetli olabilir. Ancak, daha hızlı ve bellek açısından daha verimli bir şekilde çalıştırması için bir dizi optimizasyon uygulayabilirsiniz. Daha fazla ayrıntı için bu bölümü inceleyin. Ayrıca, Flux, çıkarım gecikmesinde bir ödün karşılığında bellek verimliliği için kuantizasyondan faydalanabilir. Daha fazla bilgi edinmek için bu blog yazısına göz atın. Kapsamlı bir kaynak listesi için bu gist'e bakın.

Önbelleğe alma, ara çıktıları depolayıp yeniden kullanarak çıkarımı hızlandırabilir.

Flux aşağıdaki varyantlarda gelir:

model türü	model kimliği
Zaman adımı damıtılmış	`black-forest-labs/FLUX.1-schnell`
Guidance-distilled	`black-forest-labs/FLUX.1-dev`
Doldurma Inpainting/Outpainting (Guidance-distilled)	`black-forest-labs/FLUX.1-Fill-dev`
Canny Kontrol (Rehberlik damıtılmış)	`black-forest-labs/FLUX.1-Canny-dev`
Derinlik Kontrolü (Guidance-distilled)	`black-forest-labs/FLUX.1-Depth-dev`
Canny Kontrolü (LoRA)	`black-forest-labs/FLUX.1-Canny-dev-lora`
Derinlik Kontrolü (LoRA)	`black-forest-labs/FLUX.1-Depth-dev-lora`
Redux (Uyarlama)	`black-forest-labs/FLUX.1-Redux-dev`
Konteks	`black-forest-labs/FLUX.1-kontext`

Tüm kontrol noktalarının farklı kullanım alanları vardır; bunları aşağıda ayrıntılı olarak açıklıyoruz.

Zaman adımı damıtılmış

max_sequence_length 256'den büyük olamaz.
guidance_scale 0 olmalıdır.
Bu, zaman adımı damıtılmış bir model olduğu için, daha az örneklem adımından faydalanır.

import torch
from diffusers import FluxPipeline

pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell", dtype=torch.bfloat16)
pipe.enable_model_cpu_offload()

prompt = "A cat holding a sign that says hello world"
out = pipe(
    prompt=prompt,
    guidance_scale=0.,
    height=768,
    width=1360,
    num_inference_steps=4,
    max_sequence_length=256,
).images[0]
out.save("image.png")

Guidance-distilled

Guidance-distilled varyantı, iyi kalitede üretim için yaklaşık 50 örneklem adımına ihtiyaç duyar.
max_sequence_length ile ilgili herhangi bir kısıtlaması yoktur.

import torch
from diffusers import FluxPipeline

pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", dtype=torch.bfloat16)
pipe.enable_model_cpu_offload()

prompt = "a tiny astronaut hatching from an egg on the moon"
out = pipe(
    prompt=prompt,
    guidance_scale=3.5,
    height=768,
    width=1360,
    num_inference_steps=50,
).images[0]
out.save("image.png")

Inpainting/Outpainting Doldurma

Flux Fill pipeline, normal inpainting pipeline'lerinden farklı olarak strength girdisi gerektirmez.
Hem inpainting hem de outpainting'i destekler.

import torch
from diffusers import FluxFillPipeline
from diffusers.utils import load_image

image = load_image("https://huggingface.co/datasets/YiYiXu/testing-images/resolve/main/cup.png")
mask = load_image("https://huggingface.co/datasets/YiYiXu/testing-images/resolve/main/cup_mask.png")

repo_id = "black-forest-labs/FLUX.1-Fill-dev"
pipe = FluxFillPipeline.from_pretrained(repo_id, dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"

image = pipe(
    prompt="a white paper cup",
    image=image,
    mask_image=mask,
    height=1632,
    width=1232,
    max_sequence_length=512,
    generator=torch.Generator("cpu").manual_seed(0)
).images[0]
image.save(f"output.png")

Canny Kontrol

Not: black-forest-labs/Flux.1-Canny-dev bir ControlNetModel modeli değildir. ControlNet modelleri, artıkları asıl alt modele eklenen UNet/Transformer'dan ayrı bir bileşendir. Canny Control, girdi kontrol koşuluyla kanal bazlı birleştirme kullanarak ve transformer'ın koşula mümkün olduğunca yakın uyarak yapısal kontrolü öğrenmesini sağlayarak, bir ControlNet modelinin elde edeceği sonuçlara neredeyse aynı şekilde ulaşan alternatif bir mimaridir.

# !pip install -U controlnet-aux
import torch
from controlnet_aux import CannyDetector
from diffusers import FluxControlPipeline
from diffusers.utils import load_image

pipe = FluxControlPipeline.from_pretrained("black-forest-labs/FLUX.1-Canny-dev", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"

prompt = "A robot made of exotic candies and chocolates of different kinds. The background is filled with confetti and celebratory gifts."
control_image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/robot.png")

processor = CannyDetector()
control_image = processor(control_image, low_threshold=50, high_threshold=200, detect_resolution=1024, image_resolution=1024)

image = pipe(
    prompt=prompt,
    control_image=control_image,
    height=1024,
    width=1024,
    num_inference_steps=50,
    guidance_scale=30.0,
).images[0]
image.save("output.png")

Canny Control, bu koşulun bir LoRA varyantıyla da mümkündür. Kullanım şu şekildedir:

# !pip install -U controlnet-aux
import torch
from controlnet_aux import CannyDetector
from diffusers import FluxControlPipeline
from diffusers.utils import load_image

pipe = FluxControlPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"
pipe.load_lora_weights("black-forest-labs/FLUX.1-Canny-dev-lora")

prompt = "A robot made of exotic candies and chocolates of different kinds. The background is filled with confetti and celebratory gifts."
control_image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/robot.png")

processor = CannyDetector()
control_image = processor(control_image, low_threshold=50, high_threshold=200, detect_resolution=1024, image_resolution=1024)

image = pipe(
    prompt=prompt,
    control_image=control_image,
    height=1024,
    width=1024,
    num_inference_steps=50,
    guidance_scale=30.0,
).images[0]
image.save("output.png")

Derinlik Kontrolü

Not: black-forest-labs/Flux.1-Depth-dev bir ControlNet modeli değildir. ControlNetModel modelleri, artıkları asıl alt modele eklenen UNet/Transformer'dan ayrı bir bileşendir. Depth Control, kanal bazlı birleştirme kullanarak girdi kontrol koşulunu ve transformer'ın koşula mümkün olduğunca yakın uyarak yapısal kontrolü öğrenmesini sağlayarak, bir ControlNet modelinin elde edeceği sonuçlara pratikte eşdeğer sonuçlar veren alternatif bir mimaridir.

# !pip install git+https://github.com/huggingface/image_gen_aux
import torch
from diffusers import FluxControlPipeline, FluxTransformer2DModel
from diffusers.utils import load_image
from image_gen_aux import DepthPreprocessor

pipe = FluxControlPipeline.from_pretrained("black-forest-labs/FLUX.1-Depth-dev", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"

prompt = "A robot made of exotic candies and chocolates of different kinds. The background is filled with confetti and celebratory gifts."
control_image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/robot.png")

processor = DepthPreprocessor.from_pretrained("LiheYoung/depth-anything-large-hf")
control_image = processor(control_image)[0].convert("RGB")

image = pipe(
    prompt=prompt,
    control_image=control_image,
    height=1024,
    width=1024,
    num_inference_steps=30,
    guidance_scale=10.0,
    generator=torch.Generator().manual_seed(42),
).images[0]
image.save("output.png")

Derinlik Kontrolü, bu koşulun bir LoRA varyantıyla da mümkündür. Kullanım şu şekildedir:

# !pip install git+https://github.com/huggingface/image_gen_aux
import torch
from diffusers import FluxControlPipeline, FluxTransformer2DModel
from diffusers.utils import load_image
from image_gen_aux import DepthPreprocessor

pipe = FluxControlPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"
pipe.load_lora_weights("black-forest-labs/FLUX.1-Depth-dev-lora")

prompt = "A robot made of exotic candies and chocolates of different kinds. The background is filled with confetti and celebratory gifts."
control_image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/robot.png")

processor = DepthPreprocessor.from_pretrained("LiheYoung/depth-anything-large-hf")
control_image = processor(control_image)[0].convert("RGB")

image = pipe(
    prompt=prompt,
    control_image=control_image,
    height=1024,
    width=1024,
    num_inference_steps=30,
    guidance_scale=10.0,
    generator=torch.Generator().manual_seed(42),
).images[0]
image.save("output.png")

Redux

Flux Redux pipeline, FLUX.1 taban modelleri için bir adaptördür. Hem flux-dev hem de flux-schnell ile, görüntüden görüntüye üretim için kullanılabilir.
Önce FluxPriorReduxPipeline kullanarak prompt_embeds ve pooled_prompt_embeds değerlerini alabilir, ardından bunları FluxPipeline içine vererek görüntüden görüntüye üretim yapabilirsiniz.
FluxPriorReduxPipeline'i bir temel pipeline ile kullanırken, VRAM tasarrufu sağlamak için temel pipeline'da text_encoder=None ve text_encoder_2=None değerlerini ayarlayabilirsiniz.

import torch
from diffusers import FluxPriorReduxPipeline, FluxPipeline
from diffusers.utils import load_image
device = "cuda"  # or "mps", "xpu", "cpu"
dtype = torch.bfloat16


repo_redux = "black-forest-labs/FLUX.1-Redux-dev"
repo_base = "black-forest-labs/FLUX.1-dev" 
pipe_prior_redux = FluxPriorReduxPipeline.from_pretrained(repo_redux, dtype=dtype).to(device)
pipe = FluxPipeline.from_pretrained(
    repo_base, 
    text_encoder=None,
    text_encoder_2=None,
    dtype=torch.bfloat16
).to(device)

image = load_image("https://huggingface.co/datasets/YiYiXu/testing-images/resolve/main/style_ziggy/img5.png")
pipe_prior_output = pipe_prior_redux(image)
images = pipe(
    guidance_scale=2.5,
    num_inference_steps=50,
    generator=torch.Generator("cpu").manual_seed(0),
    **pipe_prior_output,
).images
images[0].save("flux-redux.png")

Konteks

Flux Kontext, görüntü üretim sürecinin bağlam içi kontrolüne olanak tanıyan; düzenleme, iyileştirme, yeniden aydınlatma, stil aktarımı, karakter özelleştirme ve daha fazlasını gerçekleştirmenizi sağlayan bir modeldir.

import torch
from diffusers import FluxKontextPipeline
from diffusers.utils import load_image

pipe = FluxKontextPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-Kontext-dev", dtype=torch.bfloat16
)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/yarn-art-pikachu.png").convert("RGB")
prompt = "Make Pikachu hold a sign that says 'Black Forest Labs is awesome', yarn art style, detailed, vibrant colors"
image = pipe(
    image=image,
    prompt=prompt,
    guidance_scale=2.5,
    generator=torch.Generator().manual_seed(42),
).images[0]
image.save("flux-kontext.png")

Flux Kontext, bütünlük güvenlik denetleyicisi ile birlikte gelir ve bu denetleyici, görüntü oluşturma adımının ardından çalıştırılmalıdır. Güvenlik denetleyicisini çalıştırmak için black-forest-labs/flux adresindeki resmi depoyu kurun ve aşağıdaki kodu ekleyin:

from flux.content_filters import PixtralContentFilter

# ... pipeline invocation to generate images

integrity_checker = PixtralContentFilter(torch.device("cuda"))
image_ = np.array(image) / 255.0
image_ = 2 * image_ - 1
image_ = torch.from_numpy(image_).to("cuda", dtype=torch.float32).unsqueeze(0).permute(0, 3, 1, 2)
if integrity_checker.test_image(image_):
    raise ValueError("Your image has been flagged. Choose another prompt/image or try again.")

Kontekst İçi Boyama

FluxKontextInpaintPipeline, sabit bir maske bölgesi içinde görsel düzenlemeye olanak tanır. Şu anda hem metin tabanlı hem de görsel referans tabanlı koşullandırmayı destekler.

sadece metin

görsel koşullandırma

Flux Turbo LoRAs'ı Flux Control, Fill ve Redux ile birleştirme

Flux Turbo LoRAlarını, az adımlı çıkarım (inference) imkânı sağlamak için Flux Control ve Fill, Redux gibi diğer pipeline'larla birleştirebiliriz. Aşağıdaki örnek, derinlik için Flux Control LoRA ve ByteDance/Hyper-SD kaynaklı turbo LoRA için bunun nasıl yapılacağını göstermektedir.

from diffusers import FluxControlPipeline
from image_gen_aux import DepthPreprocessor
from diffusers.utils import load_image
from huggingface_hub import hf_hub_download
import torch

control_pipe = FluxControlPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", dtype=torch.bfloat16)
control_pipe.load_lora_weights("black-forest-labs/FLUX.1-Depth-dev-lora", adapter_name="depth")
control_pipe.load_lora_weights(
    hf_hub_download("ByteDance/Hyper-SD", "Hyper-FLUX.1-dev-8steps-lora.safetensors"), adapter_name="hyper-sd"
)
control_pipe.set_adapters(["depth", "hyper-sd"], adapter_weights=[0.85, 0.125])
control_pipe.enable_model_cpu_offload()

prompt = "A robot made of exotic candies and chocolates of different kinds. The background is filled with confetti and celebratory gifts."
control_image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/robot.png")

processor = DepthPreprocessor.from_pretrained("LiheYoung/depth-anything-large-hf")
control_image = processor(control_image)[0].convert("RGB")

image = control_pipe(
    prompt=prompt,
    control_image=control_image,
    height=1024,
    width=1024,
    num_inference_steps=8,
    guidance_scale=10.0,
    generator=torch.Generator().manual_seed(42),
).images[0]
image.save("output.png")

Flux LoRA'ları kullanırken unload_lora_weights() hakkında not

Control LoRA ağırlıklarını boşaltırken, pipe.transformer bileşenini tamamen orijinal haline getirmek için pipe.unload_lora_weights(reset_to_overwritten_params=True) çağrısını yapın. Sonuçta oluşan pipeline, DiffusionPipeline.from_pipe() gibi yöntemlerle kullanılabilir. Bu argüman hakkında daha fazla ayrıntı bu PR'da mevcuttur.

IP-Adapter

IP-Adapter'ların nasıl çalıştığını öğrenmek için IP-Adapter'a göz atın.

IP-Adapter, metin isteminin yanı sıra Flux'a görsellerle de istem göndermenizi sağlar. Bu, yalnızca metinle ifade etmesi zor karmaşık kavramları açıklarken ve referans görselleriniz mevcutken özellikle faydalıdır.

import torch
from diffusers import FluxPipeline
from diffusers.utils import load_image

pipe = FluxPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-dev", dtype=torch.bfloat16
).to("cuda")  # or "mps", "xpu", "cpu"

image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/flux_ip_adapter_input.jpg").resize((1024, 1024))

pipe.load_ip_adapter(
    "XLabs-AI/flux-ip-adapter",
    weight_name="ip_adapter.safetensors",
    image_encoder_pretrained_model_name_or_path="openai/clip-vit-large-patch14"
)
pipe.set_ip_adapter_scale(1.0)

image = pipe(
    width=1024,
    height=1024,
    prompt="wearing sunglasses",
    negative_prompt="",
    true_cfg_scale=4.0,
    generator=torch.Generator().manual_seed(4444),
    ip_adapter_image=image,
).images[0]

image.save('flux_ip_adapter_output.jpg')

IP-Adapter örnekleri, "güneş gözlüğü takan" istemi

Optimize et

Flux çok büyük bir modeldir ve tüm modelleme bileşenlerini yüklemek için ~50GB RAM/VRAM gerektirir. Bellek gereksinimlerini azaltmak için aşağıdaki optimizasyonlardan bazılarını etkinleştirin.

Grup dışa aktarma

Grup dışa aktarma, tüm modeli veya ağırlıkları dışa aktarmak yerine iç katman gruplarını dışa aktararak VRAM kullanımını azaltır. Bir hattın tüm model bileşenlerinde apply_group_offloading() kullanmanız gerekir. offload_type parametresi, blok ve yaprak düzeyi dışa aktarma arasında geçiş yapmanıza olanak tanır. Bu parametreyi leaf_level olarak ayarlamak, modül düzeyinde dışa aktarma yerine en alt yaprak düzeyi parametrelerini CPU'ya dışa aktarır.

Asenkron veri akışı destekleyen CUDA cihazlarında, veri aktarımı ile hesaplamayı üst üste bindirerek çıkarımı hızlandırmak için use_stream=True değerini ayarlayın.

Bir iş akışındaki farklı bileşenler için blok ve yaprak düzeyi boşaltma (offloading) yöntemlerini karıştırmak mümkündür.

import torch
from diffusers import FluxPipeline
from diffusers.hooks import apply_group_offloading

model_id = "black-forest-labs/FLUX.1-dev"
dtype = torch.bfloat16
pipe = FluxPipeline.from_pretrained(
	model_id,
	dtype=dtype,
)

apply_group_offloading(
    pipe.transformer,
    offload_type="leaf_level",
    offload_device=torch.device("cpu"),
    onload_device=torch.device("cuda"),
    use_stream=True,
)
apply_group_offloading(
    pipe.text_encoder, 
    offload_device=torch.device("cpu"),
    onload_device=torch.device("cuda"),
    offload_type="leaf_level",
    use_stream=True,
)
apply_group_offloading(
    pipe.text_encoder_2, 
    offload_device=torch.device("cpu"),
    onload_device=torch.device("cuda"),
    offload_type="leaf_level",
    use_stream=True,
)
apply_group_offloading(
    pipe.vae, 
    offload_device=torch.device("cpu"),
    onload_device=torch.device("cuda"),
    offload_type="leaf_level",
    use_stream=True,
)

prompt="A cat wearing sunglasses and working as a lifeguard at pool."

generator = torch.Generator().manual_seed(181201)
image = pipe(
    prompt,
    width=576,
    height=1024,
    num_inference_steps=30,
    generator=generator
).images[0]
image

FP16 çıkarım çalıştırma

Flux, FP16 ile (yani Turing/Volta GPU'larında çıkarımı hızlandırmak için) yüksek kaliteli görseller üretebilir ancak FP32/BF16'ya kıyasla farklı çıktılar üretir. Sorun, FP16'da çalışırken metin kodlayıcılarındaki bazı aktivasyonların kırpılması (clipping) gerektiğidir; bu durum genel görseli etkiler. Metin kodlayıcılarını FP32 çıkarımıyla çalışmaya zorlamak, bu çıktı farkını ortadan kaldırır. Ayrıntılar için buraya bakın.

FP16 çıkarım kodu:

import torch
from diffusers import FluxPipeline

pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell", dtype=torch.bfloat16) # can replace schnell with dev
# to run on low vram GPUs (i.e. between 4 and 32 GB VRAM)
pipe.enable_sequential_cpu_offload()
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()

pipe.to(torch.float16) # casting here instead of in the pipeline constructor because doing so in the constructor loads all models into CPU memory at once

prompt = "A cat holding a sign that says hello world"
out = pipe(
    prompt=prompt,
    guidance_scale=0.,
    height=768,
    width=1360,
    num_inference_steps=4,
    max_sequence_length=256,
).images[0]
out.save("image.png")

Kantizasyon

Kantizasyon, model ağırlıklarını daha düşük hassasiyetli bir veri türünde saklayarak çok büyük modellerin bellek gereksinimlerini azaltmaya yardımcı olur. Ancak kantizasyonun video kalitesi üzerindeki etkisi, video modeline göre değişebilir.

Desteklenen kuantizasyon arka uçları ve kullanım durumunu destekleyen bir kuantizasyon arka ucunu seçme hakkında daha fazla bilgi edinmek için Quantization genel bakışına başvurun. Aşağıdaki örnek, bitsandbytes ile çıkarım için kuantize edilmiş bir FluxPipeline yüklemenin nasıl yapılacağını göstermektedir.

import torch
from diffusers import BitsAndBytesConfig as DiffusersBitsAndBytesConfig, FluxTransformer2DModel, FluxPipeline
from transformers import BitsAndBytesConfig as BitsAndBytesConfig, T5EncoderModel

quant_config = BitsAndBytesConfig(load_in_8bit=True)
text_encoder_8bit = T5EncoderModel.from_pretrained(
    "black-forest-labs/FLUX.1-dev",
    subfolder="text_encoder_2",
    quantization_config=quant_config,
    dtype=torch.float16,
)

quant_config = DiffusersBitsAndBytesConfig(load_in_8bit=True)
transformer_8bit = FluxTransformer2DModel.from_pretrained(
    "black-forest-labs/FLUX.1-dev",
    subfolder="transformer",
    quantization_config=quant_config,
    dtype=torch.float16,
)

pipeline = FluxPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-dev",
    text_encoder_2=text_encoder_8bit,
    transformer=transformer_8bit,
    dtype=torch.float16,
    device_map="balanced",
)

prompt = "a tiny astronaut hatching from an egg on the moon"
image = pipeline(prompt, guidance_scale=3.5, height=768, width=1360, num_inference_steps=50).images[0]
image.save("flux.png")

FluxTransformer2DModel için Tek Dosya Yükleme

FluxTransformer2DModel, Black Forest Labs tarafından orijinal formatta dağıtılan checkpoint'lerin yüklenmesini destekler. Bu, topluluk tarafından yayımlanmış modellerin ince ayarlı veya kuantize edilmiş sürümlerini yüklemeye çalışırken de faydalıdır.

FP8 çıkarımı, kullandığınız GPU türüne, CUDA sürümüne ve torch sürümüne bağlı olarak kırılgan olabilir. Makinenizde FP8 çıkarımını çalıştırmak için optimum-quanto kütüphanesini kullanmanız önerilir.

Aşağıdaki örnek, Flux'ün 16GB'dan az VRAM ile nasıl çalıştırılacağını göstermektedir.

Önce optimum-quanto paketini yükleyin

pip install optimum-quanto

Ardından aşağıdaki örneği çalıştırın

import torch
from diffusers import FluxTransformer2DModel, FluxPipeline
from transformers import T5EncoderModel, CLIPTextModel
from optimum.quanto import freeze, qfloat8, quantize

bfl_repo = "black-forest-labs/FLUX.1-dev"
dtype = torch.bfloat16

transformer = FluxTransformer2DModel.from_single_file("https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-dev-fp8.safetensors", dtype=dtype)
quantize(transformer, weights=qfloat8)
freeze(transformer)

text_encoder_2 = T5EncoderModel.from_pretrained(bfl_repo, subfolder="text_encoder_2", dtype=dtype)
quantize(text_encoder_2, weights=qfloat8)
freeze(text_encoder_2)

pipe = FluxPipeline.from_pretrained(bfl_repo, transformer=None, text_encoder_2=None, dtype=dtype)
pipe.transformer = transformer
pipe.text_encoder_2 = text_encoder_2

pipe.enable_model_cpu_offload()

prompt = "A cat holding a sign that says hello world"
image = pipe(
    prompt,
    guidance_scale=3.5,
    output_type="pil",
    num_inference_steps=20,
    generator=torch.Generator("cpu").manual_seed(0)
).images[0]

image.save("flux-fp8-dev.png")

Diffusers

Flux

Zaman adımı damıtılmış

Guidance-distilled

Inpainting/Outpainting Doldurma

Canny Kontrol

Derinlik Kontrolü

Redux

Konteks

Kontekst İçi Boyama

Flux Turbo LoRAs'ı Flux Control, Fill ve Redux ile birleştirme

Flux LoRA'ları kullanırken unload_lora_weights() hakkında not

IP-Adapter

Optimize et

Grup dışa aktarma

FP16 çıkarım çalıştırma

Kantizasyon

FluxTransformer2DModel için Tek Dosya Yükleme

FluxPipeline

sınıf diffusers.FluxPipeline

__call__

encode_prompt

FluxImg2ImgPipeline

sınıf diffusers.FluxImg2ImgPipeline

__call__

encode_prompt

FluxInpaintPipeline

sınıf diffusers.FluxInpaintPipeline

__call__

encode_prompt

FluxControlNetInpaintPipeline

sınıf diffusers.FluxControlNetInpaintPipeline

__call__

encode_prompt

FluxControlNetImg2ImgPipeline

sınıf diffusers.FluxControlNetImg2ImgPipeline

__call__

encode_prompt

FluxControlPipeline

sınıf diffusers.FluxControlPipeline

__call__

encode_prompt

FluxControlImg2ImgPipeline

sınıf diffusers.FluxControlImg2ImgPipeline

__call__

encode_prompt

FluxPriorReduxPipeline

sınıf diffusers.FluxPriorReduxPipeline

__call__

encode_prompt

FluxFillPipeline

sınıf diffusers.FluxFillPipeline

__call__

encode_prompt

FluxKontextPipeline

sınıf diffusers.FluxKontextPipeline

__call__

encode_prompt

FluxKontextInpaintPipeline

sınıf diffusers.FluxKontextInpaintPipeline

__call__

Sadece metinle Inpainting

Görüntü koşullandırması ile inpainting

encode_prompt

call

call

call

call

call

call

call

call

call

call

call