diffusers/v0.43.0/id/api/modular_diffusers/guiders.md

Pemandu

Guiders adalah komponen dalam Modular Diffusers yang mengontrol bagaimana proses difusi dipandu selama generasi. Mereka mengimplementasikan berbagai teknik panduan untuk meningkatkan kualitas dan kontrol generasi.

BaseGuidance[[diffusers.BaseGuidance]]

diffusers.BaseGuidance[[diffusers.BaseGuidance]]

diffusers.BaseGuidance(start: float = 0.0, stop: float = 1.0, enabled: bool = True)

Sumber

Kelas dasar yang menyediakan kerangka untuk mengimplementasikan teknik panduan.

cleanup_models[[diffusers.BaseGuidance.cleanup_models]]

cleanup_models(denoiser: torch.nn.Module)

Sumber

Membersihkan model untuk teknik panduan setelah batch data tertentu. Metode ini harus ditimpa (overridden) di subkelas untuk mengimplementasikan logika pembersihan model yang spesifik. Metode ini berguna untuk menghapus hook atau modifikasi stateful lainnya yang dibuat selama prepare_models.

from_pretrained[[diffusers.BaseGuidance.from_pretrained]]

from_pretrained(pretrained_model_name_or_path: str | os.PathLike | None = None, subfolder: str | None = None, return_unused_kwargs = False, **kwargs)

Sumber

Parameter:

pretrained_model_name_or_path (str atau os.PathLike, opsional) : Bisa berupa: - String, model id (misalnya google/ddpm-celebahq-256) dari model pretrained yang dihosting di Hub. - Path ke direktori (misalnya ./my_model_directory) yang berisi konfigurasi guider yang disimpan dengan save_pretrained().

subfolder (str, opsional) : Lokasi subfolder dari file model di dalam repositori model yang lebih besar di Hub atau secara lokal.

return_unused_kwargs (bool, opsional, defaultnya False) : Apakah kwargs yang tidak dikonsumsi oleh kelas Python harus dikembalikan atau tidak.

cache_dir (str | os.PathLike, opsional) : Path ke direktori tempat konfigurasi model pretrained yang diunduh di-cache jika cache standar tidak digunakan.

force_download (bool, opsional, defaultnya False) : Apakah akan memaksa (mengunduh ulang) bobot model dan file konfigurasi, menimpa versi yang di-cache jika ada.

proxies (dict[str, str], opsional) : Kamus server proxy yang akan digunakan berdasarkan protokol atau endpoint, misalnya {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}. Proxy digunakan pada setiap permintaan.

output_loading_info(bool, opsional, default False) : Apakah akan mengembalikan kamus yang berisi kunci yang hilang, kunci yang tidak terduga, dan pesan kesalahan.

local_files_only(bool, opsional, default False) : Apakah hanya memuat bobot model dan file konfigurasi lokal atau tidak. Jika diatur ke True, model tidak akan diunduh dari Hub.

token (str atau bool, opsional) : Token yang digunakan sebagai otorisasi bearer HTTP untuk file jarak jauh. Jika True, token yang dihasilkan dari diffusers-cli login (disimpan di ~/.huggingface) akan digunakan.

revision (str, opsional, defaultnya "main") : Versi model spesifik yang akan digunakan. Bisa berupa nama branch, nama tag, id commit, atau identifikasi apa pun yang diizinkan oleh Git.

Instansiasi sebuah guider dari file konfigurasi JSON yang sudah ditentukan sebelumnya di direktori lokal atau repositori Hub.

> Untuk menggunakan model privat atau model bergerbang, masuk dengan hf > auth login. Anda juga dapat mengaktifkan mode khusus > "offline-mode" untuk menggunakan metode ini di lingkungan yang > dibatasi firewall.

get_state[[diffusers.BaseGuidance.get_state]]

get_state()

Sumber

Mengembalikan keadaan saat ini dari teknik panduan sebagai kamus. Variabel keadaan akan disertakan dalam metode repr. Mengembalikan: dict[str, Any]: Kamus yang berisi variabel keadaan saat ini termasuk:

• step: Langkah inferensi saat ini
• num_inference_steps: Total langkah inferensi
• timestep: tensor timestep saat ini
• count_prepared: Jumlah kali prepare_models telah dipanggil
• enabled: Apakah panduan diaktifkan
• num_conditions: Jumlah kondisi

baru[[diffusers.BaseGuidance.new]]

new(**kwargs)

Sumber

Parameter:

• **kwargs : Parameter konfigurasi untuk ditimpa pada instance baru. Jika tidak ada kwargs yang diberikan, mengembalikan salinan persis dengan konfigurasi yang sama.

Mengembalikan:

Instans guider baru dengan konfigurasi yang sama (atau diperbarui).

Membuat salinan dari instance guider ini, secara opsional dengan parameter konfigurasi yang dimodifikasi.

Contoh:

# Create a CFG guider
guider = ClassifierFreeGuidance(guidance_scale=3.5)

# Create an exact copy
same_guider = guider.new()

# Create a copy with different start step, keeping other config the same
new_guider = guider.new(guidance_scale=5)

prepare_models[[diffusers.BaseGuidance.prepare_models]]

prepare_models(denoiser: torch.nn.Module)

Sumber

Menyiapkan model untuk teknik panduan pada batch data tertentu. Metode ini harus ditimpa (overridden) di subkelas untuk mengimplementasikan logika persiapan model yang spesifik.

save_pretrained[[diffusers.BaseGuidance.save_pretrained]]

save_pretrained(save_directory: str | os.PathLike, push_to_hub: bool = False, **kwargs)

Sumber

Parameter:

save_directory (str atau os.PathLike) : Direktori tempat file konfigurasi JSON akan disimpan (akan dibuat jika belum ada).

push_to_hub (bool, opsional, defaultnya False) : Apakah model akan didorong ke Hugging Face Hub setelah disimpan. Anda dapat menentukan repositori tujuan dengan repo_id (defaultnya adalah nama save_directory di namespace Anda).

kwargs (dict[str, Any], opsional) : Argumen kata kunci tambahan yang diteruskan ke metode push_to_hub().

Simpan objek konfigurasi guider ke sebuah direktori agar dapat dimuat ulang menggunakan metode kelas from_pretrained().

ClassifierFreeGuidance[[diffusers.ClassifierFreeGuidance]]

diffusers.ClassifierFreeGuidance[[diffusers.ClassifierFreeGuidance]]

diffusers.ClassifierFreeGuidance(guidance_scale: float = 7.5, guidance_rescale: float = 0.0, use_original_formulation: bool = False, start: float = 0.0, stop: float = 1.0, enabled: bool = True)

Sumber

Parameter:

guidance_scale (float, defaultnya 7.5) : skala CFG yang diterapkan oleh guider ini selama pascapemrosesan. Nilai yang lebih tinggi = kondisioning prompt yang lebih kuat tetapi dapat mengurangi kualitas. Rentang tipikal: 1.0-20.0.

guidance_rescale (float, defaultnya 0.0) : Faktor penskalaan ulang untuk mencegah overeksposur dari skala panduan yang tinggi. Berdasarkan Common Diffusion Noise Schedules and Sample Steps are Flawed. Rentang: 0.0 (tanpa penskalaan ulang) hingga 1.0 (penskalaan ulang penuh).

use_original_formulation (bool, defaultnya False) : Jika True, menggunakan formulasi CFG asli dari makalah tersebut. Jika False (default), menggunakan formulasi asli diffusers dari makalah Imagen.

start (float, defaultnya 0.0) : Fraksi langkah denoising (0.0-1.0) setelah mana CFG dimulai. Gunakan > 0.0 untuk menonaktifkan CFG pada langkah denoising awal.

stop (float, defaultnya 1.0) : Fraksi langkah denoising (0.0-1.0) setelah mana CFG berhenti. Gunakan < 1.0 untuk menonaktifkan CFG pada langkah denoising akhir.

enabled (bool, defaultnya True) : Apakah CFG diaktifkan. Atur ke False untuk menonaktifkan CFG sepenuhnya (hanya menggunakan prediksi kondisional).

Menerapkan Classifier-Free Guidance (CFG) untuk model difusi.

Referensi: https://huggingface.co/papers/2207.12598

CFG meningkatkan kualitas generasi dan kepatuhan terhadap prompt dengan melatih model secara bersama pada data bersyarat dan tidak bersyarat, lalu menggabungkan prediksi selama inferensi. Hal ini memungkinkan penyesuaian antara kualitas (guidance tinggi) dan keragaman (guidance rendah).

Dua Formulasi CFG:

1. Formulasi asli (dari makalah):

   x_pred = x_cond + guidance_scale * (x_cond - x_uncond)
   

   Memindahkan prediksi kondisional lebih jauh dari prediksi tak bersyarat.

2. Formulasi native Diffusers (default, dari paper Imagen):

   x_pred = x_uncond + guidance_scale * (x_cond - x_uncond)
   

   Menggeser prediksi tanpa syarat menuju prediksi bersyarat, secara efektif menekan fitur negatif (misalnya, "kualitas buruk", "watermark"). Setara secara teori tetapi lebih intuitif.

Gunakan use_original_formulation=True untuk beralih ke formulasi asli.

ClassifierFreeZeroStarGuidance[[diffusers.ClassifierFreeZeroStarGuidance]]

diffusers.ClassifierFreeZeroStarGuidance[[diffusers.ClassifierFreeZeroStarGuidance]]

diffusers.ClassifierFreeZeroStarGuidance(guidance_scale: float = 7.5, zero_init_steps: int = 1, guidance_rescale: float = 0.0, use_original_formulation: bool = False, start: float = 0.0, stop: float = 1.0, enabled: bool = True)

Sumber

Parameter:

guidance_scale (float, defaultnya 7.5) : Parameter skala untuk classifier-free guidance. Nilai yang lebih tinggi menghasilkan kondisioning yang lebih kuat pada prompt teks, sedangkan nilai yang lebih rendah memberikan kebebasan lebih dalam generasi. Nilai yang lebih tinggi dapat menyebabkan saturasi dan penurunan kualitas gambar.

zero_init_steps (int, defaultnya 1) : Jumlah langkah inferensi di mana prediksi noise di-nolkan (lihat Bagian 4.2).

guidance_rescale (float, defaultnya 0.0) : Faktor rescale yang diterapkan pada prediksi noise. Ini digunakan untuk meningkatkan kualitas gambar dan memperbaiki overexposure. Berdasarkan Bagian 3.4 dari Common Diffusion Noise Schedules and Sample Steps are Flawed.

use_original_formulation (bool, defaultnya False) : Apakah akan menggunakan formulasi asli dari classifier-free guidance sebagaimana diusulkan dalam makalah. Secara default, kami menggunakan implementasi asli diffusers yang sudah ada di codebase sejak lama. Lihat [~guiders.classifier_free_guidance.ClassifierFreeGuidance] untuk detail lebih lanjut.

start (float, defaultnya 0.01) : Fraksi dari total jumlah langkah denoising setelah mana panduan dimulai.

stop (float, defaultnya 0.2) : Fraksi dari total langkah denoising setelah mana panduan berhenti.

Classifier-free Zero* (CFG-Zero*): https://huggingface.co/papers/2503.18886

Ini adalah implementasi dari teknik panduan Classifier-Free Zero*, yang merupakan varian dari panduan tanpa klasifikator. Teknik ini mengusulkan inisialisasi nol untuk prediksi noise pada beberapa langkah awal proses difusi, serta memperkenalkan faktor penskalaan optimal untuk prediksi noise, yang dapat membantu meningkatkan kualitas gambar yang dihasilkan.

Para penulis makalah tersebut menyarankan untuk mengatur inisialisasi nol pada 4% pertama dari langkah inferensi.

SkipLayerGuidance[[diffusers.SkipLayerGuidance]]

diffusers.SkipLayerGuidance[[diffusers.SkipLayerGuidance]]

diffusers.SkipLayerGuidance(guidance_scale: float = 7.5, skip_layer_guidance_scale: float = 2.8, skip_layer_guidance_start: float = 0.01, skip_layer_guidance_stop: float = 0.2, skip_layer_guidance_layers: int | list[int] | None = None, skip_layer_config: LayerSkipConfig | list[LayerSkipConfig] | dict[str, Any] = None, guidance_rescale: float = 0.0, use_original_formulation: bool = False, start: float = 0.0, stop: float = 1.0, enabled: bool = True)

Sumber

Parameter:

guidance_scale (float, defaultnya 7.5) : Parameter skala untuk classifier-free guidance. Nilai yang lebih tinggi menghasilkan kondisioning yang lebih kuat pada prompt teks, sedangkan nilai yang lebih rendah memberikan kebebasan lebih dalam generasi. Nilai yang lebih tinggi dapat menyebabkan saturasi dan penurunan kualitas gambar.

skip_layer_guidance_scale (float, defaultnya 2.8) : Parameter skala untuk panduan lapisan lompat. Anatomi dan koherensi struktur mungkin membaik dengan nilai yang lebih tinggi, tetapi hal ini juga dapat menyebabkan overeksposur dan saturasi.

skip_layer_guidance_start (float, defaultnya 0.01) : Fraksi dari total jumlah langkah denoising setelah mana skip layer guidance dimulai.

skip_layer_guidance_stop (float, defaultnya 0.2) : Fraksi dari total jumlah langkah denoising setelah mana skip layer guidance berhenti.

skip_layer_guidance_layers (int atau list[int], opsional) : Indeks lapisan yang akan diterapkan skip layer guidance. Bisa berupa satu integer atau daftar integer. Jika tidak disediakan, skip_layer_config harus disediakan. Nilai yang direkomendasikan adalah [7, 8, 9] untuk Stable Diffusion 3.5 Medium.

skip_layer_config (LayerSkipConfig atau list[LayerSkipConfig], opsional) : Konfigurasi untuk panduan lapisan yang dilewati. Dapat berupa satu LayerSkipConfig atau daftar LayerSkipConfig. Jika tidak diberikan, skip_layer_guidance_layers harus diberikan.

guidance_rescale (float, defaultnya 0.0) : Faktor rescale yang diterapkan pada prediksi noise. Ini digunakan untuk meningkatkan kualitas gambar dan memperbaiki overexposure. Berdasarkan Bagian 3.4 dari Common Diffusion Noise Schedules and Sample Steps are Flawed.

use_original_formulation (bool, defaultnya False) : Apakah akan menggunakan formulasi asli dari classifier-free guidance sebagaimana diusulkan dalam makalah. Secara default, kami menggunakan implementasi asli diffusers yang sudah ada di codebase sejak lama. Lihat [~guiders.classifier_free_guidance.ClassifierFreeGuidance] untuk detail lebih lanjut.

start (float, defaultnya 0.01) : Fraksi dari total jumlah langkah denoising setelah mana panduan dimulai.

stop (float, defaultnya 0.2) : Fraksi dari total langkah denoising setelah mana panduan berhenti.

Skip Layer Guidance (SLG): https://github.com/Stability-AI/sd3.5

Panduan Spasial-Temporal (STG): https://huggingface.co/papers/2411.18664

SLG diperkenalkan oleh StabilityAI untuk meningkatkan koherensi struktur dan anatomi pada gambar yang dihasilkan. Cara kerjanya adalah dengan melewati jalur maju (forward pass) dari blok transformer yang ditentukan selama proses denoising pada batch data kondisional tambahan, selain batch kondisional dan non-kondisional yang sudah digunakan dalam CFG ([~guiders.classifier_free_guidance.ClassifierFreeGuidance]), kemudian melakukan penskalaan dan pergeseran (shifting) prediksi CFG berdasarkan perbedaan antara prediksi kondisional tanpa skipping dan prediksi kondisional dengan skipping.

Intuisi di balik SLG dapat dipikirkan sebagai menggeser estimasi distribusi prediksi CFG menjauh dari versi yang lebih buruk dari estimasi distribusi kondisional (karena melewati lapisan setara dengan menggunakan versi model yang lebih buruk untuk prediksi kondisional).

STG adalah perbaikan dan pekerjaan lanjutan yang menggabungkan ide dari SLG, PAG, dan teknik serupa untuk meningkatkan kualitas generasi pada model difusi video.

Bacaan tambahan:

• Membimbing Model Difusi dengan Versi Buruk dari Dirinya Sendiri

Nilai untuk skip_layer_guidance_scale, skip_layer_guidance_start, dan skip_layer_guidance_stop secara default mengikuti rekomendasi StabilityAI untuk Stable Diffusion 3.5 Medium.

SmoothedEnergyGuidance[[diffusers.SmoothedEnergyGuidance]]

diffusers.SmoothedEnergyGuidance[[diffusers.SmoothedEnergyGuidance]]

diffusers.SmoothedEnergyGuidance(guidance_scale: float = 7.5, seg_guidance_scale: float = 2.8, seg_blur_sigma: float = 9999999.0, seg_blur_threshold_inf: float = 9999.0, seg_guidance_start: float = 0.0, seg_guidance_stop: float = 1.0, seg_guidance_layers: int | list[int] | None = None, seg_guidance_config: SmoothedEnergyGuidanceConfig | list[SmoothedEnergyGuidanceConfig] = None, guidance_rescale: float = 0.0, use_original_formulation: bool = False, start: float = 0.0, stop: float = 1.0, enabled: bool = True)

Sumber

Parameter:

guidance_scale (float, defaultnya 7.5) : Parameter skala untuk classifier-free guidance. Nilai yang lebih tinggi menghasilkan kondisioning yang lebih kuat pada prompt teks, sedangkan nilai yang lebih rendah memberikan kebebasan lebih dalam generasi. Nilai yang lebih tinggi dapat menyebabkan saturasi dan penurunan kualitas gambar.

seg_guidance_scale (float, defaultnya 3.0) : Parameter skala untuk panduan energi yang dihaluskan. Anatomi dan koherensi struktur mungkin membaik dengan nilai yang lebih tinggi, tetapi hal ini juga dapat menyebabkan overeksposur dan saturasi.

seg_blur_sigma (float, defaultnya 9999999.0) : Jumlah yang digunakan untuk mengaburkan bobot perhatian. Mengatur nilai ini lebih besar dari 9999.0 menghasilkan blur tak hingga, yang berarti query seragam. Mengendalikannya secara eksponensial terbukti efektif secara empiris.

seg_blur_threshold_inf (float, defaultnya 9999.0) : Ambang batas di mana blur dianggap tak hingga.

seg_guidance_start (float, defaultnya 0.0) : Fraksi dari total jumlah langkah denoising setelah mana panduan energi halus (smoothed energy guidance) dimulai.

seg_guidance_stop (float, defaultnya 1.0) : Fraksi dari total jumlah langkah denoising setelah mana panduan energi halus (smoothed energy guidance) berhenti.

seg_guidance_layers (int atau list[int], opsional) : Indeks lapisan untuk menerapkan panduan energi halus. Bisa berupa satu bilangan bulat atau daftar bilangan bulat. Jika tidak diberikan, seg_guidance_config harus diberikan. Nilai yang direkomendasikan adalah [7, 8, 9] untuk Stable Diffusion 3.5 Medium.

seg_guidance_config (SmoothedEnergyGuidanceConfig atau list[SmoothedEnergyGuidanceConfig], opsional) : Konfigurasi untuk panduan lapisan energi halus. Dapat berupa satu SmoothedEnergyGuidanceConfig atau daftar SmoothedEnergyGuidanceConfig. Jika tidak disediakan, seg_guidance_layers harus disediakan.

guidance_rescale (float, defaultnya 0.0) : Faktor rescale yang diterapkan pada prediksi noise. Ini digunakan untuk meningkatkan kualitas gambar dan memperbaiki overexposure. Berdasarkan Bagian 3.4 dari Common Diffusion Noise Schedules and Sample Steps are Flawed.

use_original_formulation (bool, defaultnya False) : Apakah akan menggunakan formulasi asli dari classifier-free guidance sebagaimana diusulkan dalam makalah. Secara default, kami menggunakan implementasi asli diffusers yang sudah ada di codebase sejak lama. Lihat [~guiders.classifier_free_guidance.ClassifierFreeGuidance] untuk detail lebih lanjut.

start (float, defaultnya 0.01) : Fraksi dari total jumlah langkah denoising setelah mana panduan dimulai.

stop (float, defaultnya 0.2) : Fraksi dari total langkah denoising setelah mana panduan berhenti.

Smoothed Energy Guidance (SEG): https://huggingface.co/papers/2408.00760

SEG saat ini hanya didukung sebagai fitur prototipe eksperimental, sehingga implementasinya dapat dimodifikasi di masa depan tanpa peringatan atau jaminan reproduktibilitas. Implementasi ini mengasumsikan:

• Gambar yang dihasilkan berbentuk persegi (tinggi == lebar)
• Model ini tidak menggabungkan modalitas yang berbeda (misalnya, aliran laten teks dan gambar tidak digabungkan seperti pada Flux)

PerturbedAttentionGuidance[[diffusers.PerturbedAttentionGuidance]]

diffusers.PerturbedAttentionGuidance[[diffusers.PerturbedAttentionGuidance]]

diffusers.PerturbedAttentionGuidance(guidance_scale: float = 7.5, perturbed_guidance_scale: float = 2.8, perturbed_guidance_start: float = 0.01, perturbed_guidance_stop: float = 0.2, perturbed_guidance_layers: int | list[int] | None = None, perturbed_guidance_config: LayerSkipConfig | list[LayerSkipConfig] | dict[str, Any] = None, guidance_rescale: float = 0.0, use_original_formulation: bool = False, start: float = 0.0, stop: float = 1.0, enabled: bool = True)

Sumber

Parameter:

guidance_scale (float, defaultnya 7.5) : Parameter skala untuk classifier-free guidance. Nilai yang lebih tinggi menghasilkan kondisioning yang lebih kuat pada prompt teks, sedangkan nilai yang lebih rendah memberikan kebebasan lebih dalam generasi. Nilai yang lebih tinggi dapat menyebabkan saturasi dan penurunan kualitas gambar.

perturbed_guidance_scale (float, defaultnya 2.8) : Parameter skala untuk panduan perhatian yang terganggu.

perturbed_guidance_start (float, defaultnya 0.01) : Fraksi dari total jumlah langkah denoising setelah mana panduan perhatian yang terganggu dimulai.

perturbed_guidance_stop (float, defaultnya 0.2) : Fraksi dari total jumlah langkah denoising setelah mana panduan perhatian yang terganggu berhenti.

perturbed_guidance_layers (int atau list[int], opsional) : Indeks lapisan untuk menerapkan panduan perhatian terganggu. Bisa berupa satu bilangan bulat atau daftar bilangan bulat. Jika tidak diberikan, perturbed_guidance_config harus diberikan.

perturbed_guidance_config (LayerSkipConfig atau list[LayerSkipConfig], opsional) : Konfigurasi untuk panduan perhatian yang terganggu. Dapat berupa satu LayerSkipConfig atau daftar LayerSkipConfig. Jika tidak disediakan, perturbed_guidance_layers harus disediakan.

guidance_rescale (float, defaultnya 0.0) : Faktor rescale yang diterapkan pada prediksi noise. Ini digunakan untuk meningkatkan kualitas gambar dan memperbaiki overexposure. Berdasarkan Bagian 3.4 dari Common Diffusion Noise Schedules and Sample Steps are Flawed.

use_original_formulation (bool, defaultnya False) : Apakah akan menggunakan formulasi asli dari classifier-free guidance sebagaimana diusulkan dalam makalah. Secara default, kami menggunakan implementasi asli diffusers yang sudah ada di codebase sejak lama. Lihat [~guiders.classifier_free_guidance.ClassifierFreeGuidance] untuk detail lebih lanjut.

start (float, defaultnya 0.01) : Fraksi dari total jumlah langkah denoising setelah mana panduan dimulai.

stop (float, defaultnya 0.2) : Fraksi dari total langkah denoising setelah mana panduan berhenti.

Perturbed Attention Guidance (PAG): https://huggingface.co/papers/2403.17377

Intuisi di balik PAG dapat dipikirkan sebagai upaya untuk menggeser estimasi distribusi prediksi CFG menjauh dari versi yang lebih buruk dari estimasi distribusi kondisional. PAG adalah salah satu teknik pertama yang memperkenalkan gagasan menggunakan versi yang lebih buruk dari model terlatih untuk membimbing dirinya sendiri dengan lebih baik dalam proses denoising. Teknik ini mengganggu skor perhatian dari stream laten dengan mengganti matriks skor dengan matriks identitas untuk lapisan-lapisan yang dipilih secara selektif.

Bacaan tambahan:

• Membimbing Model Difusi dengan Versi Buruk dari Dirinya Sendiri

PAG diimplementasikan dengan implementasi yang serupa dengan SkipLayerGuidance karena adanya tumpang tindih pada parameter konfigurasi dan detail implementasi.

AdaptiveProjectedGuidance[[diffusers.AdaptiveProjectedGuidance]]

diffusers.AdaptiveProjectedGuidance[[diffusers.AdaptiveProjectedGuidance]]

diffusers.AdaptiveProjectedGuidance(guidance_scale: float = 7.5, adaptive_projected_guidance_momentum: float | None = None, adaptive_projected_guidance_rescale: float = 15.0, adaptive_projected_guidance_norm_dim: int | tuple[int, ...] | None = None, eta: float = 1.0, guidance_rescale: float = 0.0, use_original_formulation: bool = False, start: float = 0.0, stop: float = 1.0, enabled: bool = True)

Sumber

Parameter:

guidance_scale (float, defaultnya 7.5) : Parameter skala untuk classifier-free guidance. Nilai yang lebih tinggi menghasilkan kondisioning yang lebih kuat pada prompt teks, sedangkan nilai yang lebih rendah memberikan kebebasan lebih dalam generasi. Nilai yang lebih tinggi dapat menyebabkan saturasi dan penurunan kualitas gambar.

adaptive_projected_guidance_momentum (float, defaultnya None) : Parameter momentum untuk adaptive projected guidance. Dinonaktifkan jika diatur ke None.

adaptive_projected_guidance_rescale (float, defaultnya 15.0) : Faktor rescale yang diterapkan pada prediksi noise. Ini digunakan untuk meningkatkan kualitas gambar dan memperbaiki

adaptive_projected_guidance_norm_dim (int atau tuple[int], opsional) : Dimensi tempat norma dan proyeksi APG dihitung. Jika diabaikan, semua dimensi non-batch digunakan, mempertahankan perilaku asli.

guidance_rescale (float, defaultnya 0.0) : Faktor rescale yang diterapkan pada prediksi noise. Ini digunakan untuk meningkatkan kualitas gambar dan memperbaiki overexposure. Berdasarkan Bagian 3.4 dari Common Diffusion Noise Schedules and Sample Steps are Flawed.

use_original_formulation (bool, defaultnya False) : Apakah akan menggunakan formulasi asli dari classifier-free guidance sebagaimana diusulkan dalam makalah. Secara default, kami menggunakan implementasi asli diffusers yang sudah ada di codebase sejak lama. Lihat [~guiders.classifier_free_guidance.ClassifierFreeGuidance] untuk detail lebih lanjut.

start (float, defaultnya 0.0) : Fraksi dari total langkah denoising setelah mana panduan dimulai.

stop (float, defaultnya 1.0) : Fraksi dari total langkah denoising setelah mana panduan berhenti.

Adaptive Projected Guidance (APG): https://huggingface.co/papers/2410.02416

AutoGuidance[[diffusers.AutoGuidance]]

diffusers.AutoGuidance[[diffusers.AutoGuidance]]

diffusers.AutoGuidance(guidance_scale: float = 7.5, auto_guidance_layers: int | list[int] | None = None, auto_guidance_config: LayerSkipConfig | list[LayerSkipConfig] | dict[str, Any] = None, dropout: float | None = None, guidance_rescale: float = 0.0, use_original_formulation: bool = False, start: float = 0.0, stop: float = 1.0, enabled: bool = True)

Sumber

Parameter:

guidance_scale (float, defaultnya 7.5) : Parameter skala untuk classifier-free guidance. Nilai yang lebih tinggi menghasilkan kondisioning yang lebih kuat pada prompt teks, sedangkan nilai yang lebih rendah memberikan kebebasan lebih dalam generasi. Nilai yang lebih tinggi dapat menyebabkan saturasi dan penurunan kualitas gambar.

auto_guidance_layers (int atau list[int], opsional) : Indeks layer yang akan diterapkan skip layer guidance. Bisa berupa satu integer atau daftar integer. Jika tidak diberikan, skip_layer_config harus diberikan.

auto_guidance_config (LayerSkipConfig atau list[LayerSkipConfig], opsional) : Konfigurasi untuk panduan lapisan yang dilewati. Dapat berupa satu LayerSkipConfig atau daftar LayerSkipConfig. Jika tidak diberikan, skip_layer_guidance_layers harus diberikan.

dropout (float, opsional) : Probabilitas dropout untuk autoguidance pada lapisan skip yang diaktifkan (baik dengan auto_guidance_layers atau auto_guidance_config). Jika tidak disediakan, probabilitas dropout akan diatur ke 1.0.

guidance_rescale (float, defaultnya 0.0) : Faktor rescale yang diterapkan pada prediksi noise. Ini digunakan untuk meningkatkan kualitas gambar dan memperbaiki overexposure. Berdasarkan Bagian 3.4 dari Common Diffusion Noise Schedules and Sample Steps are Flawed.

use_original_formulation (bool, defaultnya False) : Apakah akan menggunakan formulasi asli dari classifier-free guidance sebagaimana diusulkan dalam makalah. Secara default, kami menggunakan implementasi asli diffusers yang sudah ada di codebase sejak lama. Lihat [~guiders.classifier_free_guidance.ClassifierFreeGuidance] untuk detail lebih lanjut.

start (float, defaultnya 0.0) : Fraksi dari total langkah denoising setelah mana panduan dimulai.

stop (float, defaultnya 1.0) : Fraksi dari total langkah denoising setelah mana panduan berhenti.

AutoGuidance: https://huggingface.co/papers/2406.02507

TangentialClassifierFreeGuidance[[diffusers.TangentialClassifierFreeGuidance]]

diffusers.TangentialClassifierFreeGuidance[[diffusers.TangentialClassifierFreeGuidance]]

diffusers.TangentialClassifierFreeGuidance(guidance_scale: float = 7.5, guidance_rescale: float = 0.0, use_original_formulation: bool = False, start: float = 0.0, stop: float = 1.0, enabled: bool = True)

Sumber

Parameter:

guidance_scale (float, defaultnya 7.5) : Parameter skala untuk classifier-free guidance. Nilai yang lebih tinggi menghasilkan kondisioning yang lebih kuat pada prompt teks, sedangkan nilai yang lebih rendah memberikan kebebasan lebih dalam generasi. Nilai yang lebih tinggi dapat menyebabkan saturasi dan penurunan kualitas gambar.

guidance_rescale (float, defaultnya 0.0) : Faktor rescale yang diterapkan pada prediksi noise. Ini digunakan untuk meningkatkan kualitas gambar dan memperbaiki overexposure. Berdasarkan Bagian 3.4 dari Common Diffusion Noise Schedules and Sample Steps are Flawed.

use_original_formulation (bool, defaultnya False) : Apakah akan menggunakan formulasi asli dari classifier-free guidance sebagaimana diusulkan dalam makalah. Secara default, kami menggunakan implementasi asli diffusers yang sudah ada di codebase sejak lama. Lihat [~guiders.classifier_free_guidance.ClassifierFreeGuidance] untuk detail lebih lanjut.

start (float, defaultnya 0.0) : Fraksi dari total langkah denoising setelah mana panduan dimulai.

stop (float, defaultnya 1.0) : Fraksi dari total langkah denoising setelah mana panduan berhenti.

Tangential Classifier Free Guidance (TCFG): https://huggingface.co/papers/2503.18137

LTX2Guidance[[diffusers.LTX2Guidance]]

diffusers.LTX2Guidance[[diffusers.LTX2Guidance]]

diffusers.LTX2Guidance(guidance_scale: float = 1.0, stg_scale: float = 0.0, modality_scale: float = 1.0, guidance_rescale: float = 0.0, spatio_temporal_guidance_blocks: list[int] | None = None, start: float = 0.0, stop: float = 1.0, enabled: bool = True)

Sumber

Parameter:

guidance_scale (float, defaultnya 1.0) : skala CFG untuk modalitas ini. Proses CFG dilewati sepenuhnya pada 1.0.

stg_scale (float, defaultnya 0.0) : Skala panduan spatio-temporal untuk modalitas ini. Lintasan STG dilewati sepenuhnya pada 0.0.

modality_scale (float, defaultnya 1.0) : Skala panduan isolasi modalitas untuk modalitas ini. Langkah tersebut dilewati sepenuhnya pada 1.0.

guidance_rescale (float, defaultnya 0.0) : Faktor penskalaan ulang untuk mencegah overeksposur dari skala panduan yang tinggi. Berdasarkan Common Diffusion Noise Schedules and Sample Steps are Flawed. Rentang: 0.0 (tanpa penskalaan ulang) hingga 1.0 (penskalaan ulang penuh).

spatio_temporal_guidance_blocks (list[int], opsional) : Blok Transformer yang akan diperturbasi pada jalur STG. Cara nilai ini dikonsumsi bergantung pada blok denoiser: LTX-2 melakukan perturbasi pada seluruh blok dalam satu forward yang melayani semua modalitas, sehingga nilai ini hanya dibaca dari video guider — menyetelnya pada audio guider tidak berpengaruh, dan audio guider tersebut bergabung ke forward STG yang sama melalui stg_scale-nya sendiri.

start (float, defaultnya 0.0) : Fraksi langkah denoising (0.0-1.0) setelah mana panduan dimulai.

stop (float, defaultnya 1.0) : Fraksi langkah denoising (0.0-1.0) setelah mana panduan berhenti.

enabled (bool, defaultnya True) : Apakah guider ini menerapkan panduan sama sekali. Ketika False, hanya jalur kondisional yang dijalankan.

Guider unimodalitas untuk LTX-2.X. Menggabungkan hingga tiga istilah melalui formulasi delta:

• classifier-free guidance (CFG),
• panduan spatio-temporal (STG), satu lintasan tambahan dengan seperangkat blok transformer yang terganggu,
• panduan isolasi modalitas, satu lintasan tambahan dengan cross-attention A2V/V2A dinonaktifkan.

Satu instance menggerakkan satu modalitas, sehingga checkpoint multimodal membawa beberapa: LTX-2.X memasangkan guider video dengan audio_guider, masing-masing menyimpan skala miliknya sendiri. Estimasi guidance akhir dihitung di ruang apa pun yang diberikan pemanggil — denoiser LTX-2 mengonversi velocity->x0 sebelum memanggil ini dan mengonversinya kembali setelahnya, sehingga forward beroperasi pada prediksi x0.

Berbeda dengan SkipLayerGuidance, yang menerapkan perturbasinya melalui hook, LTX2Guidance mengharapkan perturbasi non-CFG-nya dapat dikonfigurasi melalui argumen forward model (spatio_temporal_guidance_blocks dan isolate_modalities di LTX2VideoTransformer3DModel). Blok denoiser pemanggil bertanggung jawab untuk mengatur identifier per pass tersebut; lihat LTX2LoopDenoiser untuk contoh penggunaan.