Hugging Face's logo

Diffusers documentation

CMStochasticIterativeScheduler

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

CMStochasticIterativeScheduler

Yang Song, Prafulla Dhariwal, Mark Chen, Ilya Sutskever의 Consistency Models는 1단계 또는 소수의 단계로 고품질 샘플을 생성할 수 있는 multistep 및 onestep 스케줄러(Algorithm 1)를 소개했습니다.

해당 논문의 초록은 다음과 같습니다:

Diffusion models은 이미지, 오디오 및 비디오 생성 분야에서 상당한 발전을 이루었지만, 느린 생성을 초래하는 반복적 샘플링 프로세스에 의존합니다. 이러한 한계를 극복하기 위해, 노이즈를 데이터로 직접 매핑하여 고품질 샘플을 생성하는 새로운 모델 계열인 consistency models를 제안합니다. 이들은 설계상 빠른 1단계 생성을 지원하면서도, 계산 비용을 샘플 품질과 교환할 수 있도록 다단계 샘플링을 허용합니다. 또한, 이러한 작업에 대한 명시적인 학습 없이도 이미지 inpainting, 컬러라이제이션, 초해상도와 같은 zero-shot 데이터 편집을 지원합니다. Consistency models는 사전 학습된 diffusion models를 증류하여 학습하거나, 완전히 독립적인 생성 모델로 학습할 수 있습니다. 광범위한 실험을 통해, 1단계 및 소수 단계 샘플링에서 기존 diffusion models 증류 기법보다 우수한 성능을 보이며, 1단계 생성에서 CIFAR-10의 FID 3.55와 ImageNet 64x64의 FID 6.20이라는 새로운 state-of-the-art를 달성함을 입증했습니다. 독립적으로 학습된 경우, consistency models는 CIFAR-10, ImageNet 64x64 및 LSUN 256x256과 같은 표준 벤치마크에서 기존 1단계, 비적대적 생성 모델보다 우수한 성능을 발휘할 수 있는 새로운 생성 모델 계열이 됩니다.

원본 코드베이스는 openai/consistency_models에서 찾을 수 있습니다.

CMStochasticIterativeScheduler

class diffusers.CMStochasticIterativeScheduler

< >

( num_train_timesteps: int = 40sigma_min: float = 0.002sigma_max: float = 80.0sigma_data: float = 0.5s_noise: float = 1.0rho: float = 7.0clip_denoised: bool = True )

매개변수

  • num_train_timesteps (int, 기본값 40) — 모델을 학습할 때 사용할 diffusion 단계 수입니다.
  • sigma_min (float, 기본값 0.002) — sigma 스케줄의 최소 노이즈 크기입니다. 원래 구현에서와 같이 기본값은 0.002입니다.
  • sigma_max (float, 기본값 80.0) — sigma 스케줄의 최대 노이즈 크기입니다. 원래 구현에서와 같이 기본값은 80.0입니다.
  • sigma_data (float, 기본값 0.5) — EDM 논문의 데이터 분포 표준편차입니다. 원래 구현에서와 같이 기본값은 0.5입니다.
  • s_noise (float, 기본값 1.0) — 샘플링 중 세부 정보 손실을 상쇄하기 위해 추가할 노이즈의 양입니다. 적절한 범위는 [1.000, 1.011]입니다. 원래 구현에서와 같이 기본값은 1.0입니다.
  • rho (float, 기본값 7.0) — EDM 논문에서 Karras sigma 스케줄을 계산하는 데 사용되는 매개변수입니다. 원래 구현에서와 같이 기본값은 7.0입니다.
  • clip_denoised (bool, 기본값 True) — denoised 출력을 (-1, 1) 범위로 클리핑할지 여부.
  • timesteps (list 또는 np.ndarray 또는 torch.Tensor, 선택 사항) — 선택적으로 지정할 수 있는 명시적인 timestep 스케줄입니다. timesteps는 증가하는 순서로 제공되어야 합니다.

일관성 모델의 다단계 및 단일 단계 샘플링.

이 모델은 SchedulerMixin과 ConfigMixin을 상속합니다. 로딩 및 저장과 같은 모든 스케줄러에 대해 라이브러리가 구현하는 일반적 메서드에 대해서는 상위 클래스 문서를 확인하세요.

add_noise

< >

( original_samples: Tensornoise: Tensortimesteps: Tensor ) → torch.Tensor

매개변수

  • original_samples (torch.Tensor) — 노이즈가 추가될 원래 샘플입니다.
  • noise (torch.Tensor) — 원본 샘플에 추가할 노이즈 텐서입니다.
  • timesteps (torch.Tensor) — 노이즈를 추가할 타임스텝으로, 스케줄에서 노이즈 레벨을 결정합니다.

반환값

torch.Tensor

timestep 스케줄에 따라 노이즈가 스케일링되어 추가된 노이즈 샘플.

지정된 timesteps의 noise schedule에 따라 원래 샘플에 노이즈를 추가합니다.

get_scalings

< >

( sigma: Tensor ) → tuple[torch.Tensor, torch.Tensor]

매개변수

  • sigma (torch.Tensor) — 노이즈 스케줄의 현재 sigma 값입니다.

반환값

tuple[torch.Tensor, torch.Tensor]

c_skip(입력 샘플의 스케일링)와 c_out(모델 출력의 스케일링)을 포함하는 튜플.

consistency model 출력을 위한 스케일링 계수를 계산합니다.

get_scalings_for_boundary_condition

< >

( sigma: Tensor ) → tuple[torch.Tensor, torch.Tensor]

매개변수

  • sigma (torch.Tensor) — Karras sigma 스케줄의 현재 sigma입니다.

반환값

tuple[torch.Tensor, torch.Tensor]

c_skip(현재 샘플의 가중치를 결정)가 첫 번째 요소이고 c_out(consistency model 출력의 가중치를 결정)이 두 번째 요소인 2개 요소의 tuple입니다.

논문 부록 C의 consistency model parameterization에서 경계 조건을 강제하기 위해 사용되는 scalings를 가져옵니다.

> c_skip와 c_out의 공식에서 epsilon은 sigma_min으로 설정됩니다.

index_for_timestep

< >

( timestep: typing.Union[float, torch.Tensor]schedule_timesteps: typing.Optional[torch.Tensor] = None ) → int

매개변수

  • timestep (float 또는 torch.Tensor) — 스케줄에서 찾을 timestep 값입니다.
  • schedule_timesteps (torch.Tensor, 선택 사항) — 검색할 timestep schedule입니다. None인 경우 self.timesteps를 사용합니다.

반환값

int

The index of the timestep in the schedule. For the very first step, returns the second index if multiple matches exist to avoid skipping a sigma when starting mid-schedule (e.g., for image-to-image).

…

scale_model_input

< >

( sample: Tensortimestep: typing.Union[float, torch.Tensor] ) → torch.Tensor

매개변수

  • sample (torch.Tensor) — 입력 샘플입니다.
  • timestep (float 또는 torch.Tensor) — 확산 체인에서의 현재 timestep입니다.

반환값

torch.Tensor

스케일된 입력 샘플.

일관성 모델 입력을 (sigma**2 + sigma_data**2) ** 0.5로 스케일링합니다.

set_begin_index

< >

( begin_index: int = 0 )

매개변수

  • begin_index (int, 기본값 0) — 스케줄러의 시작 인덱스입니다.

… 스케줄러의 시작 인덱스를 설정합니다. 이 함수는 추론 전에 파이프라인에서 실행해야 합니다.

set_timesteps

< >

( num_inference_steps: int | None = Nonedevice: typing.Union[str, torch.device] = Nonetimesteps: list[int] | None = None )

매개변수

  • num_inference_steps (int, 선택 사항) — 학습된 모델로 샘플을 생성할 때 사용되는 diffusion 단계 수입니다.
  • device (str 또는 torch.device, 선택 사항) — timesteps를 이동할 대상 device입니다. None인 경우 timesteps는 이동되지 않습니다.
  • timesteps (list[int], 선택 사항) — timesteps 사이의 간격을 자유롭게 지정하기 위해 사용하는 사용자 정의 timesteps입니다. None인 경우, timesteps 사이에 동일한 간격을 두는 기본 전략이 사용됩니다. timesteps가 전달되면 num_inference_steps는 None이어야 합니다.

추론 실행 전에 실행할 diffusion chain에 사용할 timesteps를 설정합니다.

sigma_to_t

< >

( sigmas: float | numpy.ndarray ) → np.ndarray

매개변수

  • sigmas (float 또는 np.ndarray) — 단일 Karras sigma 또는 Karras sigmas 배열입니다.

반환값

np.ndarray

스케일된 입력 타임스텝 배열.

일관성 모델 입력을 위한 Karras sigmas에서 스케일된 timesteps를 가져옵니다.

단계

< >

( model_output: Tensortimestep: typing.Union[float, torch.Tensor]sample: Tensorgenerator: typing.Optional[torch.Generator] = Nonereturn_dict: bool = True ) → CMStochasticIterativeSchedulerOutput or tuple

매개변수

  • model_output (torch.Tensor) — 학습된 diffusion 모델의 직접적인 출력입니다.
  • timestep (float 또는 torch.Tensor) — 확산 체인에서의 현재 timestep입니다.
  • sample (torch.Tensor) — 확산 과정에 의해 생성된 샘플의 현재 인스턴스입니다.
  • generator (torch.Generator, 선택 사항) — 난수 생성기입니다.
  • return_dict (bool, 기본값 True) — CMStochasticIterativeSchedulerOutput 또는 tuple를 반환할지 여부.

반환값

CMStochasticIterativeSchedulerOutput 또는 tuple

return_dict가 True인 경우 CMStochasticIterativeSchedulerOutput이 반환되고, 그렇지 않으면 첫 번째 요소가 샘플 텐서인 튜플이 반환됩니다.

이전 시간 단계의 샘플을 SDE를 역방향으로 적용하여 예측합니다. 이 함수는 학습된 모델의 출력(대부분 예측된 노이즈)으로부터 확산 과정을 전파합니다.

CMStochasticIterativeSchedulerOutput

class diffusers.schedulers.scheduling_consistency_models.CMStochasticIterativeSchedulerOutput

< >

( prev_sample: Tensor )

매개변수

  • prev_sample (이미지의 경우 torch.Tensor, shape (batch_size, num_channels, height, width)) — 이전 timestep의 계산된 샘플 (x_{t-1}). prev_sample은 denoising 루프에서 다음 모델 입력으로 사용해야 합니다.

스케줄러의 step 함수에 대한 출력 클래스입니다.

Update on GitHub

←BlockRefinementScheduler CogVideoXDDIMScheduler→