Buckets:
Apache License, Version 2.0("라이선스")에 따라 라이선스가 부여됩니다.
이 파일은 라이선스에 따라만 사용할 수 있습니다.
라이선스 사본은 다음에서 가져올 수 있습니다
http://www.apache.org/licenses/LICENSE-2.0
적용 가능한 법률에 의해 요구되거나 서면으로 합의되지 않는 한, 소프트웨어
라이선스에 따라 배포되는 본 소프트웨어는 "있는 그대로"
명시적이든 묵시적이든 어떠한 종류의 보증이나 조건도 없이 제공됩니다.
권한을 관리하는 특정 언어에 대한 라이선스를 참조하세요
라이선스 하의 제한 사항.
-->
CogView3Plus
청화대학교 & ZhipuAI의 Wendi Zheng, Jiayan Teng, Zhuoyi Yang, Weihan Wang, Jidong Chen, Xiaotao Gu, Yuxiao Dong, Ming Ding, Jie Tang가 발표한 CogView3: Finer and Faster Text-to-Image Generation via Relay Diffusion
해당 논문의 초록은 다음과 같습니다:
텍스트-이미지 생성 시스템의 최근 발전은 주로 diffusion model에 의해 주도되었습니다. 그러나 단일 단계 텍스트-이미지 diffusion model은 여전히 계산 효율성과 이미지 디테일 정제 측면에서 과제를 안고 있습니다. 이를 해결하기 위해, 텍스트-이미지 diffusion의 성능을 향상시키는 혁신적인 캐스케이드 프레임워크인 CogView3를 제안합니다. CogView3는 텍스트-이미지 생성 분야에서 relay diffusion을 구현한 최초의 모델로, 먼저 저해상도 이미지를 생성한 후 relay 기반의 초해상도를 적용하여 작업을 수행합니다. 이 방법론은 경쟁력 있는 텍스트-이미지 출력을 산출할 뿐만 아니라 학습 및 추론 비용을 크게 줄입니다. 실험 결과에 따르면, CogView3는 현재 최첨단 오픈소스 텍스트-이미지 diffusion model인 SDXL보다 인간 평가에서 77.0% 높은 성능을 보이며, 동시에 약 1/2의 추론 시간만 소요됩니다. CogView3의 증류된 변형은 SDXL의 1/10 추론 시간만 사용하면서도 유사한 성능을 달성합니다.
Scheduler의 가이드를 확인하여 스케줄러의 속도와 품질 사이의 트레이드오프를 탐색하는 방법을 배우고, 파이프라인 간 구성 요소 재사용 섹션을 확인하여 동일한 구성 요소를 여러 파이프라인에 효율적으로 로드하는 방법을 배워보세요.
이 파이프라인은 zRzRzRzRzRzRzR님이 기여했습니다. 원래 코드베이스는 여기에서 찾을 수 있습니다. 원래 가중치는 hf.co/THUDM에서 찾을 수 있습니다.
CogView3PlusPipeline[[diffusers.CogView3PlusPipeline]]
diffusers.CogView3PlusPipeline[[diffusers.CogView3PlusPipeline]]
diffusers.CogView3PlusPipeline(tokenizer: T5Tokenizer, text_encoder: T5EncoderModel, vae: AutoencoderKL, transformer: CogView3PlusTransformer2DModel, scheduler: diffusers.schedulers.scheduling_ddim_cogvideox.CogVideoXDDIMScheduler | diffusers.schedulers.scheduling_dpm_cogvideox.CogVideoXDPMScheduler)
매개변수:
vae (AutoencoderKL) : 이미지를 잠재 표현으로 인코딩하고 잠재 표현에서 이미지로 디코딩하는 Variational Auto-Encoder (VAE) 모델입니다.
text_encoder (T5EncoderModel) : 고정된 텍스트 인코더입니다. CogView3Plus는 T5를 사용하며, 구체적으로 t5-v1_1-xxl 변형을 사용합니다.
tokenizer (T5Tokenizer) : T5Tokenizer 클래스의 토크나이저.
transformer (CogView3PlusTransformer2DModel) : 인코딩된 이미지 latents의 노이즈를 제거하기 위한 텍스트 조건부 CogView3PlusTransformer2DModel입니다.
scheduler (SchedulerMixin) : transformer와 함께 사용되어 인코딩된 이미지 latents의 노이즈를 제거하는 스케줄러입니다.
CogView3Plus를 사용한 텍스트-이미지 생성을 위한 Pipeline
이 모델은 DiffusionPipeline에서 상속됩니다. 라이브러리가 모든 파이프라인에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 특정 디바이스에서 실행 등)에 대해서는 상위 클래스 문서를 확인하세요.
호출[[diffusers.CogView3PlusPipeline.call]]
__call__(prompt: str | list[str] | None = None, negative_prompt: str | list[str] | None = None, height: int | None = None, width: int | None = None, num_inference_steps: int = 50, timesteps: list[int] | None = None, guidance_scale: float = 5.0, num_images_per_prompt: int = 1, eta: float = 0.0, generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = None, latents: typing.Optional[torch.FloatTensor] = None, prompt_embeds: typing.Optional[torch.FloatTensor] = None, negative_prompt_embeds: typing.Optional[torch.FloatTensor] = None, original_size: tuple[int, int] | None = None, crops_coords_top_left: tuple[int, int] = (0, 0), output_type: str = 'pil', return_dict: bool = True, callback_on_step_end: typing.Union[typing.Callable[[int, int], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None, callback_on_step_end_tensor_inputs: list[str] = ['latents'], max_sequence_length: int = 224)
매개변수:
prompt (str 또는 list[str], 선택 사항) : 이미지 생성을 안내할 프롬프트입니다. 정의되지 않은 경우 prompt_embeds를 전달해야 합니다.
negative_prompt (str 또는 list[str], 선택 사항) : 이미지 생성을 안내하지 않을 프롬프트입니다. 정의되지 않은 경우 대신 negative_prompt_embeds를 전달해야 합니다. 가이던스를 사용하지 않는 경우 무시됩니다(즉, guidance_scale이 1보다 작은 경우 무시됩니다).
height (int, 선택 사항, 기본값은 self.transformer.config.sample_size * self.vae_scale_factor) : 생성된 이미지의 픽셀 단위 높이입니다. 제공되지 않으면 1024로 설정됩니다.
width (int, 선택 사항, 기본값은 self.transformer.config.sample_size * self.vae_scale_factor) : 생성된 이미지의 픽셀 단위 너비. 제공되지 않으면 1024로 설정됩니다.
num_inference_steps (int, 선택 사항, 기본값 50) : 디노이징 단계의 수입니다. 디노이징 단계가 많을수록 일반적으로 더 높은 품질의 이미지를 생성하지만, 추론 속도가 느려집니다.
timesteps (list[int], 선택 사항) : set_timesteps 메서드에 timesteps 인수를 지원하는 스케줄러의 노이즈 제거 과정에 사용할 커스텀 타임스텝입니다. 정의되지 않은 경우, num_inference_steps가 전달될 때의 기본 동작이 사용됩니다. 내림차순으로 정렬되어 있어야 합니다.
guidance_scale (float, 선택 사항, 기본값 5.0) : Classifier-Free Diffusion Guidance에서 정의한 가이던스 스케일입니다. guidance_scale은 Imagen Paper의 2번 식의 w로 정의됩니다. guidance_scale > 1을 설정하여 가이던스 스케일을 활성화합니다. 가이던스 스케일이 높을수록 prompt 텍스트와 밀접하게 연결된 이미지를 생성하도록 장려하지만, 일반적으로 이미지 품질이 낮아지는 대가를 치릅니다.
num_images_per_prompt (int, 선택 사항, 기본값 1) : 프롬프트당 생성할 이미지의 수입니다.
eta (float, 선택 사항, 기본값 0.0) : DDIM 논문에서 정의한 파라미터 eta (η)에 해당합니다. DDIMScheduler에만 적용되며, 다른 스케줄러에서는 무시됩니다.
generator (torch.Generator 또는 list[torch.Generator], 선택 사항) : 생성을 결정적으로 만들기 위한 torch generator 하나 또는 목록.
latents (torch.FloatTensor, 선택 사항) : 이미지 생성의 입력으로 사용할 가우시안 분포에서 샘플링된 사전 생성된 노이즈된 latents입니다. 동일한 생성을 다른 프롬프트로 조정하는 데 사용할 수 있습니다. 제공되지 않으면, 제공된 랜덤 generator를 사용하여 샘플링하여 latents 텐서가 생성됩니다.
prompt_embeds (torch.FloatTensor, 선택 사항) : 미리 생성된 텍스트 임베딩입니다. 텍스트 입력을 쉽게 조정하는 데 사용할 수 있으며, 예를 들어 프롬프트 가중치 설정에 활용할 수 있습니다. 제공되지 않으면 prompt 입력 인자로부터 텍스트 임베딩이 생성됩니다.
negative_prompt_embeds (torch.FloatTensor, 선택) : 미리 생성된 부정 텍스트 임베딩입니다. 텍스트 입력을 쉽게 조정하는 데 사용할 수 있으며, 예를 들어 프롬프트 가중치 설정에 활용할 수 있습니다. 제공되지 않으면 negative_prompt 입력 인수에서 negative_prompt_embeds가 생성됩니다.
original_size (tuple[int], 선택 사항, 기본값 (1024, 1024)) : original_size가 target_size와 같지 않으면 이미지가 다운샘플링 또는 업샘플링된 것처럼 보입니다. original_size는 지정되지 않은 경우 기본값이 (height, width)입니다. https://huggingface.co/papers/2307.01952의 2.2절에서 설명된 SDXL의 마이크로 컨디셔닝(micro-conditioning)의 일부입니다.
crops_coords_top_left (tuple[int], 선택 사항, 기본값 (0, 0)) : crops_coords_top_left를 사용하면 crops_coords_top_left 위치에서 아래쪽으로 "잘린" 것처럼 보이는 이미지를 생성할 수 있습니다. (0, 0)으로 crops_coords_top_left를 설정하면 일반적으로 잘 중앙 정렬된 이미지를 얻을 수 있습니다. https://huggingface.co/papers/2307.01952의 2.2절에서 설명된 SDXL의 micro-conditioning의 일부입니다.
output_type (str, 선택 사항, 기본값 "pil") : 이미지 생성의 출력 형식입니다. PIL: PIL.Image.Image 또는 np.array 중 하나를 선택합니다.
return_dict (bool, 선택 사항, 기본값 True) : 일반 튜플 대신 ~pipelines.stable_diffusion_xl.StableDiffusionXLPipelineOutput을 반환할지 여부.
callback_on_step_end (Callable, 선택 사항) : 추론 중 각 디노이징 단계의 끝에서 호출되는 함수입니다. 이 함수는 다음 인수를 받아 호출됩니다: callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict). callback_kwargs에는 callback_on_step_end_tensor_inputs로 지정된 모든 텐서 목록이 포함됩니다.
callback_on_step_end_tensor_inputs (list, 선택 사항) : callback_on_step_end 함수의 텐서 입력 목록입니다. 목록에 지정된 텐서는 callback_kwargs 인수로 전달됩니다. 파이프라인 클래스의 ._callback_tensor_inputs 속성에 나열된 변수만 포함할 수 있습니다.
max_sequence_length (int, 기본값 224) : 인코딩된 프롬프트의 최대 시퀀스 길이. 다른 값으로 설정할 수 있지만 결과가 저하될 수 있습니다.
반환값: CogView3PipelineOutput 또는 tuple
return_dict가 True인 경우 CogView3PipelineOutput, 그렇지 않으면 tuple입니다. tuple을 반환할 경우 첫 번째 요소는 생성된 이미지 목록입니다.
생성을 위해 파이프라인을 호출할 때 호출되는 함수.
예:
>>> import torch
>>> from diffusers import CogView3PlusPipeline
>>> pipe = CogView3PlusPipeline.from_pretrained("THUDM/CogView3-Plus-3B", torch_dtype=torch.bfloat16)
>>> pipe.to("cuda")
>>> prompt = "A photo of an astronaut riding a horse on mars"
>>> image = pipe(prompt).images[0]
>>> image.save("output.png")
encode_prompt[[diffusers.CogView3PlusPipeline.encode_prompt]]
encode_prompt(prompt: str | list[str], negative_prompt: str | list[str] | None = None, do_classifier_free_guidance: bool = True, num_images_per_prompt: int = 1, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, max_sequence_length: int = 224, device: typing.Optional[torch.device] = None, dtype: typing.Optional[torch.dtype] = None)
매개변수:
prompt (str 또는 list[str], 선택 사항) : 인코딩할 프롬프트
negative_prompt (str 또는 list[str], 선택 사항) : 이미지 생성을 안내하지 않을 프롬프트입니다. 정의되지 않은 경우 대신 negative_prompt_embeds를 전달해야 합니다. 가이던스를 사용하지 않는 경우 무시됩니다(즉, guidance_scale이 1보다 작은 경우 무시됩니다).
do_classifier_free_guidance (bool, 선택 사항, 기본값 True) : classifier free guidance를 사용할지 여부.
num_images_per_prompt (int, 선택 사항, 기본값 1) : 프롬프트당 생성할 이미지 수. 결과 임베딩을 배치할 torch 장치
prompt_embeds (torch.Tensor, 선택 사항) : 미리 생성된 텍스트 임베딩입니다. 예를 들어 프롬프트 가중치와 같은 텍스트 입력을 쉽게 조정하는 데 사용할 수 있습니다. 제공되지 않으면 prompt 입력 인자에서 텍스트 임베딩이 생성됩니다.
negative_prompt_embeds (torch.Tensor, 선택 사항) : 미리 생성된 부정 텍스트 임베딩입니다. 텍스트 입력을 쉽게 조정하는 데 사용할 수 있으며, 예를 들어 프롬프트 가중치 설정에 활용할 수 있습니다. 제공되지 않으면 negative_prompt 입력 인수에서 negative_prompt_embeds가 생성됩니다.
max_sequence_length (int, 기본값 224) : 인코딩된 프롬프트의 최대 시퀀스 길이. 다른 값으로 설정할 수 있지만 결과가 저하될 수 있습니다.
device : (torch.device, 선택 사항): torch device
dtype : (torch.dtype, 선택 사항): torch dtype
프롬프트를 텍스트 인코더의 히든 상태로 인코딩합니다.
CogView3PipelineOutput[[diffusers.pipelines.cogview3.pipeline_output.CogView3PipelineOutput]]
diffusers.pipelines.cogview3.pipeline_output.CogView3PipelineOutput[[diffusers.pipelines.cogview3.pipeline_output.CogView3PipelineOutput]]
diffusers.pipelines.cogview3.pipeline_output.CogView3PipelineOutput(images: list[PIL.Image.Image] | numpy.ndarray)
매개변수:
images (list[PIL.Image.Image] 또는 np.ndarray) : 길이가 batch_size인 노이즈 제거된 PIL 이미지 목록 또는 (batch_size, height, width, num_channels) 모양의 numpy 배열. PIL 이미지 또는 numpy 배열은 diffusion 파이프라인의 노이즈 제거된 이미지를 나타냅니다.
CogView3 파이프라인의 출력 클래스입니다.
Xet Storage Details
- Size:
- 16.6 kB
- Xet hash:
- 23d30f3abd85fa0ac43f4db687f6a8443e73abc5baffc0c3bab1815e1db57d64
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.