Diffusers documentation

HunyuanVideo-1.5

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HunyuanVideo-1.5

HunyuanVideo-1.5는 83억 개의 파라미터만으로 최첨단 수준의 시각적 품질과 모션 일관성을 달성하는 경량화되었으면서도 강력한 비디오 생성 모델로, 소비자 등급 GPU에서 효율적인 추론을 가능하게 합니다. 이러한 성과는 정밀한 데이터 큐레이션, 선택적 및 슬라이딩 타일 어텐션(SSTA)을 갖춘 고급 DiT 아키텍처, 글리프 인식 텍스트 인코딩을 통한 향상된 이중 언어 이해, 점진적 사전 학습 및 사후 학습, 그리고 효율적인 비디오 초해상도 네트워크 등 여러 핵심 구성 요소에 기반합니다. 이러한 설계들을 활용하여, 다양한 길이와 해상도에서 고품질 텍스트-비디오 및 이미지-비디오 생성이 가능한 통합 프레임워크를 개발했습니다. 광범위한 실험을 통해, 이 컴팩트하고 숙련된 모델이 오픈소스 모델 중 새로운 최첨단 수준을 설정했음을 입증했습니다.

원본 HunyuanVideo 체크포인트는 모두 Tencent 조직에서 찾을 수 있습니다.

HunyuanVideo 모델에 대한 추가적인 비디오 생성 작업 예시를 보려면 오른쪽 사이드바의 해당 모델을 클릭하세요.

아래 예시에서는 가중치가 Diffusers와 호환되는 레이아웃으로 저장되어 있으므로 hunyuanvideo-community의 체크포인트를 사용합니다.

…

<hfoptions id="usage"> <hfoption id="memory">

다양한 메모리 절약 기법에 대한 자세한 내용은 메모리 사용량 줄이기 가이드를 참조하세요.

import torch
from diffusers import AutoModel, HunyuanVideo15Pipeline
from diffusers.utils import export_to_video


pipeline = HunyuanVideo15Pipeline.from_pretrained(
    "HunyuanVideo-1.5-Diffusers-480p_t2v",
    dtype=torch.bfloat16,
)

# model-offloading and tiling
pipeline.enable_model_cpu_offload()
pipeline.vae.enable_tiling()

prompt = "A fluffy teddy bear sits on a bed of soft pillows surrounded by children's toys."
video = pipeline(prompt=prompt, num_frames=61, num_inference_steps=30).frames[0]
export_to_video(video, "output.mp4", fps=15)

The input is a single word "Notes". 참고

  • HunyuanVideo1.5는 가변 길이 시퀀스에 대해 어텐션 마스크를 사용합니다. 최적의 성능을 위해 패딩을 효율적으로 처리하는 어텐션 백엔드를 사용하는 것을 권장합니다.

    • H100/H800: _flash_3_hub 또는 _flash_3_varlen_hub
    • A100/A800/RTX 4090: flash_hub 또는 flash_varlen_hub
    • 기타 GPU: sage_hub

다른 백엔드를 사용하는 방법에 대한 자세한 내용은 Attention backends 가이드를 참조하세요.

pipe.transformer.set_attention_backend("flash_hub")  # or your preferred backend
  • HunyuanVideo15Pipeline은 guider를 사용하며 런타임에 guidance_scale 파라미터를 받지 않습니다.

pipe.guider를 사용하여 기본 guider 구성을 확인할 수 있습니다:

>>> pipe.guider 
ClassifierFreeGuidance {
  "_class_name": "ClassifierFreeGuidance",
  "_diffusers_version": "0.36.0.dev0",
  "enabled": true,
  "guidance_rescale": 0.0,
  "guidance_scale": 6.0,
  "start": 0.0,
  "stop": 1.0,
  "use_original_formulation": false
}

State:
  step: None
  num_inference_steps: None
  timestep: None
  count_prepared: 0
  enabled: True
  num_conditions: 2

guider 구성을 업데이트하려면 pipe.guider = pipe.guider.new(...)을 실행할 수 있습니다.

pipe.guider = pipe.guider.new(guidance_scale=5.0)

Guider에 대한 자세한 내용은 여기에서 확인하세요.

HunyuanVideo15Pipeline

클래스 diffusers.HunyuanVideo15Pipeline

< >

( text_encoder: Qwen2_5_VLTextModeltokenizer: Qwen2Tokenizertransformer: HunyuanVideo15Transformer3DModelvae: AutoencoderKLHunyuanVideo15scheduler: FlowMatchEulerDiscreteSchedulertext_encoder_2: T5EncoderModeltokenizer_2: ByT5Tokenizerguider: ClassifierFreeGuidance )

매개변수

  • transformer (HunyuanVideo15Transformer3DModel) — 인코딩된 비디오 잠재 변수를 디노이즈하기 위한 조건부 Transformer (MMDiT) 아키텍처.
  • scheduler (FlowMatchEulerDiscreteScheduler) — 인코딩된 비디오 latents의 노이즈를 제거하기 위해 transformer와 함께 사용되는 스케줄러입니다.
  • vae (AutoencoderKLHunyuanVideo15) — 잠재 표현으로 비디오를 인코딩 및 디코딩하는 Variational Auto-Encoder (VAE) 모델.
  • text_encoder (Qwen2.5-VL-7B-Instruct) — 구체적으로 Qwen2.5-VL-7B-Instruct의 Qwen2.5-VL-7B-Instruct 변형입니다.
  • tokenizer (Qwen2Tokenizer) — [Qwen2Tokenizer] 클래스의 토크나이저입니다.
  • text_encoder_2 (T5EncoderModel) — T5EncoderModel 변형입니다.
  • tokenizer_2 (ByT5Tokenizer) — [ByT5Tokenizer] 클래스의 토크나이저
  • guider (ClassifierFreeGuidance) — [ClassifierFreeGuidance]classifier free guidance를 위해.

HunyuanVideo1.5를 사용한 텍스트-비디오 생성을 위한 Pipeline

이 모델은 DiffusionPipeline에서 상속됩니다. 모든 파이프라인에 대해 구현된 일반적 메서드(다운로드, 저장, 특정 디바이스에서 실행 등)에 대해서는 상위 클래스 문서를 확인하세요.

__call__

< >

( prompt: str | list[str] = Nonenegative_prompt: str | list[str] = Noneheight: int | None = Nonewidth: int | None = Nonenum_frames: int = 121num_inference_steps: int = 50sigmas: list = Nonenum_videos_per_prompt: int | None = 1generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneprompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_mask: typing.Optional[torch.Tensor] = Noneprompt_embeds_2: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask_2: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_2: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_mask_2: typing.Optional[torch.Tensor] = Noneoutput_type: str | None = 'np'return_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = None ) → ~HunyuanVideo15PipelineOutput or tuple

매개변수

  • prompt (str 또는 list[str], 선택 사항) — 이미지 생성을 안내할 프롬프트입니다. 정의되지 않은 경우 대신 prompt_embeds를 전달해야 합니다.
  • negative_prompt (str 또는 list[str], 선택 사항) — 이미지 생성을 안내하지 않을 프롬프트입니다. 정의되지 않은 경우, 대신 negative_prompt_embeds를 전달해야 합니다.
  • height (int, 선택 사항) — 생성된 비디오의 픽셀 단위 높이입니다.
  • width (int, 선택 사항) — 생성된 비디오의 픽셀 단위 너비입니다.
  • num_frames (int, 기본값 121) — 생성된 비디오의 프레임 수입니다.
  • num_inference_steps (int, 기본값 50) — 디노이징 단계의 수입니다. 디노이징 단계가 많을수록 일반적으로 더 높은 품질의 비디오를 생성하지만, 추론 속도가 느려집니다.
  • sigmas (list[float], 선택 사항) — set_timesteps 메서드에 sigmas 인수를 지원하는 스케줄러의 노이즈 제거 과정에 사용할 커스텀 시그마입니다. 정의되지 않은 경우, num_inference_steps가 전달될 때의 기본 동작이 사용됩니다.
  • num_videos_per_prompt (int, 선택 사항, 기본값 1) — 프롬프트당 생성할 비디오의 수입니다.
  • generator (torch.Generator 또는 list[torch.Generator], 선택 사항) — 생성을 결정적으로 만들기 위한 torch.Generator.
  • latents (torch.Tensor, 선택 사항) — 가우시안 분포에서 샘플링된 사전 생성된 노이즈 latents로, 비디오 생성의 입력으로 사용됩니다. 동일한 생성을 다른 프롬프트로 조정하는 데 사용할 수 있습니다. 제공되지 않으면, 제공된 랜덤 generator를 사용하여 샘플링하여 latents 텐서를 생성합니다.
  • prompt_embeds (torch.Tensor, 선택) — 미리 생성된 텍스트 임베딩입니다. 텍스트 입력(프롬프트 가중치)을 쉽게 조정하는 데 사용할 수 있습니다. 제공되지 않으면 prompt 입력 인자에서 텍스트 임베딩이 생성됩니다.
  • prompt_embeds_mask (torch.Tensor, 선택 사항) — 프롬프트 임베딩용 사전 생성된 마스크입니다.
  • negative_prompt_embeds (torch.Tensor, 선택 사항) — 미리 생성된 negative text embeddings입니다. 텍스트 입력을 쉽게 조정하는 데 사용할 수 있으며, 예를 들어 프롬프트 가중치 설정에 활용할 수 있습니다. 제공되지 않으면 negative_prompt 입력 인자로부터 negative_prompt_embeds가 생성됩니다.
  • negative_prompt_embeds_mask (torch.Tensor, 선택 사항) — 음성 프롬프트 임베딩에 사용할 사전 생성된 마스크입니다.
  • prompt_embeds_2 (torch.Tensor, 선택) — 두 번째 텍스트 인코더에서 생성된 사전 생성 텍스트 임베딩입니다. 텍스트 입력을 쉽게 조정하는 데 사용할 수 있습니다.
  • prompt_embeds_mask_2 (torch.Tensor, 선택 사항) — 두 번째 텍스트 인코더의 프롬프트 임베딩에 대한 사전 생성된 마스크입니다.
  • negative_prompt_embeds_2 (torch.Tensor, 선택 사항) — 두 번째 텍스트 인코더에서 생성된 사전 생성된 부정 텍스트 임베딩입니다.
  • negative_prompt_embeds_mask_2 (torch.Tensor, 선택 사항) — 두 번째 텍스트 인코더의 negative prompt embeddings에 사용할 미리 생성된 mask입니다.
  • output_type (str, 선택 사항, 기본값 "np") — 생성된 비디오의 출력 형식입니다. “np”, “pt”, “latent” 중 하나를 선택합니다.
  • return_dict (bool, 선택 사항, 기본값 True) — 일반 튜플 대신 HunyuanVideo15PipelineOutput를 반환할지 여부.
  • attention_kwargs (dict, 선택 사항) — 지정된 경우 diffusers.models.attention_processor의 self.processor에서 정의된 AttentionProcessor로 전달되는 kwargs 사전입니다.

반환값

~HunyuanVideo15PipelineOutput 또는 tuple

return_dict가 True인 경우 HunyuanVideo15PipelineOutput가 반환되고, 그렇지 않으면 첫 번째 요소가 생성된 비디오 목록인 tuple이 반환됩니다.

생성을 위한 pipeline의 호출 함수.

예:

>>> import torch
>>> from diffusers import HunyuanVideo15Pipeline
>>> from diffusers.utils import export_to_video

>>> model_id = "hunyuanvideo-community/HunyuanVideo-1.5-480p_t2v"
>>> pipe = HunyuanVideo15Pipeline.from_pretrained(model_id, torch_dtype=torch.float16)
>>> pipe.vae.enable_tiling()
>>> pipe.to("cuda")

>>> output = pipe(
...     prompt="A cat walks on the grass, realistic",
...     num_inference_steps=50,
... ).frames[0]
>>> export_to_video(output, "output.mp4", fps=15)

encode_prompt

< >

( prompt: str | list[str]device: typing.Optional[torch.device] = Nonedtype: typing.Optional[torch.dtype] = Nonebatch_size: int = 1num_videos_per_prompt: int = 1prompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask: typing.Optional[torch.Tensor] = Noneprompt_embeds_2: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask_2: typing.Optional[torch.Tensor] = None )

매개변수

  • prompt (str 또는 list[str], 선택 사항) — 인코딩할 프롬프트
  • device — (torch.device): torch device
  • batch_size (int) — 프롬프트의 배치 크기, 기본값은 1
  • num_videos_per_prompt (int) — 프롬프트당 생성할 이미지 수
  • prompt_embeds (torch.Tensor, 선택 사항) — 미리 생성된 텍스트 임베딩입니다. 제공되지 않으면 prompt 입력 인자로부터 텍스트 임베딩이 생성됩니다.
  • prompt_embeds_mask (torch.Tensor, 선택 사항) — 미리 생성된 텍스트 마스크입니다. 제공되지 않으면 prompt 입력 인자로부터 텍스트 마스크가 생성됩니다.
  • prompt_embeds_2 (torch.Tensor, 선택 사항) — ByT5에서 생성된 글리프 텍스트 임베딩입니다. 제공되지 않으면 prompt 입력 인수를 사용하여 self.tokenizer_2와 self.text_encoder_2로 생성됩니다.
  • prompt_embeds_mask_2 (torch.Tensor, 선택 사항) — ByT5에서 사전 생성된 글리프 텍스트 마스크입니다. 제공되지 않으면 prompt 입력 인수를 사용하여 self.tokenizer_2와 self.text_encoder_2로 생성됩니다.

prepare_cond_latents_and_mask

< >

( latentsdtype: typing.Optional[torch.dtype]device: typing.Optional[torch.device] ) → tuple

매개변수

  • latents — 주요 latents 텐서 (B, C, F, H, W)

반환값

tuple

(cond_latents_concat, mask_concat) - t2v의 경우 둘 다 zero tensor입니다

t2v 생성을 위한 조건부 latents와 mask를 준비합니다.

HunyuanVideo15ImageToVideoPipeline

클래스 diffusers.HunyuanVideo15ImageToVideoPipeline

< >

( text_encoder: Qwen2_5_VLTextModeltokenizer: Qwen2Tokenizertransformer: HunyuanVideo15Transformer3DModelvae: AutoencoderKLHunyuanVideo15scheduler: FlowMatchEulerDiscreteSchedulertext_encoder_2: T5EncoderModeltokenizer_2: ByT5Tokenizerguider: ClassifierFreeGuidanceimage_encoder: SiglipVisionModelfeature_extractor: SiglipImageProcessorPil )

매개변수

  • transformer (HunyuanVideo15Transformer3DModel) — 인코딩된 비디오 잠재 변수를 디노이즈하기 위한 조건부 Transformer (MMDiT) 아키텍처.
  • scheduler (FlowMatchEulerDiscreteScheduler) — 인코딩된 비디오 latents의 노이즈를 제거하기 위해 transformer와 함께 사용되는 스케줄러입니다.
  • vae (AutoencoderKLHunyuanVideo15) — 잠재 표현으로 비디오를 인코딩 및 디코딩하는 Variational Auto-Encoder (VAE) 모델.
  • text_encoder (Qwen2.5-VL-7B-Instruct) — 구체적으로 Qwen2.5-VL-7B-Instruct의 Qwen2.5-VL-7B-Instruct 변형입니다.
  • tokenizer (Qwen2Tokenizer) — [Qwen2Tokenizer] 클래스의 토크나이저입니다.
  • text_encoder_2 (T5EncoderModel) — T5EncoderModel 변형입니다.
  • tokenizer_2 (ByT5Tokenizer) — [ByT5Tokenizer] 클래스의 토크나이저
  • guider (ClassifierFreeGuidance) — [ClassifierFreeGuidance]classifier free guidance를 위해.
  • image_encoder (SiglipVisionModel) — SiglipVisionModel 변형입니다.
  • feature_extractor (SiglipImageProcessor) — SiglipImageProcessor 변형입니다.

HunyuanVideo1.5를 사용한 이미지-비디오 생성을 위한 Pipeline

이 모델은 DiffusionPipeline에서 상속됩니다. 모든 파이프라인에 대해 구현된 일반적 메서드(다운로드, 저장, 특정 디바이스에서 실행 등)에 대해서는 상위 클래스 문서를 확인하세요.

__call__

< >

( image: Imageprompt: str | list[str] = Nonenegative_prompt: str | list[str] = Nonenum_frames: int = 121num_inference_steps: int = 50sigmas: list = Nonenum_videos_per_prompt: int | None = 1generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneprompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_mask: typing.Optional[torch.Tensor] = Noneprompt_embeds_2: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask_2: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_2: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_mask_2: typing.Optional[torch.Tensor] = Noneoutput_type: str | None = 'np'return_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = None ) → ~HunyuanVideo15PipelineOutput or tuple

매개변수

  • image (PIL.Image.Image) — 비디오 생성의 조건으로 사용할 입력 이미지.
  • prompt (str 또는 list[str], 선택 사항) — 비디오 생성을 안내할 프롬프트입니다. 정의되지 않은 경우, 대신 prompt_embeds를 전달해야 합니다.
  • negative_prompt (str 또는 list[str], 선택 사항) — 비디오 생성을 안내하지 않을 프롬프트입니다. 정의되지 않은 경우, 대신 negative_prompt_embeds를 전달해야 합니다.
  • num_frames (int, 기본값 121) — 생성된 비디오의 프레임 수입니다.
  • num_inference_steps (int, 기본값 50) — 디노이징 단계의 수입니다. 디노이징 단계가 많을수록 일반적으로 더 높은 품질의 비디오를 생성하지만, 추론 속도가 느려집니다.
  • sigmas (list[float], 선택 사항) — set_timesteps 메서드에 sigmas 인수를 지원하는 스케줄러의 노이즈 제거 과정에 사용할 커스텀 시그마입니다. 정의되지 않은 경우, num_inference_steps가 전달될 때의 기본 동작이 사용됩니다.
  • num_videos_per_prompt (int, 선택 사항, 기본값 1) — 프롬프트당 생성할 비디오의 수입니다.
  • generator (torch.Generator 또는 list[torch.Generator], 선택 사항) — 생성을 결정적으로 만들기 위한 torch.Generator.
  • latents (torch.Tensor, 선택 사항) — 가우시안 분포에서 샘플링된 사전 생성된 노이즈 latents로, 비디오 생성의 입력으로 사용됩니다. 동일한 생성을 다른 프롬프트로 조정하는 데 사용할 수 있습니다. 제공되지 않으면, 제공된 랜덤 generator를 사용하여 샘플링하여 latents 텐서를 생성합니다.
  • prompt_embeds (torch.Tensor, 선택) — 미리 생성된 텍스트 임베딩입니다. 텍스트 입력(프롬프트 가중치)을 쉽게 조정하는 데 사용할 수 있습니다. 제공되지 않으면 prompt 입력 인자에서 텍스트 임베딩이 생성됩니다.
  • prompt_embeds_mask (torch.Tensor, 선택 사항) — 프롬프트 임베딩용 사전 생성된 마스크입니다.
  • negative_prompt_embeds (torch.Tensor, 선택 사항) — 미리 생성된 negative text embeddings입니다. 텍스트 입력을 쉽게 조정하는 데 사용할 수 있으며, 예를 들어 프롬프트 가중치 설정에 활용할 수 있습니다. 제공되지 않으면 negative_prompt 입력 인자로부터 negative_prompt_embeds가 생성됩니다.
  • negative_prompt_embeds_mask (torch.Tensor, 선택 사항) — 음성 프롬프트 임베딩에 사용할 사전 생성된 마스크입니다.
  • prompt_embeds_2 (torch.Tensor, 선택) — 두 번째 텍스트 인코더에서 생성된 사전 생성 텍스트 임베딩입니다. 텍스트 입력을 쉽게 조정하는 데 사용할 수 있습니다.
  • prompt_embeds_mask_2 (torch.Tensor, 선택 사항) — 두 번째 텍스트 인코더의 프롬프트 임베딩에 대한 사전 생성된 마스크입니다.
  • negative_prompt_embeds_2 (torch.Tensor, 선택 사항) — 두 번째 텍스트 인코더에서 생성된 사전 생성된 부정 텍스트 임베딩입니다.
  • negative_prompt_embeds_mask_2 (torch.Tensor, 선택 사항) — 두 번째 텍스트 인코더의 negative prompt embeddings에 사용할 미리 생성된 mask입니다.
  • output_type (str, 선택 사항, 기본값 "np") — 생성된 비디오의 출력 형식입니다. “np”, “pt”, “latent” 중 하나를 선택합니다.
  • return_dict (bool, 선택 사항, 기본값 True) — 일반 튜플 대신 HunyuanVideo15PipelineOutput를 반환할지 여부.
  • attention_kwargs (dict, 선택 사항) — 지정된 경우 diffusers.models.attention_processor의 self.processor에서 정의된 AttentionProcessor로 전달되는 kwargs 사전입니다.

반환값

~HunyuanVideo15PipelineOutput 또는 tuple

return_dict가 True인 경우 HunyuanVideo15PipelineOutput가 반환되고, 그렇지 않으면 첫 번째 요소가 생성된 비디오 목록인 tuple이 반환됩니다.

생성을 위한 pipeline의 호출 함수.

예:

>>> import torch
>>> from diffusers import HunyuanVideo15ImageToVideoPipeline
>>> from diffusers.utils import export_to_video

>>> model_id = "hunyuanvideo-community/HunyuanVideo-1.5-480p_i2v"
>>> pipe = HunyuanVideo15ImageToVideoPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
>>> pipe.vae.enable_tiling()
>>> pipe.to("cuda")

>>> image = load_image("https://huggingface.co/datasets/YiYiXu/testing-images/resolve/main/wan_i2v_input.JPG")

>>> output = pipe(
...     prompt="Summer beach vacation style, a white cat wearing sunglasses sits on a surfboard. The fluffy-furred feline gazes directly at the camera with a relaxed expression. Blurred beach scenery forms the background featuring crystal-clear waters, distant green hills, and a blue sky dotted with white clouds. The cat assumes a naturally relaxed posture, as if savoring the sea breeze and warm sunlight. A close-up shot highlights the feline's intricate details and the refreshing atmosphere of the seaside.",
...     image=image,
...     num_inference_steps=50,
... ).frames[0]
>>> export_to_video(output, "output.mp4", fps=24)

encode_prompt

< >

( prompt: str | list[str]device: typing.Optional[torch.device] = Nonedtype: typing.Optional[torch.dtype] = Nonebatch_size: int = 1num_videos_per_prompt: int = 1prompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask: typing.Optional[torch.Tensor] = Noneprompt_embeds_2: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask_2: typing.Optional[torch.Tensor] = None )

매개변수

  • prompt (str 또는 list[str], 선택 사항) — 인코딩할 프롬프트
  • device — (torch.device): torch device
  • batch_size (int) — 프롬프트의 배치 크기, 기본값은 1
  • num_videos_per_prompt (int) — 프롬프트당 생성할 이미지 수
  • prompt_embeds (torch.Tensor, 선택 사항) — 미리 생성된 텍스트 임베딩입니다. 제공되지 않으면 prompt 입력 인자로부터 텍스트 임베딩이 생성됩니다.
  • prompt_embeds_mask (torch.Tensor, 선택 사항) — 미리 생성된 텍스트 마스크입니다. 제공되지 않으면 prompt 입력 인자로부터 텍스트 마스크가 생성됩니다.
  • prompt_embeds_2 (torch.Tensor, 선택 사항) — ByT5에서 생성된 글리프 텍스트 임베딩입니다. 제공되지 않으면 prompt 입력 인수를 사용하여 self.tokenizer_2와 self.text_encoder_2로 생성됩니다.
  • prompt_embeds_mask_2 (torch.Tensor, 선택 사항) — ByT5에서 사전 생성된 글리프 텍스트 마스크입니다. 제공되지 않으면 prompt 입력 인수를 사용하여 self.tokenizer_2와 self.text_encoder_2로 생성됩니다.

prepare_cond_latents_and_mask

< >

( latents: Tensorimage: Imagebatch_size: intheight: intwidth: intdtype: dtypedevice: device ) → tuple

매개변수

  • latents — 주요 latents 텐서 (B, C, F, H, W)

반환값

tuple

(cond_latents_concat, mask_concat) - t2v의 경우 둘 다 zero tensor입니다

t2v 생성을 위한 조건부 latents와 mask를 준비합니다.

HunyuanVideo15PipelineOutput

클래스 diffusers.pipelines.hunyuan_video1_5.pipeline_output.HunyuanVideo15PipelineOutput

< >

( frames: Tensor )

매개변수

  • frames (torch.Tensor, np.ndarray, 또는 list[list[PIL.Image.Image]]) — 비디오 출력 목록 - batch_size, 길이의 중첩 목록일 수 있으며, 각 하위 목록에는 num_frames. 길이의 노이즈 제거된 PIL 이미지 시퀀스가 포함됩니다. 또한 (batch_size, num_frames, channels, height, width) 형상의 NumPy 배열 또는 Torch 텐서일 수도 있습니다.

HunyuanVideo1.5 파이프라인의 출력 클래스입니다.

Update on GitHub