# # Được cấp phép theo Giấy phép Apache, Phiên bản 2.0 (gọi là "Giấy phép"); # bạn có thể không sử dụng tệp này ngoại trừ tuân thủ theo Giấy phép. # Bạn có thể nhận được một bản sao của Giấy phép tại # # http://www.apache.org/licenses/LICENSE-2.0 # # Trừ khi được yêu cầu bởi luật pháp có hiệu lực hoặc được thỏa thuận bằng văn bản, phần mềm # được phân phối theo Giấy phép được phân phối trên cơ sở # KHÔNG CÓ BẢO HÀNH HOẶC ĐIỀU KIỆN DƯỚI BẤT KỲ HÌNH THỨC NÀO, dù được nêu rõ hay ngụ ý. # Xem Giấy phép để biết ngôn ngữ cụ thể điều chỉnh các quyền và # giới hạn theo Giấy phép. --> # HunyuanVideo-1.5 HunyuanVideo-1.5 là một mô hình tạo video nhẹ nhưng mạnh mẽ, đạt được chất lượng hình ảnh và tính nhất quán chuyển động tiên tiến nhất với chỉ 8,3 tỷ tham số, cho phép suy luận hiệu quả trên các GPU cấp tiêu dùng. Thành tựu này được xây dựng dựa trên một số thành phần chính, bao gồm việc tuyển chọn dữ liệu tỉ mỉ, kiến trúc DiT tiên tiến với chú ý gạch chọn lọc và trượt (SSTA), khả năng hiểu song ngữ được tăng cường thông qua mã hóa văn bản nhận biết ký tự, huấn luyện trước và huấn luyện sau theo tiến trình, cùng một mạng siêu phân giải video hiệu quả. Tận dụng các thiết kế này, chúng tôi đã phát triển một khung thống nhất có khả năng tạo video từ văn bản và từ hình ảnh với chất lượng cao trên nhiều độ dài và độ phân giải khác nhau. Các thí nghiệm mở rộng cho thấy mô hình nhỏ gọn và thành thạo này thiết lập một mức tiên tiến mới trong số các mô hình mã nguồn mở. Bạn có thể tìm thấy tất cả các checkpoint HunyuanVideo gốc dưới tổ chức [Tencent](https://huggingface.co/tencent). > [!TIP] > Nhấp vào các mô hình HunyuanVideo ở thanh bên phải để xem thêm các ví dụ về tác vụ tạo video. > > Các ví dụ bên dưới sử dụng checkpoint từ [hunyuanvideo-community](https://huggingface.co/hunyuanvideo-community) vì trọng số được lưu trữ trong bố cục tương thích với Diffusers. Ví dụ dưới đây minh họa cách tạo video được tối ưu hóa cho bộ nhớ hoặc tốc độ suy luận. Tham khảo hướng dẫn [Giảm mức sử dụng bộ nhớ](../../optimization/memory) để biết thêm chi tiết về các kỹ thuật tiết kiệm bộ nhớ khác nhau. ```py import torch from diffusers import AutoModel, HunyuanVideo15Pipeline from diffusers.utils import export_to_video pipeline = HunyuanVideo15Pipeline.from_pretrained( "HunyuanVideo-1.5-Diffusers-480p_t2v", dtype=torch.bfloat16, ) # model-offloading and tiling pipeline.enable_model_cpu_offload() pipeline.vae.enable_tiling() prompt = "A fluffy teddy bear sits on a bed of soft pillows surrounded by children's toys." video = pipeline(prompt=prompt, num_frames=61, num_inference_steps=30).frames[0] export_to_video(video, "output.mp4", fps=15) ``` ## Ghi chú - HunyuanVideo1.5 sử dụng attention masks với các chuỗi có độ dài thay đổi. Để đạt hiệu suất tốt nhất, chúng tôi khuyến nghị sử dụng một attention backend xử lý padding một cách hiệu quả. - **H100/H800:** `_flash_3_hub` hoặc `_flash_3_varlen_hub` - **A100/A800/RTX 4090:** `flash_hub` hoặc `flash_varlen_hub` - **Các GPU khác:** `sage_hub` Tham khảo hướng dẫn [Các backend Attention](../../optimization/attention_backends) để biết thêm chi tiết về việc sử dụng một backend khác. ```py pipe.transformer.set_attention_backend("flash_hub") # or your preferred backend ``` - [HunyuanVideo15Pipeline](/docs/diffusers/main/vi/api/pipelines/hunyuan_video15#diffusers.HunyuanVideo15Pipeline) sử dụng guider và không nhận tham số `guidance_scale` khi chạy. Bạn có thể kiểm tra cấu hình guider mặc định bằng cách sử dụng `pipe.guider`: ```py >>> pipe.guider ClassifierFreeGuidance { "_class_name": "ClassifierFreeGuidance", "_diffusers_version": "0.36.0.dev0", "enabled": true, "guidance_rescale": 0.0, "guidance_scale": 6.0, "start": 0.0, "stop": 1.0, "use_original_formulation": false } State: step: None num_inference_steps: None timestep: None count_prepared: 0 enabled: True num_conditions: 2 ``` Để cập nhật cấu hình guider, bạn có thể chạy `pipe.guider = pipe.guider.new(...)` ```py pipe.guider = pipe.guider.new(guidance_scale=5.0) ``` Đọc thêm về Guider [tại đây](../../using-diffusers/guiders). ## HunyuanVideo15Pipeline[[diffusers.HunyuanVideo15Pipeline]] #### diffusers.HunyuanVideo15Pipeline[[diffusers.HunyuanVideo15Pipeline]] ```python diffusers.HunyuanVideo15Pipeline(text_encoder: Qwen2_5_VLTextModel, tokenizer: Qwen2Tokenizer, transformer: HunyuanVideo15Transformer3DModel, vae: AutoencoderKLHunyuanVideo15, scheduler: FlowMatchEulerDiscreteScheduler, text_encoder_2: T5EncoderModel, tokenizer_2: ByT5Tokenizer, guider: ClassifierFreeGuidance) ``` [Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/hunyuan_video1_5/pipeline_hunyuan_video1_5.py#L166) **Tham số:** transformer ([HunyuanVideo15Transformer3DModel](/docs/diffusers/main/vi/api/models/hunyuan_video15_transformer_3d#diffusers.HunyuanVideo15Transformer3DModel)) : Kiến trúc Transformer có điều kiện (MMDiT) để khử nhiễu các latents video đã mã hóa. scheduler ([FlowMatchEulerDiscreteScheduler](/docs/diffusers/main/vi/api/schedulers/flow_match_euler_discrete#diffusers.FlowMatchEulerDiscreteScheduler)) : Một scheduler được sử dụng kết hợp với `transformer` để khử nhiễu các latents video đã được mã hóa. vae ([AutoencoderKLHunyuanVideo15](/docs/diffusers/main/vi/api/models/autoencoder_kl_hunyuan_video15#diffusers.AutoencoderKLHunyuanVideo15)) : Mô hình Variational Auto-Encoder (VAE) để mã hóa và giải mã video sang và từ các biểu diễn ẩn. text_encoder (`Qwen2.5-VL-7B-Instruct`) : [Qwen2.5-VL-7B-Instruct](https://huggingface.co/Qwen/Qwen2.5-VL-7B-Instruct), cụ thể là biến thể [Qwen2.5-VL-7B-Instruct](https://huggingface.co/Qwen/Qwen2.5-VL-7B-Instruct). tokenizer (`Qwen2Tokenizer`) : Tokenizer của lớp [Qwen2Tokenizer]. text_encoder_2 (`T5EncoderModel`) : biến thể [T5EncoderModel](https://huggingface.co/docs/transformers/en/model_doc/t5#transformers.T5EncoderModel). tokenizer_2 (`ByT5Tokenizer`) : Tokenizer của lớp [ByT5Tokenizer] guider ([ClassifierFreeGuidance](/docs/diffusers/main/vi/api/modular_diffusers/guiders#diffusers.ClassifierFreeGuidance)) : [ClassifierFreeGuidance] cho classifier free guidance. Pipeline để tạo video từ văn bản sử dụng HunyuanVideo1.5. Mô hình này kế thừa từ [DiffusionPipeline](/docs/diffusers/main/vi/api/pipelines/overview#diffusers.DiffusionPipeline). Xem tài liệu của lớp cha để biết các phương thức chung được triển khai cho tất cả các pipeline (tải xuống, lưu, chạy trên một thiết bị cụ thể, v.v.). #### __call__[[diffusers.HunyuanVideo15Pipeline.__call__]] ```python __call__(prompt: str | list[str] = None, negative_prompt: str | list[str] = None, height: int | None = None, width: int | None = None, num_frames: int = 121, num_inference_steps: int = 50, sigmas: list[float] = None, num_videos_per_prompt: int | None = 1, generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = None, latents: typing.Optional[torch.Tensor] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, prompt_embeds_mask: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds_mask: typing.Optional[torch.Tensor] = None, prompt_embeds_2: typing.Optional[torch.Tensor] = None, prompt_embeds_mask_2: typing.Optional[torch.Tensor] = None, negative_prompt_embeds_2: typing.Optional[torch.Tensor] = None, negative_prompt_embeds_mask_2: typing.Optional[torch.Tensor] = None, output_type: str | None = 'np', return_dict: bool = True, attention_kwargs: dict[str, typing.Any] | None = None) ``` [Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/hunyuan_video1_5/pipeline_hunyuan_video1_5.py#L542) **Tham số:** prompt (`str` hoặc `list[str]`, *tùy chọn*) : Prompt hoặc các prompt để hướng dẫn việc tạo ảnh. Nếu không được định nghĩa, bạn phải truyền `prompt_embeds` thay thế. negative_prompt (`str` hoặc `list[str]`, *tùy chọn*) : Prompt hoặc các prompt không được dùng để hướng dẫn tạo ảnh. Nếu không được định nghĩa, bạn phải truyền `negative_prompt_embeds` thay thế. height (`int`, *tùy chọn*) : Chiều cao của video được tạo ra, tính bằng pixel. width (`int`, *tuỳ chọn*) : Độ rộng của video được tạo ra, tính bằng pixel. num_frames (`int`, mặc định là `121`) : Số khung hình trong video được tạo ra. num_inference_steps (`int`, mặc định là `50`) : Số bước khử nhiễu. Số bước khử nhiễu nhiều hơn thường dẫn đến video có chất lượng cao hơn, đổi lại là suy luận chậm hơn. sigmas (`list[float]`, *optional*) : Các sigma tùy chỉnh để sử dụng cho quá trình khử nhiễu với các trình lập lịch hỗ trợ tham số `sigmas` trong phương thức `set_timesteps` của chúng. Nếu không được định nghĩa, hành vi mặc định khi `num_inference_steps` được truyền vào sẽ được sử dụng. num_videos_per_prompt (`int`, *tuỳ chọn*, mặc định là 1) : Số lượng video cần tạo cho mỗi prompt. generator (`torch.Generator` hoặc `list[torch.Generator]`, *tùy chọn*) : Một [`torch.Generator`](https://pytorch.org/docs/stable/generated/torch.Generator.html) để đảm bảo quá trình sinh là tất định. latents (`torch.Tensor`, *tùy chọn*) : Các latents nhiễu được tạo trước, lấy mẫu từ phân phối Gaussian, dùng làm đầu vào cho việc tạo video. Có thể dùng để tinh chỉnh cùng một quá trình tạo với các prompt khác nhau. Nếu không được cung cấp, một tensor latents sẽ được tạo bằng cách lấy mẫu sử dụng `generator` ngẫu nhiên được cung cấp. prompt_embeds (`torch.Tensor`, *tùy chọn*) : Các vector nhúng văn bản đã được tạo trước. Có thể được sử dụng để dễ dàng điều chỉnh các đầu vào văn bản (trọng số prompt). Nếu không được cung cấp, các vector nhúng văn bản sẽ được tạo từ đối số đầu vào `prompt`. prompt_embeds_mask (`torch.Tensor`, *tùy chọn*) : Mặt nạ được tạo trước cho các nhúng prompt. negative_prompt_embeds (`torch.Tensor`, *tùy chọn*) : Các vector nhúng văn bản âm đã được tạo trước. Có thể được sử dụng để dễ dàng điều chỉnh các đầu vào văn bản, *vd.* trọng số prompt. Nếu không được cung cấp, negative_prompt_embeds sẽ được tạo từ đối số đầu vào `negative_prompt`. negative_prompt_embeds_mask (`torch.Tensor`, *tùy chọn*) : Mặt nạ được tạo trước cho các embedding của prompt âm. prompt_embeds_2 (`torch.Tensor`, *tùy chọn*) : Các vector nhúng văn bản được tạo trước từ bộ mã hóa văn bản thứ hai. Có thể được sử dụng để dễ dàng điều chỉnh các đầu vào văn bản. prompt_embeds_mask_2 (`torch.Tensor`, *tùy chọn*) : Mặt nạ được tạo trước cho các nhúng prompt từ trình mã hóa văn bản thứ hai. negative_prompt_embeds_2 (`torch.Tensor`, *tùy chọn*) : Các vector nhúng văn bản âm được tạo trước từ bộ mã hóa văn bản thứ hai. negative_prompt_embeds_mask_2 (`torch.Tensor`, *tùy chọn*) : Mặt nạ được tạo trước cho các nhúng của prompt âm từ trình mã hóa văn bản thứ hai. output_type (`str`, *tùy chọn*, mặc định là `"np"`) : Định dạng đầu ra của video được tạo. Chọn giữa "np", "pt" hoặc "latent". return_dict (`bool`, *tùy chọn*, mặc định là `True`) : Có nên trả về một `HunyuanVideo15PipelineOutput` thay vì một tuple thông thường hay không. attention_kwargs (`dict`, *tùy chọn*) : Một từ điển kwargs mà nếu được chỉ định sẽ được truyền đến `AttentionProcessor` như đã định nghĩa dưới `self.processor` trong [diffusers.models.attention_processor](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py). **Trả về:** `~HunyuanVideo15PipelineOutput` hoặc `tuple` Nếu `return_dict` là `True`, `HunyuanVideo15PipelineOutput` sẽ được trả về, ngược lại một `tuple` sẽ được trả về trong đó phần tử đầu tiên là một danh sách chứa các video đã tạo. Hàm gọi call của pipeline để tạo nội dung. Ví dụ: ```python >>> import torch >>> from diffusers import HunyuanVideo15Pipeline >>> from diffusers.utils import export_to_video >>> model_id = "hunyuanvideo-community/HunyuanVideo-1.5-480p_t2v" >>> pipe = HunyuanVideo15Pipeline.from_pretrained(model_id, torch_dtype=torch.float16) >>> pipe.vae.enable_tiling() >>> pipe.to("cuda") >>> output = pipe( ... prompt="A cat walks on the grass, realistic", ... num_inference_steps=50, ... ).frames[0] >>> export_to_video(output, "output.mp4", fps=15) ``` #### encode_prompt[[diffusers.HunyuanVideo15Pipeline.encode_prompt]] ```python encode_prompt(prompt: str | list[str], device: typing.Optional[torch.device] = None, dtype: typing.Optional[torch.dtype] = None, batch_size: int = 1, num_videos_per_prompt: int = 1, prompt_embeds: typing.Optional[torch.Tensor] = None, prompt_embeds_mask: typing.Optional[torch.Tensor] = None, prompt_embeds_2: typing.Optional[torch.Tensor] = None, prompt_embeds_mask_2: typing.Optional[torch.Tensor] = None) ``` [Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/hunyuan_video1_5/pipeline_hunyuan_video1_5.py#L334) **Tham số:** prompt (`str` hoặc `list[str]`, *tùy chọn*) : prompt cần được mã hóa device : (`torch.device`): thiết bị torch batch_size (`int`) : kích thước batch của các prompt, mặc định là 1 num_videos_per_prompt (`int`) : số lượng hình ảnh cần được tạo cho mỗi prompt prompt_embeds (`torch.Tensor`, *tùy chọn*) : Các vector nhúng văn bản đã được tạo trước. Nếu không được cung cấp, các vector nhúng văn bản sẽ được tạo từ đối số đầu vào `prompt`. prompt_embeds_mask (`torch.Tensor`, *tùy chọn*) : Mặt nạ văn bản đã tạo trước. Nếu không được cung cấp, mặt nạ văn bản sẽ được tạo từ đối số đầu vào `prompt`. prompt_embeds_2 (`torch.Tensor`, *tùy chọn*) : Các embedding văn bản glyph được tạo trước từ ByT5. Nếu không được cung cấp, chúng sẽ được tạo từ đối số đầu vào `prompt` bằng cách sử dụng self.tokenizer_2 và self.text_encoder_2. prompt_embeds_mask_2 (`torch.Tensor`, *tùy chọn*) : Mặt nạ văn bản glyph được tạo trước từ ByT5. Nếu không được cung cấp, sẽ được tạo từ đối số đầu vào `prompt` bằng cách sử dụng self.tokenizer_2 và self.text_encoder_2. #### prepare_cond_latents_and_mask[[diffusers.HunyuanVideo15Pipeline.prepare_cond_latents_and_mask]] ```python prepare_cond_latents_and_mask(latents, dtype: typing.Optional[torch.dtype], device: typing.Optional[torch.device]) ``` [Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/hunyuan_video1_5/pipeline_hunyuan_video1_5.py#L508) **Tham số:** latents : Tensor latents chính (B, C, F, H, W) **Trả về:** `tuple` (cond_latents_concat, mask_concat) - cả hai đều là tensor bằng 0 đối với t2v Chuẩn bị latents có điều kiện và mask cho việc tạo t2v. ## HunyuanVideo15ImageToVideoPipeline[[diffusers.HunyuanVideo15ImageToVideoPipeline]] #### diffusers.HunyuanVideo15ImageToVideoPipeline[[diffusers.HunyuanVideo15ImageToVideoPipeline]] ```python diffusers.HunyuanVideo15ImageToVideoPipeline(text_encoder: Qwen2_5_VLTextModel, tokenizer: Qwen2Tokenizer, transformer: HunyuanVideo15Transformer3DModel, vae: AutoencoderKLHunyuanVideo15, scheduler: FlowMatchEulerDiscreteScheduler, text_encoder_2: T5EncoderModel, tokenizer_2: ByT5Tokenizer, guider: ClassifierFreeGuidance, image_encoder: SiglipVisionModel, feature_extractor: SiglipImageProcessorPil) ``` [Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/hunyuan_video1_5/pipeline_hunyuan_video1_5_image2video.py#L193) **Tham số:** transformer ([HunyuanVideo15Transformer3DModel](/docs/diffusers/main/vi/api/models/hunyuan_video15_transformer_3d#diffusers.HunyuanVideo15Transformer3DModel)) : Kiến trúc Transformer có điều kiện (MMDiT) để khử nhiễu các latents video đã mã hóa. scheduler ([FlowMatchEulerDiscreteScheduler](/docs/diffusers/main/vi/api/schedulers/flow_match_euler_discrete#diffusers.FlowMatchEulerDiscreteScheduler)) : Một scheduler được sử dụng kết hợp với `transformer` để khử nhiễu các latents video đã được mã hóa. vae ([AutoencoderKLHunyuanVideo15](/docs/diffusers/main/vi/api/models/autoencoder_kl_hunyuan_video15#diffusers.AutoencoderKLHunyuanVideo15)) : Mô hình Variational Auto-Encoder (VAE) để mã hóa và giải mã video sang và từ các biểu diễn ẩn. text_encoder (`Qwen2.5-VL-7B-Instruct`) : [Qwen2.5-VL-7B-Instruct](https://huggingface.co/Qwen/Qwen2.5-VL-7B-Instruct), cụ thể là biến thể [Qwen2.5-VL-7B-Instruct](https://huggingface.co/Qwen/Qwen2.5-VL-7B-Instruct). tokenizer (`Qwen2Tokenizer`) : Tokenizer của lớp [Qwen2Tokenizer]. text_encoder_2 (`T5EncoderModel`) : biến thể [T5EncoderModel](https://huggingface.co/docs/transformers/en/model_doc/t5#transformers.T5EncoderModel). tokenizer_2 (`ByT5Tokenizer`) : Tokenizer của lớp [ByT5Tokenizer] guider ([ClassifierFreeGuidance](/docs/diffusers/main/vi/api/modular_diffusers/guiders#diffusers.ClassifierFreeGuidance)) : [ClassifierFreeGuidance] cho classifier free guidance. image_encoder (`SiglipVisionModel`) : biến thể [SiglipVisionModel](https://huggingface.co/docs/transformers/en/model_doc/siglip#transformers.SiglipVisionModel). feature_extractor (`SiglipImageProcessor`) : biến thể [SiglipImageProcessor](https://huggingface.co/docs/transformers/en/model_doc/siglip#transformers.SiglipImageProcessor). Pipeline để tạo video từ hình ảnh sử dụng HunyuanVideo1.5. Mô hình này kế thừa từ [DiffusionPipeline](/docs/diffusers/main/vi/api/pipelines/overview#diffusers.DiffusionPipeline). Xem tài liệu của lớp cha để biết các phương thức chung được triển khai cho tất cả các pipeline (tải xuống, lưu, chạy trên một thiết bị cụ thể, v.v.). #### __call__[[diffusers.HunyuanVideo15ImageToVideoPipeline.__call__]] ```python __call__(image: Image, prompt: str | list[str] = None, negative_prompt: str | list[str] = None, num_frames: int = 121, num_inference_steps: int = 50, sigmas: list[float] = None, num_videos_per_prompt: int | None = 1, generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = None, latents: typing.Optional[torch.Tensor] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, prompt_embeds_mask: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds_mask: typing.Optional[torch.Tensor] = None, prompt_embeds_2: typing.Optional[torch.Tensor] = None, prompt_embeds_mask_2: typing.Optional[torch.Tensor] = None, negative_prompt_embeds_2: typing.Optional[torch.Tensor] = None, negative_prompt_embeds_mask_2: typing.Optional[torch.Tensor] = None, output_type: str | None = 'np', return_dict: bool = True, attention_kwargs: dict[str, typing.Any] | None = None) ``` [Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/hunyuan_video1_5/pipeline_hunyuan_video1_5_image2video.py#L650) **Tham số:** image (`PIL.Image.Image`) : Ảnh đầu vào để điều khiển việc tạo video. prompt (`str` hoặc `list[str]`, *tùy chọn*) : Prompt hoặc các prompt để định hướng việc tạo video. Nếu không được định nghĩa, cần truyền `prompt_embeds` thay thế. negative_prompt (`str` hoặc `list[str]`, *tùy chọn*) : Prompt hoặc các prompt không được dùng để định hướng việc tạo video. Nếu không được định nghĩa, bạn phải truyền `negative_prompt_embeds` thay thế. num_frames (`int`, mặc định là `121`) : Số khung hình trong video được tạo ra. num_inference_steps (`int`, mặc định là `50`) : Số bước khử nhiễu. Số bước khử nhiễu nhiều hơn thường dẫn đến video có chất lượng cao hơn, đổi lại là suy luận chậm hơn. sigmas (`list[float]`, *optional*) : Các sigma tùy chỉnh để sử dụng cho quá trình khử nhiễu với các trình lập lịch hỗ trợ tham số `sigmas` trong phương thức `set_timesteps` của chúng. Nếu không được định nghĩa, hành vi mặc định khi `num_inference_steps` được truyền vào sẽ được sử dụng. num_videos_per_prompt (`int`, *tuỳ chọn*, mặc định là 1) : Số lượng video cần tạo cho mỗi prompt. generator (`torch.Generator` hoặc `list[torch.Generator]`, *tùy chọn*) : Một [`torch.Generator`](https://pytorch.org/docs/stable/generated/torch.Generator.html) để đảm bảo quá trình sinh là tất định. latents (`torch.Tensor`, *tùy chọn*) : Các latents nhiễu được tạo trước, lấy mẫu từ phân phối Gaussian, dùng làm đầu vào cho việc tạo video. Có thể dùng để tinh chỉnh cùng một quá trình tạo với các prompt khác nhau. Nếu không được cung cấp, một tensor latents sẽ được tạo bằng cách lấy mẫu sử dụng `generator` ngẫu nhiên được cung cấp. prompt_embeds (`torch.Tensor`, *tùy chọn*) : Các vector nhúng văn bản đã được tạo trước. Có thể được sử dụng để dễ dàng điều chỉnh các đầu vào văn bản (trọng số prompt). Nếu không được cung cấp, các vector nhúng văn bản sẽ được tạo từ đối số đầu vào `prompt`. prompt_embeds_mask (`torch.Tensor`, *tùy chọn*) : Mặt nạ được tạo trước cho các nhúng prompt. negative_prompt_embeds (`torch.Tensor`, *tùy chọn*) : Các vector nhúng văn bản âm đã được tạo trước. Có thể được sử dụng để dễ dàng điều chỉnh các đầu vào văn bản, *vd.* trọng số prompt. Nếu không được cung cấp, negative_prompt_embeds sẽ được tạo từ đối số đầu vào `negative_prompt`. negative_prompt_embeds_mask (`torch.Tensor`, *tùy chọn*) : Mặt nạ được tạo trước cho các embedding của prompt âm. prompt_embeds_2 (`torch.Tensor`, *tùy chọn*) : Các vector nhúng văn bản được tạo trước từ bộ mã hóa văn bản thứ hai. Có thể được sử dụng để dễ dàng điều chỉnh các đầu vào văn bản. prompt_embeds_mask_2 (`torch.Tensor`, *tùy chọn*) : Mặt nạ được tạo trước cho các nhúng prompt từ trình mã hóa văn bản thứ hai. negative_prompt_embeds_2 (`torch.Tensor`, *tùy chọn*) : Các vector nhúng văn bản âm được tạo trước từ bộ mã hóa văn bản thứ hai. negative_prompt_embeds_mask_2 (`torch.Tensor`, *tùy chọn*) : Mặt nạ được tạo trước cho các nhúng của prompt âm từ trình mã hóa văn bản thứ hai. output_type (`str`, *tùy chọn*, mặc định là `"np"`) : Định dạng đầu ra của video được tạo. Chọn giữa "np", "pt" hoặc "latent". return_dict (`bool`, *tùy chọn*, mặc định là `True`) : Có nên trả về một `HunyuanVideo15PipelineOutput` thay vì một tuple thông thường hay không. attention_kwargs (`dict`, *tùy chọn*) : Một từ điển kwargs mà nếu được chỉ định sẽ được truyền đến `AttentionProcessor` như đã định nghĩa dưới `self.processor` trong [diffusers.models.attention_processor](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py). **Trả về:** `~HunyuanVideo15PipelineOutput` hoặc `tuple` Nếu `return_dict` là `True`, `HunyuanVideo15PipelineOutput` sẽ được trả về, ngược lại một `tuple` sẽ được trả về trong đó phần tử đầu tiên là một danh sách chứa các video đã tạo. Hàm gọi call của pipeline để tạo nội dung. Ví dụ: ```python >>> import torch >>> from diffusers import HunyuanVideo15ImageToVideoPipeline >>> from diffusers.utils import export_to_video >>> model_id = "hunyuanvideo-community/HunyuanVideo-1.5-480p_i2v" >>> pipe = HunyuanVideo15ImageToVideoPipeline.from_pretrained(model_id, torch_dtype=torch.float16) >>> pipe.vae.enable_tiling() >>> pipe.to("cuda") >>> image = load_image("https://huggingface.co/datasets/YiYiXu/testing-images/resolve/main/wan_i2v_input.JPG") >>> output = pipe( ... prompt="Summer beach vacation style, a white cat wearing sunglasses sits on a surfboard. The fluffy-furred feline gazes directly at the camera with a relaxed expression. Blurred beach scenery forms the background featuring crystal-clear waters, distant green hills, and a blue sky dotted with white clouds. The cat assumes a naturally relaxed posture, as if savoring the sea breeze and warm sunlight. A close-up shot highlights the feline's intricate details and the refreshing atmosphere of the seaside.", ... image=image, ... num_inference_steps=50, ... ).frames[0] >>> export_to_video(output, "output.mp4", fps=24) ``` #### encode_prompt[[diffusers.HunyuanVideo15ImageToVideoPipeline.encode_prompt]] ```python encode_prompt(prompt: str | list[str], device: typing.Optional[torch.device] = None, dtype: typing.Optional[torch.dtype] = None, batch_size: int = 1, num_videos_per_prompt: int = 1, prompt_embeds: typing.Optional[torch.Tensor] = None, prompt_embeds_mask: typing.Optional[torch.Tensor] = None, prompt_embeds_2: typing.Optional[torch.Tensor] = None, prompt_embeds_mask_2: typing.Optional[torch.Tensor] = None) ``` [Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/hunyuan_video1_5/pipeline_hunyuan_video1_5_image2video.py#L422) **Tham số:** prompt (`str` hoặc `list[str]`, *tùy chọn*) : prompt cần được mã hóa device : (`torch.device`): thiết bị torch batch_size (`int`) : kích thước batch của các prompt, mặc định là 1 num_videos_per_prompt (`int`) : số lượng hình ảnh cần được tạo cho mỗi prompt prompt_embeds (`torch.Tensor`, *tùy chọn*) : Các vector nhúng văn bản đã được tạo trước. Nếu không được cung cấp, các vector nhúng văn bản sẽ được tạo từ đối số đầu vào `prompt`. prompt_embeds_mask (`torch.Tensor`, *tùy chọn*) : Mặt nạ văn bản đã tạo trước. Nếu không được cung cấp, mặt nạ văn bản sẽ được tạo từ đối số đầu vào `prompt`. prompt_embeds_2 (`torch.Tensor`, *tùy chọn*) : Các embedding văn bản glyph được tạo trước từ ByT5. Nếu không được cung cấp, chúng sẽ được tạo từ đối số đầu vào `prompt` bằng cách sử dụng self.tokenizer_2 và self.text_encoder_2. prompt_embeds_mask_2 (`torch.Tensor`, *tùy chọn*) : Mặt nạ văn bản glyph được tạo trước từ ByT5. Nếu không được cung cấp, sẽ được tạo từ đối số đầu vào `prompt` bằng cách sử dụng self.tokenizer_2 và self.text_encoder_2. #### prepare_cond_latents_and_mask[[diffusers.HunyuanVideo15ImageToVideoPipeline.prepare_cond_latents_and_mask]] ```python prepare_cond_latents_and_mask(latents: Tensor, image: Image, batch_size: int, height: int, width: int, dtype: dtype, device: device) ``` [Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/hunyuan_video1_5/pipeline_hunyuan_video1_5_image2video.py#L594) **Tham số:** latents : Tensor latents chính (B, C, F, H, W) **Trả về:** `tuple` (cond_latents_concat, mask_concat) - cả hai đều là tensor bằng 0 đối với t2v Chuẩn bị latents có điều kiện và mask cho việc tạo t2v. ## HunyuanVideo15PipelineOutput[[diffusers.pipelines.hunyuan_video1_5.pipeline_output.HunyuanVideo15PipelineOutput]] #### diffusers.pipelines.hunyuan_video1_5.pipeline_output.HunyuanVideo15PipelineOutput[[diffusers.pipelines.hunyuan_video1_5.pipeline_output.HunyuanVideo15PipelineOutput]] ```python diffusers.pipelines.hunyuan_video1_5.pipeline_output.HunyuanVideo15PipelineOutput(frames: Tensor) ``` [Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/hunyuan_video1_5/pipeline_output.py#L9) **Tham số:** frames (`torch.Tensor`, `np.ndarray`, hoặc list[list[PIL.Image.Image]]) : Danh sách các đầu ra video - Có thể là một danh sách lồng nhau có độ dài `batch_size,` trong đó mỗi danh sách con chứa các chuỗi hình ảnh PIL đã khử nhiễu có độ dài `num_frames.` Nó cũng có thể là một mảng NumPy hoặc tensor Torch có hình dạng `(batch_size, num_frames, channels, height, width)`. Lớp đầu ra cho các pipeline HunyuanVideo1.5.