diffusers/main/vi/api/pipelines/wan_animate_2.md

Được cấp phép theo Giấy phép Apache, Phiên bản 2.0 (gọi là "Giấy phép");

bạn có thể không sử dụng tệp này ngoại trừ tuân thủ theo Giấy phép.

Bạn có thể nhận được một bản sao của Giấy phép tại

http://www.apache.org/licenses/LICENSE-2.0

Trừ khi được yêu cầu bởi luật pháp có hiệu lực hoặc được thỏa thuận bằng văn bản, phần mềm

được phân phối theo Giấy phép được phân phối trên cơ sở

KHÔNG CÓ BẢO HÀNH HOẶC ĐIỀU KIỆN DƯỚI BẤT KỲ HÌNH THỨC NÀO, dù được nêu rõ hay ngụ ý.

Xem Giấy phép để biết ngôn ngữ cụ thể điều chỉnh các quyền và

giới hạn theo Giấy phép. -->

Wan-Animate-2

Wan-Animate-2 của nhóm Alibaba Wan Team tạo chuyển động cho một hình ảnh nhân vật tham chiếu bằng chuyển động từ một video điều khiển. Video điều khiển được xử lý theo các đoạn có độ dài cố định: mỗi đoạn chạy một lượt trích xuất tham chiếu để lưu bộ nhớ đệm K/V của đoạn điều khiển trong mọi lớp transformer, khử nhiễu dựa trên bộ nhớ đệm đó, và được giải mã ngay trong vòng lặp vì đoạn tiếp theo phụ thuộc vào các khung hình đuôi đã được giải mã của đoạn trước.

Có hai preset khả dụng: checkpoint cơ bản lấy mẫu với classifier-free guidance, và checkpoint distilled lấy mẫu trong vài bước mà không có nó (guider của nó được cố định ở guidance_scale=1.0).

import torch
from diffusers import ModularPipeline
from diffusers.utils import export_to_video, load_image, load_video

pipe = ModularPipeline.from_pretrained("Wan-AI/Wan2.2-Animate-2-14B-Diffusers")
pipe.load_components(dtype=torch.bfloat16)

# The transformer weights and the per-segment reference KV cache do not co-reside on one 80 GB
# card at the default resolution, so stream the transformer's blocks. Compiling the blocks is
# required as the in-context attention runs on the flex backend
pipe.transformer.enable_group_offload(
    onload_device=torch.device("cuda"),
    offload_device=torch.device("cpu"),
    offload_type="block_level",
    use_stream=True,
)
pipe.text_encoder.to("cuda")  # or "mps", "xpu", "cpu"
pipe.image_encoder.to("cuda")
pipe.vae.to("cuda")
pipe.transformer.compile_repeated_blocks(fullgraph=False)

# The first demo from the official repository: https://github.com/Wan-Video/Wan-Animate-2
demo = "https://raw.githubusercontent.com/Wan-Video/Wan-Animate-2/main/examples/demo1"
image = load_image(f"{demo}/reference.png")
driving_video, driving_video_fps = load_video(f"{demo}/template.mp4", return_fps=True)
prompt = "人物外观描述：一只银灰色虎斑纹的小猫，拥有圆润的脸庞、竖立的耳朵和巨大的圆形眼睛。它身穿一套深蓝色的制服套装，包括一件带有金色纽扣的西装外套和一条百褶裙。外套里面搭配着白色衬衫，领口处系着一个红色的蝴蝶结，袖口露出白色的衬衫边缘。背景描述：背景为纯白色，光线均匀明亮，无其他杂物或装饰。"

videos = pipe(
    image=image,
    driving_video=driving_video,
    driving_video_fps=driving_video_fps,
    prompt=prompt,
    output="videos",
)
export_to_video(videos[0], "output.mp4", fps=24)

Đối với checkpoint đã distilled, hãy nạp Wan-AI/Wan2.2-Animate-2-14B-Distilled-Diffusers theo cách tương tự — không có gì khác thay đổi. Mỗi preset mang theo các giá trị mặc định riêng cho quá trình sampling (40 bước cho checkpoint gốc, 10 bước cho checkpoint distilled), và không có đối số guidance_scale ở bất kỳ đâu: guidance được quản lý bởi thành phần guider của pipeline (classifier-free guidance ở mức 3.0 cho preset gốc, bị tắt cho preset distilled).

height và width (mặc định là 800 và 640) xác định khu vực mục tiêu của video được tạo ra; kích thước khung hình thực tế sẽ giữ nguyên tỷ lệ khung hình của hình ảnh tham chiếu, và các khung hình điều khiển sẽ được letterbox để khớp với kích thước đó. Các đầu vào đã có kích thước letterbox đúng như mục tiêu sẽ đi qua bước tiền xử lý mà không bị thay đổi, do đó tiền xử lý cũng có thể được thực hiện hoàn toàn bên ngoài pipeline.

WanAnimate2ModularPipeline[[diffusers.WanAnimate2ModularPipeline]]

diffusers.WanAnimate2ModularPipeline[[diffusers.WanAnimate2ModularPipeline]]

diffusers.WanAnimate2ModularPipeline(blocks: diffusers.modular_pipelines.modular_pipeline.ModularPipelineBlocks | None = None, pretrained_model_name_or_path: str | os.PathLike | None = None, components_manager: diffusers.modular_pipelines.components_manager.ComponentsManager | None = None, collection: str | None = None, workflow: str | None = None, modular_config_dict: dict[str, typing.Any] | None = None, config_dict: dict[str, typing.Any] | None = None, **kwargs)

Nguồn

Một ModularPipeline cho hoạt hình nhân vật Wan-Animate-2.

WanAnimate2DistilledModularPipeline[[diffusers.WanAnimate2DistilledModularPipeline]]

diffusers.WanAnimate2DistilledModularPipeline[[diffusers.WanAnimate2DistilledModularPipeline]]

diffusers.WanAnimate2DistilledModularPipeline(blocks: diffusers.modular_pipelines.modular_pipeline.ModularPipelineBlocks | None = None, pretrained_model_name_or_path: str | os.PathLike | None = None, components_manager: diffusers.modular_pipelines.components_manager.ComponentsManager | None = None, collection: str | None = None, workflow: str | None = None, modular_config_dict: dict[str, typing.Any] | None = None, config_dict: dict[str, typing.Any] | None = None, **kwargs)

Nguồn

ModularPipeline cho mô hình Wan-Animate-2 đã được chưng cất, cho phép lấy mẫu trong vài bước mà không cần classifier-free guidance.

WanAnimate2Blocks[[diffusers.WanAnimate2Blocks]]

diffusers.WanAnimate2Blocks[[diffusers.WanAnimate2Blocks]]

diffusers.WanAnimate2Blocks()

Nguồn

Các khối pipeline mô-đun cho hoạt hình nhân vật Wan-Animate-2: một hình ảnh nhân vật tham chiếu và một video điều khiển tạo ra video nhân vật thực hiện chuyển động theo video điều khiển.

Các thành phần: text_encoder (UMT5EncoderModel) tokenizer (AutoTokenizer) image_processor (WanAnimate2VideoProcessor) image_encoder (CLIPVisionModel) video_processor (WanAnimate2VideoProcessor) vae (AutoencoderKLWan) transformer (WanAnimate2Transformer3DModel) scheduler (SchedulerMixin) guider (ClassifierFreeGuidance)

Inputs: prompt (str): Prompt hoặc các prompt để định hướng tạo ảnh. negative_prompt (str, tùy chọn): Prompt hoặc các prompt không dùng để định hướng tạo ảnh. prompt_ref (str, tùy chọn, mặc định là 人物动作的参考视频): Prompt tham chiếu cho ngữ cảnh video điều khiển max_sequence_length (int, tùy chọn, mặc định là 512): Độ dài chuỗi tối đa cho việc mã hóa prompt. image (Image | list): Ảnh tham chiếu chứa nhân vật cần tạo chuyển động. height (int, tùy chọn, mặc định là 800): Cùng với width, là diện tích mục tiêu của video được tạo; tỷ lệ khung hình được lấy từ image. Giá trị này sẽ bị ghi đè bằng chiều cao khung hình đã được xác định. width (int, tùy chọn, mặc định là 640): Xem height. Giá trị này sẽ bị ghi đè bằng chiều rộng khung hình đã được xác định. driving_video (list): Video điều khiển cung cấp chuyển động, ở bất kỳ định dạng nào được chấp nhận bởi VideoProcessor.preprocess_video. driving_video_fps (float, tùy chọn): Tốc độ khung hình mà driving_video được ghi lại — load_video(..., return_fps=True) sẽ báo cáo giá trị này. Khi được đặt, các khung hình điều khiển sẽ được lấy mẫu lại từ giá trị này sang fps; khi là None, chúng sẽ được sử dụng nguyên bản. fps (int, tùy chọn, mặc định là 24): Tốc độ khung hình mà mô hình tạo ra segment_frame_length (int, tùy chọn, mặc định là 81): Số lượng khung hình trong mỗi đoạn suy luận prev_segment_conditioning_frames (int, tùy chọn, mặc định là 1): Số lượng khung hình điều kiện được chuyển tiếp từ đoạn trước generator (Generator, tùy chọn): Bộ tạo Torch cho việc tạo ra có tính xác định. num_inference_steps (int, tùy chọn, mặc định là 40): Số bước khử nhiễu. **denoiser_input_fields (None, tùy chọn): các đầu vào có điều kiện của mô hình cho bộ khử nhiễu: ví dụ prompt_embeds, negative_prompt_embeds, v.v. output_type (str, tùy chọn, mặc định là np): Kiểu đầu ra của các video đã được giải mã

Đầu ra: video (list): Các video được tạo ra.

WanAnimate2DistilledBlocks[[diffusers.WanAnimate2DistilledBlocks]]

diffusers.WanAnimate2DistilledBlocks[[diffusers.WanAnimate2DistilledBlocks]]

diffusers.WanAnimate2DistilledBlocks()

Nguồn

Các khối pipeline mô-đun cho hoạt ảnh nhân vật Wan-Animate-2 đã được chưng cất, lấy mẫu trong vài bước mà không cần hướng dẫn không phân loại.

Các thành phần: text_encoder (UMT5EncoderModel) tokenizer (AutoTokenizer) image_processor (WanAnimate2VideoProcessor) image_encoder (CLIPVisionModel) video_processor (WanAnimate2VideoProcessor) vae (AutoencoderKLWan) transformer (WanAnimate2Transformer3DModel) scheduler (SchedulerMixin) guider (ClassifierFreeGuidance)

Inputs: prompt (str): Prompt hoặc các prompt để định hướng tạo ảnh. negative_prompt (str, tùy chọn): Prompt hoặc các prompt không dùng để định hướng tạo ảnh. prompt_ref (str, tùy chọn, mặc định là 人物动作的参考视频): Prompt tham chiếu cho ngữ cảnh video điều khiển max_sequence_length (int, tùy chọn, mặc định là 512): Độ dài chuỗi tối đa cho việc mã hóa prompt. image (Image | list): Ảnh tham chiếu chứa nhân vật cần tạo chuyển động. height (int, tùy chọn, mặc định là 800): Cùng với width, là diện tích mục tiêu của video được tạo; tỷ lệ khung hình được lấy từ image. Giá trị này sẽ bị ghi đè bằng chiều cao khung hình đã được xác định. width (int, tùy chọn, mặc định là 640): Xem height. Giá trị này sẽ bị ghi đè bằng chiều rộng khung hình đã được xác định. driving_video (list): Video điều khiển cung cấp chuyển động, ở bất kỳ định dạng nào được chấp nhận bởi VideoProcessor.preprocess_video. driving_video_fps (float, tùy chọn): Tốc độ khung hình mà driving_video được ghi lại — load_video(..., return_fps=True) sẽ báo cáo giá trị này. Khi được đặt, các khung hình điều khiển sẽ được lấy mẫu lại từ giá trị này sang fps; khi là None, chúng sẽ được sử dụng nguyên bản. fps (int, tùy chọn, mặc định là 24): Tốc độ khung hình mà mô hình tạo ra segment_frame_length (int, tùy chọn, mặc định là 81): Số lượng khung hình trong mỗi đoạn suy luận prev_segment_conditioning_frames (int, tùy chọn, mặc định là 1): Số lượng khung hình điều kiện được chuyển tiếp từ đoạn trước generator (Generator, tùy chọn): Bộ tạo Torch cho việc tạo ra có tính xác định. num_inference_steps (int, tùy chọn, mặc định là 10): Số bước khử nhiễu. **denoiser_input_fields (None, tùy chọn): các đầu vào có điều kiện của mô hình cho bộ khử nhiễu: ví dụ prompt_embeds, negative_prompt_embeds, v.v. output_type (str, tùy chọn, mặc định là np): Kiểu đầu ra của các video đã được giải mã

Đầu ra: video (list): Các video được tạo ra.