hf-doc-build/doc / diffusers /main /ar /api /pipelines /wan.md

|

raw

117 kB

مرخّص بموجب ترخيص Apache الإصدار 2.0 (المسمى "الترخيص")

لا يجوز لك استخدام هذا الملف إلا وفقاً لشروط الترخيص.

يمكنك الحصول على نسخة من الترخيص في

http://www.apache.org/licenses/LICENSE-2.0

ما لم يقتضِ ذلك القانون المعمول به أو ما اتُّفق عليه كتابياً، البرمجيات

تُوزَّع بموجب الرخصة على أساس "كما هي"،

بلا أي ضمانات أو شروط من أي نوع، سواء صريحة أو ضمنية.

راجع الترخيص لمعرفة اللغة المحددة التي تحكم الصلاحيات و

قيود بموجب الترخيص. -->

وان

Wan-2.1 من فريق Wan.

تقدّم هذه التقرير Wan، وهو مجموعة شاملة ومفتوحة من نماذج الأساس الخاصة بالفيديو، صُممت لدفع حدود توليد الفيديو إلى أبعد مدى. وبُني Wan على نموذج التحوّل الانتشاري السائد، ويحقق تقدماً كبيراً في القدرات التوليدية من خلال سلسلة من الابتكارات، بما في ذلك VAE الجديد الخاص بنا، واستراتيجيات ما قبل التدريب القابلة للتوسع، وتنظيم البيانات على نطاق واسع، ومؤشرات التقييم الآلية. تعزز هذه المساهمات مجتمعة أداء النموذج وتنوعه. وتحديداً، تتميز Wan بأربع سمات رئيسية: الأداء الرائد: يُظهر نموذج Wan بحجم 14B، الذي تم تدريبه على مجموعة بيانات ضخمة تتكون من مليارات الصور والفيديوهات، قوانين التوسع في توليد الفيديو فيما يتعلق بحجم البيانات وحجم النموذج على حد سواء. ويتفوق باستمرار على النماذج مفتوحة المصدر الحالية وكذلك الحلول التجارية الرائدة في عدة معايير داخلية وخارجية، مما يدل على تفوق واضح ومهم في الأداء. الشمولية: توفر Wan نموذجين قادرين، وهما 1.3B و14B من المعاملات، للكفاءة والفعالية على التوالي. كما تغطي عدة تطبيقات لاحقة، بما في ذلك تحويل الصورة إلى فيديو، وتحرير الفيديو الموجّه بالتعليمات، وتوليد الفيديو الشخصي، وتشمل حتى ثماني مهام. كفاءة على مستوى المستهلك: يُظهر نموذج 1.3B كفاءة استثنائية في الموارد، حيث يتطلب فقط 8.19 غيغابايت من ذاكرة VRAM، مما يجعله متوافقاً مع مجموعة واسعة من وحدات معالجة الرسومات (GPU) على مستوى المستهلك. الانفتاح: نفتح المصدر بالكامل لسلسلة Wan، بما في ذلك الكود المصدري وجميع النماذج، بهدف تعزيز نمو مجتمع توليد الفيديو. يسعى هذا الانفتاح إلى توسيع الاحتمالات الإبداعية لإنتاج الفيديو في الصناعة بشكل كبير، وتوفير نماذج أساس عالية الجودة للفيديو للأكاديميا. جميع الكود والنماذج متاحة في هذا الرابط https.

يمكنك العثور على جميع نقاط التفتيش الأصلية لنموذج Wan2.1 تحت منظمة Wan-AI.

تدعم مكتبة Diffusers نماذج Wan التالية:

انقر على نماذج Wan في الشريط الجانبي الأيمن لمزيد من أمثلة توليد الفيديو.

توليد الفيديو من النص

يُبيّن المثال أدناه كيفية توليد فيديو من نص مُحسَّن للذاكرة أو لسرعة الاستدلال.

راجع دليل تقليل استهلاك الذاكرة لمزيد من التفاصيل حول تقنيات توفير الذاكرة المختلفة.

يتطلب نموذج تحويل النص إلى فيديو Wan2.1 أدناه حوالي 13 جيجابايت من ذاكرة الفيديو (VRAM).

# pip install ftfy
import torch
import numpy as np
from diffusers import AutoModel, WanPipeline
from diffusers.quantizers import PipelineQuantizationConfig
from diffusers.hooks.group_offloading import apply_group_offloading
from diffusers.utils import export_to_video, load_image
from transformers import UMT5EncoderModel

text_encoder = UMT5EncoderModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="text_encoder", dtype=torch.bfloat16)
vae = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="vae", dtype=torch.float32)
transformer = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

# group-offloading
onload_device = torch.device("cuda")
offload_device = torch.device("cpu")
apply_group_offloading(text_encoder,
    onload_device=onload_device,
    offload_device=offload_device,
    offload_type="block_level",
    num_blocks_per_group=4
)
transformer.enable_group_offload(
    onload_device=onload_device,
    offload_device=offload_device,
    offload_type="leaf_level",
    use_stream=True
)

pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-14B-Diffusers",
    vae=vae,
    transformer=transformer,
    text_encoder=text_encoder,
    dtype=torch.bfloat16
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"

prompt = """
The camera rushes from far to near in a low-angle shot,
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic
shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""
negative_prompt = """
Bright tones, overexposed, static, blurred details, subtitles, style, works, paintings, images, static, overall gray, worst quality,
low quality, JPEG compression residue, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, deformed, disfigured,
misshapen limbs, fused fingers, still picture, messy background, three legs, many people in the background, walking backwards
"""

output = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

يكون التجميع بطيئًا في المرة الأولى، لكن الاستدعاءات اللاحقة للخط الأنابيب تكون أسرع. كما قد يسرّع التخزين المؤقت الاستدلال من خلال تخزين المخرجات الوسيطة وإعادة استخدامها.

# pip install ftfy
import torch
import numpy as np
from diffusers import AutoModel, WanPipeline
from diffusers.hooks.group_offloading import apply_group_offloading
from diffusers.utils import export_to_video, load_image
from transformers import UMT5EncoderModel

text_encoder = UMT5EncoderModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="text_encoder", dtype=torch.bfloat16)
vae = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="vae", dtype=torch.float32)
transformer = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-14B-Diffusers",
    vae=vae,
    transformer=transformer,
    text_encoder=text_encoder,
    dtype=torch.bfloat16
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"

# torch.compile
pipeline.transformer.to(memory_format=torch.channels_last)
pipeline.transformer = torch.compile(
    pipeline.transformer, mode="max-autotune", fullgraph=True
)

prompt = """
The camera rushes from far to near in a low-angle shot,
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic
shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""
negative_prompt = """
Bright tones, overexposed, static, blurred details, subtitles, style, works, paintings, images, static, overall gray, worst quality,
low quality, JPEG compression residue, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, deformed, disfigured,
misshapen limbs, fused fingers, still picture, messy background, three legs, many people in the background, walking backwards
"""

output = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

توليد فيديو من الإطار الأول والأخير

يُبيّن المثال أدناه كيفية استخدام خط أنابيب الصورة إلى الفيديو لتوليد فيديو باستخدام وصف نصي وإطار بداية وإطار نهاية.

import numpy as np
import torch
import torchvision.transforms.functional as TF
from diffusers import AutoencoderKLWan, WanImageToVideoPipeline
from diffusers.utils import export_to_video, load_image
from transformers import CLIPVisionModel

model_id = "Wan-AI/Wan2.1-FLF2V-14B-720P-diffusers"
image_encoder = CLIPVisionModel.from_pretrained(model_id, subfolder="image_encoder", dtype=torch.float32)
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", dtype=torch.float32)
pipe = WanImageToVideoPipeline.from_pretrained(
    model_id, vae=vae, image_encoder=image_encoder, dtype=torch.bfloat16
)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

first_frame = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/flf2v_input_first_frame.png")
last_frame = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/flf2v_input_last_frame.png")

def aspect_ratio_resize(image, pipe, max_area=720 * 1280):
    aspect_ratio = image.height / image.width
    mod_value = pipe.vae_scale_factor_spatial * pipe.transformer.config.patch_size[1]
    height = round(np.sqrt(max_area * aspect_ratio)) // mod_value * mod_value
    width = round(np.sqrt(max_area / aspect_ratio)) // mod_value * mod_value
    image = image.resize((width, height))
    return image, height, width

def center_crop_resize(image, height, width):
    # Calculate resize ratio to match first frame dimensions
    resize_ratio = max(width / image.width, height / image.height)

    # Resize the image
    width = round(image.width * resize_ratio)
    height = round(image.height * resize_ratio)
    size = [width, height]
    image = TF.center_crop(image, size)

    return image, height, width

first_frame, height, width = aspect_ratio_resize(first_frame, pipe)
if last_frame.size != first_frame.size:
    last_frame, _, _ = center_crop_resize(last_frame, height, width)

prompt = "CG animation style, a small blue bird takes off from the ground, flapping its wings. The bird's feathers are delicate, with a unique pattern on its chest. The background shows a blue sky with white clouds under bright sunshine. The camera follows the bird upward, capturing its flight and the vastness of the sky from a close-up, low-angle perspective."

output = pipe(
    image=first_frame, last_image=last_frame, prompt=prompt, height=height, width=width, guidance_scale=5.5
).frames[0]
export_to_video(output, "output.mp4", fps=16)

التوليد القابل للتحكم من أي شيء إلى فيديو

يدعم Wan VACE تقنيات توليد متنوعة تحقق توليد فيديو قابل للتحكم. وتشمل بعض القدرات:

التحكم من الفيديو (العمق، الوضعية، الرسم التوضيحي، التدفق، التدرج الرمادي، الرسم الحر، التخطيط، صندوق الحدود، إلخ). المكتبة الموصى بها لمعالجة الفيديو مسبقاً للحصول على فيديوهات التحكم: huggingface/controlnet_aux
من صورة/فيديو إلى فيديو (الإطار الأول، الإطار الأخير، المقطع الافتتاحي، المقطع الختامي، مقاطع عشوائية)
التعبئة الداخلية والتعبئة الخارجية
الموضوع في الفيديو (وجوه، كائنات، شخصيات، إلخ)
التركيب إلى فيديو (مرجع أي شيء، حرّك أي شيء، استبدل أي شيء، وسّع أي شيء، انقل أي شيء، إلخ.)

تُظهر مقتطفات الأكواد المتاحة في طلب الدمج هذا بعض الأمثلة على كيفية توليد مقاطع الفيديو باستخدام إشارات التحكم.

القاعدة العامة التي يجب وضعها في الاعتبار عند تجهيز المدخلات لخط أنابيب VACE هي أن الصور المدخلة، أو إطارات الفيديو التي تريد استخدامها للشروط، يجب أن يكون لها قناع (mask) مطابق لها باللون الأسود. يشير القناع الأسود إلى أن النموذج لن يولّد محتوى جديدًا لتلك المنطقة، بل سيستخدم تلك الأجزاء فقط لتكييف عملية التوليد. أما بالنسبة للأجزاء/الإطارات التي ينبغي أن يولّدها النموذج، فيجب أن يكون القناع باللون الأبيض.

وان-أنيميت: توحيد حركة الشخصيات واستبدالها مع التكرار الشامل

Wan-Animate من فريق Wan.

نقدّم Wan-Animate، وهو إطار موحّد لتحريك الشخصيات واستبدالها. عند تقديم صورة لشخصية وفيديو مرجعي، يمكن لـ Wan-Animate تحريك الشخصية من خلال استنساخ تعابير وجهها وحركاتها في الفيديو بدقة، لتوليد فيديوهات عالية الدقة للشخصية. أو يمكنه دمج الشخصية المحرّكة في الفيديو المرجعي لاستبدال الشخصية الأصلية، مع استنساخ إضاءة المشهد ونغمة لونه لتحقيق تكامل بيئي سلس. بُني Wan-Animate على نموذج Wan. ولتكييفه لمهام تحريك الشخصيات، نعتمد على نموذج إدخال معدّل للتمييز بين الشروط المرجعية والمناطق المخصصة للتوليد. يوحّد هذا التصميم مهام متعددة في تمثيل رمزي مشترك. نستخدم إشارات هيكلية محاذاة مكانيًا لاستنساخ حركة الجسم، وخصائص وجهية ضمنية مستخرجة من الصور المصدرية لإعادة تمثيل التعابير، مما يتيح توليد فيديوهات للشخصيات بمستوى عالٍ من القابلية للتحكم والتعبير. علاوة على ذلك، لتعزيز التكامل البيئي أثناء استبدال الشخصية، طوّرنا وحدة LoRA مساعدة لإعادة الإضاءة (Relighting LoRA). تحافظ هذه الوحدة على اتساق مظهر الشخصية مع تطبيق الإضاءة البيئية ونغمة اللون المناسبة. تُظهر النتائج التجريبية أن Wan-Animate يحقق أداءً متقدمًا (state-of-the-art). نحن ملتزمون بفتح مصدر أوزان النموذج ورمزه المصدري.

صفحة المشروع: https://humanaigc.github.io/wan-animate

ساهم في هذا النموذج بشكل رئيسي M. Tolga Cangöz.

الاستخدام

يدعم خط أنابيب Wan-Animate وضعين للتشغيل:

وضع الحركة (الافتراضي): يُحرّك صورة شخصية بناءً على الحركة والتعبيرات الواردة من مقاطع فيديو مرجعية
وضع الاستبدال: يستبدل شخصية في فيديو خلفي بشخصية جديدة مع الحفاظ على المشهد

المتطلبات

قبل استخدام خط الأنابيب، عليك بمعالجة الفيديو المرجعي مسبقًا لاستخراج:

فيديو الوضعية: يحتوي على نقاط مفصلية هيكلية تمثل حركة الجسم
Face video: Contains facial feature representations for expression control

لوضع الاستبدال، تحتاج إلى ما يلي أيضاً:

فيديو الخلفية: الفيديو الأصلي الذي يحتوي على المشهد
قناع الفيديو: قناع يحدد مكان توليد المحتوى (الأبيض) مقابل الحفاظ على الأصل (الأسود)

يجب عدم استخدام مقاطع الفيديو الخام كمدخلات مثل pose_video، حيث يتوقع خط المعالجة أن تكون هذه المدخلات مُعالجة مسبقًا لاستخراج المعلومات المناسبة. تتوفر سكربتات المعالجة المسبقة لتحضير هذه المدخلات في مستودع Wan-Animate الأصلي. يُخطط لدمج خطوات المعالجة المسبقة هذه في Diffusers في إصدار مستقبلي.

يُبيّن المثال أدناه كيفية استخدام خط أنابيب Wan-Animate:

import numpy as np
import torch
from diffusers import AutoencoderKLWan, WanAnimatePipeline
from diffusers.utils import export_to_video, load_image, load_video

model_id = "Wan-AI/Wan2.2-Animate-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", dtype=torch.float32)
pipe = WanAnimatePipeline.from_pretrained(model_id, vae=vae, dtype=torch.bfloat16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

# Load character image and preprocessed videos
image = load_image("path/to/character.jpg")
pose_video = load_video("path/to/pose_video.mp4")  # Preprocessed skeletal keypoints
face_video = load_video("path/to/face_video.mp4")  # Preprocessed facial features

# Resize image to match VAE constraints
def aspect_ratio_resize(image, pipe, max_area=720 * 1280):
    aspect_ratio = image.height / image.width
    mod_value = pipe.vae_scale_factor_spatial * pipe.transformer.config.patch_size[1]
    height = round(np.sqrt(max_area * aspect_ratio)) // mod_value * mod_value
    width = round(np.sqrt(max_area / aspect_ratio)) // mod_value * mod_value
    image = image.resize((width, height))
    return image, height, width

image, height, width = aspect_ratio_resize(image, pipe)

prompt = "A person dancing energetically in a studio with dynamic lighting and professional camera work"
negative_prompt = "blurry, low quality, distorted, deformed, static, poorly drawn"

# Generate animated video
output = pipe(
    image=image,
    pose_video=pose_video,
    face_video=face_video,
    prompt=prompt,
    negative_prompt=negative_prompt,
    height=height,
    width=width,
    segment_frame_length=77,
    guidance_scale=1.0,
    mode="animate",  # Animation mode (default)
).frames[0]
export_to_video(output, "animated_character.mp4", fps=30)

import numpy as np
import torch
from diffusers import AutoencoderKLWan, WanAnimatePipeline
from diffusers.utils import export_to_video, load_image, load_video

model_id = "Wan-AI/Wan2.2-Animate-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", dtype=torch.float32)
pipe = WanAnimatePipeline.from_pretrained(model_id, vae=vae, dtype=torch.bfloat16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

# Load all required inputs for replacement mode
image = load_image("path/to/new_character.jpg")
pose_video = load_video("path/to/pose_video.mp4")  # Preprocessed skeletal keypoints
face_video = load_video("path/to/face_video.mp4")  # Preprocessed facial features
background_video = load_video("path/to/background_video.mp4")  # Original scene
mask_video = load_video("path/to/mask_video.mp4")  # Black: preserve, White: generate

# Resize image to match video dimensions
def aspect_ratio_resize(image, pipe, max_area=720 * 1280):
    aspect_ratio = image.height / image.width
    mod_value = pipe.vae_scale_factor_spatial * pipe.transformer.config.patch_size[1]
    height = round(np.sqrt(max_area * aspect_ratio)) // mod_value * mod_value
    width = round(np.sqrt(max_area / aspect_ratio)) // mod_value * mod_value
    image = image.resize((width, height))
    return image, height, width

image, height, width = aspect_ratio_resize(image, pipe)

prompt = "A person seamlessly integrated into the scene with consistent lighting and environment"
negative_prompt = "blurry, low quality, inconsistent lighting, floating, disconnected from scene"

# Replace character in background video
output = pipe(
    image=image,
    pose_video=pose_video,
    face_video=face_video,
    background_video=background_video,
    mask_video=mask_video,
    prompt=prompt,
    negative_prompt=negative_prompt,
    height=height,
    width=width,
    segment_frame_lengths=77,
    guidance_scale=1.0,
    mode="replace",  # Replacement mode
).frames[0]
export_to_video(output, "character_replaced.mp4", fps=30)

import numpy as np
import torch
from diffusers import AutoencoderKLWan, WanAnimatePipeline
from diffusers.utils import export_to_video, load_image, load_video

model_id = "Wan-AI/Wan2.2-Animate-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", dtype=torch.float32)
pipe = WanAnimatePipeline.from_pretrained(model_id, vae=vae, dtype=torch.bfloat16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

image = load_image("path/to/character.jpg")
pose_video = load_video("path/to/pose_video.mp4")
face_video = load_video("path/to/face_video.mp4")

def aspect_ratio_resize(image, pipe, max_area=720 * 1280):
    aspect_ratio = image.height / image.width
    mod_value = pipe.vae_scale_factor_spatial * pipe.transformer.config.patch_size[1]
    height = round(np.sqrt(max_area * aspect_ratio)) // mod_value * mod_value
    width = round(np.sqrt(max_area / aspect_ratio)) // mod_value * mod_value
    image = image.resize((width, height))
    return image, height, width

image, height, width = aspect_ratio_resize(image, pipe)

prompt = "A person dancing energetically in a studio"
negative_prompt = "blurry, low quality"

# Advanced: Use temporal guidance and custom callback
def callback_fn(pipe, step_index, timestep, callback_kwargs):
    # You can modify latents or other tensors here
    print(f"Step {step_index}, Timestep {timestep}")
    return callback_kwargs

output = pipe(
    image=image,
    pose_video=pose_video,
    face_video=face_video,
    prompt=prompt,
    negative_prompt=negative_prompt,
    height=height,
    width=width,
    segment_frame_length=77,
    num_inference_steps=50,
    guidance_scale=5.0,
    prev_segment_conditioning_frames=5,  # Use 5 frames for temporal guidance (1 or 5 recommended)
    callback_on_step_end=callback_fn,
    callback_on_step_end_tensor_inputs=["latents"],
).frames[0]
export_to_video(output, "animated_advanced.mp4", fps=30)

المعلمات الرئيسية

mode: اختر بين "animate" (الافتراضي) أو "replace"
prev_segment_conditioning_frames: عدد الإطارات للإرشاد الزمني (يُوصى باستخدام 1 أو 5). استخدام 5 يوفر اتساقًا زمنيًا أفضل لكنه يتطلب ذاكرة أكبر
guidance_scale: يتحكم في مدى التزام المخرجات بوصف النص. تنتج القيم الأعلى (5-7) نتائج أكثر توافقًا مع الوصف. في حالة Wan-Animate، تكون CFG معطّلة افتراضيًا (guidance_scale=1.0) لكن يمكن تفعيلها لدعم الأوصاف السلبية والتحكم الدقيق في تعابير الوجه. (يُرجى ملاحظة أن CFG ستستهدف وصف النص وشروط الوجه فقط.)

ملاحظات

يدعم Wan2.1 نماذج LoRA من خلال load_lora_weights().

عرض كود مثال

# pip install ftfy
import torch
from diffusers import AutoModel, WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler
from diffusers.utils import export_to_video

vae = AutoModel.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B-Diffusers", subfolder="vae", dtype=torch.float32
)
pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B-Diffusers", vae=vae, dtype=torch.bfloat16
)
pipeline.scheduler = UniPCMultistepScheduler.from_config(
    pipeline.scheduler.config, flow_shift=5.0
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"

pipeline.load_lora_weights("benjamin-paine/steamboat-willie-1.3b", adapter_name="steamboat-willie")
pipeline.set_adapters("steamboat-willie")

pipeline.enable_model_cpu_offload()

# use "steamboat willie style" to trigger the LoRA
prompt = """
steamboat willie style, golden era animation, The camera rushes from far to near in a low-angle shot,
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic
shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""

output = pipeline(
    prompt=prompt,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

WanTransformer3DModel and AutoencoderKLWan supports loading from single files with from_single_file().

عرض كود مثال

# pip install ftfy
import torch
from diffusers import WanPipeline, WanTransformer3DModel, AutoencoderKLWan

vae = AutoencoderKLWan.from_single_file(
    "https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/blob/main/split_files/vae/wan_2.1_vae.safetensors"
)
transformer = WanTransformer3DModel.from_single_file(
    "https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/blob/main/split_files/diffusion_models/wan2.1_t2v_1.3B_bf16.safetensors",
    dtype=torch.bfloat16
)
pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B-Diffusers",
    vae=vae,
    transformer=transformer,
    dtype=torch.bfloat16
)

اضبط نوع البيانات AutoencoderKLWan إلى torch.float32 للحصول على جودة فك ترميز أفضل.
يجب حساب عدد الإطارات في الثانية (fps) أو k بواسطة 4 * k + 1.
جرّب قيم shift أدنى (2.0 إلى 5.0) للفيديوهات ذات الدقة المنخفضة وقيم shift أعلى (7.0 إلى 12.0) للصور ذات الدقة العالية.
تدعم Wan 2.1 و 2.2 استخدام LightX2V LoRAs لتسريع الاستدلال. استخدامهما مع Wan 2.2 أكثر تعقيدًا بعض الشيء. راجع هذا المقطع من الكود لمعرفة المزيد.
يحتوي Wan 2.2 على مُزيلَي ضجيج. افتراضيًا، يتم تحميل LoRAs في مُزيل الضجيج الأول فقط. يمكن ضبط load_into_transformer_2=True لتحميل LoRAs في مُزيل الضجيج الثاني. راجع أمثلة هذه وهذه لمعرفة المزيد.

WanPipeline[[diffusers.WanPipeline]]

diffusers.WanPipeline[[diffusers.WanPipeline]]

diffusers.WanPipeline(tokenizer: AutoTokenizer, text_encoder: UMT5EncoderModel, vae: AutoencoderKLWan, scheduler: FlowMatchEulerDiscreteScheduler, transformer: diffusers.models.transformers.transformer_wan.WanTransformer3DModel | None = None, transformer_2: diffusers.models.transformers.transformer_wan.WanTransformer3DModel | None = None, boundary_ratio: float | None = None, expand_timesteps: bool = False)

المصدر

المعاملات:

tokenizer (T5Tokenizer) : مُجزِّئ من T5، وتحديداً النسخة google/umt5-xxl.

text_encoder (T5EncoderModel) : T5، وتحديداً النسخة google/umt5-xxl.

transformer (WanTransformer3DModel) : نموذج Transformer مشروط لإزالة الضوضاء من المتغيرات الكامنة المدخلة.

scheduler (UniPCMultistepScheduler) : مُجدول يُستخدم بالاقتران مع transformer لإزالة الضوضاء من كامنات الصورة المُرمّزة.

vae (AutoencoderKLWan) : نموذج الترميز التحويلي التبايني (VAE) لتشفير وفك تشفير مقاطع الفيديو إلى تمثيلات كامنة ومنها.

transformer_2 (WanTransformer3DModel، اختياري) : نموذج Transformer مشروط لإزالة الضوضاء من المدخلات الكامنة (latents) أثناء مرحلة الضوضاء المنخفضة. إذا تم توفيره، يتم تفعيل إزالة الضوضاء على مرحلتين حيث يتولى transformer معالجة مراحل الضوضاء العالية ويتولى transformer_2 معالجة مراحل الضوضاء المنخفضة. إذا لم يتم توفيره، يُستخدم transformer فقط.

boundary_ratio (float, اختياري, القيمة الافتراضية None) : نسبة إجمالي خطوات الزمن المستخدمة كحد فاصل للتبديل بين محولات التحويل في إزالة الضوضاء على مرحلتين. يتم حساب خطوة الزمن الفعلية للحد الفاصل كـ boundary_ratio * num_train_timesteps. عند تقديمه، يتولى transformer معالجة خطوات الزمن >= boundary_timestep بينما يتولى transformer_2 معالجة خطوات الزمن < boundary_timestep. إذا كانت القيمة None، يُستخدم transformer فقط طوال عملية إزالة الضوضاء.

خط أنابيب لتوليد الفيديو من النص باستخدام Wan.

يرث هذا النموذج من DiffusionPipeline. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة المُنفَّذة لجميع خطوط الأنابيب (التنزيل، الحفظ، التشغيل على جهاز معين، إلخ).

call[[diffusers.WanPipeline.call]]

__call__(prompt: str | list[str] = None, negative_prompt: str | list[str] = None, height: int = 480, width: int = 832, num_frames: int = 81, num_inference_steps: int = 50, guidance_scale: float = 5.0, guidance_scale_2: float | None = None, num_videos_per_prompt: int | None = 1, generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = None, latents: typing.Optional[torch.Tensor] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, output_type: str | None = 'np', return_dict: bool = True, attention_kwargs: dict[str, typing.Any] | None = None, callback_on_step_end: typing.Union[typing.Callable[[int, int], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None, callback_on_step_end_tensor_inputs: list[str] = ['latents'], max_sequence_length: int = 512)

المصدر

المعاملات:

prompt (str أو list[str]، اختياري) : الأمر أو الأوامر التي تُوجّه توليد الصورة. إذا لم تُعرَّف، فمرّر prompt_embeds بدلاً من ذلك.

negative_prompt (str أو list[str]، اختياري) : الموجه أو الموجهات التي يجب تجنبها أثناء توليد الصورة. إذا لم يُعرَّف، فمرّر negative_prompt_embeds بدلاً من ذلك. يتم تجاهله عند عدم استخدام التوجيه (guidance_scale < 1).

height (int، القيمة الافتراضية 480) : ارتفاع الصورة المولّدة بالبكسل.

width (int، القيمة الافتراضية 832) : عرض الصورة المولدة بالبكسل.

num_frames (int، القيمة الافتراضية 81) : عدد الإطارات في الفيديو المولّد.

num_inference_steps (int، القيمة الافتراضية 50) : عدد خطوات إزالة الضوضاء. تؤدي زيادة عدد خطوات إزالة الضوضاء عادةً إلى صورة ذات جودة أعلى على حساب بطء الاستدلال.

guidance_scale (float، القيمة الافتراضية 5.0) : مقياس التوجيه كما هو مُعرَّف في Classifier-Free Diffusion Guidance. يُعرَّف guidance_scale على أنه w من المعادلة 2. في Imagen Paper. يتم تفعيل مقياس التوجيه عن طريق تعيين guidance_scale > 1. يشجع مقياس التوجيه الأعلى على توليد صور مرتبطة ارتباطًا وثيقًا بنص prompt، وعادةً على حساب انخفاض جودة الصورة.

guidance_scale_2 (float، اختياري، القيمة الافتراضية None) : مقياس التوجيه (Guidance scale) لتحوّل (transformer) مرحلة الضوضاء المنخفضة (transformer_2). إذا كانت None وكان boundary_ratio في خط الأنابيب (pipeline) ليس None، فسيتم استخدام نفس القيمة الخاصة بـ guidance_scale. يُستخدم فقط عندما لا تكون transformer_2 وboundary_ratio في خط الأنابيب (pipeline) قيمتين None.

num_videos_per_prompt (int، اختياري، القيمة الافتراضية 1) : عدد الصور التي سيتم توليدها لكل موجه.

generator (torch.Generator أو list[torch.Generator]، اختياري) : torch.Generator لجعل التوليد حتميًا.

latents (torch.Tensor، اختياري) : كامنات ضجيج مُولّدة مسبقًا، مُستخرجة من توزيع غاوسي، تُستخدم كمدخلات لتوليد الصور. يمكن استخدامها لتعديل نفس التوليد باستخدام أوامر مختلفة. إذا لم تُقدَّم، يتم توليد كامنات من خلال الاستخراج باستخدام generator العشوائي المُقدَّم.

prompt_embeds (torch.Tensor، اختياري) : تمثيلات نصية مُولّدة مسبقًا. يمكن استخدامها لتعديل مدخلات النص بسهولة (وزن الأوامر). إذا لم تُقدَّم، يتم توليد تمثيلات النص من معامل الإدخال prompt.

negative_prompt_embeds (torch.Tensor، اختياري) : تمثيلات نصية سالبة مُولّدة مسبقًا. يمكن استخدامها لضبط مدخلات النص بسهولة (وزن الموجه). إذا لم تُقدَّم، يتم توليد negative_prompt_embeds من معامل الإدخال negative_prompt.

output_type (str، اختياري، الافتراضي "np") : صيغة الصورة المولّدة. اختر بين PIL.Image أو np.array.

return_dict (bool، اختياري، الافتراضي True) : ما إذا كان يجب إرجاع WanPipelineOutput بدلاً من tuple عادي.

attention_kwargs (dict، اختياري) : قاموس kwargs يُمرَّر إلى AttentionProcessor إذا تم تحديده، كما هو معرَّف تحت self.processor في diffusers.models.attention_processor.

callback_on_step_end (Callable، PipelineCallback، MultiPipelineCallbacks، اختياري) : دالة أو فئة فرعية من PipelineCallback أو MultiPipelineCallbacks تُستدعى في نهاية كل خطوة إزالة ضوضاء أثناء الاستدلال، مع الحُجج التالية: callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict). ستتضمن callback_kwargs قائمة بجميع المصفوفات كما حددتها callback_on_step_end_tensor_inputs.

callback_on_step_end_tensor_inputs (list، اختياري) : قائمة مدخلات المصفوفات (tensors) لدالة callback_on_step_end. سيتم تمرير المصفوفات المحددة في القائمة كحجة callback_kwargs. لن تتمكن من تضمين سوى المتغيرات المدرجة في خاصية ._callback_tensor_inputs لفئة خط الأنابيب (pipeline) الخاص بك.

max_sequence_length (int، القيمة الافتراضية 512) : الحد الأقصى لطول تسلسل مُشفِّر النص. إذا كان النص المطروح أطول من ذلك، فسيتم اقتطاعه. وإذا كان أقصر، فسيتم ملؤه حتى يصل إلى هذا الطول.

يعيد: ~WanPipelineOutput أو tuple

إذا كان return_dict هو True، يُعاد WanPipelineOutput، وإلا يُعاد tuple حيث يكون العنصر الأول قائمة بالصور المولّدة والعنصر الثاني قائمة من قيم bool تشير إلى ما إذا كانت الصورة المولّدة المقابلة تحتوي على محتوى "غير آمن للعمل" (nsfw).

دالة الاستدعاء call لخط الأنابيب pipeline الخاص بالتوليد.

أمثلة:

>>> import torch
>>> from diffusers.utils import export_to_video
>>> from diffusers import AutoencoderKLWan, WanPipeline
>>> from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler

>>> # Available models: Wan-AI/Wan2.1-T2V-14B-Diffusers, Wan-AI/Wan2.1-T2V-1.3B-Diffusers
>>> model_id = "Wan-AI/Wan2.1-T2V-14B-Diffusers"
>>> vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", torch_dtype=torch.float32)
>>> pipe = WanPipeline.from_pretrained(model_id, vae=vae, torch_dtype=torch.bfloat16)
>>> flow_shift = 5.0  # 5.0 for 720P, 3.0 for 480P
>>> pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config, flow_shift=flow_shift)
>>> pipe.to("cuda")

>>> prompt = "A cat and a dog baking a cake together in a kitchen. The cat is carefully measuring flour, while the dog is stirring the batter with a wooden spoon. The kitchen is cozy, with sunlight streaming through the window."
>>> negative_prompt = "Bright tones, overexposed, static, blurred details, subtitles, style, works, paintings, images, static, overall gray, worst quality, low quality, JPEG compression residue, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, deformed, disfigured, misshapen limbs, fused fingers, still picture, messy background, three legs, many people in the background, walking backwards"

>>> output = pipe(
...     prompt=prompt,
...     negative_prompt=negative_prompt,
...     height=720,
...     width=1280,
...     num_frames=81,
...     guidance_scale=5.0,
... ).frames[0]
>>> export_to_video(output, "output.mp4", fps=16)

encode_prompt[[diffusers.WanPipeline.encode_prompt]]

encode_prompt(prompt: str | list[str], negative_prompt: str | list[str] | None = None, do_classifier_free_guidance: bool = True, num_videos_per_prompt: int = 1, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, max_sequence_length: int = 226, device: typing.Optional[torch.device] = None, dtype: typing.Optional[torch.dtype] = None)

المصدر

المعاملات:

prompt (str أو list[str]، اختياري) : النص الذي سيتم ترميزه

negative_prompt (str أو list[str]، اختياري) : الموجه أو الموجهات التي لا ينبغي توجيه توليد الصورة بها. إذا لم يُعرَّف، يجب تمرير negative_prompt_embeds بدلاً من ذلك. يتم تجاهله عند عدم استخدام التوجيه (أي يتم تجاهله إذا كان guidance_scale أقل من 1).

do_classifier_free_guidance (bool، اختياري، الافتراضي True) : ما إذا كان سيتم استخدام classifier free guidance أم لا.

num_videos_per_prompt (int، اختياري، القيمة الافتراضية 1) : عدد مقاطع الفيديو التي يجب توليدها لكل موجه. جهاز torch الذي سيتم وضع التضمينات الناتجة عليه

prompt_embeds (torch.Tensor، اختياري) : تمثيلات نصية مُولّدة مسبقًا. يمكن استخدامها لتعديل مدخلات النص بسهولة، مثلًا وزن الأوامر. إذا لم تُقدَّم، فسيتم توليد تمثيلات النص من معامل الإدخال prompt.

negative_prompt_embeds (torch.Tensor, اختياري) : تمثيلات نصية سالبة مُولّدة مسبقًا. يمكن استخدامها لتعديل مدخلات النص بسهولة، مثلًا وزن الأوامر. إذا لم تُقدَّم، فسيتم توليد negative_prompt_embeds من معامل الإدخال negative_prompt.

device : (torch.device, اختياري): جهاز torch

dtype : (torch.dtype, اختياري): torch dtype

يقوم بتشفير الموجه إلى حالات مخفية لمشفّر النص.

WanImageToVideoPipeline[[diffusers.WanImageToVideoPipeline]]

diffusers.WanImageToVideoPipeline[[diffusers.WanImageToVideoPipeline]]

diffusers.WanImageToVideoPipeline(tokenizer: AutoTokenizer, text_encoder: UMT5EncoderModel, vae: AutoencoderKLWan, scheduler: FlowMatchEulerDiscreteScheduler, image_processor: CLIPImageProcessorPil = None, image_encoder: CLIPVisionModel = None, transformer: WanTransformer3DModel = None, transformer_2: WanTransformer3DModel = None, boundary_ratio: float | None = None, expand_timesteps: bool = False)

المصدر

المعاملات:

tokenizer (T5Tokenizer) : مُجزِّئ من T5، وتحديداً النسخة google/umt5-xxl.

text_encoder (T5EncoderModel) : T5، وتحديداً النسخة google/umt5-xxl.

image_encoder (CLIPVisionModel) : CLIP، وتحديداً النسخة clip-vit-huge-patch14.

transformer (WanTransformer3DModel) : نموذج Transformer مشروط لإزالة الضوضاء من المتغيرات الكامنة المدخلة.

scheduler (UniPCMultistepScheduler) : مُجدول يُستخدم بالاقتران مع transformer لإزالة الضوضاء من كامنات الصورة المُرمّزة.

vae (AutoencoderKLWan) : نموذج الترميز التحويلي التبايني (VAE) لتشفير وفك تشفير مقاطع الفيديو إلى تمثيلات كامنة ومنها.

transformer_2 (WanTransformer3DModel، اختياري) : نموذج Transformer مشروط لإزالة الضوضاء من المدخلات الكامنة (latents) خلال مرحلة الضوضاء المنخفضة. في إزالة الضوضاء على مرحلتين، يتولى transformer مراحل الضوضاء العالية ويتولى transformer_2 مراحل الضوضاء المنخفضة. إذا لم يُقدَّم، يُستخدم transformer فقط.

boundary_ratio (float, اختياري, القيمة الافتراضية None) : نسبة إجمالي خطوات الزمن المستخدمة كحد فاصل للتبديل بين محولات التحويل في إزالة الضوضاء على مرحلتين. يتم حساب خطوة الزمن الفعلية للحد الفاصل كـ boundary_ratio * num_train_timesteps. عند تقديمه، يتولى transformer معالجة خطوات الزمن >= boundary_timestep بينما يتولى transformer_2 معالجة خطوات الزمن < boundary_timestep. إذا كانت القيمة None، يُستخدم transformer فقط طوال عملية إزالة الضوضاء.

خط أنابيب لتوليد الفيديو من الصور باستخدام Wan.

يرث هذا النموذج من DiffusionPipeline. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة المُنفَّذة لجميع خطوط الأنابيب (التنزيل، الحفظ، التشغيل على جهاز معين، إلخ).

call[[diffusers.WanImageToVideoPipeline.call]]

__call__(image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]], prompt: str | list[str] = None, negative_prompt: str | list[str] = None, height: int = 480, width: int = 832, num_frames: int = 81, num_inference_steps: int = 50, guidance_scale: float = 5.0, guidance_scale_2: float | None = None, num_videos_per_prompt: int | None = 1, generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = None, latents: typing.Optional[torch.Tensor] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, image_embeds: typing.Optional[torch.Tensor] = None, last_image: typing.Optional[torch.Tensor] = None, output_type: str | None = 'np', return_dict: bool = True, attention_kwargs: dict[str, typing.Any] | None = None, callback_on_step_end: typing.Union[typing.Callable[[int, int], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None, callback_on_step_end_tensor_inputs: list[str] = ['latents'], max_sequence_length: int = 512)

المصدر

المعاملات:

image (PipelineImageInput) : الصورة المدخلة التي تُشترط عليها عملية التوليد. يجب أن تكون صورة، أو قائمة من الصور، أو torch.Tensor.

last_image (torch.Tensor، اختياري) : الإطار الأخير الاختياري الذي يُشترط عليه الفيديو المولَّد. عند تقديمه، يقوم النموذج بالاستيفاء بين image (الإطار الأول) وlast_image (الإطار الأخير).

prompt (str أو list[str]، اختياري) : الأمر أو الأوامر التي تُوجّه توليد الصورة. إذا لم يُعرَّف، يجب تمرير prompt_embeds بدلاً من ذلك.

negative_prompt (str أو list[str]، اختياري) : الموجه أو الموجهات التي لا ينبغي توجيه توليد الصورة بها. إذا لم يُعرَّف، يجب تمرير negative_prompt_embeds بدلاً من ذلك. يتم تجاهله عند عدم استخدام التوجيه (أي يتم تجاهله إذا كان guidance_scale أقل من 1).

height (int، القيمة الافتراضية 480) : ارتفاع الفيديو المولّد.

width (int، القيمة الافتراضية 832) : عرض الفيديو المولّد.