hf-doc-build/doc / diffusers /main /tr /api /pipelines /animatediff.md

|

145 kB

AnimateDiff ile Metinden Video Üretimi

Genel Bakış

Yuwei Guo, Ceyuan Yang, Anyi Rao, Yaohui Wang, Yu Qiao, Dahua Lin, Bo Dai tarafından AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning

Makalenin özeti aşağıdaki gibidir:

Metinden görüntüye modellerin (ör. Stable Diffusion) ve DreamBooth ile LoRA gibi ilgili kişiselleştirme tekniklerinin ilerlemesiyle herkes, uygun maliyetle hayal gücünü yüksek kaliteli görüntülere dönüştürebilir. Ardından, üretilen statik görüntüleri hareket dinamikleriyle birleştirmek için görüntü animasyonu tekniklerine büyük bir talep doğmuştur. Bu raporda, model bazlı ayarlama çabalarını tasarruf etmek amacıyla mevcut kişiselleştirilmiş metinden görüntüye modellerinin çoğunu bir kez ve kalıcı olarak canlandırmak için pratik bir çerçeve öneriyoruz. Önerilen çerçevenin çekirdeği, dondurulmuş metinden görüntüye modele yeni başlatılmış bir hareket modelleme modülü eklemek ve makul hareket önceliklerini damıtmak için video kliplerinde eğitmektir. Eğitildikten sonra, bu hareket modelleme modülünün basitçe enjekte edilmesiyle, aynı temel T2I'den türetilen tüm kişiselleştirilmiş sürümler, çeşitli ve kişiselleştirilmiş animasyonlu görüntüler üreten metinle sürülen modellere dönüşür. Değerlendirmemizi, anime resimleri ve gerçekçi fotoğraflar üzerinde birkaç halka açık, temsilci kişiselleştirilmiş metinden görüntüye modeli üzerinde gerçekleştiriyoruz ve önerdiğimiz çerçevenin, bu modellerin çıktıların alanını ve çeşitliliğini korurken zaman içinde akıcı animasyon klipleri üretmesine yardımcı olduğunu gösteriyoruz. Kod ve önceden eğitilmiş ağırlıklar bu https URL adresinde herkese açık olarak kullanılabilir olacaktır.

Kullanılabilir Boru Hatları

Hattı	Görevler	Demo
AnimateDiffPipeline	AnimateDiff ile Metinden Video Üretimi
AnimateDiffControlNetPipeline	ControlNet ile AnimateDiff Kullanarak Kontrollü Video'dan Videoya Üretim
AnimateDiffSparseControlNetPipeline	SparseCtrl ile AnimateDiff Kullanarak Kontrollü Video'dan Video'ya Üretim
AnimateDiffSDXLPipeline	AnimateDiff ile Video'dan Videoya Üretim
AnimateDiffVideoToVideoPipeline	AnimateDiff ile Video'dan Videoya Üretim
AnimateDiffVideoToVideoControlNetPipeline	ControlNet ile AnimateDiff Kullanarak Video'dan Video Üretimi

Mevcut denetim noktaları

Motion Adapter kontrol noktaları guoyww altında bulunabilir. Bu kontrol noktaları, Stable Diffusion 1.4/1.5 tabanlı herhangi bir modelle çalışmak üzere tasarlanmıştır.

Kullanım örneği

AnimateDiffPipeline

AnimateDiff, bir MotionAdapter checkpoint'i ve bir Stable Diffusion model checkpoint'i ile çalışır. MotionAdapter, görüntü kareleri arasında tutarlı hareket eklemekten sorumlu Motion Modules koleksiyonudur. Bu modüller, Stable Diffusion UNet içindeki Resnet ve Attention bloklarının ardından uygulanır.

Aşağıdaki örnek, StableDiffusion-1.4/1.5 tabanlı olarak Diffusers ile MotionAdapter kontrol noktasının çıkarım için nasıl kullanılacağını göstermektedir.

import torch
from diffusers import AnimateDiffPipeline, DDIMScheduler, MotionAdapter
from diffusers.utils import export_to_gif

# Load the motion adapter
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2", dtype=torch.float16)
# load SD 1.5 based finetuned model
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffPipeline.from_pretrained(model_id, motion_adapter=adapter, dtype=torch.float16)
scheduler = DDIMScheduler.from_pretrained(
    model_id,
    subfolder="scheduler",
    clip_sample=False,
    timestep_spacing="linspace",
    beta_schedule="linear",
    steps_offset=1,
)
pipe.scheduler = scheduler

# enable memory savings
pipe.vae.enable_slicing()
pipe.enable_model_cpu_offload()

output = pipe(
    prompt=(
        "masterpiece, bestquality, highlydetailed, ultradetailed, sunset, "
        "orange sky, warm lighting, fishing boats, ocean waves seagulls, "
        "rippling water, wharf, silhouette, serene atmosphere, dusk, evening glow, "
        "golden hour, coastal landscape, seaside scenery"
    ),
    negative_prompt="bad quality, worse quality",
    num_frames=16,
    guidance_scale=7.5,
    num_inference_steps=25,
    generator=torch.Generator("cpu").manual_seed(42),
)
frames = output.frames[0]
export_to_gif(frames, "animation.gif")

İşte bazı örnek çıktılar:

    masterpiece, bestquality, sunset.
    
    <img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-realistic-doc.gif"
        alt="masterpiece, bestquality, sunset"
        style="width: 300px;" />

AnimateDiff, ince ayar yapılmış Stable Diffusion modelleriyle genellikle daha iyi çalışır. Numuneleri kırpabilen bir zamanlayıcı kullanmayı planlıyorsanız, bu durumun üretilen numuneler üzerinde olumsuz bir etkiye sahip olabileceğinden, zamanlayıcıda clip_sample=False olarak ayarlayarak devre dışı bırakmayı unutmayın. Ayrıca, AnimateDiff kontrol noktaları zamanlayıcının beta zamanlamasına karşı hassas olabilir. Bunu linear olarak ayarlamayı öneririz.

AnimateDiffControlNetPipeline

AnimateDiff, ControlNet'lerle de kullanılabilir. ControlNet, Lvmin Zhang, Anyi Rao ve Maneesh Agrawala tarafından Adding Conditional Control to Text-to-Image Diffusion Models makalesinde tanıtılmıştır. Bir ControlNet modeliyle, Stable Diffusion üretimini koşullandırmak ve kontrol etmek için ek bir kontrol görseli sağlayabilirsiniz. Örneğin, derinlik haritaları sağlarsanız, ControlNet modeli derinlik haritalarındaki uzamsal bilgileri koruyan bir video üretir. Video üretim sürecini kontrol etmenin daha esnek ve doğru bir yoludur.

import torch
from diffusers import AnimateDiffControlNetPipeline, AutoencoderKL, ControlNetModel, MotionAdapter, LCMScheduler
from diffusers.utils import export_to_gif, load_video

# Additionally, you will need a preprocess videos before they can be used with the ControlNet
# HF maintains just the right package for it: `pip install controlnet_aux`
from controlnet_aux.processor import ZoeDetector

# Download controlnets from https://huggingface.co/lllyasviel/ControlNet-v1-1 to use .from_single_file
# Download Diffusers-format controlnets, such as https://huggingface.co/lllyasviel/sd-controlnet-depth, to use .from_pretrained()
controlnet = ControlNetModel.from_single_file("control_v11f1p_sd15_depth.pth", dtype=torch.float16)

# We use AnimateLCM for this example but one can use the original motion adapters as well (for example, https://huggingface.co/guoyww/animatediff-motion-adapter-v1-5-3)
motion_adapter = MotionAdapter.from_pretrained("wangfuyun/AnimateLCM")

vae = AutoencoderKL.from_pretrained("stabilityai/sd-vae-ft-mse", dtype=torch.float16)
pipe: AnimateDiffControlNetPipeline = AnimateDiffControlNetPipeline.from_pretrained(
    "SG161222/Realistic_Vision_V5.1_noVAE",
    motion_adapter=motion_adapter,
    controlnet=controlnet,
    vae=vae,
).to(device="cuda", dtype=torch.float16)  # or "mps", "xpu", "cpu"
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config, beta_schedule="linear")
pipe.load_lora_weights("wangfuyun/AnimateLCM", weight_name="AnimateLCM_sd15_t2v_lora.safetensors", adapter_name="lcm-lora")
pipe.set_adapters(["lcm-lora"], [0.8])

depth_detector = ZoeDetector.from_pretrained("lllyasviel/Annotators").to("cuda")
video = load_video("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-vid2vid-input-1.gif")
conditioning_frames = []

with pipe.progress_bar(total=len(video)) as progress_bar:
    for frame in video:
        conditioning_frames.append(depth_detector(frame))
        progress_bar.update()

prompt = "a panda, playing a guitar, sitting in a pink boat, in the ocean, mountains in background, realistic, high quality"
negative_prompt = "bad quality, worst quality"

video = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_frames=len(video),
    num_inference_steps=10,
    guidance_scale=2.0,
    conditioning_frames=conditioning_frames,
    generator=torch.Generator().manual_seed(42),
).frames[0]

export_to_gif(video, "animatediff_controlnet.gif", fps=8)

İşte bazı örnek çıktılar:

  Kaynak Video Çıktı Video


    
      raccoon gitar çalıyor
      
      
    
    
      panda, gitar çalıyor, pembe bir teknenin içinde oturuyor, okyanusta, arka planda dağlar, gerçekçi, yüksek kaliteli

AnimateDiffSparseControlNetPipeline

Yuwei Guo, Ceyuan Yang, Anyi Rao, Maneesh Agrawala, Dahua Lin ve Bo Dai tarafından metinden videoya difüzyon modellerinde kontrollü üretim sağlamak için SparseCtrl: Adding Sparse Controls to Text-to-Video Diffusion Models.

Makalenin özeti şudur:

Metinden videoya (T2V) üretim, yani verilen bir metin istemine göre video üretme, son yıllarda önemli ölçüde ilerleme kaydetmiştir. Ancak yalnızca metin istemlerine güvenmek, uzamsal belirsizlik nedeniyle genellikle belirsiz kare kompozisyonlarına yol açar. Araştırma topluluğu bu nedenle, örneğin kare başına derinlik/kenar dizileri gibi yoğun yapı sinyallerinden yararlanarak kontrol edilebilirliği artırmaktadır; bunun da toplanması, çıkarım yükünü buna göre artırmaktadır. Bu çalışmada, Şekil 1'de gösterildiği gibi yalnızca bir veya birkaç giriş gerektiren, zaman içinde seyrek sinyallerle esnek yapı kontrolü sağlayan SparseCtrl'i sunuyoruz. Yaklaşım, önceden eğitilmiş T2V modeline dokunmadan bu seyrek sinyalleri işlemek için ek bir koşul kodlayıcı içerir. Önerilen yaklaşım, eskizler, derinlik haritaları ve RGB görüntüler dahil olmak üzere çeşitli modalitelerle uyumludur ve video üretimi için daha pratik bir kontrol sağlayarak storyboard oluşturma, derinlik renderlama, anahtar kare animasyonu ve interpolasyon gibi uygulamaları teşvik eder. Kapsamlı deneyler, SparseCtrl'in hem orijinal hem de kişiselleştirilmiş T2V üreticilerindeki genelleme yeteneğini göstermektedir. Kodlar ve modeller bu https URL adresinde herkese açık olarak kullanılabilir olacaktır.

SparseCtrl, kontrollü metinden videoya üretim için aşağıdaki kontrol noktalarını tanıtır:

SparseCtrl Scribble Kullanımı

import torch

from diffusers import AnimateDiffSparseControlNetPipeline
from diffusers.models import AutoencoderKL, MotionAdapter, SparseControlNetModel
from diffusers.schedulers import DPMSolverMultistepScheduler
from diffusers.utils import export_to_gif, load_image

model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
motion_adapter_id = "guoyww/animatediff-motion-adapter-v1-5-3"
controlnet_id = "guoyww/animatediff-sparsectrl-scribble"
lora_adapter_id = "guoyww/animatediff-motion-lora-v1-5-3"
vae_id = "stabilityai/sd-vae-ft-mse"
device = "cuda"  # or "mps", "xpu", "cpu"

motion_adapter = MotionAdapter.from_pretrained(motion_adapter_id, dtype=torch.float16).to(device)
controlnet = SparseControlNetModel.from_pretrained(controlnet_id, dtype=torch.float16).to(device)
vae = AutoencoderKL.from_pretrained(vae_id, dtype=torch.float16).to(device)
scheduler = DPMSolverMultistepScheduler.from_pretrained(
    model_id,
    subfolder="scheduler",
    beta_schedule="linear",
    algorithm_type="dpmsolver++",
    use_karras_sigmas=True,
)
pipe = AnimateDiffSparseControlNetPipeline.from_pretrained(
    model_id,
    motion_adapter=motion_adapter,
    controlnet=controlnet,
    vae=vae,
    scheduler=scheduler,
    dtype=torch.float16,
).to(device)
pipe.load_lora_weights(lora_adapter_id, adapter_name="motion_lora")
pipe.fuse_lora(lora_scale=1.0)

prompt = "an aerial view of a cyberpunk city, night time, neon lights, masterpiece, high quality"
negative_prompt = "low quality, worst quality, letterboxed"

image_files = [
    "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-scribble-1.png",
    "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-scribble-2.png",
    "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-scribble-3.png"
]
condition_frame_indices = [0, 8, 15]
conditioning_frames = [load_image(img_file) for img_file in image_files]

video = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_inference_steps=25,
    conditioning_frames=conditioning_frames,
    controlnet_conditioning_scale=1.0,
    controlnet_frame_indices=condition_frame_indices,
    generator=torch.Generator().manual_seed(1337),
).frames[0]
export_to_gif(video, "output.gif")

İşte bazı örnek çıktılar:

      siberpunk bir şehrin kuşbakışı görünümü, gece, neon ışıklar, başyapıt, yüksek kaliteli

SparseCtrl RGB Kullanımı

import torch

from diffusers import AnimateDiffSparseControlNetPipeline
from diffusers.models import AutoencoderKL, MotionAdapter, SparseControlNetModel
from diffusers.schedulers import DPMSolverMultistepScheduler
from diffusers.utils import export_to_gif, load_image

model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
motion_adapter_id = "guoyww/animatediff-motion-adapter-v1-5-3"
controlnet_id = "guoyww/animatediff-sparsectrl-rgb"
lora_adapter_id = "guoyww/animatediff-motion-lora-v1-5-3"
vae_id = "stabilityai/sd-vae-ft-mse"
device = "cuda"  # or "mps", "xpu", "cpu"

motion_adapter = MotionAdapter.from_pretrained(motion_adapter_id, dtype=torch.float16).to(device)
controlnet = SparseControlNetModel.from_pretrained(controlnet_id, dtype=torch.float16).to(device)
vae = AutoencoderKL.from_pretrained(vae_id, dtype=torch.float16).to(device)
scheduler = DPMSolverMultistepScheduler.from_pretrained(
    model_id,
    subfolder="scheduler",
    beta_schedule="linear",
    algorithm_type="dpmsolver++",
    use_karras_sigmas=True,
)
pipe = AnimateDiffSparseControlNetPipeline.from_pretrained(
    model_id,
    motion_adapter=motion_adapter,
    controlnet=controlnet,
    vae=vae,
    scheduler=scheduler,
    dtype=torch.float16,
).to(device)
pipe.load_lora_weights(lora_adapter_id, adapter_name="motion_lora")

image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-firework.png")

video = pipe(
    prompt="closeup face photo of man in black clothes, night city street, bokeh, fireworks in background",
    negative_prompt="low quality, worst quality",
    num_inference_steps=25,
    conditioning_frames=image,
    controlnet_frame_indices=[0],
    controlnet_conditioning_scale=1.0,
    generator=torch.Generator().manual_seed(42),
).frames[0]
export_to_gif(video, "output.gif")

İşte bazı örnek çıktılar:

      siyah kıyafetli bir adamın yakın çekim yüz fotoğrafı, gece şehir sokağı, bokeh, arka planda havai fişekler

AnimateDiffSDXLPipeline

AnimateDiff, SDXL modelleriyle de kullanılabilir. Bu, şu anda deneysel bir özelliktir çünkü hareket adaptörü kontrol noktasının yalnızca beta sürümü mevcuttur.

import torch
from diffusers.models import MotionAdapter
from diffusers import AnimateDiffSDXLPipeline, DDIMScheduler
from diffusers.utils import export_to_gif

adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-sdxl-beta", dtype=torch.float16)

model_id = "stabilityai/stable-diffusion-xl-base-1.0"
scheduler = DDIMScheduler.from_pretrained(
    model_id,
    subfolder="scheduler",
    clip_sample=False,
    timestep_spacing="linspace",
    beta_schedule="linear",
    steps_offset=1,
)
pipe = AnimateDiffSDXLPipeline.from_pretrained(
    model_id,
    motion_adapter=adapter,
    scheduler=scheduler,
    dtype=torch.float16,
    variant="fp16",
).to("cuda")  # or "mps", "xpu", "cpu"

# enable memory savings
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()

output = pipe(
    prompt="a panda surfing in the ocean, realistic, high quality",
    negative_prompt="low quality, worst quality",
    num_inference_steps=20,
    guidance_scale=8,
    width=1024,
    height=1024,
    num_frames=16,
)

frames = output.frames[0]
export_to_gif(frames, "animation.gif")

AnimateDiffVideoToVideoPipeline

AnimateDiff, başlangıç videosundan yola çıkarak görsel olarak benzer videolar üretmek veya stil/karakter/arka plan gibi diğer düzenlemeleri etkinleştirmek için de kullanılabilir; bu sayede yaratıcı olasılıkları sorunsuz bir şekilde keşfedebilirsiniz.

import imageio
import requests
import torch
from diffusers import AnimateDiffVideoToVideoPipeline, DDIMScheduler, MotionAdapter
from diffusers.utils import export_to_gif
from io import BytesIO
from PIL import Image

# Load the motion adapter
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2", dtype=torch.float16)
# load SD 1.5 based finetuned model
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffVideoToVideoPipeline.from_pretrained(model_id, motion_adapter=adapter, dtype=torch.float16)
scheduler = DDIMScheduler.from_pretrained(
    model_id,
    subfolder="scheduler",
    clip_sample=False,
    timestep_spacing="linspace",
    beta_schedule="linear",
    steps_offset=1,
)
pipe.scheduler = scheduler

# enable memory savings
pipe.vae.enable_slicing()
pipe.enable_model_cpu_offload()

# helper function to load videos
def load_video(file_path: str):
    images = []

    if file_path.startswith(('http://', 'https://')):
        # If the file_path is a URL
        response = requests.get(file_path)
        response.raise_for_status()
        content = BytesIO(response.content)
        vid = imageio.get_reader(content)
    else:
        # Assuming it's a local file path
        vid = imageio.get_reader(file_path)

    for frame in vid:
        pil_image = Image.fromarray(frame)
        images.append(pil_image)

    return images

video = load_video("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-vid2vid-input-1.gif")

output = pipe(
    video = video,
    prompt="panda playing a guitar, on a boat, in the ocean, high quality",
    negative_prompt="bad quality, worse quality",
    guidance_scale=7.5,
    num_inference_steps=25,
    strength=0.5,
    generator=torch.Generator("cpu").manual_seed(42),
)
frames = output.frames[0]
export_to_gif(frames, "animation.gif")

İşte bazı örnek çıktılar:

  Kaynak Video Çıktı Video


    
      raccoon gitar çalıyor
      
      <img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-vid2vid-input-1.gif"
          alt="racoon playing a guitar"
          style="width: 300px;" />
    
    
      panda gitar çalıyor
      
      <img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-vid2vid-output-1.gif"
          alt="panda playing a guitar"
          style="width: 300px;" />
    


    
      margot robbie yakın çekim, arka planda havai fişekler, yüksek kaliteli
      
      <img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-vid2vid-input-2.gif"
          alt="closeup of margot robbie, fireworks in the background, high quality"
          style="width: 300px;" />
    
    
      tony stark, robert downey jr, havai fişek yakın çekim
      
      <img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-vid2vid-output-2.gif"
          alt="closeup of tony stark, robert downey jr, fireworks"
          style="width: 300px;" />

AnimateDiffVideoToVideoControlNetPipeline

AnimateDiff, çıktı üzerinde hassas kontrol sağlayarak video-vidyo üretimini geliştirmek için ControlNet'lerle birlikte kullanılabilir. ControlNet, Lvmin Zhang, Anyi Rao ve Maneesh Agrawala tarafından Adding Conditional Control to Text-to-Image Diffusion Models makalesinde tanıtılmış olup, Stable Diffusion'u ek bir kontrol görüntüsüyle koşullandırmanıza ve videonun tamamında uzamsal bilginin korunmasını sağlamasına olanak tanır.

Bu pipeline, üretimi hem orijinal videoya hem de bir kontrol görüntüsü dizisine koşullandırmanıza olanak tanır.

import torch
from PIL import Image
from tqdm.auto import tqdm

from controlnet_aux.processor import OpenposeDetector
from diffusers import AnimateDiffVideoToVideoControlNetPipeline
from diffusers.utils import export_to_gif, load_video
from diffusers import AutoencoderKL, ControlNetModel, MotionAdapter, LCMScheduler

# Load the ControlNet
controlnet = ControlNetModel.from_pretrained("lllyasviel/sd-controlnet-openpose", dtype=torch.float16)
# Load the motion adapter
motion_adapter = MotionAdapter.from_pretrained("wangfuyun/AnimateLCM")
# Load SD 1.5 based finetuned model
vae = AutoencoderKL.from_pretrained("stabilityai/sd-vae-ft-mse", dtype=torch.float16)
pipe = AnimateDiffVideoToVideoControlNetPipeline.from_pretrained(
    "SG161222/Realistic_Vision_V5.1_noVAE",
    motion_adapter=motion_adapter,
    controlnet=controlnet,
    vae=vae,
).to(device="cuda", dtype=torch.float16)  # or "mps", "xpu", "cpu"

# Enable LCM to speed up inference
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config, beta_schedule="linear")
pipe.load_lora_weights("wangfuyun/AnimateLCM", weight_name="AnimateLCM_sd15_t2v_lora.safetensors", adapter_name="lcm-lora")
pipe.set_adapters(["lcm-lora"], [0.8])

video = load_video("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/dance.gif")
video = [frame.convert("RGB") for frame in video]

prompt = "astronaut in space, dancing"
negative_prompt = "bad quality, worst quality, jpeg artifacts, ugly"

# Create controlnet preprocessor
open_pose = OpenposeDetector.from_pretrained("lllyasviel/Annotators").to("cuda")

# Preprocess controlnet images
conditioning_frames = []
for frame in tqdm(video):
    conditioning_frames.append(open_pose(frame))

strength = 0.8
with torch.inference_mode():
    video = pipe(
        video=video,
        prompt=prompt,
        negative_prompt=negative_prompt,
        num_inference_steps=10,
        guidance_scale=2.0,
        controlnet_conditioning_scale=0.75,
        conditioning_frames=conditioning_frames,
        strength=strength,
        generator=torch.Generator().manual_seed(42),
    ).frames[0]

video = [frame.resize(conditioning_frames[0].size) for frame in video]
export_to_gif(video, f"animatediff_vid2vid_controlnet.gif", fps=8)

İşte bazı örnek çıktılar:

  Kaynak Video Çıktı Video


    
      anime kızı, dans ediyor
      
      
    
    
      uzayda dans eden astronot

Işıklar ve kompozisyon Kaynak Video'dan aktarıldı.

Motion LoRA'ları Kullanma

Motion LoRAs, guoyww/animatediff-motion-adapter-v1-5-2 checkpoint'i ile çalışan LoRA koleksiyonudur. Bu LoRAs, animasyonlara belirli türlerde hareket eklemekten sorumludur.

import torch
from diffusers import AnimateDiffPipeline, DDIMScheduler, MotionAdapter
from diffusers.utils import export_to_gif

# Load the motion adapter
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2", dtype=torch.float16)
# load SD 1.5 based finetuned model
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffPipeline.from_pretrained(model_id, motion_adapter=adapter, dtype=torch.float16)
pipe.load_lora_weights(
    "guoyww/animatediff-motion-lora-zoom-out", adapter_name="zoom-out"
)

scheduler = DDIMScheduler.from_pretrained(
    model_id,
    subfolder="scheduler",
    clip_sample=False,
    beta_schedule="linear",
    timestep_spacing="linspace",
    steps_offset=1,
)
pipe.scheduler = scheduler

# enable memory savings
pipe.vae.enable_slicing()
pipe.enable_model_cpu_offload()

output = pipe(
    prompt=(
        "masterpiece, bestquality, highlydetailed, ultradetailed, sunset, "
        "orange sky, warm lighting, fishing boats, ocean waves seagulls, "
        "rippling water, wharf, silhouette, serene atmosphere, dusk, evening glow, "
        "golden hour, coastal landscape, seaside scenery"
    ),
    negative_prompt="bad quality, worse quality",
    num_frames=16,
    guidance_scale=7.5,
    num_inference_steps=25,
    generator=torch.Generator("cpu").manual_seed(42),
)
frames = output.frames[0]
export_to_gif(frames, "animation.gif")

    masterpiece, bestquality, sunset.
    
    <img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-zoom-out-lora.gif"
        alt="masterpiece, bestquality, sunset"
        style="width: 300px;" />

PEFT ile Motion LoRA'ları Kullanma

Ayrıca, Motion LoRA'ları birleştirerek daha karmaşık animasyonlar oluşturmak için PEFT arka ucundan da yararlanabilirsiniz.

Önce PEFT'yi şu komutla yükleyin

pip install peft

Ardından Motion LoRA'ları birleştirmek için aşağıdaki kodu kullanabilirsiniz.

import torch
from diffusers import AnimateDiffPipeline, DDIMScheduler, MotionAdapter
from diffusers.utils import export_to_gif

# Load the motion adapter
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2", dtype=torch.float16)
# load SD 1.5 based finetuned model
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffPipeline.from_pretrained(model_id, motion_adapter=adapter, dtype=torch.float16)

pipe.load_lora_weights(
    "diffusers/animatediff-motion-lora-zoom-out", adapter_name="zoom-out",
)
pipe.load_lora_weights(
    "diffusers/animatediff-motion-lora-pan-left", adapter_name="pan-left",
)
pipe.set_adapters(["zoom-out", "pan-left"], adapter_weights=[1.0, 1.0])

scheduler = DDIMScheduler.from_pretrained(
    model_id,
    subfolder="scheduler",
    clip_sample=False,
    timestep_spacing="linspace",
    beta_schedule="linear",
    steps_offset=1,
)
pipe.scheduler = scheduler

# enable memory savings
pipe.vae.enable_slicing()
pipe.enable_model_cpu_offload()

output = pipe(
    prompt=(
        "masterpiece, bestquality, highlydetailed, ultradetailed, sunset, "
        "orange sky, warm lighting, fishing boats, ocean waves seagulls, "
        "rippling water, wharf, silhouette, serene atmosphere, dusk, evening glow, "
        "golden hour, coastal landscape, seaside scenery"
    ),
    negative_prompt="bad quality, worse quality",
    num_frames=16,
    guidance_scale=7.5,
    num_inference_steps=25,
    generator=torch.Generator("cpu").manual_seed(42),
)
frames = output.frames[0]
export_to_gif(frames, "animation.gif")

    masterpiece, bestquality, sunset.
    
    <img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-zoom-out-pan-left-lora.gif"
        alt="masterpiece, bestquality, sunset"
        style="width: 300px;" />

FreeInit Kullanımı

Tianxing Wu, Chenyang Si, Yuming Jiang, Ziqi Huang, Ziwei Liu tarafından FreeInit: Video Difüzyon Modellerinde Başlatma Boşluğunu Köprüleme

FreeInit, video-diffusion-models kullanılarak üretilen videoların zamansal tutarlılığını ve genel kalitesini, ek bir eğitim gerektirmeden iyileştiren etkili bir yöntemdir. AnimateDiff, ModelScope, VideoCrafter ve çeşitli diğer video üretim modellerine çıkarım sırasında sorunsuz bir şekilde uygulanabilir ve latent-initialization gürültüsünü iteratif olarak rafine ederek çalışır. Daha fazla ayrıntı makalede bulunabilir.

Aşağıdaki örnek, FreeInit'in kullanımını göstermektedir.

import torch
from diffusers import MotionAdapter, AnimateDiffPipeline, DDIMScheduler
from diffusers.utils import export_to_gif

adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2")
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffPipeline.from_pretrained(model_id, motion_adapter=adapter, dtype=torch.float16).to("cuda")  # or "mps", "xpu", "cpu"
pipe.scheduler = DDIMScheduler.from_pretrained(
    model_id,
    subfolder="scheduler",
    beta_schedule="linear",
    clip_sample=False,
    timestep_spacing="linspace",
    steps_offset=1
)

# enable memory savings
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()

# enable FreeInit
# Refer to the enable_free_init documentation for a full list of configurable parameters
pipe.enable_free_init(method="butterworth", use_fast_sampling=True)

# run inference
output = pipe(
    prompt="a panda playing a guitar, on a boat, in the ocean, high quality",
    negative_prompt="bad quality, worse quality",
    num_frames=16,
    guidance_scale=7.5,
    num_inference_steps=20,
    generator=torch.Generator("cpu").manual_seed(666),
)

# disable FreeInit
pipe.disable_free_init()

frames = output.frames[0]
export_to_gif(frames, "animation.gif")

FreeInit aslında ücretsiz değildir - iyileştirilmiş kalite, ek hesaplama maliyeti karşılığında elde edilir. Etkinleştirildiğinde ayarlanan num_iters parametresine bağlı olarak birkaç kez ek örneklem gerektirir. use_fast_sampling parametresini True olarak ayarlamak genel performansı iyileştirebilir (use_fast_sampling=False olduğuna kıyasla daha düşük kalite maliyetiyle, ancak yine de standart video üretim modellerinden daha iyi sonuçlar verir).

Scheduler'lar kılavuzunu inceleyerek scheduler hızı ve kalitesi arasındaki ödünleşimi nasıl keşfedebileceğinizi öğrenin ve aynı bileşenleri birden fazla pipeline'a nasıl verimli bir şekilde yükleyebileceğinizi öğrenmek için pipeline'lar arasında bileşenleri yeniden kullanma bölümüne göz atın.

  FreeInit etkinleştirilmeden FreeInit etkinleştirilerek


    
      panda gitar çalıyor
      
      <img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-no-freeinit.gif"
          alt="panda playing a guitar"
          style="width: 300px;" />
    
    
      panda gitar çalıyor
      
      <img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-freeinit.gif"
          alt="panda playing a guitar"
          style="width: 300px;" />

AnimateLCM Kullanımı

AnimateLCM, görüntü üretimi önceliklerinin ve hareket üretimi önceliklerinin damıtımını birbirinden ayıran bir tutarlılık öğrenme stratejisi kullanılarak oluşturulmuş bir hareket modülü kontrol noktası ve bir LCM LoRA'dır.

import torch
from diffusers import AnimateDiffPipeline, LCMScheduler, MotionAdapter
from diffusers.utils import export_to_gif

adapter = MotionAdapter.from_pretrained("wangfuyun/AnimateLCM")
pipe = AnimateDiffPipeline.from_pretrained("emilianJR/epiCRealism", motion_adapter=adapter)
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config, beta_schedule="linear")

pipe.load_lora_weights("wangfuyun/AnimateLCM", weight_name="sd15_lora_beta.safetensors", adapter_name="lcm-lora")

pipe.vae.enable_slicing()
pipe.enable_model_cpu_offload()

output = pipe(
    prompt="A space rocket with trails of smoke behind it launching into space from the desert, 4k, high resolution",
    negative_prompt="bad quality, worse quality, low resolution",
    num_frames=16,
    guidance_scale=1.5,
    num_inference_steps=6,
    generator=torch.Generator("cpu").manual_seed(0),
)
frames = output.frames[0]
export_to_gif(frames, "animatelcm.gif")

    Bir uzay roketi, 4K.
    
    <img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatelcm-output.gif"
        alt="A space rocket, 4K"
        style="width: 300px;" />

AnimateLCM, mevcut Motion LoRAs ile de uyumludur.

import torch
from diffusers import AnimateDiffPipeline, LCMScheduler, MotionAdapter
from diffusers.utils import export_to_gif

adapter = MotionAdapter.from_pretrained("wangfuyun/AnimateLCM")
pipe = AnimateDiffPipeline.from_pretrained("emilianJR/epiCRealism", motion_adapter=adapter)
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config, beta_schedule="linear")

pipe.load_lora_weights("wangfuyun/AnimateLCM", weight_name="sd15_lora_beta.safetensors", adapter_name="lcm-lora")
pipe.load_lora_weights("guoyww/animatediff-motion-lora-tilt-up", adapter_name="tilt-up")

pipe.set_adapters(["lcm-lora", "tilt-up"], [1.0, 0.8])
pipe.vae.enable_slicing()
pipe.enable_model_cpu_offload()

output = pipe(
    prompt="A space rocket with trails of smoke behind it launching into space from the desert, 4k, high resolution",
    negative_prompt="bad quality, worse quality, low resolution",
    num_frames=16,
    guidance_scale=1.5,
    num_inference_steps=6,
    generator=torch.Generator("cpu").manual_seed(0),
)
frames = output.frames[0]
export_to_gif(frames, "animatelcm-motion-lora.gif")

    Bir uzay roketi, 4K.
    
    <img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatelcm-motion-lora.gif"
        alt="A space rocket, 4K"
        style="width: 300px;" />

FreeNoise Kullanımı

Haonan Qiu, Menghan Xia, Yong Zhang, Yingqing He, Xintao Wang, Ying Shan, Ziwei Liu tarafından FreeNoise: Tuning-Free Longer Video Diffusion via Noise Rescheduling

FreeNoise, kısa video üretim modelleriyle daha uzun videolar üretmek için gürültü yeniden zamanlama, kayan pencereler üzerinde zamansal dikkat ve gizli çerçevelerin ağırlıklı ortalamasını kullanan bir örneklemleme mekanizmasıdır. Ayrıca, ara değerli video üretimlerine izin vermek için birden fazla istemle de kullanılabilir. Daha fazla ayrıntı makalede mevcuttur.

FreeNoise ile kullanılabilen, şu anda desteklenen AnimateDiff pipeline'ları şunlardır:

FreeNoise'ı kullanmak için, pipeline'larınızı yükledikten sonra çıkarım koduna tek bir satır eklenmelidir.

+ pipe.enable_free_noise()

Bunun ardından, tek bir istem (prompt) kullanılabilir veya tamsayı-dize çiftlerinden oluşan bir sözlük olarak birden fazla istem geçirilebilir. Sözlüğün tamsayı anahtarları, o istemin etkisinin en yüksek olacağı kare indeksine karşılık gelir. Her kare indeksi tek bir dize istemine eşlenmelidir. Sözlükte geçirilmeyen ara kare indeksleri için istemler, geçirilen kare istemleri arasında interpolasyon yapılarak oluşturulur. Varsayılan olarak basit doğrusal interpolasyon kullanılır. Ancak, FreeNoise'i etkinleştirirken prompt_interpolation_callback parametresine bir geri çağrı (callback) ile bu davranışı özelleştirebilirsiniz.

Tam örnek:

import torch
from diffusers import AutoencoderKL, AnimateDiffPipeline, LCMScheduler, MotionAdapter
from diffusers.utils import export_to_video, load_image

# Load pipeline
dtype = torch.float16
motion_adapter = MotionAdapter.from_pretrained("wangfuyun/AnimateLCM", dtype=dtype)
vae = AutoencoderKL.from_pretrained("stabilityai/sd-vae-ft-mse", dtype=dtype)

pipe = AnimateDiffPipeline.from_pretrained("emilianJR/epiCRealism", motion_adapter=motion_adapter, vae=vae, dtype=dtype)
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config, beta_schedule="linear")

pipe.load_lora_weights(
    "wangfuyun/AnimateLCM", weight_name="AnimateLCM_sd15_t2v_lora.safetensors", adapter_name="lcm_lora"
)
pipe.set_adapters(["lcm_lora"], [0.8])

# Enable FreeNoise for long prompt generation
pipe.enable_free_noise(context_length=16, context_stride=4)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

# Can be a single prompt, or a dictionary with frame timesteps
prompt = {
    0: "A caterpillar on a leaf, high quality, photorealistic",
    40: "A caterpillar transforming into a cocoon, on a leaf, near flowers, photorealistic",
    80: "A cocoon on a leaf, flowers in the background, photorealistic",
    120: "A cocoon maturing and a butterfly being born, flowers and leaves visible in the background, photorealistic",
    160: "A beautiful butterfly, vibrant colors, sitting on a leaf, flowers in the background, photorealistic",
    200: "A beautiful butterfly, flying away in a forest, photorealistic",
    240: "A cyberpunk butterfly, neon lights, glowing",
}
negative_prompt = "bad quality, worst quality, jpeg artifacts"

# Run inference
output = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_frames=256,
    guidance_scale=2.5,
    num_inference_steps=10,
    generator=torch.Generator("cpu").manual_seed(0),
)

# Save video
frames = output.frames[0]
export_to_video(frames, "output.mp4", fps=16)

FreeNoise bellek tasarrufu

FreeNoise birden fazla çerçeveyi birlikte işlediğinden, modellemede normal tüketici GPU'larında mevcut olandan daha fazla bellek gerektiren bölümler bulunmaktadır. Belirlediğimiz ana bellek darboğazları, uzamsal ve zamansal dikkat blokları, yukarı ve aşağı örneklem blokları, resnet blokları ve ileri beslemeli katmanlardır. Bu blokların çoğu yalnızca kanal/gömme boyutu üzerinde etkili bir şekilde çalıştığından, parti (batch) boyutları boyunca parçalı çıkarım (chunked inference) yapılabilir. AnimateDiff'te parti boyutu doğası gereği uzamsal ([B x F, H x W, C]) veya zamansal (B x H x W, F, C) niteliktedir (dikkat edin, bu sezgisel olarak ters gelebilir, ancak uzamsal bloklar B x F boyutu boyunca, zamansal bloklar ise B x H x W boyutu boyunca işleme yaptığından, buradaki parti boyutları doğrudur). Herhangi bir boyut boyunca parçalama yapmayı ve çıkarım gerçekleştirmeyi kolaylaştıran bir SplitInferenceModule sunuyoruz. Bu, çok fazla bellek tasarrufu sağlar ancak çıkarım için daha fazla zaman gerektirmesi maliyetiyle gelir.

# Load pipeline and adapters
# ...
+ pipe.enable_free_noise_split_inference()
+ pipe.unet.enable_forward_chunking(16)

pipe.enable_free_noise_split_inference metodunun çağrısı iki parametre kabul eder: spatial_split_size (varsayılan 256) ve temporal_split_size (varsayılan 16). Bunlar, kullanılabilir VRAM miktarınıza göre yapılandırılabilir. Daha düşük bir bölme boyutu, daha düşük bellek kullanımı ancak daha yavaş çıkarım sonucunu verir; daha büyük bir bölme boyutu ise daha fazla bellek maliyeti karşılığında daha hızlı çıkarım sağlar.

MotionAdapter ile `from_single_file` kullanımı

diffusers>=0.30.0, MotionAdapter içindeki AnimateDiff checkpoint'lerini from_single_file aracılığıyla orijinal formatlarında yüklemeyi destekler

from diffusers import MotionAdapter

ckpt_path = "https://huggingface.co/Lightricks/LongAnimateDiff/blob/main/lt_long_mm_32_frames.ckpt"

adapter = MotionAdapter.from_single_file(ckpt_path, dtype=torch.float16)
pipe = AnimateDiffPipeline.from_pretrained("emilianJR/epiCRealism", motion_adapter=adapter)

AnimateDiffPipeline[[diffusers.AnimateDiffPipeline]]

diffusers.AnimateDiffPipeline[[diffusers.AnimateDiffPipeline]]

diffusers.AnimateDiffPipeline(vae: AutoencoderKL, text_encoder: CLIPTextModel, tokenizer: CLIPTokenizer, unet: diffusers.models.unets.unet_2d_condition.UNet2DConditionModel | diffusers.models.unets.unet_motion_model.UNetMotionModel, motion_adapter: MotionAdapter, scheduler: diffusers.schedulers.scheduling_ddim.DDIMScheduler | diffusers.schedulers.scheduling_pndm.PNDMScheduler | diffusers.utils.dummy_torch_and_scipy_objects.LMSDiscreteScheduler | diffusers.schedulers.scheduling_euler_discrete.EulerDiscreteScheduler | diffusers.schedulers.scheduling_euler_ancestral_discrete.EulerAncestralDiscreteScheduler | diffusers.schedulers.scheduling_dpmsolver_multistep.DPMSolverMultistepScheduler, feature_extractor: CLIPImageProcessorPil = None, image_encoder: CLIPVisionModelWithProjection = None)

Kaynak

Parametreler:

vae (AutoencoderKL) : Görüntüleri gizil (latent) temsillere kodlamak ve bu temsillerden görüntülere çözmek için kullanılan Varyasyonel Oto-Kodlayıcı (VAE) Modeli.

text_encoder (CLIPTextModel) : Donmuş metin kodlayıcı (clip-vit-large-patch14).

tokenizer (CLIPTokenizer) : Metni tokenize etmek için bir CLIPTokenizer.

unet (UNet2DConditionModel) : Kodlanmış video latentlerini gürültüden arındırmak için bir UNetMotionModel oluşturmak üzere kullanılan bir UNet2DConditionModel.

motion_adapter (MotionAdapter) : Kodlanmış video latentlerini gürültüden arındırmak için unet ile birlikte kullanılacak bir MotionAdapter.

scheduler (SchedulerMixin) : Kodlanmış görüntü latentlerini gürültüden arındırmak için unet ile birlikte kullanılacak bir zamanlayıcı. DDIMScheduler, LMSDiscreteScheduler veya PNDMScheduler olabilir.

Metinden videoya üretim için Pipeline.

Bu model DiffusionPipeline sınıfından devralınmıştır. Tüm pipeline'lar için uygulanan genel yöntemlerin (indirme, kaydetme, belirli bir cihazda çalıştırma vb.) belgelerini üst sınıfın dokümantasyonunda bulabilirsiniz.

Pipeline ayrıca aşağıdaki yükleme yöntemlerini devralır:

Metinsel tersine çevirme gömme yüklemek için load_textual_inversion()
LoRA ağırlıklarını yüklemek için load_lora_weights()
LoRA ağırlıklarını kaydetmek için save_lora_weights()
IP Adapter'ları yüklemek için load_ip_adapter()

call[[diffusers.AnimateDiffPipeline.call]]

__call__(prompt: str | list[str] | None = None, num_frames: int | None = 16, height: int | None = None, width: int | None = None, num_inference_steps: int = 50, guidance_scale: float = 7.5, negative_prompt: str | list[str] | None = None, num_videos_per_prompt: int | None = 1, eta: float = 0.0, generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = None, latents: typing.Optional[torch.Tensor] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, ip_adapter_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor], NoneType] = None, ip_adapter_image_embeds: list[torch.Tensor] | None = None, output_type: str | None = 'pil', return_dict: bool = True, cross_attention_kwargs: dict[str, typing.Any] | None = None, clip_skip: int | None = None, callback_on_step_end: typing.Optional[typing.Callable[[int, int], NoneType]] = None, callback_on_step_end_tensor_inputs: list = ['latents'], decode_chunk_size: int = 16, **kwargs)

Kaynak

Parametreler:

prompt (str veya list[str], isteğe bağlı) : Görsel üretimi yönlendirmek için istem veya istemler. Tanımlanmadıysa, prompt_embeds parametresini iletmeniz gerekir.

height (int, isteğe bağlı, varsayılan self.unet.config.sample_size * self.vae_scale_factor) : Üretilen videonun piksel cinsinden yüksekliği.

width (int, isteğe bağlı, varsayılan self.unet.config.sample_size * self.vae_scale_factor) : Üretilen videonun piksel cinsinden genişliği.

num_frames (int, isteğe bağlı, varsayılan 16) : Üretilen video karelerinin sayısı. Varsayılan olarak 16 karedir; saniyede 8 kare hızında bu, 2 saniyelik bir videoya karşılık gelir.

num_inference_steps (int, isteğe bağlı, varsayılan 50) : Gürültü azaltma adım sayısı. Daha fazla gürültü azaltma adımı genellikle daha yavaş çıkarım pahasına daha yüksek kaliteli videolar sağlar.

guidance_scale (float, opsiyonel, varsayılan 7.5) : Daha yüksek bir guidance scale değeri, modelin prompt ile yakından ilişkili görseller üretmesini teşvik eder; bunun bedeli ise daha düşük görsel kalitedir. Guidance scale, guidance_scale > 1 olduğunda etkinleşir.

negative_prompt (str veya list[str], isteğe bağlı) : Görsel üretimde nelerin dahil edilmeyeceğini yönlendirmek için istem veya istemler. Tanımlanmadıysa bunun yerine negative_prompt_embeds parametresini geçmeniz gerekir. Yönlendirme kullanılmadığında (guidance_scale < 1) yok sayılır.

num_videos_per_prompt (int, isteğe bağlı, varsayılan 1) : Her istem için üretilecek video sayısı.

eta (float, isteğe bağlı, varsayılan 0.0) : DDIM makalesindeki eta (η) parametresine karşılık gelir. Yalnızca DDIMScheduler için geçerlidir ve diğer zamanlayıcılarda yok sayılır.

generator (torch.Generator veya list[torch.Generator], isteğe bağlı) : Üretimi deterministik hale getirmek için bir torch.Generator.

latents (torch.Tensor, isteğe bağlı) : Video üretimi için girdi olarak kullanılacak, Gauss dağılımından örneklenen önceden oluşturulmuş gürültülü latentler. Farklı istemlerle aynı üretimi ayarlamak için kullanılabilir. Sağlanmazsa, sağlanan rastgele generator kullanılarak örneklem yoluyla bir latent tensörü oluşturulur. Latentlerin şekli (batch_size, num_channel, num_frames, height, width) olmalıdır.

prompt_embeds (torch.Tensor, isteğe bağlı) : Önceden oluşturulmuş metin gömme değerleri. Metin girdilerini (istek ağırlıklandırması) kolayca ayarlamak için kullanılabilir. Sağlanmazsa, metin gömme değerleri prompt girdi argümanından üretilir.

negative_prompt_embeds (torch.Tensor, isteğe bağlı) : Ön oluşturulmuş negatif metin gömme değerleri. Metin girdilerini (istek ağırlıklandırması) kolayca ayarlamak için kullanılabilir. Sağlanmazsa, negative_prompt_embeds, negative_prompt girdi argümanından üretilir.

ip_adapter_image : (PipelineImageInput, isteğe bağlı): IP Adapters ile çalışmak için isteğe bağlı görüntü girişi.

ip_adapter_image_embeds (list[torch.Tensor], isteğe bağlı) : IP-Adapter için önceden oluşturulmuş gömme vektörleri. IP-adapter sayısı ile aynı uzunlukta bir liste olmalıdır. Her öğe, (batch_size, num_images, emb_dim) biçiminde bir tensör olmalıdır. do_classifier_free_guidance True olarak ayarlandıysa negatif gömme vektörünü içermelidir. Sağlanmazsa, gömme vektörleri ip_adapter_image girdi argümanından hesaplanır.

output_type (str, isteğe bağlı, varsayılan "pil") : Üretilen videonun çıktı biçimi. torch.Tensor, PIL.Image veya np.array arasında seçim yapın.

return_dict (bool, isteğe bağlı, varsayılan True) : Düz bir tuple yerine ~pipelines.text_to_video_synthesis.TextToVideoSDPipelineOutput döndürülecek mi?

cross_attention_kwargs (dict, isteğe bağlı) : Belirtilirse, self.processor içinde tanımlanan AttentionProcessor'ye aktarılan bir kwargs sözlüğü.

clip_skip (int, isteğe bağlı) : Prompt gömme hesaplamaları sırasında CLIP'ten atlanacak katman sayısı. 1 değeri, prompt gömme hesaplamaları için son öncesi katmanın çıktısının kullanılacağı anlamına gelir.

callback_on_step_end (Callable, isteğe bağlı) : Çıkarım sırasında her gürültü azaltma adımının sonunda çağrılan bir işlev. İşlev aşağıdaki argümanlarla çağrılır: callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict). callback_kwargs, callback_on_step_end_tensor_inputs tarafından belirtilen tüm tensörlerin listesini içerir.

callback_on_step_end_tensor_inputs (list, isteğe bağlı) : callback_on_step_end işlevi için girdi tensörlerinin listesi. Listede belirtilen tensörler, callback_kwargs argümanı olarak geçirilir. Yalnızca pipeline sınıfınızın ._callback_tensor_inputs özniteliğinde listelenen değişkenleri dahil edebilirsiniz.

decode_chunk_size (int, varsayılan 16) : decode_latents metodu çağrılırken bir seferde çözümlenecek kare sayısı.

Dönüş: AnimateDiffPipelineOutput veya tuple

return_dict True ise AnimateDiffPipelineOutput döndürülür, aksi halde ilk öğesi üretilen karelerin listesini içeren bir tuple döndürülür.

Üretim için pipeline'ın çağrı fonksiyonu.

Örnekler:

>>> import torch
>>> from diffusers import MotionAdapter, AnimateDiffPipeline, DDIMScheduler
>>> from diffusers.utils import export_to_gif

>>> adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2")
>>> pipe = AnimateDiffPipeline.from_pretrained("frankjoshua/toonyou_beta6", motion_adapter=adapter)
>>> pipe.scheduler = DDIMScheduler(beta_schedule="linear", steps_offset=1, clip_sample=False)
>>> output = pipe(prompt="A corgi walking in the park")
>>> frames = output.frames[0]
>>> export_to_gif(frames, "animation.gif")

encode_prompt[[diffusers.AnimateDiffPipeline.encode_prompt]]

encode_prompt(prompt, device, num_images_per_prompt, do_classifier_free_guidance, negative_prompt = None, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, lora_scale: float | None = None, clip_skip: int | None = None)

Kaynak

Parametreler:

prompt (str veya list[str], isteğe bağlı) : kodlanacak istem

device : (torch.device): torch cihazı

num_images_per_prompt (int) : her istem için oluşturulacak görsel sayısı

do_classifier_free_guidance (bool) : sınıflandırıcı serbest yönlendirmenin (classifier free guidance) kullanılıp kullanılmayacağı

negative_prompt (str veya list[str], isteğe bağlı) : Görsel üretimi yönlendirmemek için kullanılan istem veya istemler. Tanımlanmazsa, bunun yerine negative_prompt_embeds parametresinin geçirilmesi gerekir. Yönlendirme kullanılmadığında (yani guidance_scale değeri 1'den küçükse) yok sayılır.

prompt_embeds (torch.Tensor, isteğe bağlı) : Ön oluşturulmuş metin gömme değerleri. Metin girdilerini kolayca ayarlamak için kullanılabilir, ör. istem ağırlıklandırması. Sağlanmazsa, metin gömme değerleri prompt girdi argümanından oluşturulur.

negative_prompt_embeds (torch.Tensor, isteğe bağlı) : Ön oluşturulmuş negatif metin gömme değerleri. Metin girdilerini kolayca ayarlamak için kullanılabilir, ör. istem ağırlıklandırması. Sağlanmazsa, negative_prompt_embeds, negative_prompt girdi argümanından oluşturulur.

lora_scale (float, isteğe bağlı) : LoRA katmanları yüklendiyse, metin kodlayıcısının tüm LoRA katmanlarına uygulanacak bir LoRA ölçeği.

clip_skip (int, isteğe bağlı) : Prompt gömme hesaplamaları sırasında CLIP'ten atlanacak katman sayısı. 1 değeri, prompt gömme hesaplamaları için son öncesi katmanın çıktısının kullanılacağı anlamına gelir.

İsteği metin kodlayıcı gizli durumlarına kodlar.

AnimateDiffControlNetPipeline[[diffusers.AnimateDiffControlNetPipeline]]

diffusers.AnimateDiffControlNetPipeline[[diffusers.AnimateDiffControlNetPipeline]]

diffusers.AnimateDiffControlNetPipeline(vae: AutoencoderKL, text_encoder: CLIPTextModel, tokenizer: CLIPTokenizer, unet: diffusers.models.unets.unet_2d_condition.UNet2DConditionModel | diffusers.models.unets.unet_motion_model.UNetMotionModel, motion_adapter: MotionAdapter, controlnet: diffusers.models.controlnets.controlnet.ControlNetModel | list[diffusers.models.controlnets.controlnet.ControlNetModel] | tuple[diffusers.models.controlnets.controlnet.ControlNetModel] | diffusers.models.controlnets.multicontrolnet.MultiControlNetModel, scheduler: KarrasDiffusionSchedulers, feature_extractor: transformers.models.clip.image_processing_pil_clip.CLIPImageProcessorPil | None = None, image_encoder: transformers.models.clip.modeling_clip.CLIPVisionModelWithProjection | None = None)

Kaynak

Parametreler:

vae (AutoencoderKL) : Görüntüleri gizil (latent) temsillere kodlamak ve bu temsillerden görüntülere çözmek için kullanılan Varyasyonel Oto-Kodlayıcı (VAE) Modeli.

text_encoder (CLIPTextModel) : Donmuş metin kodlayıcı (clip-vit-large-patch14).

tokenizer (CLIPTokenizer) : Metni tokenize etmek için bir CLIPTokenizer.

unet (UNet2DConditionModel) : Kodlanmış video latentlerini gürültüden arındırmak için bir UNetMotionModel oluşturmak üzere kullanılan bir UNet2DConditionModel.

motion_adapter (MotionAdapter) : Kodlanmış video latentlerini gürültüden arındırmak için unet ile birlikte kullanılacak bir MotionAdapter.

scheduler (SchedulerMixin) : Kodlanmış görüntü latentlerini gürültüden arındırmak için unet ile birlikte kullanılacak bir zamanlayıcı. DDIMScheduler, LMSDiscreteScheduler veya PNDMScheduler olabilir.

ControlNet yönlendirmesiyle metinden videoya üretim hattı.

Bu model DiffusionPipeline sınıfından devralınmıştır. Tüm pipeline'lar için uygulanan genel yöntemlerin (indirme, kaydetme, belirli bir cihazda çalıştırma vb.) belgelerini üst sınıfın dokümantasyonunda bulabilirsiniz.

Pipeline ayrıca aşağıdaki yükleme yöntemlerini devralır:

Metinsel tersine çevirme gömme yüklemek için load_textual_inversion()
LoRA ağırlıklarını yüklemek için load_lora_weights()
LoRA ağırlıklarını kaydetmek için save_lora_weights()
IP Adapter'ları yüklemek için load_ip_adapter()

call[[diffusers.AnimateDiffControlNetPipeline.call]]

__call__(prompt: str | list[str] = None, num_frames: int | None = 16, height: int | None = None, width: int | None = None, num_inference_steps: int = 50, guidance_scale: float = 7.5, negative_prompt: str | list[str] | None = None, num_videos_per_prompt: int | None = 1, eta: float = 0.0, generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = None, latents: typing.Optional[torch.Tensor] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, ip_adapter_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor], NoneType] = None, ip_adapter_image_embeds: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor], NoneType] = None, conditioning_frames: list[typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]] | None = None, output_type: str | None = 'pil', return_dict: bool = True, cross_attention_kwargs: dict[str, typing.Any] | None = None, controlnet_conditioning_scale: float | list[float] = 1.0, guess_mode: bool = False, control_guidance_start: float | list[float] = 0.0, control_guidance_end: float | list[float] = 1.0, clip_skip: int | None = None, callback_on_step_end: typing.Optional[typing.Callable[[int, int], NoneType]] = None, callback_on_step_end_tensor_inputs: list = ['latents'], decode_chunk_size: int = 16)