Diffusers documentation
SkyReels-V2: Sınırsız uzunlukta film üretici modeli
SkyReels-V2: Sınırsız uzunlukta film üretici modeli
Skywork AI'den SkyReels Ekibi tarafından geliştirilen SkyReels-V2.
Video üretimindeki son gelişmeler, difüzyon modelleri ve otoregresif çerçeveler tarafından yönlendirilmektedir; ancak istem uyumu, görsel kalite, hareket dinamikleri ve süre arasında denge kurma konusunda kritik zorluklar devam etmektedir: zaman içindeki görsel kaliteyi artırmak için hareket dinamiklerinden ödün verilmesi, çözünürlüğe öncelik vermek için video süresinin kısıtlanması (5-10 saniye) ve genel amaçlı MLLM'lerin sinematik grameri (örneğin çekim kompozisyonu, oyuncu ifadeleri ve kamera hareketleri) yorumlayamamasından kaynaklanan yetersiz çekim farkındalıklı üretim. Bu iç içe geçmiş kısıtlamalar, gerçekçi uzun formatlı sentezi ve profesyonel film tarzı üretimi engellemektedir. Bu kısıtlamaları ele almak için, Çok Modlu Büyük Dil Modeli (MLLM), Çok Aşamalı Ön Eğitim, Pekiştirmeli Öğrenme ve Difüzyon Zorlama Çerçevesini birleştiren, Sonsuz Uzunlukta Film Üretici Modeli olan SkyReels-V2'yi öneriyoruz. Öncelikle, Çok Modlu LLM'nin genel açıklamalarını ve alt uzman modellerin ayrıntılı çekim dilini birleştiren kapsamlı bir video yapısal temsili tasarlıyoruz. İnsan etiketlemesiyle desteklenerek, video verilerini verimli bir şekilde etiketlemek için SkyCaptioner-V1 adlı birleşik bir Video Açıklayıcı eğitiyoruz. İkinci olarak, temel video üretimi için kademeli çözünürlük ön eğitimi kuruyoruz; ardından dört aşamalı eğitim sonrası iyileştirme uyguluyoruz: Başlangıç kavram dengesine sahip Denetimli İnce Ayar (SFT) temel kaliteyi iyileştirir; insan etiketli ve sentetik bozulma verileriyle hareket odaklı Pekiştirmeli Öğrenme (RL) eğitimi dinamik artefaktları ele alır; azalmayan gürültü zaman çizelgeli difüzyon zorlama çerçevemiz, verimli bir arama uzayında uzun video sentezini mümkün kılar; son yüksek kaliteli SFT görsel sadakati inceltir. Tüm kod ve modeller bu https URL adresinde mevcuttur.
Tüm orijinal SkyReels-V2 checkpoint'lerini Skywork organizasyonu altında bulabilirsiniz.
Diffusers'da aşağıdaki SkyReels-V2 modelleri desteklenmektedir:
- SkyReels-V2 DF 1.3B - 540P
- SkyReels-V2 DF 14B - 540P
- SkyReels-V2 DF 14B - 720P
- SkyReels-V2 T2V 14B - 540P
- SkyReels-V2 T2V 14B - 720P
- SkyReels-V2 I2V 1.3B - 540P
- SkyReels-V2 I2V 14B - 540P
- SkyReels-V2 I2V 14B - 720P
Bu model M. Tolga Cangöz tarafından katkıda bulunmuştur.
Daha fazla video üretimi örneği için sağ kenar çubuğundaki SkyReels-V2 modellerine tıklayın.
Görsel Bir Gösterim
Aşağıdaki örnek şu parametrelere sahiptir:
base_num_frames=97num_frames=97num_inference_steps=30ar_step=5causal_block_size=5
vae_scale_factor_temporal=4 ile, aşağıdaki hesaplamaya göre 5 blok ve her birinde 5 kare beklenir:
num_latent_frames: (97-1)//vae_scale_factor_temporal+1 = 25 frames -> 5 blocks of 5 frames each
Ve gizli uzaydaki maksimum bağlam uzunluğu base_num_latent_frames ile hesaplanır:
base_num_latent_frames = (97-1)//vae_scale_factor_temporal+1 = 25 -> 25//5 = 5 blocks
Asenkron İşleme Zaman Çizelgesi:
┌─────────────────────────────────────────────────────────────────┐ │ Steps: 1 6 11 16 21 26 31 36 41 46 50 │ │ Block 1: [■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■] │ │ Block 2: [■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■] │ │ Block 3: [■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■] │ │ Block 4: [■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■] │ │ Block 5: [■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■] │ └─────────────────────────────────────────────────────────────────┘
Uzun Videolar İçin (num_frames > base_num_frames): base_num_frames, uzun videoların işlenmesinde “kayan pencere boyutu” olarak görev yapar.
Örnek: 257 karelik video, base_num_frames=97, overlap_history=17
┌──── Iteration 1 (frames 1-97) ────┐
│ Processing window: 97 frames │ → 5 blocks,
│ Generates: frames 1-97 │ async processing
└───────────────────────────────────┘
┌────── Iteration 2 (frames 81-177) ──────┐
│ Processing window: 97 frames │
│ Overlap: 17 frames (81-97) from prev │ → 5 blocks,
│ Generates: frames 98-177 │ async processing
└─────────────────────────────────────────┘
┌────── Iteration 3 (frames 161-257) ──────┐
│ Processing window: 97 frames │
│ Overlap: 17 frames (161-177) from prev │ → 5 blocks,
│ Generates: frames 178-257 │ async processing
└──────────────────────────────────────────┘Her yineleme, kendi 5 bloklarıyla asenkron işlemleri bağımsız olarak çalıştırır. base_num_frames şunu kontrol eder:
- Bellek kullanımı (daha büyük pencere = daha fazla VRAM)
- Model bağlam uzunluğu (eğitim kısıtlamalarıyla eşleşmelidir)
- İterasyon başına blok sayısı (
base_num_latent_frames // causal_block_size)
Her blok, gürültü azaltmayı tamamlamak için 30 adım alır.
N bloğu şu adımda başlar: 1 + (N-1) x ar_step Toplam adım: 30 + (5-1) x 5 = 50 adım
Eşzamanlı mod (ar_step=0) tüm blokları/kareleri aynı anda işler:
┌──────────────────────────────────────────────┐ │ Steps: 1 ... 30 │ │ All blocks: [■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■] │ └──────────────────────────────────────────────┘
Toplam adım: 30 adım
Asenkron işleme için adım matrisinin nasıl oluşturulduğuna dair bir örnek:
Parametreler verildiğinde: (num_inference_steps=30, flow_shift=8, num_frames=97, ar_step=5, causal_block_size=5)
- num_latent_frames = (97 frames - 1) // (4 temporal downsampling) + 1 = 25
- step_template = [999, 995, 991, 986, 980, 975, 969, 963, 956, 948,
941, 932, 922, 912, 901, 888, 874, 859, 841, 822,
799, 773, 743, 708, 666, 615, 551, 470, 363, 216]Algoritma, aşağıdaki koşulları sağlayan 50x25 boyutunda bir step_matrix oluşturur:
- Row 1: [999×5, 999×5, 999×5, 999×5, 999×5]
- Row 2: [995×5, 999×5, 999×5, 999×5, 999×5]
- Row 3: [991×5, 999×5, 999×5, 999×5, 999×5]
- ...
- Row 7: [969×5, 995×5, 999×5, 999×5, 999×5]
- ...
- Row 21: [799×5, 888×5, 941×5, 975×5, 999×5]
- ...
- Row 35: [ 0×5, 216×5, 666×5, 822×5, 901×5]
- ...
- Row 42: [ 0×5, 0×5, 0×5, 551×5, 773×5]
- ...
- Row 50: [ 0×5, 0×5, 0×5, 0×5, 216×5]Ayrıntılı Satır 6 Analizi:
- step_matrix[5]: [ 975×5, 999×5, 999×5, 999×5, 999×5]
- step_index[5]: [ 6×5, 1×5, 0×5, 0×5, 0×5]
- step_update_mask[5]: [True×5, True×5, False×5, False×5, False×5]
- valid_interval[5]: (0, 25)Temel Desen: i bloğu, i-1 bloğundan tam olarak ar_step=5 zaman adımı geride kalır; bu da sonraki blokların daha temiz önceki bloklara koşullanmasını sağlayan kademeli “diffusion forcing” etkisini oluşturur.
Metinden Video Üretimi
Aşağıdaki örnek, metinden video üretmenin nasıl yapıldığını göstermektedir.
Çeşitli bellek tasarrufu teknikleri hakkında daha fazla ayrıntı için Bellek kullanımını azaltma kılavuzuna bakın.
Orijinal depodan:
Asenkron çıkarımı etkinleştirmek için —ar_step 5 kullanabilirsiniz. Asenkron çıkarım sırasında —causal_block_size 5 önerilirken, senkron üretim için bu parametrenin ayarlanmaması gerekir… Asenkron çıkarım, tüm diziyi difüzyona uğratmak için daha fazla adım gerektireceğinden, senkron moddan DAHA YAVAŞ olacaktır. Deneylerimizde, asenkron çıkarımın talimat takibi ve görsel tutarlılık performansını iyileştirebileceği görülmüştür.
import torch
from diffusers import AutoModel, SkyReelsV2DiffusionForcingPipeline, UniPCMultistepScheduler
from diffusers.utils import export_to_video
model_id = "Skywork/SkyReels-V2-DF-1.3B-540P-Diffusers"
vae = AutoModel.from_pretrained(model_id, subfolder="vae", dtype=torch.float32)
pipeline = SkyReelsV2DiffusionForcingPipeline.from_pretrained(
model_id,
vae=vae,
dtype=torch.bfloat16,
)
pipeline.to("cuda") # or "mps", "xpu", "cpu"
flow_shift = 8.0 # 8.0 for T2V, 5.0 for I2V
pipeline.scheduler = UniPCMultistepScheduler.from_config(pipeline.scheduler.config, flow_shift=flow_shift)
prompt = "A cat and a dog baking a cake together in a kitchen. The cat is carefully measuring flour, while the dog is stirring the batter with a wooden spoon. The kitchen is cozy, with sunlight streaming through the window."
output = pipeline(
prompt=prompt,
num_inference_steps=30,
height=544, # 720 for 720P
width=960, # 1280 for 720P
num_frames=97,
base_num_frames=97, # 121 for 720P
ar_step=5, # Controls asynchronous inference (0 for synchronous mode)
causal_block_size=5, # Number of frames in each block for asynchronous processing
overlap_history=None, # Number of frames to overlap for smooth transitions in long videos; 17 for long video generations
addnoise_condition=20, # Improves consistency in long video generation
).frames[0]
export_to_video(output, "video.mp4", fps=24, quality=8)İlk-Son-Kare-Video Üretimi
Aşağıdaki örnek, bir metin açıklaması, bir başlangıç karesi ve bir bitiş karesi kullanarak video üretmek için görüntüden video hattının (pipeline) nasıl kullanılacağını göstermektedir.
import numpy as np
import torch
import torchvision.transforms.functional as TF
from diffusers import AutoencoderKLWan, SkyReelsV2DiffusionForcingImageToVideoPipeline, UniPCMultistepScheduler
from diffusers.utils import export_to_video, load_image
model_id = "Skywork/SkyReels-V2-DF-1.3B-720P-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", dtype=torch.float32)
pipeline = SkyReelsV2DiffusionForcingImageToVideoPipeline.from_pretrained(
model_id, vae=vae, dtype=torch.bfloat16
)
pipeline.to("cuda") # or "mps", "xpu", "cpu"
flow_shift = 5.0 # 8.0 for T2V, 5.0 for I2V
pipeline.scheduler = UniPCMultistepScheduler.from_config(pipeline.scheduler.config, flow_shift=flow_shift)
first_frame = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/flf2v_input_first_frame.png")
last_frame = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/flf2v_input_last_frame.png")
def aspect_ratio_resize(image, pipeline, max_area=720 * 1280):
aspect_ratio = image.height / image.width
mod_value = pipeline.vae_scale_factor_spatial * pipeline.transformer.config.patch_size[1]
height = round(np.sqrt(max_area * aspect_ratio)) // mod_value * mod_value
width = round(np.sqrt(max_area / aspect_ratio)) // mod_value * mod_value
image = image.resize((width, height))
return image, height, width
def center_crop_resize(image, height, width):
# Calculate resize ratio to match first frame dimensions
resize_ratio = max(width / image.width, height / image.height)
# Resize the image
width = round(image.width * resize_ratio)
height = round(image.height * resize_ratio)
size = [width, height]
image = TF.center_crop(image, size)
return image, height, width
first_frame, height, width = aspect_ratio_resize(first_frame, pipeline)
if last_frame.size != first_frame.size:
last_frame, _, _ = center_crop_resize(last_frame, height, width)
prompt = "CG animation style, a small blue bird takes off from the ground, flapping its wings. The bird's feathers are delicate, with a unique pattern on its chest. The background shows a blue sky with white clouds under bright sunshine. The camera follows the bird upward, capturing its flight and the vastness of the sky from a close-up, low-angle perspective."
output = pipeline(
image=first_frame, last_image=last_frame, prompt=prompt, height=height, width=width, guidance_scale=5.0
).frames[0]
export_to_video(output, "video.mp4", fps=24, quality=8)Video'dan Video Üretimi
SkyReelsV2DiffusionForcingVideoToVideoPipeline, verilen bir videoyu uzatır.
import numpy as np
import torch
import torchvision.transforms.functional as TF
from diffusers import AutoencoderKLWan, SkyReelsV2DiffusionForcingVideoToVideoPipeline, UniPCMultistepScheduler
from diffusers.utils import export_to_video, load_video
model_id = "Skywork/SkyReels-V2-DF-1.3B-720P-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", dtype=torch.float32)
pipeline = SkyReelsV2DiffusionForcingVideoToVideoPipeline.from_pretrained(
model_id, vae=vae, dtype=torch.bfloat16
)
pipeline.to("cuda") # or "mps", "xpu", "cpu"
flow_shift = 5.0 # 8.0 for T2V, 5.0 for I2V
pipeline.scheduler = UniPCMultistepScheduler.from_config(pipeline.scheduler.config, flow_shift=flow_shift)
video = load_video("input_video.mp4")
prompt = "CG animation style, a small blue bird takes off from the ground, flapping its wings. The bird's feathers are delicate, with a unique pattern on its chest. The background shows a blue sky with white clouds under bright sunshine. The camera follows the bird upward, capturing its flight and the vastness of the sky from a close-up, low-angle perspective."
output = pipeline(
video=video, prompt=prompt, height=720, width=1280, guidance_scale=5.0, overlap_history=17,
num_inference_steps=30, num_frames=257, base_num_frames=121#, ar_step=5, causal_block_size=5,
).frames[0]
export_to_video(output, "video.mp4", fps=24, quality=8)
# Total frames will be the number of frames of the given video + 257Notlar
- SkyReels-V2, load_lora_weights() ile LoRA'ları destekler.
SkyReelsV2Pipeline ve SkyReelsV2ImageToVideoPipeline, Diffusion Forcing çerçevesi uygulanmadan da kullanılabilir.
SkyReelsV2DiffusionForcingPipeline
sınıf diffusers.SkyReelsV2DiffusionForcingPipeline
< source >( tokenizer: AutoTokenizertext_encoder: transformers.models.t5.modeling_t5.T5EncoderModel | transformers.models.umt5.modeling_umt5.UMT5EncoderModeltransformer: SkyReelsV2Transformer3DModelvae: AutoencoderKLWanscheduler: UniPCMultistepScheduler )
Parametreler
- tokenizer (
AutoTokenizer) — T5'den gelen Tokenizer, özellikle google/umt5-xxl varyantı. - text_encoder (
UMT5EncoderModel) — T5, özellikle google/umt5-xxl varyantı. - transformer (SkyReelsV2Transformer3DModel) — Kodlanmış görüntü latentlerini gürültüden arındırmak için kullanılan Koşullu Transformer.
- scheduler (UniPCMultistepScheduler) —
Kodlanmış görüntü latentlerini gürültüden arındırmak için
transformerile birlikte kullanılacak bir zamanlayıcı. - vae (AutoencoderKLWan) — Video'ları latent temsillere kodlamak ve bu temsillerden çözmek için kullanılan Varyasyonel Oto-Kodlayıcı (VAE) Modeli.
Diffusion forcing kullanarak SkyReels-V2 ile Metinden Videoya (t2v) üretim hattı.
Bu model DiffusionPipeline sınıfından devralınmıştır. Tüm pipeline'lar için uygulanan genel yöntemlerin (indirme, kaydetme, belirli bir cihazda çalıştırma vb.) belgelerini üst sınıfın dokümantasyonunda bulabilirsiniz.
__call__
< source >( prompt: str | list[str]negative_prompt: str | list[str] = Noneheight: int = 544width: int = 960num_frames: int = 97num_inference_steps: int = 50guidance_scale: float = 6.0num_videos_per_prompt: int | None = 1generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneprompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Noneoutput_type: str | None = 'np'return_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = Nonecallback_on_step_end: typing.Union[typing.Callable[[int, int], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = Nonecallback_on_step_end_tensor_inputs: list = ['latents']max_sequence_length: int = 512overlap_history: int | None = Noneaddnoise_condition: float = 0base_num_frames: int = 97ar_step: int = 0causal_block_size: int | None = Nonefps: int = 24 ) → ~SkyReelsV2PipelineOutput or tuple
Parametreler
- prompt (
strveyalist[str], isteğe bağlı) — Görsel üretimi yönlendirmek için istem veya istemler. Tanımlanmadıysa bunun yerineprompt_embedsgeçirilmelidir. - negative_prompt (
strveyalist[str], isteğe bağlı) — Görsel üretimini yönlendirmemek için kullanılan istem veya istemler. Tanımlanmamışsa, bunun yerinenegative_prompt_embedsparametresinin geçirilmesi gerekir. Yönlendirme kullanılmadığında (yaniguidance_scaledeğeri1'den küçükse) yok sayılır. - height (
int, varsayılan544) — Oluşturulan videonun yüksekliği. - width (
int, varsayılan960) — Oluşturulan videonun genişliği. - num_frames (
int, varsayılan97) — Oluşturulan videodaki kare sayısı. - num_inference_steps (
int, varsayılan50) — Gürültü azaltma adım sayısı. Daha fazla gürültü azaltma adımı genellikle daha yavaş çıkarım pahasına daha yüksek kaliteli bir görüntüye yol açar. - guidance_scale (
float, varsayılan6.0) — Classifier-Free Diffusion Guidance makalesinde tanımlandığı gibi yönlendirme ölçeği.guidance_scale, Imagen Paper makalesindeki 2. denklemindekiwolarak tanımlanır. Yönlendirme ölçeği,guidance_scale > 1olarak ayarlanarak etkinleştirilir. Daha yüksek yönlendirme ölçeği,promptmetniyle yakından ilişkili görsellerin üretilmesini teşvik eder, genellikle bu da daha düşük görsel kalitesi pahasına olur. (T2V için 6.0, I2V için 5.0) - num_videos_per_prompt (
int, isteğe bağlı, varsayılan 1) — Her istem için oluşturulacak görüntü sayısı. - generator (
torch.Generatorveyalist[torch.Generator], isteğe bağlı) — Üretimi deterministik hale getirmek için kullanılan birtorch.Generator. - latents (
torch.Tensor, isteğe bağlı) — Gaussian dağılımdan örneklenen, gürültülü ve önceden oluşturulmuş latents; görüntü üretimi için girdi olarak kullanılabilir. Farklı istemlerle aynı üretimi ayarlamak için kullanılabilir. Sağlanmazsa, sağlanan rastgelegeneratorkullanılarak örneklemeye dayalı bir latents tensörü oluşturulur. - prompt_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş metin gömme değerleri. Metin girdilerini kolayca ayarlamak (istifade ağırlıklandırma) için kullanılabilir. Sağlanmazsa, metin gömme değerleripromptgirdi argümanından üretilir. - negative_prompt_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş metin gömme değerleri. Metin girdilerini (istek ağırlıklandırması) kolayca ayarlamak için kullanılabilir. Sağlanmazsa, metin gömme değerlerinegative_promptgirdi argümanından üretilir. - output_type (
str, isteğe bağlı, varsayılan"np") — Oluşturulan görüntünün çıktı biçimi.PIL.Imageveyanp.arrayarasında seçim yapın. - return_dict (
bool, isteğe bağlı, varsayılanTrue) — Düz bir tuple yerineSkyReelsV2PipelineOutputdöndürülüp döndürülmemesi. - attention_kwargs (
dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindekiself.processoraltında tanımlananAttentionProcessor'a iletilen bir kwargs sözlüğü. - callback_on_step_end (
Callable,PipelineCallback,MultiPipelineCallbacks, isteğe bağlı) — Çıkarım sırasında her gürültü azaltma adımının sonunda çağrılan, aşağıdaki argümanlara sahip bir fonksiyon veyaPipelineCallback/MultiPipelineCallbacksalt sınıfı:callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict).callback_kwargs,callback_on_step_end_tensor_inputstarafından belirtilen tüm tensörlerin listesini içerecektir. - callback_on_step_end_tensor_inputs (
list, isteğe bağlı) —callback_on_step_endişlevi için girdi tensörlerinin listesi. Listede belirtilen tensörler,callback_kwargsargümanı olarak geçirilir. Yalnızca pipeline sınıfınızın._callback_tensor_inputsözniteliğinde listelenen değişkenleri dahil edebilirsiniz. - max_sequence_length (
int, isteğe bağlı, varsayılan512) — İstemin (prompt) maksimum dizi uzunluğu. - overlap_history (
int, isteğe bağlı, varsayılanNone) — Uzun videolarda akıcı geçişler için üst üste bindirilecek kare sayısı.Noneise, pipeline kısa video üretim modunu varsayar ve üst üste bindirme uygulanmaz. 17 ve 37 değerlerinin ayarlanması önerilir. - addnoise_condition (
float, isteğe bağlı, varsayılan0) — Bu, temiz koşula biraz gürültü ekleyerek uzun video üretimini pürüzsüzleştirmeye yardımcı olmak için kullanılır. Çok büyük gürültü de tutarsızlığa neden olabilir. Önerilen değer 20'dir; daha büyük değerleri deneyebilirsiniz ancak 50'yi aşmamanız önerilir. - base_num_frames (
int, isteğe bağlı, varsayılan97) — 97 veya 121 | Temel kare sayısı (540P için 97, 720P için 121) - ar_step (
int, isteğe bağlı, varsayılan0) — Asenkron çıkarımı kontrol eder (senkron mod için 0). Asenkron çıkarımı etkinleştirmek içinar_step=5olarak ayarlayabilirsiniz. Asenkron çıkarım sırasındacausal_block_size=5önerilirken, senkron üretim için ayarlanmamalıdır. Asenkron çıkarım, tüm diziyi difüzyona uğratmak için daha fazla adım gerektirir; bu da senkron moddan DAHA YAVAŞ olacağı anlamına gelir. Deneylerimizde, asenkron çıkarımın talimat takibi ve görsel tutarlılık performansını iyileştirebileceği görülmüştür. - causal_block_size (
int, isteğe bağlı, varsayılanNone) — Her blokta/parçadaki kare sayısı. Asenkron çıkarım kullanırken (ar_step > 0 olduğunda) önerilir. - fps (
int, isteğe bağlı, varsayılan24) — Oluşturulan videonun kare hızı
Dönüş değeri
~SkyReelsV2PipelineOutput veya tuple
return_dict True ise SkyReelsV2PipelineOutput döndürülür, aksi halde bir tuple döndürülür; bu yapıda ilk öğe üretilen görsellerin listesini, ikinci öğe ise ilgili üretilen görselin “not-safe-for-work” (nsfw) içerip içermediğini gösteren bool değerlerinin listesini içerir.
Üretim için pipeline'ın çağrı fonksiyonu.
Örnekler:
>>> import torch
>>> from diffusers import (
... SkyReelsV2DiffusionForcingPipeline,
... UniPCMultistepScheduler,
... AutoencoderKLWan,
... )
>>> from diffusers.utils import export_to_video
>>> # Load the pipeline
>>> # Available models:
>>> # - Skywork/SkyReels-V2-DF-1.3B-540P-Diffusers
>>> # - Skywork/SkyReels-V2-DF-14B-540P-Diffusers
>>> # - Skywork/SkyReels-V2-DF-14B-720P-Diffusers
>>> vae = AutoencoderKLWan.from_pretrained(
... "Skywork/SkyReels-V2-DF-14B-720P-Diffusers",
... subfolder="vae",
... torch_dtype=torch.float32,
... )
>>> pipe = SkyReelsV2DiffusionForcingPipeline.from_pretrained(
... "Skywork/SkyReels-V2-DF-14B-720P-Diffusers",
... vae=vae,
... torch_dtype=torch.bfloat16,
... )
>>> flow_shift = 8.0 # 8.0 for T2V, 5.0 for I2V
>>> pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config, flow_shift=flow_shift)
>>> pipe = pipe.to("cuda")
>>> prompt = "A cat and a dog baking a cake together in a kitchen. The cat is carefully measuring flour, while the dog is stirring the batter with a wooden spoon. The kitchen is cozy, with sunlight streaming through the window."
>>> output = pipe(
... prompt=prompt,
... num_inference_steps=30,
... height=544,
... width=960,
... guidance_scale=6.0, # 6.0 for T2V, 5.0 for I2V
... num_frames=97,
... ar_step=5, # Controls asynchronous inference (0 for synchronous mode)
... causal_block_size=5, # Number of frames processed together in a causal block
... overlap_history=None, # Number of frames to overlap for smooth transitions in long videos
... addnoise_condition=20, # Improves consistency in long video generation
... ).frames[0]
>>> export_to_video(output, "video.mp4", fps=24, quality=8)encode_prompt
< source >( prompt: str | list[str]negative_prompt: str | list[str] | None = Nonedo_classifier_free_guidance: bool = Truenum_videos_per_prompt: int = 1prompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Nonemax_sequence_length: int = 226device: typing.Optional[torch.device] = Nonedtype: typing.Optional[torch.dtype] = None )
Parametreler
- prompt (
strveyalist[str], isteğe bağlı) — kodlanacak prompt - negative_prompt (
strveyalist[str], isteğe bağlı) — Görsel üretimini yönlendirmemek için kullanılan istem veya istemler. Tanımlanmamışsa, bunun yerinenegative_prompt_embedsparametresinin geçirilmesi gerekir. Yönlendirme kullanılmadığında (yaniguidance_scaledeğeri1'den küçükse) yok sayılır. - do_classifier_free_guidance (
bool, isteğe bağlı, varsayılanTrue) — Classifier free guidance kullanılacak mı? - num_videos_per_prompt (
int, isteğe bağlı, varsayılan 1) — Her prompt için oluşturulması gereken video sayısı. Sonuç gömme vektörlerinin yerleştirileceği torch cihazı - prompt_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş metin gömme değerleri. Metin girdilerini kolayca ayarlamak için kullanılabilir, ör. prompt ağırlıklandırma. Sağlanmazsa, metin gömme değerleripromptgirdi argümanından oluşturulur. - negative_prompt_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş negatif metin gömme değerleri. Metin girdilerini kolayca ayarlamak için kullanılabilir, ör. istem ağırlıklandırması. Sağlanmazsa, negative_prompt_embeds,negative_promptgirdi argümanından oluşturulur. - device — (
torch.device, isteğe bağlı): torch cihazı - dtype — (
torch.dtype, isteğe bağlı): torch dtype
İsteği metin kodlayıcı gizli durumlarına kodlar.
generate_timestep_matrix
< source >( num_latent_frames: intstep_template: Tensorbase_num_latent_frames: intar_step: int = 5num_pre_ready: int = 0causal_block_size: int = 1shrink_interval_with_mask: bool = False ) → tuple containing
Parametreler
- num_latent_frames (int) — Üretilecek toplam latent kare sayısı
- step_template (torch.Tensor) — Temel zaman adımı zamanlaması (ör. [1000, 800, 600, …, 0])
- base_num_latent_frames (int) — Modelin tek bir ileri geçişte işleyebileceği maksimum kare sayısı
- ar_step (int, optional) — Zaman gecikmesi için otoregresif adım boyutu. 0 = senkron, >0 = asenkron. Varsayılan değer 5'tir.
- num_pre_ready (int, optional) — Zaten gürültüsü azaltılmış kare sayısı (ör. video2video görevinde önekten). Varsayılan değeri 0'dır.
- causal_block_size (int, isteğe bağlı) — Nedenli blok olarak işlenen kare sayısı. Varsayılan değer 1'dir.
- shrink_interval_with_mask (bool, optional) — İşleme aralıklarının optimize edilip edilmeyeceğini belirtir. Varsayılan değeri False'tur.
Dönüş değeri
içeren tuple
- step_matrix (torch.Tensor): Her iterasyonda her kare için zaman adımlarının matrisi. Şekil: [num_iterations, num_latent_frames]
- step_index (torch.Tensor): Zaman adımı arama için indeks matrisi Şekil: [num_iterations, num_latent_frames]
- step_update_mask (torch.Tensor): Güncellenecek kareleri gösteren Boole maskesi Şekil: [num_iterations, num_latent_frames]
- valid_interval (list[tuple]): her yineleme için (başlangıç, bitiş) aralıklarının listesi
Yükseltilen
ValueError
ValueError— ar_step, verilen yapılandırma için çok küçükse
Bu fonksiyon, zaman dilimleri arasında koordineli bir gürültü azaltma zamanlaması oluşturan temel difüzyon zorlama (diffusion forcing) algoritmasını uygular. Hem senkron hem de asenkron üretim modlarını destekler:
Senkron Mod (ar_step=0, causal_block_size=1):
- Tüm kareler, her zaman adımında eşzamanlı olarak gürültüden arındırılır
- Her kare aynı gürültü azaltma yörüngesini izler: [1000, 800, 600, …, 0]
- Daha basit ancak uzun videolarda daha düşük zaman tutarlılığına sahip olabilir
Asenkron Mod (ar_step>0, causal_block_size>1):
- Kareler nedensel bloklara gruplandırılır ve blok/parça bazında işlenir
- Her blok, kademeli bir desende gürültüden arındırılarak bir “gürültüden arındırma dalgası” oluşturur
- Daha önceki bloklar daha fazla gürültüden arındırılmışken, sonraki bloklar ar_step zaman adımında geride kalır
- Daha güçlü zamansal bağımlılıklar ve daha iyi tutarlılık oluşturur
SkyReelsV2DiffusionForcingImageToVideoPipeline
sınıf diffusers.SkyReelsV2DiffusionForcingImageToVideoPipeline
< source >( tokenizer: AutoTokenizertext_encoder: transformers.models.t5.modeling_t5.T5EncoderModel | transformers.models.umt5.modeling_umt5.UMT5EncoderModeltransformer: SkyReelsV2Transformer3DModelvae: AutoencoderKLWanscheduler: UniPCMultistepScheduler )
Parametreler
- tokenizer (
AutoTokenizer) — T5'den gelen Tokenizer, özellikle google/umt5-xxl varyantı. - text_encoder (
UMT5EncoderModel) — T5, özellikle google/umt5-xxl varyantı. - transformer (SkyReelsV2Transformer3DModel) — Kodlanmış görüntü latentlerini gürültüden arındırmak için kullanılan Koşullu Transformer.
- scheduler (UniPCMultistepScheduler) —
Kodlanmış görüntü latentlerini gürültüden arındırmak için
transformerile birlikte kullanılacak bir zamanlayıcı. - vae (AutoencoderKLWan) — Video'ları latent temsillere kodlamak ve bu temsillerden çözmek için kullanılan Varyasyonel Oto-Kodlayıcı (VAE) Modeli.
Diffusion forcing kullanarak SkyReels-V2 ile Görselden Videoya (i2v) üretim hattı.
Bu model DiffusionPipeline sınıfından devralınmıştır. Tüm pipeline'lar için uygulanan genel yöntemlerin (indirme, kaydetme, belirli bir cihazda çalıştırma vb.) belgelerini üst sınıfın dokümantasyonunda bulabilirsiniz.
__call__
< source >( image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]prompt: str | list[str] = Nonenegative_prompt: str | list[str] = Noneheight: int = 544width: int = 960num_frames: int = 97num_inference_steps: int = 50guidance_scale: float = 5.0num_videos_per_prompt: int | None = 1generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneprompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Noneimage_embeds: typing.Optional[torch.Tensor] = Nonelast_image: typing.Optional[torch.Tensor] = Noneoutput_type: str | None = 'np'return_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = Nonecallback_on_step_end: typing.Union[typing.Callable[[int, int], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = Nonecallback_on_step_end_tensor_inputs: list = ['latents']max_sequence_length: int = 512overlap_history: int | None = Noneaddnoise_condition: float = 0base_num_frames: int = 97ar_step: int = 0causal_block_size: int | None = Nonefps: int = 24 ) → ~SkyReelsV2PipelineOutput or tuple
Parametreler
- image (
PipelineImageInput) — Üretimin koşullandırılacağı girdi görüntüsü. Bir görüntü, görüntü listesi veyatorch.Tensorolmalıdır. - prompt (
strveyalist[str], isteğe bağlı) — Görsel üretimi yönlendirmek için istem veya istemler. Tanımlanmadıysa bunun yerineprompt_embedsgeçirilmelidir. - negative_prompt (
strveyalist[str], isteğe bağlı) — Görsel üretimini yönlendirmemek için kullanılan istem veya istemler. Tanımlanmamışsa, bunun yerinenegative_prompt_embedsparametresinin geçirilmesi gerekir. Yönlendirme kullanılmadığında (yaniguidance_scaledeğeri1'den küçükse) yok sayılır. - height (
int, varsayılan544) — Oluşturulan videonun yüksekliği. - width (
int, varsayılan960) — Oluşturulan videonun genişliği. - num_frames (
int, varsayılan97) — Oluşturulan videodaki kare sayısı. - num_inference_steps (
int, varsayılan50) — Gürültü azaltma adım sayısı. Daha fazla gürültü azaltma adımı genellikle daha yavaş çıkarım pahasına daha yüksek kaliteli bir görüntüye yol açar. - guidance_scale (
float, varsayılan5.0) — Classifier-Free Diffusion Guidance makalesinde tanımlandığı gibi yönlendirme ölçeği.guidance_scale, Imagen Paper makalesindeki 2. denklemindekiwolarak tanımlanır. Yönlendirme ölçeği,guidance_scale > 1olarak ayarlanarak etkinleştirilir. Daha yüksek yönlendirme ölçeği,promptmetniyle yakından ilişkili görsellerin üretilmesini teşvik eder, genellikle bu da daha düşük görsel kalitesi pahasına olur. (T2V için 6.0, I2V için 5.0) - num_videos_per_prompt (
int, isteğe bağlı, varsayılan 1) — Her istem için oluşturulacak görüntü sayısı. - generator (
torch.Generatorveyalist[torch.Generator], isteğe bağlı) — Üretimi deterministik hale getirmek için kullanılan birtorch.Generator. - latents (
torch.Tensor, isteğe bağlı) — Gaussian dağılımdan örneklenen, gürültülü ve önceden oluşturulmuş latents; görüntü üretimi için girdi olarak kullanılabilir. Farklı istemlerle aynı üretimi ayarlamak için kullanılabilir. Sağlanmazsa, sağlanan rastgelegeneratorkullanılarak örneklemeye dayalı bir latents tensörü oluşturulur. - prompt_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş metin gömme değerleri. Metin girdilerini kolayca ayarlamak (istifade ağırlıklandırma) için kullanılabilir. Sağlanmazsa, metin gömme değerleripromptgirdi argümanından üretilir. - negative_prompt_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş metin gömme değerleri. Metin girdilerini (istek ağırlıklandırması) kolayca ayarlamak için kullanılabilir. Sağlanmazsa, metin gömme değerlerinegative_promptgirdi argümanından üretilir. - image_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş gömme vektörleri. Görsel girdileri kolayca ayarlamak (ağırlıklandırma) için kullanılabilir. Sağlanmazsa, gömme vektörleriimagegirdi argümanından üretilir. - last_image (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş gömme (embedding) değerleri. Görsel girdileri (ağırlıklandırma) kolayca ayarlamak için kullanılabilir. Sağlanmazsa, görsel gömme değerleriimagegirdi argümanından üretilir. - output_type (
str, isteğe bağlı, varsayılan"np") — Oluşturulan görüntünün çıktı biçimi.PIL.Imageveyanp.arrayarasında seçim yapın. - return_dict (
bool, isteğe bağlı, varsayılanTrue) — Düz bir tuple yerineSkyReelsV2PipelineOutputdöndürülüp döndürülmemesi. - attention_kwargs (
dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindekiself.processoraltında tanımlananAttentionProcessor'a iletilen bir kwargs sözlüğü. - callback_on_step_end (
Callable,PipelineCallback,MultiPipelineCallbacks, isteğe bağlı) — Çıkarım sırasında her gürültü azaltma adımının sonunda çağrılan, aşağıdaki argümanlara sahip bir fonksiyon veyaPipelineCallback/MultiPipelineCallbacksalt sınıfı:callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict).callback_kwargs,callback_on_step_end_tensor_inputstarafından belirtilen tüm tensörlerin listesini içerecektir. - callback_on_step_end_tensor_inputs (
list, isteğe bağlı) —callback_on_step_endişlevi için girdi tensörlerinin listesi. Listede belirtilen tensörler,callback_kwargsargümanı olarak geçirilir. Yalnızca pipeline sınıfınızın._callback_tensor_inputsözniteliğinde listelenen değişkenleri dahil edebilirsiniz. - max_sequence_length (
int, isteğe bağlı, varsayılan512) — İstemin (prompt) maksimum dizi uzunluğu. - overlap_history (
int, isteğe bağlı, varsayılanNone) — Uzun videolarda akıcı geçişler için üst üste bindirilecek kare sayısı.Noneise, pipeline kısa video üretim modunu varsayar ve üst üste bindirme uygulanmaz. 17 ve 37 değerlerinin ayarlanması önerilir. - addnoise_condition (
float, isteğe bağlı, varsayılan0) — Bu, temiz koşula biraz gürültü ekleyerek uzun video üretimini pürüzsüzleştirmeye yardımcı olmak için kullanılır. Çok büyük gürültü de tutarsızlığa neden olabilir. Önerilen değer 20'dir; daha büyük değerleri deneyebilirsiniz ancak 50'yi aşmamanız önerilir. - base_num_frames (
int, isteğe bağlı, varsayılan97) — 97 veya 121 | Temel kare sayısı (540P için 97, 720P için 121) - ar_step (
int, isteğe bağlı, varsayılan0) — Asenkron çıkarımı kontrol eder (senkron mod için 0). Asenkron çıkarımı etkinleştirmek içinar_step=5olarak ayarlayabilirsiniz. Asenkron çıkarım sırasındacausal_block_size=5önerilirken, senkron üretim için ayarlanmamalıdır. Asenkron çıkarım, tüm diziyi difüzyona uğratmak için daha fazla adım gerektirir; bu da senkron moddan DAHA YAVAŞ olacağı anlamına gelir. Deneylerimizde, asenkron çıkarımın talimat takibi ve görsel tutarlılık performansını iyileştirebileceği görülmüştür. - causal_block_size (
int, isteğe bağlı, varsayılanNone) — Her blokta/parçadaki kare sayısı. Asenkron çıkarım kullanırken (ar_step > 0 olduğunda) önerilir. - fps (
int, isteğe bağlı, varsayılan24) — Oluşturulan videonun kare hızı
Dönüş değeri
~SkyReelsV2PipelineOutput veya tuple
return_dict True ise SkyReelsV2PipelineOutput döndürülür, aksi halde bir tuple döndürülür; bu yapıda ilk öğe üretilen görsellerin listesini, ikinci öğe ise ilgili üretilen görselin “not-safe-for-work” (nsfw) içerip içermediğini gösteren bool değerlerinin listesini içerir.
Üretim için pipeline'ın çağrı fonksiyonu.
Örnekler:
>>> import torch
>>> from diffusers import (
... SkyReelsV2DiffusionForcingImageToVideoPipeline,
... UniPCMultistepScheduler,
... AutoencoderKLWan,
... )
>>> from diffusers.utils import export_to_video
>>> from PIL import Image
>>> # Load the pipeline
>>> # Available models:
>>> # - Skywork/SkyReels-V2-DF-1.3B-540P-Diffusers
>>> # - Skywork/SkyReels-V2-DF-14B-540P-Diffusers
>>> # - Skywork/SkyReels-V2-DF-14B-720P-Diffusers
>>> vae = AutoencoderKLWan.from_pretrained(
... "Skywork/SkyReels-V2-DF-14B-720P-Diffusers",
... subfolder="vae",
... torch_dtype=torch.float32,
... )
>>> pipe = SkyReelsV2DiffusionForcingImageToVideoPipeline.from_pretrained(
... "Skywork/SkyReels-V2-DF-14B-720P-Diffusers",
... vae=vae,
... torch_dtype=torch.bfloat16,
... )
>>> flow_shift = 5.0 # 8.0 for T2V, 5.0 for I2V
>>> pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config, flow_shift=flow_shift)
>>> pipe = pipe.to("cuda")
>>> prompt = "A cat and a dog baking a cake together in a kitchen. The cat is carefully measuring flour, while the dog is stirring the batter with a wooden spoon. The kitchen is cozy, with sunlight streaming through the window."
>>> image = Image.open("path/to/image.png")
>>> output = pipe(
... image=image,
... prompt=prompt,
... num_inference_steps=50,
... height=544,
... width=960,
... guidance_scale=5.0, # 6.0 for T2V, 5.0 for I2V
... num_frames=97,
... ar_step=0, # Controls asynchronous inference (0 for synchronous mode)
... overlap_history=None, # Number of frames to overlap for smooth transitions in long videos
... addnoise_condition=20, # Improves consistency in long video generation
... ).frames[0]
>>> export_to_video(output, "video.mp4", fps=24, quality=8)encode_prompt
< source >( prompt: str | list[str]negative_prompt: str | list[str] | None = Nonedo_classifier_free_guidance: bool = Truenum_videos_per_prompt: int = 1prompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Nonemax_sequence_length: int = 226device: typing.Optional[torch.device] = Nonedtype: typing.Optional[torch.dtype] = None )
Parametreler
- prompt (
strveyalist[str], isteğe bağlı) — kodlanacak prompt - negative_prompt (
strveyalist[str], isteğe bağlı) — Görsel üretimini yönlendirmemek için kullanılan istem veya istemler. Tanımlanmamışsa, bunun yerinenegative_prompt_embedsparametresinin geçirilmesi gerekir. Yönlendirme kullanılmadığında (yaniguidance_scaledeğeri1'den küçükse) yok sayılır. - do_classifier_free_guidance (
bool, isteğe bağlı, varsayılanTrue) — Classifier free guidance kullanılacak mı? - num_videos_per_prompt (
int, isteğe bağlı, varsayılan 1) — Her prompt için oluşturulması gereken video sayısı. Sonuç gömme vektörlerinin yerleştirileceği torch cihazı - prompt_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş metin gömme değerleri. Metin girdilerini kolayca ayarlamak için kullanılabilir, ör. prompt ağırlıklandırma. Sağlanmazsa, metin gömme değerleripromptgirdi argümanından oluşturulur. - negative_prompt_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş negatif metin gömme değerleri. Metin girdilerini kolayca ayarlamak için kullanılabilir, ör. istem ağırlıklandırması. Sağlanmazsa, negative_prompt_embeds,negative_promptgirdi argümanından oluşturulur. - device — (
torch.device, isteğe bağlı): torch cihazı - dtype — (
torch.dtype, isteğe bağlı): torch dtype
İsteği metin kodlayıcı gizli durumlarına kodlar.
generate_timestep_matrix
< source >( num_latent_frames: intstep_template: Tensorbase_num_latent_frames: intar_step: int = 5num_pre_ready: int = 0causal_block_size: int = 1shrink_interval_with_mask: bool = False ) → tuple containing
Parametreler
- num_latent_frames (int) — Üretilecek toplam latent kare sayısı
- step_template (torch.Tensor) — Temel zaman adımı zamanlaması (ör. [1000, 800, 600, …, 0])
- base_num_latent_frames (int) — Modelin tek bir ileri geçişte işleyebileceği maksimum kare sayısı
- ar_step (int, optional) — Zaman gecikmesi için otoregresif adım boyutu. 0 = senkron, >0 = asenkron. Varsayılan değer 5'tir.
- num_pre_ready (int, optional) — Zaten gürültüsü azaltılmış kare sayısı (ör. video2video görevinde önekten). Varsayılan değeri 0'dır.
- causal_block_size (int, isteğe bağlı) — Nedenli blok olarak işlenen kare sayısı. Varsayılan değer 1'dir.
- shrink_interval_with_mask (bool, optional) — İşleme aralıklarının optimize edilip edilmeyeceğini belirtir. Varsayılan değeri False'tur.
Dönüş değeri
içeren tuple
- step_matrix (torch.Tensor): Her iterasyonda her kare için zaman adımlarının matrisi. Şekil: [num_iterations, num_latent_frames]
- step_index (torch.Tensor): Zaman adımı arama için indeks matrisi Şekil: [num_iterations, num_latent_frames]
- step_update_mask (torch.Tensor): Güncellenecek kareleri gösteren Boole maskesi Şekil: [num_iterations, num_latent_frames]
- valid_interval (list[tuple]): her yineleme için (başlangıç, bitiş) aralıklarının listesi
Yükseltilen
ValueError
ValueError— ar_step, verilen yapılandırma için çok küçükse
Bu fonksiyon, zaman dilimleri arasında koordineli bir gürültü azaltma zamanlaması oluşturan temel difüzyon zorlama (diffusion forcing) algoritmasını uygular. Hem senkron hem de asenkron üretim modlarını destekler:
Senkron Mod (ar_step=0, causal_block_size=1):
- Tüm kareler, her zaman adımında eşzamanlı olarak gürültüden arındırılır
- Her kare aynı gürültü azaltma yörüngesini izler: [1000, 800, 600, …, 0]
- Daha basit ancak uzun videolarda daha düşük zaman tutarlılığına sahip olabilir
Asenkron Mod (ar_step>0, causal_block_size>1):
- Kareler nedensel bloklara gruplandırılır ve blok/parça bazında işlenir
- Her blok, kademeli bir desende gürültüden arındırılarak bir “gürültüden arındırma dalgası” oluşturur
- Daha önceki bloklar daha fazla gürültüden arındırılmışken, sonraki bloklar ar_step zaman adımında geride kalır
- Daha güçlü zamansal bağımlılıklar ve daha iyi tutarlılık oluşturur
SkyReelsV2DiffusionForcingVideoToVideoPipeline
sınıf diffusers.SkyReelsV2DiffusionForcingVideoToVideoPipeline
< source >( tokenizer: AutoTokenizertext_encoder: transformers.models.t5.modeling_t5.T5EncoderModel | transformers.models.umt5.modeling_umt5.UMT5EncoderModeltransformer: SkyReelsV2Transformer3DModelvae: AutoencoderKLWanscheduler: UniPCMultistepScheduler )
Parametreler
- tokenizer (
AutoTokenizer) — T5'den gelen Tokenizer, özellikle google/umt5-xxl varyantı. - text_encoder (
UMT5EncoderModel) — T5, özellikle google/umt5-xxl varyantı. - transformer (SkyReelsV2Transformer3DModel) — Kodlanmış görüntü latentlerini gürültüden arındırmak için kullanılan Koşullu Transformer.
- scheduler (UniPCMultistepScheduler) —
Kodlanmış görüntü latentlerini gürültüden arındırmak için
transformerile birlikte kullanılacak bir zamanlayıcı. - vae (AutoencoderKLWan) — Video'ları latent temsillere kodlamak ve bu temsillerden çözmek için kullanılan Varyasyonel Oto-Kodlayıcı (VAE) Modeli.
Diffusion forcing kullanarak SkyReels-V2 ile Video'dan Video'ya (v2v) üretim için Pipeline.
Bu model DiffusionPipeline sınıfından devralınmıştır. Tüm pipeline'lar için uygulanan genel yöntemlerin (indirme, kaydetme, belirli bir cihazda çalıştırma vb.) belgelerini üst sınıfın dokümantasyonunda bulabilirsiniz.
__call__
< source >( video: listprompt: str | list[str] = Nonenegative_prompt: str | list[str] = Noneheight: int = 544width: int = 960num_frames: int = 120num_inference_steps: int = 50guidance_scale: float = 6.0num_videos_per_prompt: int | None = 1generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneprompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Noneoutput_type: str | None = 'np'return_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = Nonecallback_on_step_end: typing.Union[typing.Callable[[int, int], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = Nonecallback_on_step_end_tensor_inputs: list = ['latents']max_sequence_length: int = 512overlap_history: int | None = Noneaddnoise_condition: float = 0base_num_frames: int = 97ar_step: int = 0causal_block_size: int | None = Nonefps: int = 24 ) → ~SkyReelsV2PipelineOutput or tuple
Parametreler
- video (
list[Image.Image]) — Video üretimini yönlendirmek için kullanılacak video. - prompt (
strveyalist[str], isteğe bağlı) — Video üretimini yönlendirmek için istem veya istemler. Tanımlanmadıysa bunun yerineprompt_embedsgeçirilmelidir. - negative_prompt (
strveyalist[str], isteğe bağlı) — Video üretimini yönlendirmemek için kullanılan istem veya istemler. Tanımlanmazsa, bunun yerinenegative_prompt_embedsparametresinin geçirilmesi gerekir. Yönlendirme kullanılmadığında yok sayılır (yaniguidance_scale1'den küçükse yok sayılır). - height (
int, varsayılan544) — Oluşturulan videonun yüksekliği. - width (
int, varsayılan960) — Oluşturulan videonun genişliği. - num_frames (
int, varsayılan120) — Oluşturulan videodaki kare sayısı. - num_inference_steps (
int, varsayılan50) — Gürültü azaltma adım sayısı. Daha fazla gürültü azaltma adımı genellikle daha yavaş çıkarım pahasına daha yüksek kaliteli bir görüntüye yol açar. - guidance_scale (
float, varsayılan6.0) — Classifier-Free Diffusion Guidance makalesinde tanımlanan yönlendirme ölçeği.guidance_scale, Imagen Paper makalesindeki 2. denklemindekiwolarak tanımlanır. Yönlendirme ölçeği,guidance_scale > 1olarak ayarlanarak etkinleştirilir. Daha yüksek yönlendirme ölçeği,promptile yakından ilişkili görsellerin üretilmesini teşvik eder, genellikle daha düşük görsel kalitesi pahasına. (T2V için 6.0, I2V için 5.0) - num_videos_per_prompt (
int, isteğe bağlı, varsayılan 1) — Her istem için oluşturulacak görüntü sayısı. - generator (
torch.Generatorveyalist[torch.Generator], isteğe bağlı) — Üretimi deterministik hale getirmek için kullanılan birtorch.Generator. - latents (
torch.Tensor, isteğe bağlı) — Gaussian dağılımdan örneklenen, gürültülü ve önceden oluşturulmuş latents; görüntü üretimi için girdi olarak kullanılabilir. Farklı istemlerle aynı üretimi ayarlamak için kullanılabilir. Sağlanmazsa, sağlanan rastgelegeneratorkullanılarak örneklemeye dayalı bir latents tensörü oluşturulur. - prompt_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş metin gömme değerleri. Metin girdilerini kolayca ayarlamak (istifade ağırlıklandırma) için kullanılabilir. Sağlanmazsa, metin gömme değerleripromptgirdi argümanından üretilir. - negative_prompt_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş metin gömme değerleri. Metin girdilerini (istek ağırlıklandırması) kolayca ayarlamak için kullanılabilir. Sağlanmazsa, metin gömme değerlerinegative_promptgirdi argümanından üretilir. - output_type (
str, isteğe bağlı, varsayılan"np") — Oluşturulan görüntünün çıktı biçimi.PIL.Imageveyanp.arrayarasında seçim yapın. - return_dict (
bool, isteğe bağlı, varsayılanTrue) — Düz bir tuple yerineSkyReelsV2PipelineOutputdöndürülüp döndürülmemesi. - attention_kwargs (
dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindekiself.processoraltında tanımlananAttentionProcessor'a iletilen bir kwargs sözlüğü. - callback_on_step_end (
Callable,PipelineCallback,MultiPipelineCallbacks, isteğe bağlı) — Çıkarım sırasında her gürültü azaltma adımının sonunda çağrılan, aşağıdaki argümanlara sahip bir fonksiyon veyaPipelineCallback/MultiPipelineCallbacksalt sınıfı:callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict).callback_kwargs,callback_on_step_end_tensor_inputstarafından belirtilen tüm tensörlerin listesini içerecektir. - callback_on_step_end_tensor_inputs (
list, isteğe bağlı) —callback_on_step_endişlevi için girdi tensörlerinin listesi. Listede belirtilen tensörler,callback_kwargsargümanı olarak geçirilir. Yalnızca pipeline sınıfınızın._callback_tensor_inputsözniteliğinde listelenen değişkenleri dahil edebilirsiniz. - max_sequence_length (
int, isteğe bağlı, varsayılan512) — İstemin (prompt) maksimum dizi uzunluğu. - overlap_history (
int, isteğe bağlı, varsayılanNone) — Uzun videolarda akıcı geçişler için üst üste bindirilecek kare sayısı.Noneise, pipeline kısa video üretim modunu varsayar ve üst üste bindirme uygulanmaz. 17 ve 37 değerlerinin ayarlanması önerilir. - addnoise_condition (
float, isteğe bağlı, varsayılan0) — Bu, temiz koşula biraz gürültü ekleyerek uzun video üretimini pürüzsüzleştirmeye yardımcı olmak için kullanılır. Çok büyük gürültü de tutarsızlığa neden olabilir. Önerilen değer 20'dir; daha büyük değerleri deneyebilirsiniz ancak 50'yi aşmamanız önerilir. - base_num_frames (
int, isteğe bağlı, varsayılan97) — 97 veya 121 | Temel kare sayısı (540P için 97, 720P için 121) - ar_step (
int, isteğe bağlı, varsayılan0) — Asenkron çıkarımı kontrol eder (senkron mod için 0). Asenkron çıkarımı etkinleştirmek içinar_step=5olarak ayarlayabilirsiniz. Asenkron çıkarım sırasındacausal_block_size=5önerilirken, senkron üretim için ayarlanmamalıdır. Asenkron çıkarım, tüm diziyi difüzyona uğratmak için daha fazla adım gerektirir; bu da senkron moddan DAHA YAVAŞ olacağı anlamına gelir. Deneylerimizde, asenkron çıkarımın talimat takibi ve görsel tutarlılık performansını iyileştirebileceği görülmüştür. - causal_block_size (
int, isteğe bağlı, varsayılanNone) — Her blokta/parçadaki kare sayısı. Asenkron çıkarım kullanırken (ar_step > 0 olduğunda) önerilir. - fps (
int, isteğe bağlı, varsayılan24) — Oluşturulan videonun kare hızı
Dönüş değeri
~SkyReelsV2PipelineOutput veya tuple
return_dict True ise SkyReelsV2PipelineOutput döndürülür, aksi halde bir tuple döndürülür; bu yapıda ilk öğe üretilen görsellerin listesini, ikinci öğe ise ilgili üretilen görselin “not-safe-for-work” (nsfw) içerip içermediğini gösteren bool değerlerinin listesini içerir.
Üretim için pipeline'ın çağrı fonksiyonu.
Örnekler:
>>> import torch
>>> from diffusers import (
... SkyReelsV2DiffusionForcingVideoToVideoPipeline,
... UniPCMultistepScheduler,
... AutoencoderKLWan,
... )
>>> from diffusers.utils import export_to_video
>>> # Load the pipeline
>>> # Available models:
>>> # - Skywork/SkyReels-V2-DF-1.3B-540P-Diffusers
>>> # - Skywork/SkyReels-V2-DF-14B-540P-Diffusers
>>> # - Skywork/SkyReels-V2-DF-14B-720P-Diffusers
>>> vae = AutoencoderKLWan.from_pretrained(
... "Skywork/SkyReels-V2-DF-14B-720P-Diffusers",
... subfolder="vae",
... torch_dtype=torch.float32,
... )
>>> pipe = SkyReelsV2DiffusionForcingVideoToVideoPipeline.from_pretrained(
... "Skywork/SkyReels-V2-DF-14B-720P-Diffusers",
... vae=vae,
... torch_dtype=torch.bfloat16,
... )
>>> flow_shift = 8.0 # 8.0 for T2V, 5.0 for I2V
>>> pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config, flow_shift=flow_shift)
>>> pipe = pipe.to("cuda")
>>> prompt = "A cat and a dog baking a cake together in a kitchen. The cat is carefully measuring flour, while the dog is stirring the batter with a wooden spoon. The kitchen is cozy, with sunlight streaming through the window."
>>> output = pipe(
... prompt=prompt,
... num_inference_steps=50,
... height=544,
... width=960,
... guidance_scale=6.0, # 6.0 for T2V, 5.0 for I2V
... num_frames=97,
... ar_step=0, # Controls asynchronous inference (0 for synchronous mode)
... overlap_history=None, # Number of frames to overlap for smooth transitions in long videos
... addnoise_condition=20, # Improves consistency in long video generation
... ).frames[0]
>>> export_to_video(output, "video.mp4", fps=24, quality=8)encode_prompt
< source >( prompt: str | list[str]negative_prompt: str | list[str] | None = Nonedo_classifier_free_guidance: bool = Truenum_videos_per_prompt: int = 1prompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Nonemax_sequence_length: int = 226device: typing.Optional[torch.device] = Nonedtype: typing.Optional[torch.dtype] = None )
Parametreler
- prompt (
strveyalist[str], isteğe bağlı) — kodlanacak prompt - negative_prompt (
strveyalist[str], isteğe bağlı) — Görsel üretimini yönlendirmemek için kullanılan istem veya istemler. Tanımlanmamışsa, bunun yerinenegative_prompt_embedsparametresinin geçirilmesi gerekir. Yönlendirme kullanılmadığında (yaniguidance_scaledeğeri1'den küçükse) yok sayılır. - do_classifier_free_guidance (
bool, isteğe bağlı, varsayılanTrue) — Classifier free guidance kullanılacak mı? - num_videos_per_prompt (
int, isteğe bağlı, varsayılan 1) — Her prompt için oluşturulması gereken video sayısı. Sonuç gömme vektörlerinin yerleştirileceği torch cihazı - prompt_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş metin gömme değerleri. Metin girdilerini kolayca ayarlamak için kullanılabilir, ör. prompt ağırlıklandırma. Sağlanmazsa, metin gömme değerleripromptgirdi argümanından oluşturulur. - negative_prompt_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş negatif metin gömme değerleri. Metin girdilerini kolayca ayarlamak için kullanılabilir, ör. istem ağırlıklandırması. Sağlanmazsa, negative_prompt_embeds,negative_promptgirdi argümanından oluşturulur. - device — (
torch.device, isteğe bağlı): torch cihazı - dtype — (
torch.dtype, isteğe bağlı): torch dtype
İsteği metin kodlayıcı gizli durumlarına kodlar.
generate_timestep_matrix
< source >( num_latent_frames: intstep_template: Tensorbase_num_latent_frames: intar_step: int = 5num_pre_ready: int = 0causal_block_size: int = 1shrink_interval_with_mask: bool = False ) → tuple containing
Parametreler
- num_latent_frames (int) — Üretilecek toplam latent kare sayısı
- step_template (torch.Tensor) — Temel zaman adımı zamanlaması (ör. [1000, 800, 600, …, 0])
- base_num_latent_frames (int) — Modelin tek bir ileri geçişte işleyebileceği maksimum kare sayısı
- ar_step (int, optional) — Zaman gecikmesi için otoregresif adım boyutu. 0 = senkron, >0 = asenkron. Varsayılan değer 5'tir.
- num_pre_ready (int, optional) — Zaten gürültüsü azaltılmış kare sayısı (ör. video2video görevinde önekten). Varsayılan değeri 0'dır.
- causal_block_size (int, isteğe bağlı) — Nedenli blok olarak işlenen kare sayısı. Varsayılan değer 1'dir.
- shrink_interval_with_mask (bool, optional) — İşleme aralıklarının optimize edilip edilmeyeceğini belirtir. Varsayılan değeri False'tur.
Dönüş değeri
içeren tuple
- step_matrix (torch.Tensor): Her iterasyonda her kare için zaman adımlarının matrisi. Şekil: [num_iterations, num_latent_frames]
- step_index (torch.Tensor): Zaman adımı arama için indeks matrisi Şekil: [num_iterations, num_latent_frames]
- step_update_mask (torch.Tensor): Güncellenecek kareleri gösteren Boole maskesi Şekil: [num_iterations, num_latent_frames]
- valid_interval (list[tuple]): her yineleme için (başlangıç, bitiş) aralıklarının listesi
Yükseltilen
ValueError
ValueError— ar_step, verilen yapılandırma için çok küçükse
Bu fonksiyon, zaman dilimleri arasında koordineli bir gürültü azaltma zamanlaması oluşturan temel difüzyon zorlama (diffusion forcing) algoritmasını uygular. Hem senkron hem de asenkron üretim modlarını destekler:
Senkron Mod (ar_step=0, causal_block_size=1):
- Tüm kareler, her zaman adımında eşzamanlı olarak gürültüden arındırılır
- Her kare aynı gürültü azaltma yörüngesini izler: [1000, 800, 600, …, 0]
- Daha basit ancak uzun videolarda daha düşük zaman tutarlılığına sahip olabilir
Asenkron Mod (ar_step>0, causal_block_size>1):
- Kareler nedensel bloklara gruplandırılır ve blok/parça bazında işlenir
- Her blok, kademeli bir desende gürültüden arındırılarak bir “gürültüden arındırma dalgası” oluşturur
- Daha önceki bloklar daha fazla gürültüden arındırılmışken, sonraki bloklar ar_step zaman adımında geride kalır
- Daha güçlü zamansal bağımlılıklar ve daha iyi tutarlılık oluşturur
SkyReelsV2Pipeline
sınıf diffusers.SkyReelsV2Pipeline
< source >( tokenizer: AutoTokenizertext_encoder: transformers.models.t5.modeling_t5.T5EncoderModel | transformers.models.umt5.modeling_umt5.UMT5EncoderModeltransformer: SkyReelsV2Transformer3DModelvae: AutoencoderKLWanscheduler: UniPCMultistepScheduler )
Parametreler
- tokenizer (
T5Tokenizer) — T5'den gelen tokenizer, özellikle google/umt5-xxl varyantı. - text_encoder (
T5EncoderModel) — T5, özellikle google/umt5-xxl varyantı. - transformer (SkyReelsV2Transformer3DModel) — Giriş latentlerini gürültüden arındırmak için kullanılan Koşullu Transformer.
- scheduler (UniPCMultistepScheduler) —
Kodlanmış görüntü latentlerini gürültüden arındırmak için
transformerile birlikte kullanılacak bir zamanlayıcı. - vae (AutoencoderKLWan) — Video'ları latent temsillere kodlamak ve bu temsillerden çözmek için kullanılan Varyasyonel Oto-Kodlayıcı (VAE) Modeli.
SkyReels-V2 kullanılarak Metinden Videoya (t2v) üretim için Pipeline.
Bu model DiffusionPipeline sınıfından devralır. Tüm pipeline'lar için uygulanan genel yöntemlerin (indirme, kaydetme, belirli bir cihazda çalıştırma vb.) belgelerini üst sınıfın dokümantasyonunda bulabilirsiniz.
__call__
< source >( prompt: str | list[str] = Nonenegative_prompt: str | list[str] = Noneheight: int = 544width: int = 960num_frames: int = 97num_inference_steps: int = 50guidance_scale: float = 6.0num_videos_per_prompt: int | None = 1generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneprompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Noneoutput_type: str | None = 'np'return_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = Nonecallback_on_step_end: typing.Union[typing.Callable[[int, int], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = Nonecallback_on_step_end_tensor_inputs: list = ['latents']max_sequence_length: int = 512 ) → ~SkyReelsV2PipelineOutput or tuple
Parametreler
- prompt (
strveyalist[str], isteğe bağlı) — Görsel üretimi yönlendirmek için istem veya istemler. Tanımlanmadıysa bunun yerineprompt_embedsgeçirilmelidir. - negative_prompt (
strveyalist[str], isteğe bağlı) — Görsel üretimini yönlendirmemek için kullanılan istem veya istemler. Tanımlanmazsa, bunun yerinenegative_prompt_embedsparametresinin geçirilmesi gerekir. Yönlendirme kullanılmadığında (guidance_scale < 1) yok sayılır. - height (
int, varsayılan544) — Oluşturulan görüntünün piksel cinsinden yüksekliği. - width (
int, varsayılan960) — Oluşturulan görüntünün piksel cinsinden genişliği. - num_frames (
int, varsayılan97) — Oluşturulan videodaki kare sayısı. - num_inference_steps (
int, varsayılan50) — Gürültü azaltma adım sayısı. Daha fazla gürültü azaltma adımı genellikle daha yavaş çıkarım pahasına daha yüksek kaliteli bir görüntüye yol açar. - guidance_scale (
float, varsayılan6.0) — Classifier-Free Diffusion Guidance makalesinde tanımlandığı gibi yönlendirme ölçeği.guidance_scale, Imagen Paper makalesindeki 2. denklemindekiwolarak tanımlanır. Yönlendirme ölçeği,guidance_scale > 1olarak ayarlanarak etkinleştirilir. Daha yüksek yönlendirme ölçeği,promptmetniyle yakından ilişkili görsellerin üretilmesini teşvik eder, genellikle bu da daha düşük görsel kalitesi pahasına olur. - num_videos_per_prompt (
int, isteğe bağlı, varsayılan 1) — Her istem için oluşturulacak görüntü sayısı. - generator (
torch.Generatorveyalist[torch.Generator], isteğe bağlı) — Üretimi deterministik hale getirmek için kullanılan birtorch.Generator. - latents (
torch.Tensor, isteğe bağlı) — Gaussian dağılımdan örneklenen, gürültülü ve önceden oluşturulmuş latents; görüntü üretimi için girdi olarak kullanılabilir. Farklı istemlerle aynı üretimi ayarlamak için kullanılabilir. Sağlanmazsa, sağlanan rastgelegeneratorkullanılarak örneklemeye dayalı bir latents tensörü oluşturulur. - prompt_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş metin gömme değerleri. Metin girdilerini kolayca ayarlamak (istifade ağırlıklandırma) için kullanılabilir. Sağlanmazsa, metin gömme değerleripromptgirdi argümanından üretilir. - negative_prompt_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş negatif metin gömme değerleri. Metin girdilerini (istek ağırlıklandırması) kolayca ayarlamak için kullanılabilir. Sağlanmazsa,negative_prompt_embeds,negative_promptgirdi argümanından üretilir. - output_type (
str, isteğe bağlı, varsayılan"np") — Oluşturulan görüntünün çıktı biçimi.PIL.Imageveyanp.arrayarasında seçim yapın. - return_dict (
bool, isteğe bağlı, varsayılanTrue) — Düz bir tuple yerineSkyReelsV2PipelineOutputdöndürülüp döndürülmemesi. - attention_kwargs (
dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindekiself.processoraltında tanımlananAttentionProcessor'a iletilen bir kwargs sözlüğü. - callback_on_step_end (
Callable,PipelineCallback,MultiPipelineCallbacks, isteğe bağlı) — Çıkarım sırasında her gürültü azaltma adımının sonunda çağrılan, aşağıdaki argümanlara sahip bir fonksiyon veyaPipelineCallback/MultiPipelineCallbacksalt sınıfı:callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict).callback_kwargs,callback_on_step_end_tensor_inputstarafından belirtilen tüm tensörlerin listesini içerecektir. - callback_on_step_end_tensor_inputs (
list, isteğe bağlı) —callback_on_step_endişlevi için girdi tensörlerinin listesi. Listede belirtilen tensörler,callback_kwargsargümanı olarak geçirilir. Yalnızca pipeline sınıfınızın._callback_tensor_inputsözniteliğinde listelenen değişkenleri dahil edebilirsiniz. - max_sequence_length (
int, isteğe bağlı, varsayılan512) — Metin kodlayıcısı için maksimum dizi uzunluğu.
Dönüş değeri
~SkyReelsV2PipelineOutput veya tuple
return_dict True ise SkyReelsV2PipelineOutput döndürülür, aksi halde bir tuple döndürülür; bu yapıda ilk öğe üretilen görsellerin listesini, ikinci öğe ise ilgili üretilen görselin “not-safe-for-work” (nsfw) içerip içermediğini gösteren bool değerlerinin listesini içerir.
Üretim için pipeline'ın çağrı fonksiyonu.
Örnekler:
>>> import torch
>>> from diffusers import (
... SkyReelsV2Pipeline,
... UniPCMultistepScheduler,
... AutoencoderKLWan,
... )
>>> from diffusers.utils import export_to_video
>>> # Load the pipeline
>>> # Available models:
>>> # - Skywork/SkyReels-V2-T2V-14B-540P-Diffusers
>>> # - Skywork/SkyReels-V2-T2V-14B-720P-Diffusers
>>> vae = AutoencoderKLWan.from_pretrained(
... "Skywork/SkyReels-V2-T2V-14B-720P-Diffusers",
... subfolder="vae",
... torch_dtype=torch.float32,
... )
>>> pipe = SkyReelsV2Pipeline.from_pretrained(
... "Skywork/SkyReels-V2-T2V-14B-720P-Diffusers",
... vae=vae,
... torch_dtype=torch.bfloat16,
... )
>>> flow_shift = 8.0 # 8.0 for T2V, 5.0 for I2V
>>> pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config, flow_shift=flow_shift)
>>> pipe = pipe.to("cuda")
>>> prompt = "A cat and a dog baking a cake together in a kitchen. The cat is carefully measuring flour, while the dog is stirring the batter with a wooden spoon. The kitchen is cozy, with sunlight streaming through the window."
>>> output = pipe(
... prompt=prompt,
... num_inference_steps=50,
... height=544,
... width=960,
... guidance_scale=6.0, # 6.0 for T2V, 5.0 for I2V
... num_frames=97,
... ).frames[0]
>>> export_to_video(output, "video.mp4", fps=24, quality=8)encode_prompt
< source >( prompt: str | list[str]negative_prompt: str | list[str] | None = Nonedo_classifier_free_guidance: bool = Truenum_videos_per_prompt: int = 1prompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Nonemax_sequence_length: int = 226device: typing.Optional[torch.device] = Nonedtype: typing.Optional[torch.dtype] = None )
Parametreler
- prompt (
strveyalist[str], isteğe bağlı) — kodlanacak prompt - negative_prompt (
strveyalist[str], isteğe bağlı) — Görsel üretimini yönlendirmemek için kullanılan istem veya istemler. Tanımlanmamışsa, bunun yerinenegative_prompt_embedsparametresinin geçirilmesi gerekir. Yönlendirme kullanılmadığında (yaniguidance_scaledeğeri1'den küçükse) yok sayılır. - do_classifier_free_guidance (
bool, isteğe bağlı, varsayılanTrue) — Classifier free guidance kullanılacak mı? - num_videos_per_prompt (
int, isteğe bağlı, varsayılan 1) — Her prompt için oluşturulması gereken video sayısı. Sonuç gömme vektörlerinin yerleştirileceği torch cihazı - prompt_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş metin gömme değerleri. Metin girdilerini kolayca ayarlamak için kullanılabilir, ör. prompt ağırlıklandırma. Sağlanmazsa, metin gömme değerleripromptgirdi argümanından oluşturulur. - negative_prompt_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş negatif metin gömme değerleri. Metin girdilerini kolayca ayarlamak için kullanılabilir, ör. istem ağırlıklandırması. Sağlanmazsa, negative_prompt_embeds,negative_promptgirdi argümanından oluşturulur. - device — (
torch.device, isteğe bağlı): torch cihazı - dtype — (
torch.dtype, isteğe bağlı): torch dtype
İsteği metin kodlayıcı gizli durumlarına kodlar.
SkyReelsV2ImageToVideoPipeline
sınıf diffusers.SkyReelsV2ImageToVideoPipeline
< source >( tokenizer: AutoTokenizertext_encoder: transformers.models.t5.modeling_t5.T5EncoderModel | transformers.models.umt5.modeling_umt5.UMT5EncoderModelimage_encoder: CLIPVisionModelWithProjectionimage_processor: CLIPProcessortransformer: SkyReelsV2Transformer3DModelvae: AutoencoderKLWanscheduler: UniPCMultistepScheduler )
Parametreler
- tokenizer (
T5Tokenizer) — T5'den gelen tokenizer, özellikle google/umt5-xxl varyantı. - text_encoder (
T5EncoderModel) — T5, özellikle google/umt5-xxl varyantı. - image_encoder (
CLIPVisionModelWithProjection) — CLIP, özellikle clip-vit-huge-patch14 değişkeni. - transformer (SkyReelsV2Transformer3DModel) — Giriş latentlerini gürültüden arındırmak için kullanılan Koşullu Transformer.
- scheduler (UniPCMultistepScheduler) —
Kodlanmış görüntü latentlerini gürültüden arındırmak için
transformerile birlikte kullanılacak bir zamanlayıcı. - vae (AutoencoderKLWan) — Video'ları latent temsillere kodlamak ve bu temsillerden çözmek için kullanılan Varyasyonel Oto-Kodlayıcı (VAE) Modeli.
SkyReels-V2 kullanılarak Görüntüden Videoya (i2v) üretim hattı.
Bu model DiffusionPipeline sınıfından devralır. Tüm pipeline'lar için uygulanan genel yöntemlerin (indirme, kaydetme, belirli bir cihazda çalıştırma vb.) belgelerini üst sınıfın dokümantasyonunda bulabilirsiniz.
__call__
< source >( image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]prompt: str | list[str] = Nonenegative_prompt: str | list[str] = Noneheight: int = 544width: int = 960num_frames: int = 97num_inference_steps: int = 50guidance_scale: float = 5.0num_videos_per_prompt: int | None = 1generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneprompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Noneimage_embeds: typing.Optional[torch.Tensor] = Nonelast_image: typing.Optional[torch.Tensor] = Noneoutput_type: str | None = 'np'return_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = Nonecallback_on_step_end: typing.Union[typing.Callable[[int, int], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = Nonecallback_on_step_end_tensor_inputs: list = ['latents']max_sequence_length: int = 512 ) → ~SkyReelsV2PipelineOutput or tuple
Parametreler
- image (
PipelineImageInput) — Üretimin koşullandırılacağı girdi görüntüsü. Bir görüntü, görüntü listesi veyatorch.Tensorolmalıdır. - prompt (
strveyalist[str], isteğe bağlı) — Görsel üretimi yönlendirmek için istem veya istemler. Tanımlanmadıysa bunun yerineprompt_embedsgeçirilmelidir. - negative_prompt (
strveyalist[str], isteğe bağlı) — Görsel üretimini yönlendirmemek için kullanılan istem veya istemler. Tanımlanmamışsa, bunun yerinenegative_prompt_embedsparametresinin geçirilmesi gerekir. Yönlendirme kullanılmadığında (yaniguidance_scaledeğeri1'den küçükse) yok sayılır. - height (
int, varsayılan544) — Oluşturulan videonun yüksekliği. - width (
int, varsayılan960) — Oluşturulan videonun genişliği. - num_frames (
int, varsayılan97) — Oluşturulan videodaki kare sayısı. - num_inference_steps (
int, varsayılan50) — Gürültü azaltma adım sayısı. Daha fazla gürültü azaltma adımı genellikle daha yavaş çıkarım pahasına daha yüksek kaliteli bir görüntüye yol açar. - guidance_scale (
float, varsayılan5.0) — Classifier-Free Diffusion Guidance makalesinde tanımlandığı gibi yönlendirme ölçeği.guidance_scale, Imagen Paper makalesindeki 2. denklemindekiwolarak tanımlanır. Yönlendirme ölçeği,guidance_scale > 1olarak ayarlanarak etkinleştirilir. Daha yüksek yönlendirme ölçeği,promptmetniyle yakından ilişkili görsellerin üretilmesini teşvik eder, ancak bu genellikle daha düşük görsel kalitesi pahasına gerçekleşir. - num_videos_per_prompt (
int, isteğe bağlı, varsayılan 1) — Her istem için oluşturulacak görüntü sayısı. - generator (
torch.Generatorveyalist[torch.Generator], isteğe bağlı) — Üretimi deterministik hale getirmek için kullanılan birtorch.Generator. - latents (
torch.Tensor, isteğe bağlı) — Gaussian dağılımdan örneklenen, gürültülü ve önceden oluşturulmuş latents; görüntü üretimi için girdi olarak kullanılabilir. Farklı istemlerle aynı üretimi ayarlamak için kullanılabilir. Sağlanmazsa, sağlanan rastgelegeneratorkullanılarak örneklemeye dayalı bir latents tensörü oluşturulur. - prompt_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş metin gömme değerleri. Metin girdilerini kolayca ayarlamak (istifade ağırlıklandırma) için kullanılabilir. Sağlanmazsa, metin gömme değerleripromptgirdi argümanından üretilir. - negative_prompt_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş metin gömme değerleri. Metin girdilerini (istek ağırlıklandırması) kolayca ayarlamak için kullanılabilir. Sağlanmazsa, metin gömme değerlerinegative_promptgirdi argümanından üretilir. - image_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş gömme vektörleri. Görsel girdileri kolayca ayarlamak (ağırlıklandırma) için kullanılabilir. Sağlanmazsa, gömme vektörleriimagegirdi argümanından üretilir. - last_image (
torch.Tensor, isteğe bağlı) — Görüntüden videoya koşullandırmada üretilen videonun sonunu sabitleyen isteğe bağlı son görüntü. - output_type (
str, isteğe bağlı, varsayılan"np") — Oluşturulan görüntünün çıktı biçimi.PIL.Imageveyanp.arrayarasında seçim yapın. - return_dict (
bool, isteğe bağlı, varsayılanTrue) — Düz bir tuple yerineWanPipelineOutputdöndürülüp döndürülmemesi. - attention_kwargs (
dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindekiself.processoraltında tanımlananAttentionProcessor'a iletilen bir kwargs sözlüğü. - callback_on_step_end (
Callable,PipelineCallback,MultiPipelineCallbacks, isteğe bağlı) — Çıkarım sırasında her gürültü azaltma adımının sonunda çağrılan, aşağıdaki argümanlara sahip bir fonksiyon veyaPipelineCallback/MultiPipelineCallbacksalt sınıfı:callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict).callback_kwargs,callback_on_step_end_tensor_inputstarafından belirtilen tüm tensörlerin listesini içerecektir. - callback_on_step_end_tensor_inputs (
list, isteğe bağlı) —callback_on_step_endişlevi için girdi tensörlerinin listesi. Listede belirtilen tensörler,callback_kwargsargümanı olarak geçirilir. Yalnızca pipeline sınıfınızın._callback_tensor_inputsözniteliğinde listelenen değişkenleri dahil edebilirsiniz. - max_sequence_length (
int, isteğe bağlı, varsayılan512) — İstemin (prompt) maksimum dizi uzunluğu.
Dönüş değeri
~SkyReelsV2PipelineOutput veya tuple
return_dict True ise SkyReelsV2PipelineOutput döndürülür, aksi halde bir tuple döndürülür; bu yapıda ilk öğe üretilen görsellerin listesini, ikinci öğe ise ilgili üretilen görselin “not-safe-for-work” (nsfw) içerip içermediğini gösteren bool değerlerinin listesini içerir.
Üretim için pipeline'ın çağrı fonksiyonu.
Örnekler:
>>> import torch
>>> from diffusers import (
... SkyReelsV2ImageToVideoPipeline,
... UniPCMultistepScheduler,
... AutoencoderKLWan,
... )
>>> from diffusers.utils import export_to_video
>>> from PIL import Image
>>> # Load the pipeline
>>> # Available models:
>>> # - Skywork/SkyReels-V2-I2V-1.3B-540P-Diffusers
>>> # - Skywork/SkyReels-V2-I2V-14B-540P-Diffusers
>>> # - Skywork/SkyReels-V2-I2V-14B-720P-Diffusers
>>> vae = AutoencoderKLWan.from_pretrained(
... "Skywork/SkyReels-V2-I2V-14B-720P-Diffusers",
... subfolder="vae",
... torch_dtype=torch.float32,
... )
>>> pipe = SkyReelsV2ImageToVideoPipeline.from_pretrained(
... "Skywork/SkyReels-V2-I2V-14B-720P-Diffusers",
... vae=vae,
... torch_dtype=torch.bfloat16,
... )
>>> flow_shift = 5.0 # 8.0 for T2V, 5.0 for I2V
>>> pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config, flow_shift=flow_shift)
>>> pipe = pipe.to("cuda")
>>> prompt = "A cat and a dog baking a cake together in a kitchen. The cat is carefully measuring flour, while the dog is stirring the batter with a wooden spoon. The kitchen is cozy, with sunlight streaming through the window."
>>> image = Image.open("path/to/image.png")
>>> output = pipe(
... image=image,
... prompt=prompt,
... num_inference_steps=50,
... height=544,
... width=960,
... guidance_scale=5.0, # 6.0 for T2V, 5.0 for I2V
... num_frames=97,
... ).frames[0]
>>> export_to_video(output, "video.mp4", fps=24, quality=8)encode_prompt
< source >( prompt: str | list[str]negative_prompt: str | list[str] | None = Nonedo_classifier_free_guidance: bool = Truenum_videos_per_prompt: int = 1prompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Nonemax_sequence_length: int = 226device: typing.Optional[torch.device] = Nonedtype: typing.Optional[torch.dtype] = None )
Parametreler
- prompt (
strveyalist[str], isteğe bağlı) — kodlanacak prompt - negative_prompt (
strveyalist[str], isteğe bağlı) — Görsel üretimini yönlendirmemek için kullanılan istem veya istemler. Tanımlanmamışsa, bunun yerinenegative_prompt_embedsparametresinin geçirilmesi gerekir. Yönlendirme kullanılmadığında (yaniguidance_scaledeğeri1'den küçükse) yok sayılır. - do_classifier_free_guidance (
bool, isteğe bağlı, varsayılanTrue) — Classifier free guidance kullanılacak mı? - num_videos_per_prompt (
int, isteğe bağlı, varsayılan 1) — Her prompt için oluşturulması gereken video sayısı. Sonuç gömme vektörlerinin yerleştirileceği torch cihazı - prompt_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş metin gömme değerleri. Metin girdilerini kolayca ayarlamak için kullanılabilir, ör. prompt ağırlıklandırma. Sağlanmazsa, metin gömme değerleripromptgirdi argümanından oluşturulur. - negative_prompt_embeds (
torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş negatif metin gömme değerleri. Metin girdilerini kolayca ayarlamak için kullanılabilir, ör. istem ağırlıklandırması. Sağlanmazsa, negative_prompt_embeds,negative_promptgirdi argümanından oluşturulur. - device — (
torch.device, isteğe bağlı): torch cihazı - dtype — (
torch.dtype, isteğe bağlı): torch dtype
İsteği metin kodlayıcı gizli durumlarına kodlar.
SkyReelsV2PipelineOutput
sınıf diffusers.pipelines.skyreels_v2.pipeline_output.SkyReelsV2PipelineOutput
< source >( frames: Tensor )
Parametreler
- frames (
torch.Tensor,np.ndarrayveya list[list[PIL.Image.Image]]) — video çıktıları listesi -batch_size,uzunluğunda iç içe geçmiş bir liste olabilir; her alt liste,num_frames.uzunluğunda gürültüsü azaltılmış PIL görüntü dizileri içerir. Ayrıca(batch_size, num_frames, channels, height, width)biçiminde bir NumPy dizisi veya Torch tensörü de olabilir.
SkyReelsV2 pipeline'leri için çıktı sınıfı.