# # Лицензия Apache License, Version 2.0 («Лицензия»); # вы можете использовать этот файл только в соответствии с Лицензией. # Вы можете получить копию Лицензии по адресу # # http://www.apache.org/licenses/LICENSE-2.0 # # Если это не требуется применимым законодательством или не оговорено письменно, программное # распространяется по Лицензии на условиях «КАК ЕСТЬ», # БЕЗ КАКИХ-ЛИБО ГАРАНТИЙ ИЛИ УСЛОВИЙ, прямо указанных или подразумеваемых. # См. Лицензию для получения конкретных условий, регулирующих разрешения и # ограничениями Лицензии. --> # SkyReels-V2: модель генерации фильмов неограниченной длины [SkyReels-V2](https://huggingface.co/papers/2504.13074) от команды SkyReels из Skywork AI. *Недавние достижения в области генерации видео обусловлены моделями диффузии и авто-регрессивными фреймворками, однако сохраняются ключевые проблемы в согласовании соответствия промпту, визуального качества, динамики движения и длительности: компромиссы в динамике движения ради улучшения временного визуального качества, ограниченная длительность видео (5–10 секунд) в пользу разрешения, а также недостаточная генерация с учётом кадров, вызванная неспособностью универсальных MLLM интерпретировать кинематографическую грамматику, такую как композиция кадра, мимика актёров и движение камеры. Эти взаимосвязанные ограничения препятствуют реалистичному синтезу длинных форматов и генерации в профессиональном кино-стиле. Для решения этих проблем мы предлагаем SkyReels-V2 — модель генерации фильмов неограниченной длины, которая синергично объединяет Multi-modal Large Language Model (MLLM), Multi-stage Pretraining, Reinforcement Learning и Diffusion Forcing Framework. Во-первых, мы разработали комплексное структурное представление видео, сочетающее общие описания от Multi-modal LLM и детальную «языковую» разметку кадров от суб-экспертных моделей. С помощью человеческой аннотации мы затем обучили унифицированный Video Captioner, названный SkyCaptioner-V1, для эффективной разметки видеоданных. Во-вторых, мы внедрили предобучение с прогрессивным разрешением для базовой генерации видео, за которым следует четырёхэтапное пост-обучение: начальное сбалансированное по концепциям Supervised Fine-Tuning (SFT) улучшает базовое качество; Motion-specific Reinforcement Learning (RL) обучение с использованием данных, размеченных людьми, и синтетических данных с искажениями, устраняет динамические артефакты; наш фреймворк диффузионного принуждения с неубывающими расписаниями шума позволяет синтезировать длинные видео в эффективном пространстве поиска; финальное высококачественное SFT уточняет визуальную точность. Весь код и модели доступны по [этой ссылке](https://github.com/SkyworkAI/SkyReels-V2).* Все исходные контрольные точки SkyReels-V2 можно найти в организации [Skywork](https://huggingface.co/collections/Skywork/skyreels-v2-6801b1b93df627d441d0d0d9). В Diffusers поддерживаются следующие модели SkyReels-V2: - [SkyReels-V2 DF 1.3B - 540P](https://huggingface.co/Skywork/SkyReels-V2-DF-1.3B-540P-Diffusers) - [SkyReels-V2 DF 14B - 540P](https://huggingface.co/Skywork/SkyReels-V2-DF-14B-540P-Diffusers) - [SkyReels-V2 DF 14B - 720P](https://huggingface.co/Skywork/SkyReels-V2-DF-14B-720P-Diffusers) - [SkyReels-V2 T2V 14B - 540P](https://huggingface.co/Skywork/SkyReels-V2-T2V-14B-540P-Diffusers) - [SkyReels-V2 T2V 14B - 720P](https://huggingface.co/Skywork/SkyReels-V2-T2V-14B-720P-Diffusers) - [SkyReels-V2 I2V 1.3B - 540P](https://huggingface.co/Skywork/SkyReels-V2-I2V-1.3B-540P-Diffusers) - [SkyReels-V2 I2V 14B - 540P](https://huggingface.co/Skywork/SkyReels-V2-I2V-14B-540P-Diffusers) - [SkyReels-V2 I2V 14B - 720P](https://huggingface.co/Skywork/SkyReels-V2-I2V-14B-720P-Diffusers) Эта модель была предоставлена [M. Tolga Cangöz](https://github.com/tolgacangoz). > [!TIP] > Нажмите на модели SkyReels-V2 в правой боковой панели, чтобы увидеть больше примеров генерации видео. ### _Наглядная_ демонстрация Приведённый ниже пример имеет следующие параметры: - `base_num_frames=97` - `num_frames=97` - `num_inference_steps=30` - `ar_step=5` - `causal_block_size=5` При `vae_scale_factor_temporal=4` ожидаются `5` блоков по `5` кадров в каждом, что рассчитывается по формуле: `num_latent_frames: (97-1)//vae_scale_factor_temporal+1 = 25 frames -> 5 blocks of 5 frames each` А максимальная длина контекста в латентном пространстве вычисляется с помощью `base_num_latent_frames`: `base_num_latent_frames = (97-1)//vae_scale_factor_temporal+1 = 25 -> 25//5 = 5 blocks` Временная шкала асинхронной обработки: ```text ┌─────────────────────────────────────────────────────────────────┐ │ Steps: 1 6 11 16 21 26 31 36 41 46 50 │ │ Block 1: [■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■] │ │ Block 2: [■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■] │ │ Block 3: [■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■] │ │ Block 4: [■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■] │ │ Block 5: [■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■] │ └─────────────────────────────────────────────────────────────────┘ ``` Для длинных видео (`num_frames` > `base_num_frames`): `base_num_frames` выполняет роль «размера скользящего окна» при обработке длинных видео. Пример: видео из `257` кадров с `base_num_frames=97`, `overlap_history=17` ```text ┌──── Iteration 1 (frames 1-97) ────┐ │ Processing window: 97 frames │ → 5 blocks, │ Generates: frames 1-97 │ async processing └───────────────────────────────────┘ ┌────── Iteration 2 (frames 81-177) ──────┐ │ Processing window: 97 frames │ │ Overlap: 17 frames (81-97) from prev │ → 5 blocks, │ Generates: frames 98-177 │ async processing └─────────────────────────────────────────┘ ┌────── Iteration 3 (frames 161-257) ──────┐ │ Processing window: 97 frames │ │ Overlap: 17 frames (161-177) from prev │ → 5 blocks, │ Generates: frames 178-257 │ async processing └──────────────────────────────────────────┘ ``` Каждая итерация независимо выполняет асинхронную обработку со своими `5` блоками. `base_num_frames` управляет: 1. Использование памяти (чем больше окно, тем больше VRAM) 2. Длина контекста модели (должна соответствовать ограничениям обучения) 3. Количество блоков на итерацию (`base_num_latent_frames // causal_block_size`) Каждый блок выполняет `30` шагов для завершения процесса денойзинга. Блок N начинается с шага: `1 + (N-1) x ar_step` Общее количество шагов: `30 + (5-1) x 5 = 50` шагов Синхронный режим (`ar_step=0`) обрабатывает все блоки/кадры одновременно: ```text ┌──────────────────────────────────────────────┐ │ Steps: 1 ... 30 │ │ All blocks: [■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■] │ └──────────────────────────────────────────────┘ ``` Всего шагов: `30` Пример того, как строится матрица шагов для асинхронной обработки: при параметрах (`num_inference_steps=30, flow_shift=8, num_frames=97, ar_step=5, causal_block_size=5`) ``` - num_latent_frames = (97 frames - 1) // (4 temporal downsampling) + 1 = 25 - step_template = [999, 995, 991, 986, 980, 975, 969, 963, 956, 948, 941, 932, 922, 912, 901, 888, 874, 859, 841, 822, 799, 773, 743, 708, 666, 615, 551, 470, 363, 216] ``` Алгоритм создаёт `50x25` `step_matrix`, где: ``` - Row 1: [999×5, 999×5, 999×5, 999×5, 999×5] - Row 2: [995×5, 999×5, 999×5, 999×5, 999×5] - Row 3: [991×5, 999×5, 999×5, 999×5, 999×5] - ... - Row 7: [969×5, 995×5, 999×5, 999×5, 999×5] - ... - Row 21: [799×5, 888×5, 941×5, 975×5, 999×5] - ... - Row 35: [ 0×5, 216×5, 666×5, 822×5, 901×5] - ... - Row 42: [ 0×5, 0×5, 0×5, 551×5, 773×5] - ... - Row 50: [ 0×5, 0×5, 0×5, 0×5, 216×5] ``` Подробный анализ строки `6`: ``` - step_matrix[5]: [ 975×5, 999×5, 999×5, 999×5, 999×5] - step_index[5]: [ 6×5, 1×5, 0×5, 0×5, 0×5] - step_update_mask[5]: [True×5, True×5, False×5, False×5, False×5] - valid_interval[5]: (0, 25) ``` Ключевой паттерн: блок `i` отстаёт от блока `i-1` ровно на `ar_step=5` шагов, что создаёт эффект «diffusion forcing» со смещением, при котором более поздние блоки опираются на более чистые ранние блоки. ### Генерация видео по тексту Пример ниже демонстрирует, как сгенерировать видео из текста. См. руководство [Сокращение использования памяти](../../optimization/memory) для получения подробной информации о различных техниках экономии памяти. Из исходного репозитория: >Вы можете использовать --ar_step 5 для включения асинхронного вывода. При асинхронном выводе рекомендуется устанавливать --causal_block_size 5, тогда как для синхронной генерации этот параметр устанавливать не следует... Асинхронный вывод потребует большего количества шагов для диффузии всей последовательности, что означает, что он будет МЕДЛЕННЕЕ, чем синхронный режим. В наших экспериментах асинхронный вывод может улучшить следование инструкциям и визуальную согласованность. ```py import torch from diffusers import AutoModel, SkyReelsV2DiffusionForcingPipeline, UniPCMultistepScheduler from diffusers.utils import export_to_video model_id = "Skywork/SkyReels-V2-DF-1.3B-540P-Diffusers" vae = AutoModel.from_pretrained(model_id, subfolder="vae", dtype=torch.float32) pipeline = SkyReelsV2DiffusionForcingPipeline.from_pretrained( model_id, vae=vae, dtype=torch.bfloat16, ) pipeline.to("cuda") # or "mps", "xpu", "cpu" flow_shift = 8.0 # 8.0 for T2V, 5.0 for I2V pipeline.scheduler = UniPCMultistepScheduler.from_config(pipeline.scheduler.config, flow_shift=flow_shift) prompt = "A cat and a dog baking a cake together in a kitchen. The cat is carefully measuring flour, while the dog is stirring the batter with a wooden spoon. The kitchen is cozy, with sunlight streaming through the window." output = pipeline( prompt=prompt, num_inference_steps=30, height=544, # 720 for 720P width=960, # 1280 for 720P num_frames=97, base_num_frames=97, # 121 for 720P ar_step=5, # Controls asynchronous inference (0 for synchronous mode) causal_block_size=5, # Number of frames in each block for asynchronous processing overlap_history=None, # Number of frames to overlap for smooth transitions in long videos; 17 for long video generations addnoise_condition=20, # Improves consistency in long video generation ).frames[0] export_to_video(output, "video.mp4", fps=24, quality=8) ``` ### Генерация видео из первого и последнего кадров Пример ниже демонстрирует, как использовать конвейер image-to-video для генерации видео с использованием текстового описания, начального кадра и конечного кадра. ```python import numpy as np import torch import torchvision.transforms.functional as TF from diffusers import AutoencoderKLWan, SkyReelsV2DiffusionForcingImageToVideoPipeline, UniPCMultistepScheduler from diffusers.utils import export_to_video, load_image model_id = "Skywork/SkyReels-V2-DF-1.3B-720P-Diffusers" vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", dtype=torch.float32) pipeline = SkyReelsV2DiffusionForcingImageToVideoPipeline.from_pretrained( model_id, vae=vae, dtype=torch.bfloat16 ) pipeline.to("cuda") # or "mps", "xpu", "cpu" flow_shift = 5.0 # 8.0 for T2V, 5.0 for I2V pipeline.scheduler = UniPCMultistepScheduler.from_config(pipeline.scheduler.config, flow_shift=flow_shift) first_frame = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/flf2v_input_first_frame.png") last_frame = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/flf2v_input_last_frame.png") def aspect_ratio_resize(image, pipeline, max_area=720 * 1280): aspect_ratio = image.height / image.width mod_value = pipeline.vae_scale_factor_spatial * pipeline.transformer.config.patch_size[1] height = round(np.sqrt(max_area * aspect_ratio)) // mod_value * mod_value width = round(np.sqrt(max_area / aspect_ratio)) // mod_value * mod_value image = image.resize((width, height)) return image, height, width def center_crop_resize(image, height, width): # Calculate resize ratio to match first frame dimensions resize_ratio = max(width / image.width, height / image.height) # Resize the image width = round(image.width * resize_ratio) height = round(image.height * resize_ratio) size = [width, height] image = TF.center_crop(image, size) return image, height, width first_frame, height, width = aspect_ratio_resize(first_frame, pipeline) if last_frame.size != first_frame.size: last_frame, _, _ = center_crop_resize(last_frame, height, width) prompt = "CG animation style, a small blue bird takes off from the ground, flapping its wings. The bird's feathers are delicate, with a unique pattern on its chest. The background shows a blue sky with white clouds under bright sunshine. The camera follows the bird upward, capturing its flight and the vastness of the sky from a close-up, low-angle perspective." output = pipeline( image=first_frame, last_image=last_frame, prompt=prompt, height=height, width=width, guidance_scale=5.0 ).frames[0] export_to_video(output, "video.mp4", fps=24, quality=8) ``` ### Генерация видео из видео `SkyReelsV2DiffusionForcingVideoToVideoPipeline` расширяет заданное видео. ```python import numpy as np import torch import torchvision.transforms.functional as TF from diffusers import AutoencoderKLWan, SkyReelsV2DiffusionForcingVideoToVideoPipeline, UniPCMultistepScheduler from diffusers.utils import export_to_video, load_video model_id = "Skywork/SkyReels-V2-DF-1.3B-720P-Diffusers" vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", dtype=torch.float32) pipeline = SkyReelsV2DiffusionForcingVideoToVideoPipeline.from_pretrained( model_id, vae=vae, dtype=torch.bfloat16 ) pipeline.to("cuda") # or "mps", "xpu", "cpu" flow_shift = 5.0 # 8.0 for T2V, 5.0 for I2V pipeline.scheduler = UniPCMultistepScheduler.from_config(pipeline.scheduler.config, flow_shift=flow_shift) video = load_video("input_video.mp4") prompt = "CG animation style, a small blue bird takes off from the ground, flapping its wings. The bird's feathers are delicate, with a unique pattern on its chest. The background shows a blue sky with white clouds under bright sunshine. The camera follows the bird upward, capturing its flight and the vastness of the sky from a close-up, low-angle perspective." output = pipeline( video=video, prompt=prompt, height=720, width=1280, guidance_scale=5.0, overlap_history=17, num_inference_steps=30, num_frames=257, base_num_frames=121#, ar_step=5, causal_block_size=5, ).frames[0] export_to_video(output, "video.mp4", fps=24, quality=8) # Total frames will be the number of frames of the given video + 257 ``` ## Примечания - SkyReels-V2 поддерживает LoRA с помощью [load_lora_weights()](/docs/diffusers/v0.43.0/ru/api/loaders/lora#diffusers.loaders.SkyReelsV2LoraLoaderMixin.load_lora_weights). `SkyReelsV2Pipeline` и `SkyReelsV2ImageToVideoPipeline` также доступны без применения фреймворка Diffusion Forcing. ## SkyReelsV2DiffusionForcingPipeline[[diffusers.SkyReelsV2DiffusionForcingPipeline]] #### diffusers.SkyReelsV2DiffusionForcingPipeline[[diffusers.SkyReelsV2DiffusionForcingPipeline]] ```python diffusers.SkyReelsV2DiffusionForcingPipeline(tokenizer: AutoTokenizer, text_encoder: transformers.models.t5.modeling_t5.T5EncoderModel | transformers.models.umt5.modeling_umt5.UMT5EncoderModel, transformer: SkyReelsV2Transformer3DModel, vae: AutoencoderKLWan, scheduler: UniPCMultistepScheduler) ``` [Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/skyreels_v2/pipeline_skyreels_v2_diffusion_forcing.py#L128) **Параметры:** tokenizer (`AutoTokenizer`) : Токенизатор для [T5](https://huggingface.co/docs/transformers/en/model_doc/t5#transformers.T5Tokenizer), а именно вариант [google/umt5-xxl](https://huggingface.co/google/umt5-xxl). text_encoder (`UMT5EncoderModel`) : [T5](https://huggingface.co/docs/transformers/en/model_doc/t5#transformers.T5EncoderModel), а именно вариант [google/umt5-xxl](https://huggingface.co/google/umt5-xxl). transformer ([SkyReelsV2Transformer3DModel](/docs/diffusers/v0.43.0/ru/api/models/skyreels_v2_transformer_3d#diffusers.SkyReelsV2Transformer3DModel)) : Условный Transformer для удаления шума из закодированных латентов изображения. scheduler ([UniPCMultistepScheduler](/docs/diffusers/v0.43.0/ru/api/schedulers/unipc#diffusers.UniPCMultistepScheduler)) : планировщик, используемый в сочетании с `transformer` для удаления шума из закодированных латентов изображения. vae ([AutoencoderKLWan](/docs/diffusers/v0.43.0/ru/api/models/autoencoder_kl_wan#diffusers.AutoencoderKLWan)) : Модель вариационного автоэнкодера (VAE) для кодирования и декодирования видео в латентные представления и обратно. Пайплайн для генерации видео по тексту (t2v) с использованием SkyReels-V2 и диффузионного форсинга. Эта модель наследуется от [DiffusionPipeline](/docs/diffusers/v0.43.0/ru/api/pipelines/overview#diffusers.DiffusionPipeline). См. документацию родительского класса для общих методов, реализованных для всех пайплайнов (загрузка, сохранение, запуск на конкретном устройстве и т. д.). #### __call__[[diffusers.SkyReelsV2DiffusionForcingPipeline.__call__]] ```python __call__(prompt: str | list[str], negative_prompt: str | list[str] = None, height: int = 544, width: int = 960, num_frames: int = 97, num_inference_steps: int = 50, guidance_scale: float = 6.0, num_videos_per_prompt: int | None = 1, generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = None, latents: typing.Optional[torch.Tensor] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, output_type: str | None = 'np', return_dict: bool = True, attention_kwargs: dict[str, typing.Any] | None = None, callback_on_step_end: typing.Union[typing.Callable[[int, int], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None, callback_on_step_end_tensor_inputs: list[str] = ['latents'], max_sequence_length: int = 512, overlap_history: int | None = None, addnoise_condition: float = 0, base_num_frames: int = 97, ar_step: int = 0, causal_block_size: int | None = None, fps: int = 24) ``` [Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/skyreels_v2/pipeline_skyreels_v2_diffusion_forcing.py#L598) **Параметры:** prompt (`str` или `list[str]`, *необязательный*) : Промпт или промпты для управления генерацией изображения. Если не задан, необходимо передать `prompt_embeds` вместо него. negative_prompt (`str` или `list[str]`, *необязательный*) : Промпт или промпты, которые не должны направлять генерацию изображения. Если не задан, необходимо передать `negative_prompt_embeds`. Игнорируется, если не используется направляющее влияние (то есть игнорируется, если `guidance_scale` меньше `1`). height (`int`, по умолчанию `544`) : Высота генерируемого видео. width (`int`, по умолчанию `960`) : Ширина генерируемого видео. num_frames (`int`, по умолчанию `97`) : Количество кадров в сгенерированном видео. num_inference_steps (`int`, по умолчанию `50`) : Количество шагов денойзинга. Как правило, большее число шагов денойзинга приводит к изображению более высокого качества, но за счёт более медленного вывода. guidance_scale (`float`, по умолчанию `6.0`) : Масштаб руководства, определённый в [Classifier-Free Diffusion Guidance](https://huggingface.co/papers/2207.12598). `guidance_scale` соответствует `w` из уравнения 2 в [Imagen Paper](https://huggingface.co/papers/2205.11487). Функция руководства активируется при установке `guidance_scale > 1`. Более высокое значение масштаба руководства способствует генерации изображений, тесно связанных с текстовым `prompt`, обычно за счёт снижения качества изображения. (**6.0 для T2V**, **5.0 для I2V**) num_videos_per_prompt (`int`, *необязательный*, по умолчанию 1) : Количество изображений, генерируемых на один запрос. generator (`torch.Generator` или `list[torch.Generator]`, *необязательно*) : [`torch.Generator`](https://pytorch.org/docs/stable/generated/torch.Generator.html) для обеспечения детерминированности генерации. latents (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные шумовые латенты, выбранные из гауссова распределения, которые используются в качестве входных данных для генерации изображений. Позволяет корректировать одну и ту же генерацию с помощью разных промптов. Если не задано, тензор латентов генерируется путём выборки с использованием переданного случайного `generator`. prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных (взвешивание промпта). Если не предоставлены, текстовые эмбеддинги генерируются из входного аргумента `prompt`. negative_prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных (взвешивание промпта). Если не предоставлены, текстовые эмбеддинги генерируются из входного аргумента `negative_prompt`. output_type (`str`, *необязательный*, по умолчанию `"np"`) : Формат вывода сгенерированного изображения. Выберите между `PIL.Image` и `np.array`. return_dict (`bool`, *необязательный*, по умолчанию `True`) : Возвращать ли `SkyReelsV2PipelineOutput` вместо обычного кортежа. attention_kwargs (`dict`, *необязательный*) : Словарь kwargs, который при указании передается в `AttentionProcessor`, определенный в `self.processor` в [diffusers.models.attention_processor](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py). callback_on_step_end (`Callable`, `PipelineCallback`, `MultiPipelineCallbacks`, *optional*) : функция или подкласс `PipelineCallback` или `MultiPipelineCallbacks`, вызываемая в конце каждого шага денойзинга во время инференса со следующими аргументами: `callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)`. `callback_kwargs` будет содержать список всех тензоров, как указано в `callback_on_step_end_tensor_inputs`. callback_on_step_end_tensor_inputs (`list`, *optional*) : Список тензорных входных данных для функции `callback_on_step_end`. Тензоры, указанные в списке, будут переданы в качестве аргумента `callback_kwargs`. Вы сможете включать только переменные, перечисленные в атрибуте `._callback_tensor_inputs` вашего класса pipeline. max_sequence_length (`int`, *необязательный*, по умолчанию `512`) : Максимальная длина последовательности промпта. overlap_history (`int`, *optional*, по умолчанию `None`) : Количество кадров перекрытия для плавных переходов в длинных видео. Если `None`, конвейер предполагает режим генерации коротких видео, и перекрытие не применяется. Рекомендуется устанавливать значения 17 или 37. addnoise_condition (`float`, *optional*, по умолчанию `0`) : Используется для сглаживания генерации длинных видео путём добавления шума к чистому условию. Слишком большой шум также может привести к несогласованности. Рекомендуемое значение — 20; можно попробовать более крупные значения, но не рекомендуется превышать 50. base_num_frames (`int`, *необязательный*, по умолчанию `97`) : 97 или 121 | Количество базовых кадров (**97 для 540P**, **121 для 720P**) ar_step (`int`, *optional*, по умолчанию `0`) : Управляет асинхронным выводом (0 для синхронного режима). Вы можете установить `ar_step=5`, чтобы включить асинхронный вывод. При асинхронном выводе рекомендуется устанавливать `causal_block_size=5`, тогда как для синхронной генерации этот параметр устанавливать не следует. Асинхронный вывод требует большего количества шагов для диффузии всей последовательности, что означает, что он будет МЕДЛЕННЕЕ, чем синхронный режим. В наших экспериментах асинхронный вывод может улучшить следование инструкциям и визуальную согласованность. causal_block_size (`int`, *необязательный*, по умолчанию `None`) : Количество кадров в каждом блоке/чанке. Рекомендуется при использовании асинхронного вывода (когда ar_step > 0) fps (`int`, *необязательный*, по умолчанию `24`) : Частота кадров генерируемого видео **Возвращает:** `~SkyReelsV2PipelineOutput` или `tuple` Если `return_dict` равно `True`, возвращается `SkyReelsV2PipelineOutput`, иначе возвращается `tuple`, где первый элемент — это список сгенерированных изображений, а второй — список значений `bool`, указывающих, содержит ли соответствующее сгенерированное изображение контент, нежелательный для просмотра на рабочем месте (nsfw). Функция вызова конвейера для генерации. Примеры: ```py >>> import torch >>> from diffusers import ( ... SkyReelsV2DiffusionForcingPipeline, ... UniPCMultistepScheduler, ... AutoencoderKLWan, ... ) >>> from diffusers.utils import export_to_video >>> # Load the pipeline >>> # Available models: >>> # - Skywork/SkyReels-V2-DF-1.3B-540P-Diffusers >>> # - Skywork/SkyReels-V2-DF-14B-540P-Diffusers >>> # - Skywork/SkyReels-V2-DF-14B-720P-Diffusers >>> vae = AutoencoderKLWan.from_pretrained( ... "Skywork/SkyReels-V2-DF-14B-720P-Diffusers", ... subfolder="vae", ... torch_dtype=torch.float32, ... ) >>> pipe = SkyReelsV2DiffusionForcingPipeline.from_pretrained( ... "Skywork/SkyReels-V2-DF-14B-720P-Diffusers", ... vae=vae, ... torch_dtype=torch.bfloat16, ... ) >>> flow_shift = 8.0 # 8.0 for T2V, 5.0 for I2V >>> pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config, flow_shift=flow_shift) >>> pipe = pipe.to("cuda") >>> prompt = "A cat and a dog baking a cake together in a kitchen. The cat is carefully measuring flour, while the dog is stirring the batter with a wooden spoon. The kitchen is cozy, with sunlight streaming through the window." >>> output = pipe( ... prompt=prompt, ... num_inference_steps=30, ... height=544, ... width=960, ... guidance_scale=6.0, # 6.0 for T2V, 5.0 for I2V ... num_frames=97, ... ar_step=5, # Controls asynchronous inference (0 for synchronous mode) ... causal_block_size=5, # Number of frames processed together in a causal block ... overlap_history=None, # Number of frames to overlap for smooth transitions in long videos ... addnoise_condition=20, # Improves consistency in long video generation ... ).frames[0] >>> export_to_video(output, "video.mp4", fps=24, quality=8) ``` #### encode_prompt[[diffusers.SkyReelsV2DiffusionForcingPipeline.encode_prompt]] ```python encode_prompt(prompt: str | list[str], negative_prompt: str | list[str] | None = None, do_classifier_free_guidance: bool = True, num_videos_per_prompt: int = 1, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, max_sequence_length: int = 226, device: typing.Optional[torch.device] = None, dtype: typing.Optional[torch.dtype] = None) ``` [Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/skyreels_v2/pipeline_skyreels_v2_diffusion_forcing.py#L219) **Параметры:** prompt (`str` или `list[str]`, *необязательный*) : промпт для кодирования negative_prompt (`str` или `list[str]`, *необязательный*) : Промпт или промпты, которые не должны направлять генерацию изображения. Если не задан, необходимо передать `negative_prompt_embeds`. Игнорируется, если не используется направляющее влияние (то есть игнорируется, если `guidance_scale` меньше `1`). do_classifier_free_guidance (`bool`, *необязательный*, по умолчанию `True`) : Использовать ли classifier free guidance. num_videos_per_prompt (`int`, *optional*, по умолчанию 1) : Количество видео, которые должны быть сгенерированы для каждого промпта. Устройство torch, на котором должны размещаться результирующие эмбеддинги prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных, *например* для взвешивания промпта. Если не предоставлены, текстовые эмбеддинги будут сгенерированы из входного аргумента `prompt`. negative_prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные отрицательные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных, *например* для взвешивания промпта. Если не предоставлены, negative_prompt_embeds будут сгенерированы из входного аргумента `negative_prompt`. device : (`torch.device`, *необязательный*): устройство torch dtype : (`torch.dtype`, *необязательный*): torch dtype Кодирует промпт в скрытые состояния текстового энкодера. #### generate_timestep_matrix[[diffusers.SkyReelsV2DiffusionForcingPipeline.generate_timestep_matrix]] ```python generate_timestep_matrix(num_latent_frames: int, step_template: Tensor, base_num_latent_frames: int, ar_step: int = 5, num_pre_ready: int = 0, causal_block_size: int = 1, shrink_interval_with_mask: bool = False) ``` [Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/skyreels_v2/pipeline_skyreels_v2_diffusion_forcing.py#L418) **Параметры:** num_latent_frames (int) : Общее количество латентных кадров для генерации step_template (torch.Tensor) : Базовое расписание шагов времени (например, [1000, 800, 600, ..., 0]) base_num_latent_frames (int) : Максимальное количество кадров, которые модель может обработать за один прямой проход ar_step (int, optional) : Размер шага авто-регрессии для временной задержки. 0 = синхронный, >0 = асинхронный. По умолчанию 5. num_pre_ready (int, optional) : Количество кадров, уже прошедших процесс денойзинга (например, из префикса в задаче video2video). По умолчанию равно 0. causal_block_size (int, optional) : Количество кадров, обрабатываемых как причинный блок. По умолчанию — 1. shrink_interval_with_mask (bool, optional) : Оптимизировать ли интервалы обработки. По умолчанию False. **Возвращает:** `tuple containing` - step_matrix (torch.Tensor): Матрица временных шагов для каждого кадра на каждой итерации. Форма: [num_iterations, num_latent_frames] - step_index (torch.Tensor): Матрица индексов для поиска по шагам времени. Форма: [num_iterations, num_latent_frames] - step_update_mask (torch.Tensor): Булева маска, указывающая, какие кадры необходимо обновить. Форма: [num_iterations, num_latent_frames] - valid_interval (list[tuple]): список интервалов (start, end) для каждой итерации **Исключения:** ``ValueError`` - ``ValueError`` -- если ar_step слишком мал для данной конфигурации Эта функция реализует базовый алгоритм диффузионного форсинга, который создаёт согласованный график денойзинга по временным кадрам. Поддерживаются как синхронный, так и асинхронный режимы генерации: **Синхронный режим** (ar_step=0, causal_block_size=1): - Все кадры разшумляются одновременно на каждом шаге - Каждый кадр следует одной и той же траектории шумоподавления: [1000, 800, 600, ..., 0] - Проще, но может обеспечивать меньшую временную согласованность для длинных видео **Асинхронный режим** (ar_step>0, causal_block_size>1): - Кадровые группы объединяются в каузальные блоки и обрабатываются по блокам/чанкам - Каждый блок очищается от шума по ступенчатой схеме, создавая «волну очистки». - Блоки, расположенные раньше, очищены от шума в большей степени, а более поздние блоки отстают на ar_step шагов - Создаёт более сильные временные зависимости и обеспечивает лучшую согласованность ## SkyReelsV2DiffusionForcingImageToVideoPipeline[[diffusers.SkyReelsV2DiffusionForcingImageToVideoPipeline]] #### diffusers.SkyReelsV2DiffusionForcingImageToVideoPipeline[[diffusers.SkyReelsV2DiffusionForcingImageToVideoPipeline]] ```python diffusers.SkyReelsV2DiffusionForcingImageToVideoPipeline(tokenizer: AutoTokenizer, text_encoder: transformers.models.t5.modeling_t5.T5EncoderModel | transformers.models.umt5.modeling_umt5.UMT5EncoderModel, transformer: SkyReelsV2Transformer3DModel, vae: AutoencoderKLWan, scheduler: UniPCMultistepScheduler) ``` [Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/skyreels_v2/pipeline_skyreels_v2_diffusion_forcing_i2v.py#L133) **Параметры:** tokenizer (`AutoTokenizer`) : Токенизатор для [T5](https://huggingface.co/docs/transformers/en/model_doc/t5#transformers.T5Tokenizer), а именно вариант [google/umt5-xxl](https://huggingface.co/google/umt5-xxl). text_encoder (`UMT5EncoderModel`) : [T5](https://huggingface.co/docs/transformers/en/model_doc/t5#transformers.T5EncoderModel), а именно вариант [google/umt5-xxl](https://huggingface.co/google/umt5-xxl). transformer ([SkyReelsV2Transformer3DModel](/docs/diffusers/v0.43.0/ru/api/models/skyreels_v2_transformer_3d#diffusers.SkyReelsV2Transformer3DModel)) : Условный Transformer для удаления шума из закодированных латентов изображения. scheduler ([UniPCMultistepScheduler](/docs/diffusers/v0.43.0/ru/api/schedulers/unipc#diffusers.UniPCMultistepScheduler)) : планировщик, используемый в сочетании с `transformer` для удаления шума из закодированных латентов изображения. vae ([AutoencoderKLWan](/docs/diffusers/v0.43.0/ru/api/models/autoencoder_kl_wan#diffusers.AutoencoderKLWan)) : Модель вариационного автоэнкодера (VAE) для кодирования и декодирования видео в латентные представления и обратно. Пайплайн для генерации видео по изображению (i2v) с использованием SkyReels-V2 и диффузионного форсинга. Эта модель наследуется от [DiffusionPipeline](/docs/diffusers/v0.43.0/ru/api/pipelines/overview#diffusers.DiffusionPipeline). См. документацию родительского класса для общих методов, реализованных для всех пайплайнов (загрузка, сохранение, запуск на конкретном устройстве и т. д.). #### __call__[[diffusers.SkyReelsV2DiffusionForcingImageToVideoPipeline.__call__]] ```python __call__(image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]], prompt: str | list[str] = None, negative_prompt: str | list[str] = None, height: int = 544, width: int = 960, num_frames: int = 97, num_inference_steps: int = 50, guidance_scale: float = 5.0, num_videos_per_prompt: int | None = 1, generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = None, latents: typing.Optional[torch.Tensor] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, image_embeds: typing.Optional[torch.Tensor] = None, last_image: typing.Optional[torch.Tensor] = None, output_type: str | None = 'np', return_dict: bool = True, attention_kwargs: dict[str, typing.Any] | None = None, callback_on_step_end: typing.Union[typing.Callable[[int, int], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None, callback_on_step_end_tensor_inputs: list[str] = ['latents'], max_sequence_length: int = 512, overlap_history: int | None = None, addnoise_condition: float = 0, base_num_frames: int = 97, ar_step: int = 0, causal_block_size: int | None = None, fps: int = 24) ``` [Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/skyreels_v2/pipeline_skyreels_v2_diffusion_forcing_i2v.py#L644) **Параметры:** image (`PipelineImageInput`) : Входное изображение для обусловливания генерации. Должно быть изображением, списком изображений или `torch.Tensor`. prompt (`str` или `list[str]`, *необязательный*) : Промпт или промпты для управления генерацией изображения. Если не задан, необходимо передать `prompt_embeds` вместо него. negative_prompt (`str` или `list[str]`, *необязательный*) : Промпт или промпты, которые не должны направлять генерацию изображения. Если не задан, необходимо передать `negative_prompt_embeds`. Игнорируется, если не используется направляющее влияние (то есть игнорируется, если `guidance_scale` меньше `1`). height (`int`, по умолчанию `544`) : Высота генерируемого видео. width (`int`, по умолчанию `960`) : Ширина генерируемого видео. num_frames (`int`, по умолчанию `97`) : Количество кадров в сгенерированном видео. num_inference_steps (`int`, по умолчанию `50`) : Количество шагов денойзинга. Как правило, большее число шагов денойзинга приводит к изображению более высокого качества, но за счёт более медленного вывода. guidance_scale (`float`, по умолчанию `5.0`) : Масштаб направленного генерирования, определенный в [Classifier-Free Diffusion Guidance](https://huggingface.co/papers/2207.12598). `guidance_scale` соответствует `w` из уравнения 2 в [Imagen Paper](https://huggingface.co/papers/2205.11487). Направленное генерирование активируется при установке `guidance_scale > 1`. Более высокий масштаб направленного генерирования способствует созданию изображений, тесно связанных с текстовым `prompt`, обычно за счет снижения качества изображения. (**6.0 для T2V**, **5.0 для I2V**) num_videos_per_prompt (`int`, *необязательный*, по умолчанию 1) : Количество изображений, генерируемых на один запрос. generator (`torch.Generator` или `list[torch.Generator]`, *необязательно*) : [`torch.Generator`](https://pytorch.org/docs/stable/generated/torch.Generator.html) для обеспечения детерминированности генерации. latents (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные шумовые латенты, выбранные из гауссова распределения, которые используются в качестве входных данных для генерации изображений. Позволяет корректировать одну и ту же генерацию с помощью разных промптов. Если не задано, тензор латентов генерируется путём выборки с использованием переданного случайного `generator`. prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных (взвешивание промпта). Если не предоставлены, текстовые эмбеддинги генерируются из входного аргумента `prompt`. negative_prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных (взвешивание промпта). Если не предоставлены, текстовые эмбеддинги генерируются из входного аргумента `negative_prompt`. image_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные эмбеддинги изображений. Можно использовать для простой корректировки входных изображений (взвешивание). Если не предоставлено, эмбеддинги изображений генерируются из аргумента `image`. last_image (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные эмбеддинги изображений. Можно использовать для простой корректировки входных изображений (взвешивание). Если не предоставлено, эмбеддинги изображений генерируются из аргумента `image`. output_type (`str`, *необязательный*, по умолчанию `"np"`) : Формат вывода сгенерированного изображения. Выберите между `PIL.Image` и `np.array`. return_dict (`bool`, *необязательный*, по умолчанию `True`) : Возвращать ли `SkyReelsV2PipelineOutput` вместо обычного кортежа. attention_kwargs (`dict`, *необязательный*) : Словарь kwargs, который при указании передается в `AttentionProcessor`, определенный в `self.processor` в [diffusers.models.attention_processor](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py). callback_on_step_end (`Callable`, `PipelineCallback`, `MultiPipelineCallbacks`, *optional*) : функция или подкласс `PipelineCallback` или `MultiPipelineCallbacks`, вызываемая в конце каждого шага денойзинга во время инференса со следующими аргументами: `callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)`. `callback_kwargs` будет содержать список всех тензоров, как указано в `callback_on_step_end_tensor_inputs`. callback_on_step_end_tensor_inputs (`list`, *optional*) : Список тензорных входных данных для функции `callback_on_step_end`. Тензоры, указанные в списке, будут переданы в качестве аргумента `callback_kwargs`. Вы сможете включать только переменные, перечисленные в атрибуте `._callback_tensor_inputs` вашего класса pipeline. max_sequence_length (`int`, *необязательный*, по умолчанию `512`) : Максимальная длина последовательности промпта. overlap_history (`int`, *optional*, по умолчанию `None`) : Количество кадров перекрытия для плавных переходов в длинных видео. Если `None`, конвейер предполагает режим генерации коротких видео, и перекрытие не применяется. Рекомендуется устанавливать значения 17 или 37. addnoise_condition (`float`, *optional*, по умолчанию `0`) : Используется для сглаживания генерации длинных видео путём добавления шума к чистому условию. Слишком большой шум также может привести к несогласованности. Рекомендуемое значение — 20; можно попробовать более крупные значения, но не рекомендуется превышать 50. base_num_frames (`int`, *необязательный*, по умолчанию `97`) : 97 или 121 | Количество базовых кадров (**97 для 540P**, **121 для 720P**) ar_step (`int`, *optional*, по умолчанию `0`) : Управляет асинхронным выводом (0 для синхронного режима). Вы можете установить `ar_step=5`, чтобы включить асинхронный вывод. При асинхронном выводе рекомендуется устанавливать `causal_block_size=5`, тогда как для синхронной генерации этот параметр устанавливать не следует. Асинхронный вывод требует большего количества шагов для диффузии всей последовательности, что означает, что он будет МЕДЛЕННЕЕ, чем синхронный режим. В наших экспериментах асинхронный вывод может улучшить следование инструкциям и визуальную согласованность. causal_block_size (`int`, *необязательный*, по умолчанию `None`) : Количество кадров в каждом блоке/чанке. Рекомендуется при использовании асинхронного вывода (когда ar_step > 0) fps (`int`, *необязательный*, по умолчанию `24`) : Частота кадров генерируемого видео **Возвращает:** `~SkyReelsV2PipelineOutput` или `tuple` Если `return_dict` равно `True`, возвращается `SkyReelsV2PipelineOutput`, иначе возвращается `tuple`, где первый элемент — это список сгенерированных изображений, а второй — список значений `bool`, указывающих, содержит ли соответствующее сгенерированное изображение контент, нежелательный для просмотра на рабочем месте (nsfw). Функция вызова конвейера для генерации. Примеры: ```py >>> import torch >>> from diffusers import ( ... SkyReelsV2DiffusionForcingImageToVideoPipeline, ... UniPCMultistepScheduler, ... AutoencoderKLWan, ... ) >>> from diffusers.utils import export_to_video >>> from PIL import Image >>> # Load the pipeline >>> # Available models: >>> # - Skywork/SkyReels-V2-DF-1.3B-540P-Diffusers >>> # - Skywork/SkyReels-V2-DF-14B-540P-Diffusers >>> # - Skywork/SkyReels-V2-DF-14B-720P-Diffusers >>> vae = AutoencoderKLWan.from_pretrained( ... "Skywork/SkyReels-V2-DF-14B-720P-Diffusers", ... subfolder="vae", ... torch_dtype=torch.float32, ... ) >>> pipe = SkyReelsV2DiffusionForcingImageToVideoPipeline.from_pretrained( ... "Skywork/SkyReels-V2-DF-14B-720P-Diffusers", ... vae=vae, ... torch_dtype=torch.bfloat16, ... ) >>> flow_shift = 5.0 # 8.0 for T2V, 5.0 for I2V >>> pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config, flow_shift=flow_shift) >>> pipe = pipe.to("cuda") >>> prompt = "A cat and a dog baking a cake together in a kitchen. The cat is carefully measuring flour, while the dog is stirring the batter with a wooden spoon. The kitchen is cozy, with sunlight streaming through the window." >>> image = Image.open("path/to/image.png") >>> output = pipe( ... image=image, ... prompt=prompt, ... num_inference_steps=50, ... height=544, ... width=960, ... guidance_scale=5.0, # 6.0 for T2V, 5.0 for I2V ... num_frames=97, ... ar_step=0, # Controls asynchronous inference (0 for synchronous mode) ... overlap_history=None, # Number of frames to overlap for smooth transitions in long videos ... addnoise_condition=20, # Improves consistency in long video generation ... ).frames[0] >>> export_to_video(output, "video.mp4", fps=24, quality=8) ``` #### encode_prompt[[diffusers.SkyReelsV2DiffusionForcingImageToVideoPipeline.encode_prompt]] ```python encode_prompt(prompt: str | list[str], negative_prompt: str | list[str] | None = None, do_classifier_free_guidance: bool = True, num_videos_per_prompt: int = 1, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, max_sequence_length: int = 226, device: typing.Optional[torch.device] = None, dtype: typing.Optional[torch.dtype] = None) ``` [Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/skyreels_v2/pipeline_skyreels_v2_diffusion_forcing_i2v.py#L224) **Параметры:** prompt (`str` или `list[str]`, *необязательный*) : промпт для кодирования negative_prompt (`str` или `list[str]`, *необязательный*) : Промпт или промпты, которые не должны направлять генерацию изображения. Если не задан, необходимо передать `negative_prompt_embeds`. Игнорируется, если не используется направляющее влияние (то есть игнорируется, если `guidance_scale` меньше `1`). do_classifier_free_guidance (`bool`, *необязательный*, по умолчанию `True`) : Использовать ли classifier free guidance. num_videos_per_prompt (`int`, *optional*, по умолчанию 1) : Количество видео, которые должны быть сгенерированы для каждого промпта. Устройство torch, на котором должны размещаться результирующие эмбеддинги prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных, *например* для взвешивания промпта. Если не предоставлены, текстовые эмбеддинги будут сгенерированы из входного аргумента `prompt`. negative_prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные отрицательные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных, *например* для взвешивания промпта. Если не предоставлены, negative_prompt_embeds будут сгенерированы из входного аргумента `negative_prompt`. device : (`torch.device`, *необязательный*): устройство torch dtype : (`torch.dtype`, *необязательный*): torch dtype Кодирует промпт в скрытые состояния текстового энкодера. #### generate_timestep_matrix[[diffusers.SkyReelsV2DiffusionForcingImageToVideoPipeline.generate_timestep_matrix]] ```python generate_timestep_matrix(num_latent_frames: int, step_template: Tensor, base_num_latent_frames: int, ar_step: int = 5, num_pre_ready: int = 0, causal_block_size: int = 1, shrink_interval_with_mask: bool = False) ``` [Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/skyreels_v2/pipeline_skyreels_v2_diffusion_forcing_i2v.py#L464) **Параметры:** num_latent_frames (int) : Общее количество латентных кадров для генерации step_template (torch.Tensor) : Базовое расписание шагов времени (например, [1000, 800, 600, ..., 0]) base_num_latent_frames (int) : Максимальное количество кадров, которые модель может обработать за один прямой проход ar_step (int, optional) : Размер шага авто-регрессии для временной задержки. 0 = синхронный, >0 = асинхронный. По умолчанию 5. num_pre_ready (int, optional) : Количество кадров, уже прошедших процесс денойзинга (например, из префикса в задаче video2video). По умолчанию равно 0. causal_block_size (int, optional) : Количество кадров, обрабатываемых как причинный блок. По умолчанию — 1. shrink_interval_with_mask (bool, optional) : Оптимизировать ли интервалы обработки. По умолчанию False. **Возвращает:** `tuple containing` - step_matrix (torch.Tensor): Матрица временных шагов для каждого кадра на каждой итерации. Форма: [num_iterations, num_latent_frames] - step_index (torch.Tensor): Матрица индексов для поиска по шагам времени. Форма: [num_iterations, num_latent_frames] - step_update_mask (torch.Tensor): Булева маска, указывающая, какие кадры необходимо обновить. Форма: [num_iterations, num_latent_frames] - valid_interval (list[tuple]): список интервалов (start, end) для каждой итерации **Исключения:** ``ValueError`` - ``ValueError`` -- если ar_step слишком мал для данной конфигурации Эта функция реализует базовый алгоритм диффузионного форсинга, который создаёт согласованный график денойзинга по временным кадрам. Поддерживаются как синхронный, так и асинхронный режимы генерации: **Синхронный режим** (ar_step=0, causal_block_size=1): - Все кадры разшумляются одновременно на каждом шаге - Каждый кадр следует одной и той же траектории шумоподавления: [1000, 800, 600, ..., 0] - Проще, но может обеспечивать меньшую временную согласованность для длинных видео **Асинхронный режим** (ar_step>0, causal_block_size>1): - Кадровые группы объединяются в каузальные блоки и обрабатываются по блокам/чанкам - Каждый блок очищается от шума по ступенчатой схеме, создавая «волну очистки». - Блоки, расположенные раньше, очищены от шума в большей степени, а более поздние блоки отстают на ar_step шагов - Создаёт более сильные временные зависимости и обеспечивает лучшую согласованность ## SkyReelsV2DiffusionForcingVideoToVideoPipeline[[diffusers.SkyReelsV2DiffusionForcingVideoToVideoPipeline]] #### diffusers.SkyReelsV2DiffusionForcingVideoToVideoPipeline[[diffusers.SkyReelsV2DiffusionForcingVideoToVideoPipeline]] ```python diffusers.SkyReelsV2DiffusionForcingVideoToVideoPipeline(tokenizer: AutoTokenizer, text_encoder: transformers.models.t5.modeling_t5.T5EncoderModel | transformers.models.umt5.modeling_umt5.UMT5EncoderModel, transformer: SkyReelsV2Transformer3DModel, vae: AutoencoderKLWan, scheduler: UniPCMultistepScheduler) ``` [Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/skyreels_v2/pipeline_skyreels_v2_diffusion_forcing_v2v.py#L189) **Параметры:** tokenizer (`AutoTokenizer`) : Токенизатор для [T5](https://huggingface.co/docs/transformers/en/model_doc/t5#transformers.T5Tokenizer), а именно вариант [google/umt5-xxl](https://huggingface.co/google/umt5-xxl). text_encoder (`UMT5EncoderModel`) : [T5](https://huggingface.co/docs/transformers/en/model_doc/t5#transformers.T5EncoderModel), а именно вариант [google/umt5-xxl](https://huggingface.co/google/umt5-xxl). transformer ([SkyReelsV2Transformer3DModel](/docs/diffusers/v0.43.0/ru/api/models/skyreels_v2_transformer_3d#diffusers.SkyReelsV2Transformer3DModel)) : Условный Transformer для удаления шума из закодированных латентов изображения. scheduler ([UniPCMultistepScheduler](/docs/diffusers/v0.43.0/ru/api/schedulers/unipc#diffusers.UniPCMultistepScheduler)) : планировщик, используемый в сочетании с `transformer` для удаления шума из закодированных латентов изображения. vae ([AutoencoderKLWan](/docs/diffusers/v0.43.0/ru/api/models/autoencoder_kl_wan#diffusers.AutoencoderKLWan)) : Модель вариационного автоэнкодера (VAE) для кодирования и декодирования видео в латентные представления и обратно. Пайплайн для генерации видео из видео (v2v) с использованием SkyReels-V2 и диффузионного форсинга. Эта модель наследуется от [DiffusionPipeline](/docs/diffusers/v0.43.0/ru/api/pipelines/overview#diffusers.DiffusionPipeline). См. документацию родительского класса для общих методов, реализованных для всех пайплайнов (загрузка, сохранение, запуск на конкретном устройстве и т. д.). #### __call__[[diffusers.SkyReelsV2DiffusionForcingVideoToVideoPipeline.__call__]] ```python __call__(video: list[PIL.Image.Image], prompt: str | list[str] = None, negative_prompt: str | list[str] = None, height: int = 544, width: int = 960, num_frames: int = 120, num_inference_steps: int = 50, guidance_scale: float = 6.0, num_videos_per_prompt: int | None = 1, generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = None, latents: typing.Optional[torch.Tensor] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, output_type: str | None = 'np', return_dict: bool = True, attention_kwargs: dict[str, typing.Any] | None = None, callback_on_step_end: typing.Union[typing.Callable[[int, int], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None, callback_on_step_end_tensor_inputs: list[str] = ['latents'], max_sequence_length: int = 512, overlap_history: int | None = None, addnoise_condition: float = 0, base_num_frames: int = 97, ar_step: int = 0, causal_block_size: int | None = None, fps: int = 24) ``` [Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/skyreels_v2/pipeline_skyreels_v2_diffusion_forcing_v2v.py#L684) **Параметры:** video (`list[Image.Image]`) : Видео, направляющее процесс генерации видео. prompt (`str` или `list[str]`, *необязательный*) : Промпт или промпты для управления генерацией видео. Если не задан, необходимо передать `prompt_embeds` вместо него. negative_prompt (`str` или `list[str]`, *необязательный*) : Промпт или промпты, которые не должны направлять генерацию видео. Если не задан, необходимо передать `negative_prompt_embeds`. Игнорируется, если не используется направляющее влияние (то есть игнорируется, если `guidance_scale` меньше `1`). height (`int`, по умолчанию `544`) : Высота генерируемого видео. width (`int`, по умолчанию `960`) : Ширина генерируемого видео. num_frames (`int`, по умолчанию `120`) : Количество кадров в сгенерированном видео. num_inference_steps (`int`, по умолчанию `50`) : Количество шагов денойзинга. Как правило, большее число шагов денойзинга приводит к изображению более высокого качества, но за счёт более медленного вывода. guidance_scale (`float`, по умолчанию `6.0`) : Масштаб руководства, определённый в [Classifier-Free Diffusion Guidance](https://arxiv.org/abs/2207.12598). `guidance_scale` соответствует `w` из уравнения 2 в [Imagen Paper](https://arxiv.org/pdf/2205.11487.pdf). Функция руководства активируется при установке `guidance_scale > 1`. Более высокое значение масштаба руководства способствует генерации изображений, тесно связанных с текстовым `prompt`, обычно за счёт снижения качества изображения. (**6.0 для T2V**, **5.0 для I2V**) num_videos_per_prompt (`int`, *необязательный*, по умолчанию 1) : Количество изображений, генерируемых на один запрос. generator (`torch.Generator` или `list[torch.Generator]`, *необязательно*) : [`torch.Generator`](https://pytorch.org/docs/stable/generated/torch.Generator.html) для обеспечения детерминированности генерации. latents (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные шумовые латенты, выбранные из гауссова распределения, которые используются в качестве входных данных для генерации изображений. Позволяет корректировать одну и ту же генерацию с помощью разных промптов. Если не задано, тензор латентов генерируется путём выборки с использованием переданного случайного `generator`. prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных (взвешивание промпта). Если не предоставлены, текстовые эмбеддинги генерируются из входного аргумента `prompt`. negative_prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных (взвешивание промпта). Если не предоставлены, текстовые эмбеддинги генерируются из входного аргумента `negative_prompt`. output_type (`str`, *необязательный*, по умолчанию `"np"`) : Формат вывода сгенерированного изображения. Выберите между `PIL.Image` и `np.array`. return_dict (`bool`, *необязательный*, по умолчанию `True`) : Возвращать ли `SkyReelsV2PipelineOutput` вместо обычного кортежа. attention_kwargs (`dict`, *необязательный*) : Словарь kwargs, который при указании передается в `AttentionProcessor`, определенный в `self.processor` в [diffusers.models.attention_processor](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py). callback_on_step_end (`Callable`, `PipelineCallback`, `MultiPipelineCallbacks`, *optional*) : функция или подкласс `PipelineCallback` или `MultiPipelineCallbacks`, вызываемая в конце каждого шага денойзинга во время инференса со следующими аргументами: `callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)`. `callback_kwargs` будет содержать список всех тензоров, как указано в `callback_on_step_end_tensor_inputs`. callback_on_step_end_tensor_inputs (`list`, *optional*) : Список тензорных входных данных для функции `callback_on_step_end`. Тензоры, указанные в списке, будут переданы в качестве аргумента `callback_kwargs`. Вы сможете включать только переменные, перечисленные в атрибуте `._callback_tensor_inputs` вашего класса pipeline. max_sequence_length (`int`, *необязательный*, по умолчанию `512`) : Максимальная длина последовательности промпта. overlap_history (`int`, *optional*, по умолчанию `None`) : Количество кадров перекрытия для плавных переходов в длинных видео. Если `None`, конвейер предполагает режим генерации коротких видео, и перекрытие не применяется. Рекомендуется устанавливать значения 17 или 37. addnoise_condition (`float`, *optional*, по умолчанию `0`) : Используется для сглаживания генерации длинных видео путём добавления шума к чистому условию. Слишком большой шум также может привести к несогласованности. Рекомендуемое значение — 20; можно попробовать более крупные значения, но не рекомендуется превышать 50. base_num_frames (`int`, *необязательный*, по умолчанию `97`) : 97 или 121 | Количество базовых кадров (**97 для 540P**, **121 для 720P**) ar_step (`int`, *optional*, по умолчанию `0`) : Управляет асинхронным выводом (0 для синхронного режима). Вы можете установить `ar_step=5`, чтобы включить асинхронный вывод. При асинхронном выводе рекомендуется устанавливать `causal_block_size=5`, тогда как для синхронной генерации этот параметр устанавливать не следует. Асинхронный вывод требует большего количества шагов для диффузии всей последовательности, что означает, что он будет МЕДЛЕННЕЕ, чем синхронный режим. В наших экспериментах асинхронный вывод может улучшить следование инструкциям и визуальную согласованность. causal_block_size (`int`, *необязательный*, по умолчанию `None`) : Количество кадров в каждом блоке/чанке. Рекомендуется при использовании асинхронного вывода (когда ar_step > 0) fps (`int`, *необязательный*, по умолчанию `24`) : Частота кадров генерируемого видео **Возвращает:** `~SkyReelsV2PipelineOutput` или `tuple` Если `return_dict` равно `True`, возвращается `SkyReelsV2PipelineOutput`, иначе возвращается `tuple`, где первый элемент — это список сгенерированных изображений, а второй — список значений `bool`, указывающих, содержит ли соответствующее сгенерированное изображение контент, нежелательный для просмотра на рабочем месте (nsfw). Функция вызова конвейера для генерации. Примеры: ```py >>> import torch >>> from diffusers import ( ... SkyReelsV2DiffusionForcingVideoToVideoPipeline, ... UniPCMultistepScheduler, ... AutoencoderKLWan, ... ) >>> from diffusers.utils import export_to_video >>> # Load the pipeline >>> # Available models: >>> # - Skywork/SkyReels-V2-DF-1.3B-540P-Diffusers >>> # - Skywork/SkyReels-V2-DF-14B-540P-Diffusers >>> # - Skywork/SkyReels-V2-DF-14B-720P-Diffusers >>> vae = AutoencoderKLWan.from_pretrained( ... "Skywork/SkyReels-V2-DF-14B-720P-Diffusers", ... subfolder="vae", ... torch_dtype=torch.float32, ... ) >>> pipe = SkyReelsV2DiffusionForcingVideoToVideoPipeline.from_pretrained( ... "Skywork/SkyReels-V2-DF-14B-720P-Diffusers", ... vae=vae, ... torch_dtype=torch.bfloat16, ... ) >>> flow_shift = 8.0 # 8.0 for T2V, 5.0 for I2V >>> pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config, flow_shift=flow_shift) >>> pipe = pipe.to("cuda") >>> prompt = "A cat and a dog baking a cake together in a kitchen. The cat is carefully measuring flour, while the dog is stirring the batter with a wooden spoon. The kitchen is cozy, with sunlight streaming through the window." >>> output = pipe( ... prompt=prompt, ... num_inference_steps=50, ... height=544, ... width=960, ... guidance_scale=6.0, # 6.0 for T2V, 5.0 for I2V ... num_frames=97, ... ar_step=0, # Controls asynchronous inference (0 for synchronous mode) ... overlap_history=None, # Number of frames to overlap for smooth transitions in long videos ... addnoise_condition=20, # Improves consistency in long video generation ... ).frames[0] >>> export_to_video(output, "video.mp4", fps=24, quality=8) ``` #### encode_prompt[[diffusers.SkyReelsV2DiffusionForcingVideoToVideoPipeline.encode_prompt]] ```python encode_prompt(prompt: str | list[str], negative_prompt: str | list[str] | None = None, do_classifier_free_guidance: bool = True, num_videos_per_prompt: int = 1, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, max_sequence_length: int = 226, device: typing.Optional[torch.device] = None, dtype: typing.Optional[torch.dtype] = None) ``` [Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/skyreels_v2/pipeline_skyreels_v2_diffusion_forcing_v2v.py#L280) **Параметры:** prompt (`str` или `list[str]`, *необязательный*) : промпт для кодирования negative_prompt (`str` или `list[str]`, *необязательный*) : Промпт или промпты, которые не должны направлять генерацию изображения. Если не задан, необходимо передать `negative_prompt_embeds`. Игнорируется, если не используется направляющее влияние (то есть игнорируется, если `guidance_scale` меньше `1`). do_classifier_free_guidance (`bool`, *необязательный*, по умолчанию `True`) : Использовать ли classifier free guidance. num_videos_per_prompt (`int`, *optional*, по умолчанию 1) : Количество видео, которые должны быть сгенерированы для каждого промпта. Устройство torch, на котором должны размещаться результирующие эмбеддинги prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных, *например* для взвешивания промпта. Если не предоставлены, текстовые эмбеддинги будут сгенерированы из входного аргумента `prompt`. negative_prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные отрицательные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных, *например* для взвешивания промпта. Если не предоставлены, negative_prompt_embeds будут сгенерированы из входного аргумента `negative_prompt`. device : (`torch.device`, *необязательный*): устройство torch dtype : (`torch.dtype`, *необязательный*): torch dtype Кодирует промпт в скрытые состояния текстового энкодера. #### generate_timestep_matrix[[diffusers.SkyReelsV2DiffusionForcingVideoToVideoPipeline.generate_timestep_matrix]] ```python generate_timestep_matrix(num_latent_frames: int, step_template: Tensor, base_num_latent_frames: int, ar_step: int = 5, num_pre_ready: int = 0, causal_block_size: int = 1, shrink_interval_with_mask: bool = False) ``` [Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/skyreels_v2/pipeline_skyreels_v2_diffusion_forcing_v2v.py#L504) **Параметры:** num_latent_frames (int) : Общее количество латентных кадров для генерации step_template (torch.Tensor) : Базовое расписание шагов времени (например, [1000, 800, 600, ..., 0]) base_num_latent_frames (int) : Максимальное количество кадров, которые модель может обработать за один прямой проход ar_step (int, optional) : Размер шага авто-регрессии для временной задержки. 0 = синхронный, >0 = асинхронный. По умолчанию 5. num_pre_ready (int, optional) : Количество кадров, уже прошедших процесс денойзинга (например, из префикса в задаче video2video). По умолчанию равно 0. causal_block_size (int, optional) : Количество кадров, обрабатываемых как причинный блок. По умолчанию — 1. shrink_interval_with_mask (bool, optional) : Оптимизировать ли интервалы обработки. По умолчанию False. **Возвращает:** `tuple containing` - step_matrix (torch.Tensor): Матрица временных шагов для каждого кадра на каждой итерации. Форма: [num_iterations, num_latent_frames] - step_index (torch.Tensor): Матрица индексов для поиска по шагам времени. Форма: [num_iterations, num_latent_frames] - step_update_mask (torch.Tensor): Булева маска, указывающая, какие кадры необходимо обновить. Форма: [num_iterations, num_latent_frames] - valid_interval (list[tuple]): список интервалов (start, end) для каждой итерации **Исключения:** ``ValueError`` - ``ValueError`` -- если ar_step слишком мал для данной конфигурации Эта функция реализует базовый алгоритм диффузионного форсинга, который создаёт согласованный график денойзинга по временным кадрам. Поддерживаются как синхронный, так и асинхронный режимы генерации: **Синхронный режим** (ar_step=0, causal_block_size=1): - Все кадры разшумляются одновременно на каждом шаге - Каждый кадр следует одной и той же траектории шумоподавления: [1000, 800, 600, ..., 0] - Проще, но может обеспечивать меньшую временную согласованность для длинных видео **Асинхронный режим** (ar_step>0, causal_block_size>1): - Кадровые группы объединяются в каузальные блоки и обрабатываются по блокам/чанкам - Каждый блок очищается от шума по ступенчатой схеме, создавая «волну очистки». - Блоки, расположенные раньше, очищены от шума в большей степени, а более поздние блоки отстают на ar_step шагов - Создаёт более сильные временные зависимости и обеспечивает лучшую согласованность ## SkyReelsV2Pipeline[[diffusers.SkyReelsV2Pipeline]] #### diffusers.SkyReelsV2Pipeline[[diffusers.SkyReelsV2Pipeline]] ```python diffusers.SkyReelsV2Pipeline(tokenizer: AutoTokenizer, text_encoder: transformers.models.t5.modeling_t5.T5EncoderModel | transformers.models.umt5.modeling_umt5.UMT5EncoderModel, transformer: SkyReelsV2Transformer3DModel, vae: AutoencoderKLWan, scheduler: UniPCMultistepScheduler) ``` [Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/skyreels_v2/pipeline_skyreels_v2.py#L107) **Параметры:** tokenizer (`T5Tokenizer`) : Токенизатор из [T5](https://huggingface.co/docs/transformers/en/model_doc/t5#transformers.T5Tokenizer), а именно вариант [google/umt5-xxl](https://huggingface.co/google/umt5-xxl). text_encoder (`T5EncoderModel`) : [T5](https://huggingface.co/docs/transformers/en/model_doc/t5#transformers.T5EncoderModel), а именно вариант [google/umt5-xxl](https://huggingface.co/google/umt5-xxl). transformer ([SkyReelsV2Transformer3DModel](/docs/diffusers/v0.43.0/ru/api/models/skyreels_v2_transformer_3d#diffusers.SkyReelsV2Transformer3DModel)) : Условный Transformer для удаления шума из входных латентов. scheduler ([UniPCMultistepScheduler](/docs/diffusers/v0.43.0/ru/api/schedulers/unipc#diffusers.UniPCMultistepScheduler)) : планировщик, используемый в сочетании с `transformer` для удаления шума из закодированных латентов изображения. vae ([AutoencoderKLWan](/docs/diffusers/v0.43.0/ru/api/models/autoencoder_kl_wan#diffusers.AutoencoderKLWan)) : Модель вариационного автоэнкодера (VAE) для кодирования и декодирования видео в латентные представления и обратно. Pipeline для генерации видео из текста (t2v) с использованием SkyReels-V2. Эта модель наследуется от [DiffusionPipeline](/docs/diffusers/v0.43.0/ru/api/pipelines/overview#diffusers.DiffusionPipeline). Общую документацию по методам, реализованным для всех пайплайнов (загрузка, сохранение, запуск на конкретном устройстве и т. д.), см. в документации родительского класса. #### __call__[[diffusers.SkyReelsV2Pipeline.__call__]] ```python __call__(prompt: str | list[str] = None, negative_prompt: str | list[str] = None, height: int = 544, width: int = 960, num_frames: int = 97, num_inference_steps: int = 50, guidance_scale: float = 6.0, num_videos_per_prompt: int | None = 1, generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = None, latents: typing.Optional[torch.Tensor] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, output_type: str | None = 'np', return_dict: bool = True, attention_kwargs: dict[str, typing.Any] | None = None, callback_on_step_end: typing.Union[typing.Callable[[int, int], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None, callback_on_step_end_tensor_inputs: list[str] = ['latents'], max_sequence_length: int = 512) ``` [Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/skyreels_v2/pipeline_skyreels_v2.py#L377) **Параметры:** prompt (`str` или `list[str]`, *необязательный*) : Промпт или промпты для управления генерацией изображения. Если не задан, необходимо передать `prompt_embeds` вместо него. negative_prompt (`str` или `list[str]`, *необязательный*) : Промпт или промпты, которые не должны направлять генерацию изображения. Если не задан, необходимо передать `negative_prompt_embeds`. Игнорируется, если не используется направляющее влияние (`guidance_scale < 1`). height (`int`, по умолчанию `544`) : Высота генерируемого изображения в пикселях. width (`int`, по умолчанию `960`) : Ширина генерируемого изображения в пикселях. num_frames (`int`, по умолчанию `97`) : Количество кадров в сгенерированном видео. num_inference_steps (`int`, по умолчанию `50`) : Количество шагов денойзинга. Как правило, большее число шагов денойзинга приводит к изображению более высокого качества, но за счёт более медленного вывода. guidance_scale (`float`, по умолчанию `6.0`) : Масштаб руководства, определенный в [Classifier-Free Diffusion Guidance](https://huggingface.co/papers/2207.12598). `guidance_scale` определяется как `w` из уравнения 2 в [Imagen Paper](https://huggingface.co/papers/2205.11487). Масштаб руководства активируется при установке `guidance_scale > 1`. Более высокий масштаб руководства способствует генерации изображений, тесно связанных с текстовым `prompt`, обычно за счет снижения качества изображения. num_videos_per_prompt (`int`, *необязательный*, по умолчанию 1) : Количество изображений, генерируемых на один запрос. generator (`torch.Generator` или `list[torch.Generator]`, *необязательно*) : [`torch.Generator`](https://pytorch.org/docs/stable/generated/torch.Generator.html) для обеспечения детерминированности генерации. latents (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные шумовые латенты, выбранные из гауссова распределения, которые используются в качестве входных данных для генерации изображений. Позволяет корректировать одну и ту же генерацию с помощью разных промптов. Если не задано, тензор латентов генерируется путём выборки с использованием переданного случайного `generator`. prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных (взвешивание промпта). Если не предоставлены, текстовые эмбеддинги генерируются из входного аргумента `prompt`. negative_prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные отрицательные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных (взвешивание промпта). Если не предоставлены, `negative_prompt_embeds` генерируются из входного аргумента `negative_prompt`. output_type (`str`, *необязательный*, по умолчанию `"np"`) : Формат вывода сгенерированного изображения. Выберите между `PIL.Image` и `np.array`. return_dict (`bool`, *необязательный*, по умолчанию `True`) : Возвращать ли `SkyReelsV2PipelineOutput` вместо обычного кортежа. attention_kwargs (`dict`, *необязательный*) : Словарь kwargs, который при указании передается в `AttentionProcessor`, определенный в `self.processor` в [diffusers.models.attention_processor](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py). callback_on_step_end (`Callable`, `PipelineCallback`, `MultiPipelineCallbacks`, *optional*) : функция или подкласс `PipelineCallback` или `MultiPipelineCallbacks`, вызываемая в конце каждого шага денойзинга во время инференса со следующими аргументами: `callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)`. `callback_kwargs` будет содержать список всех тензоров, как указано в `callback_on_step_end_tensor_inputs`. callback_on_step_end_tensor_inputs (`list`, *optional*) : Список тензорных входных данных для функции `callback_on_step_end`. Тензоры, указанные в списке, будут переданы в качестве аргумента `callback_kwargs`. Вы сможете включать только переменные, перечисленные в атрибуте `._callback_tensor_inputs` вашего класса pipeline. max_sequence_length (`int`, *необязательный*, по умолчанию `512`) : Максимальная длина последовательности для текстового кодировщика. **Возвращает:** `~SkyReelsV2PipelineOutput` или `tuple` Если `return_dict` равно `True`, возвращается `SkyReelsV2PipelineOutput`, иначе возвращается `tuple`, где первый элемент — это список сгенерированных изображений, а второй — список значений `bool`, указывающих, содержит ли соответствующее сгенерированное изображение контент, нежелательный для просмотра на рабочем месте (nsfw). Функция вызова конвейера для генерации. Примеры: ```py >>> import torch >>> from diffusers import ( ... SkyReelsV2Pipeline, ... UniPCMultistepScheduler, ... AutoencoderKLWan, ... ) >>> from diffusers.utils import export_to_video >>> # Load the pipeline >>> # Available models: >>> # - Skywork/SkyReels-V2-T2V-14B-540P-Diffusers >>> # - Skywork/SkyReels-V2-T2V-14B-720P-Diffusers >>> vae = AutoencoderKLWan.from_pretrained( ... "Skywork/SkyReels-V2-T2V-14B-720P-Diffusers", ... subfolder="vae", ... torch_dtype=torch.float32, ... ) >>> pipe = SkyReelsV2Pipeline.from_pretrained( ... "Skywork/SkyReels-V2-T2V-14B-720P-Diffusers", ... vae=vae, ... torch_dtype=torch.bfloat16, ... ) >>> flow_shift = 8.0 # 8.0 for T2V, 5.0 for I2V >>> pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config, flow_shift=flow_shift) >>> pipe = pipe.to("cuda") >>> prompt = "A cat and a dog baking a cake together in a kitchen. The cat is carefully measuring flour, while the dog is stirring the batter with a wooden spoon. The kitchen is cozy, with sunlight streaming through the window." >>> output = pipe( ... prompt=prompt, ... num_inference_steps=50, ... height=544, ... width=960, ... guidance_scale=6.0, # 6.0 for T2V, 5.0 for I2V ... num_frames=97, ... ).frames[0] >>> export_to_video(output, "video.mp4", fps=24, quality=8) ``` #### encode_prompt[[diffusers.SkyReelsV2Pipeline.encode_prompt]] ```python encode_prompt(prompt: str | list[str], negative_prompt: str | list[str] | None = None, do_classifier_free_guidance: bool = True, num_videos_per_prompt: int = 1, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, max_sequence_length: int = 226, device: typing.Optional[torch.device] = None, dtype: typing.Optional[torch.dtype] = None) ``` [Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/skyreels_v2/pipeline_skyreels_v2.py#L198) **Параметры:** prompt (`str` или `list[str]`, *необязательный*) : промпт для кодирования negative_prompt (`str` или `list[str]`, *необязательный*) : Промпт или промпты, которые не должны направлять генерацию изображения. Если не задан, необходимо передать `negative_prompt_embeds`. Игнорируется, если не используется направляющее влияние (то есть игнорируется, если `guidance_scale` меньше `1`). do_classifier_free_guidance (`bool`, *необязательный*, по умолчанию `True`) : Использовать ли classifier free guidance. num_videos_per_prompt (`int`, *optional*, по умолчанию 1) : Количество видео, которые должны быть сгенерированы для каждого промпта. Устройство torch, на котором должны размещаться результирующие эмбеддинги prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных, *например* для взвешивания промпта. Если не предоставлены, текстовые эмбеддинги будут сгенерированы из входного аргумента `prompt`. negative_prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные отрицательные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных, *например* для взвешивания промпта. Если не предоставлены, negative_prompt_embeds будут сгенерированы из входного аргумента `negative_prompt`. device : (`torch.device`, *необязательный*): устройство torch dtype : (`torch.dtype`, *необязательный*): torch dtype Кодирует промпт в скрытые состояния текстового энкодера. ## SkyReelsV2ImageToVideoPipeline[[diffusers.SkyReelsV2ImageToVideoPipeline]] #### diffusers.SkyReelsV2ImageToVideoPipeline[[diffusers.SkyReelsV2ImageToVideoPipeline]] ```python diffusers.SkyReelsV2ImageToVideoPipeline(tokenizer: AutoTokenizer, text_encoder: transformers.models.t5.modeling_t5.T5EncoderModel | transformers.models.umt5.modeling_umt5.UMT5EncoderModel, image_encoder: CLIPVisionModelWithProjection, image_processor: CLIPProcessor, transformer: SkyReelsV2Transformer3DModel, vae: AutoencoderKLWan, scheduler: UniPCMultistepScheduler) ``` [Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/skyreels_v2/pipeline_skyreels_v2_i2v.py#L127) **Параметры:** tokenizer (`T5Tokenizer`) : Токенизатор из [T5](https://huggingface.co/docs/transformers/en/model_doc/t5#transformers.T5Tokenizer), а именно вариант [google/umt5-xxl](https://huggingface.co/google/umt5-xxl). text_encoder (`T5EncoderModel`) : [T5](https://huggingface.co/docs/transformers/en/model_doc/t5#transformers.T5EncoderModel), а именно вариант [google/umt5-xxl](https://huggingface.co/google/umt5-xxl). image_encoder (`CLIPVisionModelWithProjection`) : [CLIP](https://huggingface.co/docs/transformers/model_doc/clip#transformers.CLIPVisionModelWithProjection), а именно вариант [clip-vit-huge-patch14](https://github.com/mlfoundations/open_clip/blob/main/docs/PRETRAINED.md#vit-h14-xlm-roberta-large). transformer ([SkyReelsV2Transformer3DModel](/docs/diffusers/v0.43.0/ru/api/models/skyreels_v2_transformer_3d#diffusers.SkyReelsV2Transformer3DModel)) : Условный Transformer для удаления шума из входных латентов. scheduler ([UniPCMultistepScheduler](/docs/diffusers/v0.43.0/ru/api/schedulers/unipc#diffusers.UniPCMultistepScheduler)) : планировщик, используемый в сочетании с `transformer` для удаления шума из закодированных латентов изображения. vae ([AutoencoderKLWan](/docs/diffusers/v0.43.0/ru/api/models/autoencoder_kl_wan#diffusers.AutoencoderKLWan)) : Модель вариационного автоэнкодера (VAE) для кодирования и декодирования видео в латентные представления и обратно. Pipeline для генерации видео по изображению (i2v) с использованием SkyReels-V2. Эта модель наследуется от [DiffusionPipeline](/docs/diffusers/v0.43.0/ru/api/pipelines/overview#diffusers.DiffusionPipeline). Общую документацию по методам, реализованным для всех пайплайнов (загрузка, сохранение, запуск на конкретном устройстве и т. д.), см. в документации родительского класса. #### __call__[[diffusers.SkyReelsV2ImageToVideoPipeline.__call__]] ```python __call__(image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]], prompt: str | list[str] = None, negative_prompt: str | list[str] = None, height: int = 544, width: int = 960, num_frames: int = 97, num_inference_steps: int = 50, guidance_scale: float = 5.0, num_videos_per_prompt: int | None = 1, generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = None, latents: typing.Optional[torch.Tensor] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, image_embeds: typing.Optional[torch.Tensor] = None, last_image: typing.Optional[torch.Tensor] = None, output_type: str | None = 'np', return_dict: bool = True, attention_kwargs: dict[str, typing.Any] | None = None, callback_on_step_end: typing.Union[typing.Callable[[int, int], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None, callback_on_step_end_tensor_inputs: list[str] = ['latents'], max_sequence_length: int = 512) ``` [Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/skyreels_v2/pipeline_skyreels_v2_i2v.py#L479) **Параметры:** image (`PipelineImageInput`) : Входное изображение для обусловливания генерации. Должно быть изображением, списком изображений или `torch.Tensor`. prompt (`str` или `list[str]`, *необязательный*) : Промпт или промпты для управления генерацией изображения. Если не задан, необходимо передать `prompt_embeds` вместо него. negative_prompt (`str` или `list[str]`, *необязательный*) : Промпт или промпты, которые не должны направлять генерацию изображения. Если не задан, необходимо передать `negative_prompt_embeds`. Игнорируется, если не используется направляющее влияние (то есть игнорируется, если `guidance_scale` меньше `1`). height (`int`, по умолчанию `544`) : Высота генерируемого видео. width (`int`, по умолчанию `960`) : Ширина генерируемого видео. num_frames (`int`, по умолчанию `97`) : Количество кадров в сгенерированном видео. num_inference_steps (`int`, по умолчанию `50`) : Количество шагов денойзинга. Как правило, большее число шагов денойзинга приводит к изображению более высокого качества, но за счёт более медленного вывода. guidance_scale (`float`, по умолчанию `5.0`) : Масштаб руководства, определенный в [Classifier-Free Diffusion Guidance](https://huggingface.co/papers/2207.12598). `guidance_scale` определяется как `w` из уравнения 2 в [Imagen Paper](https://huggingface.co/papers/2205.11487). Масштаб руководства активируется при установке `guidance_scale > 1`. Более высокий масштаб руководства способствует генерации изображений, тесно связанных с текстовым `prompt`, обычно за счет снижения качества изображения. num_videos_per_prompt (`int`, *необязательный*, по умолчанию 1) : Количество изображений, генерируемых на один запрос. generator (`torch.Generator` или `list[torch.Generator]`, *необязательно*) : [`torch.Generator`](https://pytorch.org/docs/stable/generated/torch.Generator.html) для обеспечения детерминированности генерации. latents (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные шумовые латенты, выбранные из гауссова распределения, которые используются в качестве входных данных для генерации изображений. Позволяет корректировать одну и ту же генерацию с помощью разных промптов. Если не задано, тензор латентов генерируется путём выборки с использованием переданного случайного `generator`. prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных (взвешивание промпта). Если не предоставлены, текстовые эмбеддинги генерируются из входного аргумента `prompt`. negative_prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных (взвешивание промпта). Если не предоставлены, текстовые эмбеддинги генерируются из входного аргумента `negative_prompt`. image_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные эмбеддинги изображений. Можно использовать для простой корректировки входных изображений (взвешивание). Если не предоставлено, эмбеддинги изображений генерируются из аргумента `image`. last_image (`torch.Tensor`, *необязательный*) : Необязательное последнее изображение для условного формирования видео по изображению, которое фиксирует конец сгенерированного видео. output_type (`str`, *необязательный*, по умолчанию `"np"`) : Формат вывода сгенерированного изображения. Выберите между `PIL.Image` и `np.array`. return_dict (`bool`, *необязательный*, по умолчанию `True`) : Возвращать ли `WanPipelineOutput` вместо обычного кортежа. attention_kwargs (`dict`, *необязательный*) : Словарь kwargs, который при указании передается в `AttentionProcessor`, определенный в `self.processor` в [diffusers.models.attention_processor](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py). callback_on_step_end (`Callable`, `PipelineCallback`, `MultiPipelineCallbacks`, *optional*) : функция или подкласс `PipelineCallback` или `MultiPipelineCallbacks`, вызываемая в конце каждого шага денойзинга во время инференса со следующими аргументами: `callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)`. `callback_kwargs` будет содержать список всех тензоров, как указано в `callback_on_step_end_tensor_inputs`. callback_on_step_end_tensor_inputs (`list`, *optional*) : Список тензорных входных данных для функции `callback_on_step_end`. Тензоры, указанные в списке, будут переданы в качестве аргумента `callback_kwargs`. Вы сможете включать только переменные, перечисленные в атрибуте `._callback_tensor_inputs` вашего класса pipeline. max_sequence_length (`int`, *необязательный*, по умолчанию `512`) : Максимальная длина последовательности промпта. **Возвращает:** `~SkyReelsV2PipelineOutput` или `tuple` Если `return_dict` равно `True`, возвращается `SkyReelsV2PipelineOutput`, иначе возвращается `tuple`, где первый элемент — это список сгенерированных изображений, а второй — список значений `bool`, указывающих, содержит ли соответствующее сгенерированное изображение контент, нежелательный для просмотра на рабочем месте (nsfw). Функция вызова конвейера для генерации. Примеры: ```py >>> import torch >>> from diffusers import ( ... SkyReelsV2ImageToVideoPipeline, ... UniPCMultistepScheduler, ... AutoencoderKLWan, ... ) >>> from diffusers.utils import export_to_video >>> from PIL import Image >>> # Load the pipeline >>> # Available models: >>> # - Skywork/SkyReels-V2-I2V-1.3B-540P-Diffusers >>> # - Skywork/SkyReels-V2-I2V-14B-540P-Diffusers >>> # - Skywork/SkyReels-V2-I2V-14B-720P-Diffusers >>> vae = AutoencoderKLWan.from_pretrained( ... "Skywork/SkyReels-V2-I2V-14B-720P-Diffusers", ... subfolder="vae", ... torch_dtype=torch.float32, ... ) >>> pipe = SkyReelsV2ImageToVideoPipeline.from_pretrained( ... "Skywork/SkyReels-V2-I2V-14B-720P-Diffusers", ... vae=vae, ... torch_dtype=torch.bfloat16, ... ) >>> flow_shift = 5.0 # 8.0 for T2V, 5.0 for I2V >>> pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config, flow_shift=flow_shift) >>> pipe = pipe.to("cuda") >>> prompt = "A cat and a dog baking a cake together in a kitchen. The cat is carefully measuring flour, while the dog is stirring the batter with a wooden spoon. The kitchen is cozy, with sunlight streaming through the window." >>> image = Image.open("path/to/image.png") >>> output = pipe( ... image=image, ... prompt=prompt, ... num_inference_steps=50, ... height=544, ... width=960, ... guidance_scale=5.0, # 6.0 for T2V, 5.0 for I2V ... num_frames=97, ... ).frames[0] >>> export_to_video(output, "video.mp4", fps=24, quality=8) ``` #### encode_prompt[[diffusers.SkyReelsV2ImageToVideoPipeline.encode_prompt]] ```python encode_prompt(prompt: str | list[str], negative_prompt: str | list[str] | None = None, do_classifier_free_guidance: bool = True, num_videos_per_prompt: int = 1, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, max_sequence_length: int = 226, device: typing.Optional[torch.device] = None, dtype: typing.Optional[torch.dtype] = None) ``` [Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/skyreels_v2/pipeline_skyreels_v2_i2v.py#L241) **Параметры:** prompt (`str` или `list[str]`, *необязательный*) : промпт для кодирования negative_prompt (`str` или `list[str]`, *необязательный*) : Промпт или промпты, которые не должны направлять генерацию изображения. Если не задан, необходимо передать `negative_prompt_embeds`. Игнорируется, если не используется направляющее влияние (то есть игнорируется, если `guidance_scale` меньше `1`). do_classifier_free_guidance (`bool`, *необязательный*, по умолчанию `True`) : Использовать ли classifier free guidance. num_videos_per_prompt (`int`, *optional*, по умолчанию 1) : Количество видео, которые должны быть сгенерированы для каждого промпта. Устройство torch, на котором должны размещаться результирующие эмбеддинги prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных, *например* для взвешивания промпта. Если не предоставлены, текстовые эмбеддинги будут сгенерированы из входного аргумента `prompt`. negative_prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные отрицательные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных, *например* для взвешивания промпта. Если не предоставлены, negative_prompt_embeds будут сгенерированы из входного аргумента `negative_prompt`. device : (`torch.device`, *необязательный*): устройство torch dtype : (`torch.dtype`, *необязательный*): torch dtype Кодирует промпт в скрытые состояния текстового энкодера. ## SkyReelsV2PipelineOutput[[diffusers.pipelines.skyreels_v2.pipeline_output.SkyReelsV2PipelineOutput]] #### diffusers.pipelines.skyreels_v2.pipeline_output.SkyReelsV2PipelineOutput[[diffusers.pipelines.skyreels_v2.pipeline_output.SkyReelsV2PipelineOutput]] ```python diffusers.pipelines.skyreels_v2.pipeline_output.SkyReelsV2PipelineOutput(frames: Tensor) ``` [Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/skyreels_v2/pipeline_output.py#L9) **Параметры:** frames (`torch.Tensor`, `np.ndarray` или list[list[PIL.Image.Image]]) : список видеовыходов — может представлять собой вложенный список длины `batch_size,` где каждый подсписок содержит последовательности денойзированных изображений PIL длины `num_frames.` Также может быть массивом NumPy или тензором Torch формы `(batch_size, num_frames, channels, height, width)`. Класс вывода для пайплайнов SkyReelsV2.