diffusers/main/ru/api/video_processor.md

Video Processor

Класс VideoProcessor предоставляет единый API для видеопайплайнов, позволяющий готовить входные данные для кодирования VAE и выполнять постобработку выходов после декодирования. Класс наследует VaeImageProcessor, поэтому включает такие преобразования, как изменение размера, нормализация и конвертация между массивами PIL Image, PyTorch и NumPy.

VideoProcessor[[diffusers.VideoProcessor.preprocess_video]]

diffusers.VideoProcessor.preprocess_video[[diffusers.VideoProcessor.preprocess_video]]

diffusers.VideoProcessor.preprocess_video(video, height: int | None = None, width: int | None = None, **kwargs)

Источник

Параметры:

video (list[PIL.Image], list[list[PIL.Image]], torch.Tensor, np.array, list[torch.Tensor], list[np.array]) : Входное видео. Может быть одним из следующих: * список изображений PIL. * список списков изображений PIL. * 4D-тензоры Torch (ожидаемая форма каждого тензора (num_frames, num_channels, height, width)). * 4D-массивы NumPy (ожидаемая форма каждого массива (num_frames, height, width, num_channels)). * список 4D-тензоров Torch (ожидаемая форма каждого тензора (num_frames, num_channels, height, width)). * список 4D-массивов NumPy (ожидаемая форма каждого массива (num_frames, height, width, num_channels)). * 5D-массивы NumPy: ожидаемая форма каждого массива (batch_size, num_frames, height, width, num_channels). * 5D-тензоры Torch: ожидаемая форма каждого массива (batch_size, num_frames, num_channels, height, width).

height (int, необязательный, по умолчанию None) : Высота видео в предварительно обработанных кадрах. Если None, для получения значения по умолчанию используется get_default_height_width().

width (int, optional, defaults to None) : The width in preprocessed frames of the video. If None, will use get_default_height_width() to get the default width.

Возвращает: torch.Tensor формы (batch_size, num_channels, num_frames, height, width)

Тензор размерности 5, содержащий видео в формате каналов-первым с батчем.

Предварительная обработка входного видео. Именованные аргументы передаются в VaeImageProcessor.preprocess.

diffusers.VideoProcessor.postprocess_video[[diffusers.VideoProcessor.postprocess_video]]

diffusers.VideoProcessor.postprocess_video(video: Tensor, output_type: str = 'np', **kwargs)

Источник

Параметры:

video (torch.Tensor) : Видео в виде тензора.

output_type (str, по умолчанию "np") : Тип выходного тензора video после постобработки.

Преобразует тензор видео в список кадров для экспорта. Именованные аргументы передаются в VaeImageProcessor.postprocess.