Hugging Face's logo

Diffusers documentation

Video Processor

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.43.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Video Processor

Класс VideoProcessor предоставляет единый API для видеопайплайнов, позволяющий готовить входные данные для кодирования VAE и выполнять постобработку выходов после декодирования. Класс наследует VaeImageProcessor, поэтому включает такие преобразования, как изменение размера, нормализация и конвертация между массивами PIL Image, PyTorch и NumPy.

VideoProcessor

diffusers.VideoProcessor.preprocess_video

< >

( videoheight: int | None = Nonewidth: int | None = None**kwargs ) → torch.Tensor of shape (batch_size, num_channels, num_frames, height, width)

Параметры

  • video (list[PIL.Image], list[list[PIL.Image]], torch.Tensor, np.array, list[torch.Tensor], list[np.array]) — Входное видео. Допустимые форматы:
    • список изображений PIL.
    • список списков изображений PIL.
    • 4D-тензоры Torch (ожидаемая форма каждого тензора (num_frames, num_channels, height, width)).
    • 4D-массивы NumPy (ожидаемая форма каждого массива (num_frames, height, width, num_channels)).
    • список тензоров Torch 4D (ожидаемая форма каждого тензора (num_frames, num_channels, height, width)).
    • список 4D-массивов NumPy (ожидаемая форма каждого массива (num_frames, height, width, num_channels)).
    • 5D-массивы NumPy: ожидаемая форма каждого массива (batch_size, num_frames, height, width, num_channels).
    • 5D-тензоры Torch: ожидаемая форма каждого массива (batch_size, num_frames, num_channels, height, width).
  • height (int, необязательный, по умолчанию None) — Высота видео в предварительно обработанных кадрах. Если None, для получения значения по умолчанию используется get_default_height_width().
  • width (int, optional, defaults to None) -- The width in preprocessed frames of the video. If None, will use get_default_height_width() to get the default width.

Возвращает

torch.Tensor с формой (batch_size, num_channels, num_frames, height, width)

Тензор размерности 5, содержащий видео в формате каналов-первым с батчем.

Предварительная обработка входного видео. Именованные аргументы передаются в VaeImageProcessor.preprocess.

diffusers.VideoProcessor.postprocess_video

< >

( video: Tensoroutput_type: str = 'np'**kwargs )

Параметры

  • video (torch.Tensor) — Видео в виде тензора.
  • output_type (str, по умолчанию "np") — Тип выходного тензора video после постобработки.

Преобразует тензор видео в список кадров для экспорта. Именованные аргументы передаются в VaeImageProcessor.postprocess.

Update on GitHub

←Обработчик изображений VAE