robot / gr.Video
KillzoneCCO's picture
Create gr.Video
7b72d00 verified
Raw History Blame Contribute Delete
7.82 kB
http://googleusercontent.com/immersive_entry_chip/0
**Что изменено в Подходе 1:**
1. **`import imageio` и `import os`**: Добавлены в начале файла.
2. **Удалена `playback_active` и `play_steps` / `stop_playback`**: Эти функции были для имитации видео. Теперь мы создаем настоящий видеофайл.
3. **Новая функция `create_video_from_episode(selected_episode_idx, fps)`**:
* Эта функция собирает все изображения из выбранного эпизода.
* Преобразует их в массивы NumPy (требование `imageio`).
* Использует `imageio.mimsave()` для сохранения последовательности изображений в файл MP4 во временной директории `/tmp/`.
* Возвращает путь к созданному MP4-файлу.
* Добавлен параметр `fps` (кадры в секунду) для контроля скорости видео.
4. **Изменения в Gradio интерфейсе (`gr.Blocks`):**
* `image_output` заменен на `video_output = gr.Video(...)`. Этот компонент Gradio предназначен для отображения видеофайлов.
* Добавлена новая кнопка `play_video_button = gr.Button("▶️ Воспроизвести видео")`.
* Добавлен слайдер `video_fps_slider` для настройки FPS видео.
* Добавлен `single_image_output = gr.Image(...)` для отображения отдельного кадра при движении слайдера, так как `gr.Video` не будет показывать отдельные кадры при ручной навигации.
5. **Изменения в логике взаимодействия (`demo.load`, `episode_selector.change`, `step_slider.change`):**
* Выходы этих функций теперь обновляют `single_image_output` вместо `image_output`, чтобы слайдер по-прежнему работал с отдельными кадрами.
6. **Логика для `play_video_button.click`**:
* При нажатии на эту кнопку вызывается `create_video_from_episode`, которая генерирует MP4-файл.
* Выход `create_video_from_episode` (путь к файлу) передается в `video_output`. Gradio автоматически загрузит и воспроизведет этот файл.
* `queue=False` по-прежнему важен, чтобы UI не зависал во время создания видео.
---
### Подход 2: Имитация видео путем быстрого обновления изображения
Этот подход использует генератор Gradio для последовательного обновления компонента `gr.Image` с задержкой, создавая иллюзию видео. Это может быть менее плавно, чем настоящий видеофайл, но не требует создания временных файлов.
```python
http://googleusercontent.com/immersive_entry_chip/1
**Что изменено в Подходе 2:**
1. **`playback_active`**: Глобальная переменная для контроля состояния воспроизведения.
2. **`play_steps_generator(selected_episode_idx, initial_step, playback_speed_sec)`**:
* Это функция-генератор, которая `yield`'ит обновления для нескольких компонентов Gradio.
* `initial_step` используется для того, чтобы воспроизведение начиналось с текущей позиции слайдера.
* `playback_speed_sec` контролирует задержку между обновлениями кадров.
* Внутри цикла `for` она вызывает `display_step_data` для получения информации о текущем шаге, изображении, наблюдениях и действиях.
* `yield` используется для отправки этих данных в соответствующие выходные компоненты Gradio.
* `time.sleep(playback_speed_sec)` создает паузу, имитируя скорость воспроизведения.
* После завершения цикла, она `yield`'ит последний кадр, чтобы слайдер остался на последнем шаге.
3. **`stop_playback(current_step)`**:
* Эта функция устанавливает `playback_active = False`, что прерывает цикл в `play_steps_generator`.
* Возвращает сообщение о статусе и текущий шаг слайдера.
4. **`playback_speed_slider`**: Новый компонент `gr.Slider` для управления скоростью воспроизведения (задержкой между кадрами).
5. **Изменения в `play_button.click`**:
* `inputs`: Теперь включает `episode_selector`, `step_slider` (для получения текущего шага) и `playback_speed_slider`.
* `outputs`: Теперь включает все компоненты, которые обновляет `play_steps_generator`: `step_slider`, `step_info_output`, `image_output`, `observation_output`, `action_output`.
* `queue=False`: Это **критически важно** для плавного воспроизведения, так как позволяет Gradio не блокировать UI, пока генератор работает.
6. **Изменения в `stop_button.click`**:
* `inputs`: Теперь включает `step_slider` (для сохранения его текущего значения).
* `outputs`: Обновляет `refresh_status` сообщением об остановке и `step_slider` его текущим значением.
---
**Рекомендации:**
* **Для "настоящего" видео:** Если для вас важно, чтобы это было именно видео (с возможностью перемотки, паузы, воспроизведения как единого файла), то **Подход 1** с `gr.Video` является лучшим выбором. Он будет более производительным для длинных эпизодов, так как видео генерируется один раз.
* **Для интерактивного просмотра кадров:** Если вам важнее возможность пошагово просматривать кадры, а "видео" - это просто удобный способ быстрого перелистывания, то **Подход 2** может быть достаточным. Однако он может быть менее плавным и более ресурсоемким для очень быстрых или длинных последовательностей.
Выберите тот подход, который лучше соответствует вашим потребностям и ограничениям Hugging Face Spaces. Убедитесь, что вы добавили `imageio` в ваш `requirements.txt` файл на Hugging Face Spaces, если вы используете Подход 1.