File size: 7,815 Bytes
7b72d00
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
http://googleusercontent.com/immersive_entry_chip/0


**Что изменено в Подходе 1:**

1.  **`import imageio` и `import os`**: Добавлены в начале файла.
2.  **Удалена `playback_active` и `play_steps` / `stop_playback`**: Эти функции были для имитации видео. Теперь мы создаем настоящий видеофайл.
3.  **Новая функция `create_video_from_episode(selected_episode_idx, fps)`**:
    * Эта функция собирает все изображения из выбранного эпизода.
    * Преобразует их в массивы NumPy (требование `imageio`).
    * Использует `imageio.mimsave()` для сохранения последовательности изображений в файл MP4 во временной директории `/tmp/`.
    * Возвращает путь к созданному MP4-файлу.
    * Добавлен параметр `fps` (кадры в секунду) для контроля скорости видео.
4.  **Изменения в Gradio интерфейсе (`gr.Blocks`):**
    * `image_output` заменен на `video_output = gr.Video(...)`. Этот компонент Gradio предназначен для отображения видеофайлов.
    * Добавлена новая кнопка `play_video_button = gr.Button("▶️ Воспроизвести видео")`.
    * Добавлен слайдер `video_fps_slider` для настройки FPS видео.
    * Добавлен `single_image_output = gr.Image(...)` для отображения отдельного кадра при движении слайдера, так как `gr.Video` не будет показывать отдельные кадры при ручной навигации.
5.  **Изменения в логике взаимодействия (`demo.load`, `episode_selector.change`, `step_slider.change`):**
    * Выходы этих функций теперь обновляют `single_image_output` вместо `image_output`, чтобы слайдер по-прежнему работал с отдельными кадрами.
6.  **Логика для `play_video_button.click`**:
    * При нажатии на эту кнопку вызывается `create_video_from_episode`, которая генерирует MP4-файл.
    * Выход `create_video_from_episode` (путь к файлу) передается в `video_output`. Gradio автоматически загрузит и воспроизведет этот файл.
    * `queue=False` по-прежнему важен, чтобы UI не зависал во время создания видео.

---

### Подход 2: Имитация видео путем быстрого обновления изображения

Этот подход использует генератор Gradio для последовательного обновления компонента `gr.Image` с задержкой, создавая иллюзию видео. Это может быть менее плавно, чем настоящий видеофайл, но не требует создания временных файлов.

```python

http://googleusercontent.com/immersive_entry_chip/1


**Что изменено в Подходе 2:**

1.  **`playback_active`**: Глобальная переменная для контроля состояния воспроизведения.
2.  **`play_steps_generator(selected_episode_idx, initial_step, playback_speed_sec)`**:
    * Это функция-генератор, которая `yield`'ит обновления для нескольких компонентов Gradio.
    * `initial_step` используется для того, чтобы воспроизведение начиналось с текущей позиции слайдера.
    * `playback_speed_sec` контролирует задержку между обновлениями кадров.
    * Внутри цикла `for` она вызывает `display_step_data` для получения информации о текущем шаге, изображении, наблюдениях и действиях.
    * `yield` используется для отправки этих данных в соответствующие выходные компоненты Gradio.
    * `time.sleep(playback_speed_sec)` создает паузу, имитируя скорость воспроизведения.
    * После завершения цикла, она `yield`'ит последний кадр, чтобы слайдер остался на последнем шаге.
3.  **`stop_playback(current_step)`**:
    * Эта функция устанавливает `playback_active = False`, что прерывает цикл в `play_steps_generator`.
    * Возвращает сообщение о статусе и текущий шаг слайдера.
4.  **`playback_speed_slider`**: Новый компонент `gr.Slider` для управления скоростью воспроизведения (задержкой между кадрами).
5.  **Изменения в `play_button.click`**:
    * `inputs`: Теперь включает `episode_selector`, `step_slider` (для получения текущего шага) и `playback_speed_slider`.
    * `outputs`: Теперь включает все компоненты, которые обновляет `play_steps_generator`: `step_slider`, `step_info_output`, `image_output`, `observation_output`, `action_output`.
    * `queue=False`: Это **критически важно** для плавного воспроизведения, так как позволяет Gradio не блокировать UI, пока генератор работает.
6.  **Изменения в `stop_button.click`**:
    * `inputs`: Теперь включает `step_slider` (для сохранения его текущего значения).
    * `outputs`: Обновляет `refresh_status` сообщением об остановке и `step_slider` его текущим значением.

---

**Рекомендации:**

* **Для "настоящего" видео:** Если для вас важно, чтобы это было именно видео (с возможностью перемотки, паузы, воспроизведения как единого файла), то **Подход 1** с `gr.Video` является лучшим выбором. Он будет более производительным для длинных эпизодов, так как видео генерируется один раз.
* **Для интерактивного просмотра кадров:** Если вам важнее возможность пошагово просматривать кадры, а "видео" - это просто удобный способ быстрого перелистывания, то **Подход 2** может быть достаточным. Однако он может быть менее плавным и более ресурсоемким для очень быстрых или длинных последовательностей.

Выберите тот подход, который лучше соответствует вашим потребностям и ограничениям Hugging Face Spaces. Убедитесь, что вы добавили `imageio` в ваш `requirements.txt` файл на Hugging Face Spaces, если вы используете Подход 1.