KillzoneCCO commited on
Commit
ba5e9ab
·
verified ·
1 Parent(s): 810200f

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +74 -74
app.py CHANGED
@@ -2,88 +2,84 @@
2
  from datasets import load_dataset, Dataset
3
  import gradio as gr
4
  import pandas as pd
5
- from PIL import Image as PILImage # Переименовываем PIL.Image, чтобы избежать конфликта с datasets.Image
6
  import numpy as np
7
- import matplotlib.pyplot as plt # Импортируем matplotlib для построения графиков
8
- import io # Для сохранения графика в памяти
9
 
10
  # --- Настройки вашего датасета ---
11
  DATASET_REPO_ID = "KillzoneCCO/my-ainex-robot-dataset"
12
  DATASET_SPLIT = "train"
13
 
14
  # Глобальная переменная для хранения загруженного и сгруппированного датасета
15
- # Изначально устанавливаем ее в None
16
  my_episodes = None
17
 
18
  # --- Функция загрузки и подготовки данных ---
19
  def load_and_prepare_dataset():
20
  """Загружает датасет с Hugging Face Hub и группирует по эпизодам."""
21
- global my_episodes # Указываем, что будем изменять глобальную переменную
22
- print("Attempting to load dataset...") # Логирование для отладки
23
  try:
24
- # Загружаем ваш датасет. По умолчанию load_dataset должен получать последнюю версию.
 
 
25
  dataset = load_dataset(DATASET_REPO_ID, split=DATASET_SPLIT)
26
 
27
- # Проверяем, что датасет не пустой
28
  if len(dataset) == 0:
29
  error_msg = "Датасет пуст. Нет данных для отображения."
30
  print(error_msg)
31
- my_episodes = error_msg
32
  return error_msg, []
33
 
34
- # Группируем данные по эпизодам для удобства визуализации
35
  episodes_data = {}
36
  for i, row in enumerate(dataset):
37
- episode_idx = row.get("episode_index") # Используем .get() для безопасности
38
- if episode_idx is None: # Если episode_index отсутствует, присваиваем 0
39
  episode_idx = 0
40
- row["episode_index"] = 0 # Добавляем для консистентности
41
  print(f"Warning: 'episode_index' not found for row {i}, defaulting to 0.")
42
 
43
  if episode_idx not in episodes_data:
44
  episodes_data[episode_idx] = []
45
  episodes_data[episode_idx].append(row)
46
 
47
- # Сортируем эпизоды по индексу
48
  sorted_episodes = dict(sorted(episodes_data.items()))
49
- my_episodes = sorted_episodes # Сохраняем загруженные данные в глобальную переменную
50
  print(f"Dataset loaded and prepared. Number of episodes: {len(my_episodes)}")
51
- return "Данные успешно загружены!", list(my_episodes.keys()) # Возвращаем сообщение и список эпизодов
 
 
 
 
 
52
  except Exception as e:
53
  error_msg = f"Ошибка при загрузке или обработке датасета: {e}"
54
  print(error_msg)
55
- my_episodes = error_msg # Сохраняем ошибку в глобальную переменную
56
- return error_msg, [] # Возвращаем сообщение об ошибке и пустой список
57
 
58
  # --- Функции для Gradio интерфейса ---
59
 
60
- def get_episode_list_for_dropdown():
61
- """Возвращает список доступных эпизодов для выпадающего списка."""
62
- if isinstance(my_episodes, str): # Если была ошибка загрузки
63
- return []
64
- return list(my_episodes.keys())
65
-
66
  def get_num_steps_in_episode(episode_idx):
67
  """Возвращает количество шагов в выбранном эпизоде."""
68
- if isinstance(my_episodes, str):
69
  return 0
70
  return len(my_episodes.get(episode_idx, []))
71
 
72
  def update_episode_info(episode_idx):
73
  """Обновляет информацию при выборе нового эпизода."""
74
- print(f"update_episode_info called with episode_idx: {episode_idx}") # Логирование
75
  if isinstance(my_episodes, str):
76
- return my_episodes, 0, 0, "", None, "", "" # Возвращаем ошибку и пустые значения
77
 
78
  # Если episode_idx не выбран (например, при первом запуске) или список пуст
79
  if episode_idx is None:
80
- if my_episodes:
81
- episode_idx = list(my_episodes.keys())[0] # Выбираем первый доступный эпизод
82
  print(f"Defaulting to first episode: {episode_idx}")
83
  else:
84
- print("No episodes available to select.")
85
- return gr.update(choices=[], value=None), 0, 0, "Нет доступных данных.", None, "", ""
86
-
87
 
88
  num_steps = get_num_steps_in_episode(episode_idx)
89
 
@@ -98,7 +94,7 @@ def update_episode_info(episode_idx):
98
 
99
  def display_step_data(episode_idx, step_idx):
100
  """Отображает данные для конкретного шага в эпизоде."""
101
- print(f"display_step_data called with episode_idx: {episode_idx}, step_idx: {step_idx}") # Логирование
102
  if isinstance(my_episodes, str):
103
  return my_episodes, None, "", ""
104
 
@@ -114,14 +110,11 @@ def display_step_data(episode_idx, step_idx):
114
  if "observation.camera_image_left" in record and record["observation.camera_image_left"] is not None:
115
  image_data = record["observation.camera_image_left"]
116
  try:
117
- # datasets.Image() автоматически декодирует изображение в PIL.Image
118
  if isinstance(image_data, PILImage.Image):
119
  image_to_display = image_data
120
- elif isinstance(image_data, np.ndarray): # Если вдруг это все еще numpy (например, при локальном тестировании без features)
121
- # Убедитесь, что массив имеет правильный тип данных (uint8) и форму (H, W, C)
122
- # Если изображение в оттенках серого (H, W), нужно добавить канал
123
  if image_data.ndim == 2:
124
- image_data = np.stack([image_data]*3, axis=-1) # Преобразуем в RGB
125
  image_to_display = PILImage.fromarray(image_data.astype(np.uint8))
126
  else:
127
  print(f"Warning: Unknown image format (type: {type(image_data)}). Could not display.")
@@ -153,8 +146,9 @@ def display_step_data(episode_idx, step_idx):
153
 
154
  def analyze_dataset_stats():
155
  """Выполняет базовый статистический анализ датасета."""
 
156
  if isinstance(my_episodes, str):
157
- return my_episodes, None # Возвращаем ошибку и None для графика
158
  if not my_episodes:
159
  return "Нет загруженных данных для анализа.", None
160
 
@@ -162,13 +156,12 @@ def analyze_dataset_stats():
162
  all_x = []
163
  all_y = []
164
  all_angle = []
165
- all_action_axes_0 = [] # Предполагаем, что action.axes - это список, берем первый элемент
166
- all_action_axes_1 = [] # Второй элемент
167
 
168
  for episode_idx in my_episodes:
169
  for record in my_episodes[episode_idx]:
170
  all_rewards.append(record.get('reward', 0.0))
171
- # Собираем числовые наблюдения
172
  if 'observation.x' in record:
173
  all_x.append(record['observation.x'])
174
  if 'observation.y' in record:
@@ -176,20 +169,28 @@ def analyze_dataset_stats():
176
  if 'observation.angle' in record:
177
  all_angle.append(record['observation.angle'])
178
 
179
- # Собираем числовые действия (если action.axes - это список)
180
- if 'action.axes' in record and isinstance(record['action.axes'], list) and len(record['action.axes']) > 1:
181
- all_action_axes_0.append(record['action.axes'][0])
182
- all_action_axes_1.append(record['action.axes'][1])
183
- elif 'action.axes' in record and isinstance(record['action.axes'], (int, float)): # если action.axes это одно число
 
 
 
 
 
184
  all_action_axes_0.append(record['action.axes'])
185
- all_action_axes_1.append(0.0) # или None, в зависимости от логики
186
 
187
  stats_output = "### Статистика по наградам:\n"
188
- stats_output += f"Средняя награда: {np.mean(all_rewards):.2f}\n"
189
- stats_output += f"Медиана награды: {np.median(all_rewards):.2f}\n"
190
- stats_output += f"Стандартное отклонение награды: {np.std(all_rewards):.2f}\n"
191
- stats_output += f"Минимальная награда: {np.min(all_rewards):.2f}\n"
192
- stats_output += f"Максимальная награда: {np.max(all_rewards):.2f}\n\n"
 
 
 
193
 
194
  stats_output += "### Статистика по наблюдениям (x, y, angle):\n"
195
  if all_x:
@@ -205,28 +206,29 @@ def analyze_dataset_stats():
205
  else:
206
  stats_output += "Нет данных для action.axes.\n"
207
 
208
- # Построение графика награды по шагам
209
  plt.figure(figsize=(10, 6))
210
- plt.plot(all_rewards)
211
- plt.title("Награда по шагам")
212
- plt.xlabel("Шаг")
213
- plt.ylabel("Награда")
214
- plt.grid(True)
215
-
216
- # Сохраняем график в буфер, чтобы Gradio мог его отобразить
 
 
 
217
  buf = io.BytesIO()
218
  plt.savefig(buf, format='png')
219
  buf.seek(0)
220
- plt.close() # Закрываем фигуру, чтобы избежать утечек памяти
221
 
222
- return stats_output, PILImage.open(buf) # Возвращаем текст статистики и изображение графика
223
 
224
  # --- Создаем Gradio интерфейс ---
225
  with gr.Blocks() as demo:
226
  gr.Markdown(f"# Визуализация и анализ датасета `{DATASET_REPO_ID}`")
227
  gr.Markdown("Здесь вы можете просмотреть информацию о вашем собранном датасете робота, сгруппированную по эпизодам, а также выполнить базовый анализ.")
228
 
229
- # Кнопка для обновления данных
230
  refresh_button = gr.Button("Обновить данные с Hugging Face Hub")
231
  refresh_status = gr.Textbox(label="Статус обновления", interactive=False)
232
 
@@ -236,8 +238,8 @@ with gr.Blocks() as demo:
236
  gr.Markdown("### Выбор эпизода")
237
  episode_selector = gr.Dropdown(
238
  label="Выберите эпизод",
239
- choices=[], # Будет заполнено динамически
240
- value=None, # Изначально нет выбранного значения
241
  interactive=True
242
  )
243
  num_steps_in_episode_output = gr.Number(label="Всего шагов в эпизоде", value=0, precision=0, interactive=False)
@@ -245,14 +247,13 @@ with gr.Blocks() as demo:
245
  gr.Markdown("### Навигация по шагам")
246
  step_slider = gr.Slider(
247
  minimum=0,
248
- maximum=0, # Будет обновлено динамически
249
  value=0,
250
  step=1,
251
  label="Шаг в эпизоде",
252
  interactive=True
253
  )
254
 
255
- # Общая информация о текущем шаге
256
  step_info_output = gr.Textbox(label="Информация о шаге", lines=5, interactive=False)
257
 
258
  with gr.Column(scale=2):
@@ -267,7 +268,7 @@ with gr.Blocks() as demo:
267
  gr.Markdown("### Статистический анализ и графики")
268
  analyze_button = gr.Button("Выполнить анализ")
269
  stats_output = gr.Textbox(label="Статистика датасета", lines=20, interactive=False)
270
- reward_plot = gr.Plot(label="График награды по шагам") # Используем gr.Plot для отображения matplotlib
271
 
272
  analyze_button.click(
273
  analyze_dataset_stats,
@@ -276,15 +277,15 @@ with gr.Blocks() as demo:
276
  )
277
 
278
  # --- Логика взаимодействия ---
279
- # При загрузке Space, загружаем данные и обновляем выпадающий список эпизодов
280
- # Затем, после загрузки данных, автоматически выбираем первый эпизод и обновляем UI
281
  demo.load(
282
  load_and_prepare_dataset,
283
  inputs=None,
284
  outputs=[refresh_status, episode_selector]
285
- ).then(
286
  update_episode_info,
287
- inputs=episode_selector,
288
  outputs=[step_slider, num_steps_in_episode_output, step_slider, step_info_output, image_output, observation_output, action_output]
289
  )
290
 
@@ -316,4 +317,3 @@ with gr.Blocks() as demo:
316
  # Запуск приложения Gradio
317
  demo.launch()
318
 
319
-
 
2
  from datasets import load_dataset, Dataset
3
  import gradio as gr
4
  import pandas as pd
5
+ from PIL import Image as PILImage
6
  import numpy as np
7
+ import matplotlib.pyplot as plt
8
+ import io
9
 
10
  # --- Настройки вашего датасета ---
11
  DATASET_REPO_ID = "KillzoneCCO/my-ainex-robot-dataset"
12
  DATASET_SPLIT = "train"
13
 
14
  # Глобальная переменная для хранения загруженного и сгруппированного датасета
 
15
  my_episodes = None
16
 
17
  # --- Функция загрузки и подготовки данных ---
18
  def load_and_prepare_dataset():
19
  """Загружает датасет с Hugging Face Hub и группирует по эпизодам."""
20
+ global my_episodes
21
+ print("Attempting to load dataset...")
22
  try:
23
+ # load_dataset по умолчанию должен получать последнюю версию.
24
+ # Если есть проблемы с кэшированием, можно временно добавить force_download=True
25
+ # dataset = load_dataset(DATASET_REPO_ID, split=DATASET_SPLIT, force_download=True)
26
  dataset = load_dataset(DATASET_REPO_ID, split=DATASET_SPLIT)
27
 
 
28
  if len(dataset) == 0:
29
  error_msg = "Датасет пуст. Нет данных для отображения."
30
  print(error_msg)
31
+ my_episodes = {} # Устанавливаем пустой словарь, чтобы избежать ошибок типа
32
  return error_msg, []
33
 
 
34
  episodes_data = {}
35
  for i, row in enumerate(dataset):
36
+ episode_idx = row.get("episode_index")
37
+ if episode_idx is None:
38
  episode_idx = 0
39
+ row["episode_index"] = 0
40
  print(f"Warning: 'episode_index' not found for row {i}, defaulting to 0.")
41
 
42
  if episode_idx not in episodes_data:
43
  episodes_data[episode_idx] = []
44
  episodes_data[episode_idx].append(row)
45
 
 
46
  sorted_episodes = dict(sorted(episodes_data.items()))
47
+ my_episodes = sorted_episodes
48
  print(f"Dataset loaded and prepared. Number of episodes: {len(my_episodes)}")
49
+
50
+ episode_keys = list(my_episodes.keys())
51
+ # Если эпизоды есть, выбираем первый для инициализации
52
+ initial_episode_value = episode_keys[0] if episode_keys else None
53
+
54
+ return "Данные успешно загружены!", gr.update(choices=episode_keys, value=initial_episode_value)
55
  except Exception as e:
56
  error_msg = f"Ошибка при загрузке или обработке датасета: {e}"
57
  print(error_msg)
58
+ my_episodes = error_msg
59
+ return error_msg, gr.update(choices=[], value=None)
60
 
61
  # --- Функции для Gradio интерфейса ---
62
 
 
 
 
 
 
 
63
  def get_num_steps_in_episode(episode_idx):
64
  """Возвращает количество шагов в выбранном эпизоде."""
65
+ if isinstance(my_episodes, str) or not my_episodes: # Проверяем, что my_episodes - это словарь и не пустой
66
  return 0
67
  return len(my_episodes.get(episode_idx, []))
68
 
69
  def update_episode_info(episode_idx):
70
  """Обновляет информацию при выборе нового эпизода."""
71
+ print(f"update_episode_info called with episode_idx: {episode_idx}")
72
  if isinstance(my_episodes, str):
73
+ return my_episodes, 0, 0, "", None, "", ""
74
 
75
  # Если episode_idx не выбран (например, при первом запуске) или список пуст
76
  if episode_idx is None:
77
+ if my_episodes: # Если данные загружены, но эпизод не выбран, берем первый
78
+ episode_idx = list(my_episodes.keys())[0]
79
  print(f"Defaulting to first episode: {episode_idx}")
80
  else:
81
+ print("No episodes available to select in update_episode_info.")
82
+ return gr.update(maximum=0, value=0), 0, 0, "Нет доступных данных.", None, "", ""
 
83
 
84
  num_steps = get_num_steps_in_episode(episode_idx)
85
 
 
94
 
95
  def display_step_data(episode_idx, step_idx):
96
  """Отображает данные для конкретного шага в эпизоде."""
97
+ print(f"display_step_data called with episode_idx: {episode_idx}, step_idx: {step_idx}")
98
  if isinstance(my_episodes, str):
99
  return my_episodes, None, "", ""
100
 
 
110
  if "observation.camera_image_left" in record and record["observation.camera_image_left"] is not None:
111
  image_data = record["observation.camera_image_left"]
112
  try:
 
113
  if isinstance(image_data, PILImage.Image):
114
  image_to_display = image_data
115
+ elif isinstance(image_data, np.ndarray):
 
 
116
  if image_data.ndim == 2:
117
+ image_data = np.stack([image_data]*3, axis=-1)
118
  image_to_display = PILImage.fromarray(image_data.astype(np.uint8))
119
  else:
120
  print(f"Warning: Unknown image format (type: {type(image_data)}). Could not display.")
 
146
 
147
  def analyze_dataset_stats():
148
  """Выполняет базовый статистический анализ датасета."""
149
+ print("analyze_dataset_stats called.")
150
  if isinstance(my_episodes, str):
151
+ return my_episodes, None
152
  if not my_episodes:
153
  return "Нет загруженных данных для анализа.", None
154
 
 
156
  all_x = []
157
  all_y = []
158
  all_angle = []
159
+ all_action_axes_0 = []
160
+ all_action_axes_1 = []
161
 
162
  for episode_idx in my_episodes:
163
  for record in my_episodes[episode_idx]:
164
  all_rewards.append(record.get('reward', 0.0))
 
165
  if 'observation.x' in record:
166
  all_x.append(record['observation.x'])
167
  if 'observation.y' in record:
 
169
  if 'observation.angle' in record:
170
  all_angle.append(record['observation.angle'])
171
 
172
+ if 'action.axes' in record and isinstance(record['action.axes'], list):
173
+ if len(record['action.axes']) > 0:
174
+ all_action_axes_0.append(record['action.axes'][0])
175
+ else:
176
+ all_action_axes_0.append(0.0) # Или пропустить, если нет данных
177
+ if len(record['action.axes']) > 1:
178
+ all_action_axes_1.append(record['action.axes'][1])
179
+ else:
180
+ all_action_axes_1.append(0.0) # Или пропустить
181
+ elif 'action.axes' in record and isinstance(record['action.axes'], (int, float)):
182
  all_action_axes_0.append(record['action.axes'])
183
+ all_action_axes_1.append(0.0) # Если action.axes - одно число
184
 
185
  stats_output = "### Статистика по наградам:\n"
186
+ if all_rewards:
187
+ stats_output += f"Средняя награда: {np.mean(all_rewards):.2f}\n"
188
+ stats_output += f"Медиана награды: {np.median(all_rewards):.2f}\n"
189
+ stats_output += f"Стандартное отклонение награды: {np.std(all_rewards):.2f}\n"
190
+ stats_output += f"Минимальная награда: {np.min(all_rewards):.2f}\n"
191
+ stats_output += f"Максимальная награда: {np.max(all_rewards):.2f}\n\n"
192
+ else:
193
+ stats_output += "Нет данных по наградам.\n\n"
194
 
195
  stats_output += "### Статистика по наблюдениям (x, y, angle):\n"
196
  if all_x:
 
206
  else:
207
  stats_output += "Нет данных для action.axes.\n"
208
 
 
209
  plt.figure(figsize=(10, 6))
210
+ if all_rewards:
211
+ plt.plot(all_rewards)
212
+ plt.title("Награда по шагам")
213
+ plt.xlabel("Шаг")
214
+ plt.ylabel("Награда")
215
+ plt.grid(True)
216
+ else:
217
+ plt.text(0.5, 0.5, "Нет данных для построения графика награды", horizontalalignment='center', verticalalignment='center', transform=plt.gca().transAxes)
218
+ plt.title("График награды")
219
+
220
  buf = io.BytesIO()
221
  plt.savefig(buf, format='png')
222
  buf.seek(0)
223
+ plt.close()
224
 
225
+ return stats_output, PILImage.open(buf)
226
 
227
  # --- Создаем Gradio интерфейс ---
228
  with gr.Blocks() as demo:
229
  gr.Markdown(f"# Визуализация и анализ датасета `{DATASET_REPO_ID}`")
230
  gr.Markdown("Здесь вы можете просмотреть информацию о вашем собранном датасете робота, сгруппированную по эпизодам, а также выполнить базовый анализ.")
231
 
 
232
  refresh_button = gr.Button("Обновить данные с Hugging Face Hub")
233
  refresh_status = gr.Textbox(label="Статус обновления", interactive=False)
234
 
 
238
  gr.Markdown("### Выбор эпизода")
239
  episode_selector = gr.Dropdown(
240
  label="Выберите эпизод",
241
+ choices=[],
242
+ value=None,
243
  interactive=True
244
  )
245
  num_steps_in_episode_output = gr.Number(label="Всего шагов в эпизоде", value=0, precision=0, interactive=False)
 
247
  gr.Markdown("### Навигация по шагам")
248
  step_slider = gr.Slider(
249
  minimum=0,
250
+ maximum=0,
251
  value=0,
252
  step=1,
253
  label="Шаг в эпизоде",
254
  interactive=True
255
  )
256
 
 
257
  step_info_output = gr.Textbox(label="Информация о шаге", lines=5, interactive=False)
258
 
259
  with gr.Column(scale=2):
 
268
  gr.Markdown("### Статистический анализ и графики")
269
  analyze_button = gr.Button("Выполнить анализ")
270
  stats_output = gr.Textbox(label="Статистика датасета", lines=20, interactive=False)
271
+ reward_plot = gr.Plot(label="График награды по шагам")
272
 
273
  analyze_button.click(
274
  analyze_dataset_stats,
 
277
  )
278
 
279
  # --- Логика взаимодействия ---
280
+ # При загрузке Space, загружаем данные и обновляем выпадающий список эпизодов.
281
+ # Затем, после успешной загрузки, автоматически выбираем первый эпизод и обновляем UI.
282
  demo.load(
283
  load_and_prepare_dataset,
284
  inputs=None,
285
  outputs=[refresh_status, episode_selector]
286
+ ).then( # Этот .then() будет вызван только если load_and_prepare_dataset успешно вернула список эпизодов
287
  update_episode_info,
288
+ inputs=episode_selector, # Передаем обновленный episode_selector
289
  outputs=[step_slider, num_steps_in_episode_output, step_slider, step_info_output, image_output, observation_output, action_output]
290
  )
291
 
 
317
  # Запуск приложения Gradio
318
  demo.launch()
319