KillzoneCCO commited on
Commit
ca09a88
·
verified ·
1 Parent(s): 152e290

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +113 -145
app.py CHANGED
@@ -8,9 +8,8 @@ import matplotlib.pyplot as plt
8
  import io
9
 
10
  # --- Настройки вашего датасета ---
11
- # ИСПРАВЛЕНО: DATASET_REPO_ID теперь включает entity "killzone"
12
- DATASET_REPO_ID = "killzone/my-ainex-robot-dataset"
13
- DATASET_SPLIT = "train"
14
 
15
  # Глобальная переменная для хранения загруженного и сгруппированного датасета
16
  my_episodes = None
@@ -37,23 +36,19 @@ def load_and_prepare_dataset():
37
  row["episode_index"] = 0
38
  print(f"Warning: 'episode_index' not found for row {i}, defaulting to 0.")
39
 
40
- # Используем 1-индексированный номер эпизода для ключа
41
- episode_idx_display = int(episode_idx_raw) + 1 # Убедимся, что это int
42
 
43
  if episode_idx_display not in episodes_data:
44
  episodes_data[episode_idx_display] = []
45
  episodes_data[episode_idx_display].append(row)
46
 
47
- # Сортируем шаги внутри каждого эпизода по времени, если timestamp доступен
48
- for ep_id in episodes_data:
49
- episodes_data[ep_id] = sorted(episodes_data[ep_id], key=lambda x: x.get('timestamp', 0))
50
-
51
- # Сортируем эпизоды по их ключам для Dropdown
52
  sorted_episodes = dict(sorted(episodes_data.items()))
53
  my_episodes = sorted_episodes
54
  print(f"Dataset loaded and prepared. Number of episodes: {len(my_episodes)}")
55
 
56
  episode_keys = list(my_episodes.keys())
 
57
  initial_episode_value = episode_keys[0] if episode_keys else None
58
 
59
  return "Данные успешно загружены!", gr.update(choices=episode_keys, value=initial_episode_value)
@@ -80,6 +75,7 @@ def update_episode_info(episode_idx):
80
  # Если episode_idx не выбран (например, при первом запуске) или список пуст
81
  if episode_idx is None:
82
  if my_episodes:
 
83
  episode_idx = list(my_episodes.keys())[0]
84
  print(f"Defaulting to first episode: {episode_idx}")
85
  else:
@@ -113,10 +109,7 @@ def display_step_data(episode_idx, step_idx):
113
  if "observation.camera_image_left" in record and record["observation.camera_image_left"] is not None:
114
  image_data = record["observation.camera_image_left"]
115
  try:
116
- # Если это объект Image из datasets, он будет словарем с ключом 'bytes'
117
- if isinstance(image_data, dict) and 'bytes' in image_data:
118
- image_to_display = PILImage.open(io.BytesIO(image_data['bytes']))
119
- elif isinstance(image_data, PILImage.Image):
120
  image_to_display = image_data
121
  elif isinstance(image_data, np.ndarray):
122
  if image_data.ndim == 2:
@@ -131,22 +124,15 @@ def display_step_data(episode_idx, step_idx):
131
 
132
  # --- Подготовка текстовых наблюдений ---
133
  observation_text = ""
134
- # Выводим конкретные наблюдения
135
- observation_text += f"Позиция X: {record.get('observation.x', 'N/A'):.2f}\n"
136
- observation_text += f"Позиция Y: {record.get('observation.y', 'N/A'):.2f}\n"
137
- observation_text += f"Угол: {np.degrees(record.get('observation.angle', 0.0)):.2f}°\n"
138
- observation_text += f"Робот идет: {record.get('observation.is_walking', 'N/A')}\n"
139
- observation_text += f"Состояние кнопок: {record.get('observation.button_state', 'N/A')}\n"
140
 
141
- # --- Подготовка текстовых действий (servo_positions) ---
142
  action_text = ""
143
- if "action.servo_positions" in record and record["action.servo_positions"] is not None:
144
- action_text += "Позиции сервоприводов (ID 1-25):\n"
145
- servo_pos_list = record["action.servo_positions"]
146
- # Форматируем вывод, чтобы было читабельно
147
- action_text += ", ".join([f"{pos:.2f}" for pos in servo_pos_list])
148
- else:
149
- action_text += "Нет данных по позициям сервоприводов."
150
 
151
  # --- Подготовка общей информации о шаге ---
152
  step_info_text = f"Шаг: {step_idx}\n"
@@ -165,142 +151,129 @@ def analyze_dataset_stats():
165
  if not my_episodes:
166
  return "Нет загруженных данных для анализа.", None
167
 
168
- stats_output = ""
169
-
170
- total_steps = sum(len(ep) for ep in my_episodes.values())
171
- stats_output += f"## Общая статистика датасета\n"
172
- stats_output += f"- Всего эпизодов: {len(my_episodes)}\n"
173
- stats_output += f"- Всего шагов: {total_steps}\n\n"
174
-
175
  all_rewards = []
176
  all_x = []
177
  all_y = []
178
  all_angle = []
179
- all_is_walking = []
180
- all_button_state = []
181
- # ИСПРАВЛЕНО: для 25 сервоприводов
182
- all_servo_positions = [[] for _ in range(25)]
183
 
184
  for episode_idx in my_episodes:
185
  for record in my_episodes[episode_idx]:
186
- if 'reward' in record and record['reward'] is not None:
187
- all_rewards.append(record['reward'])
188
- if 'observation.x' in record and record['observation.x'] is not None:
189
  all_x.append(record['observation.x'])
190
- if 'observation.y' in record and record['observation.y'] is not None:
191
  all_y.append(record['observation.y'])
192
- if 'observation.angle' in record and record['observation.angle'] is not None:
193
  all_angle.append(record['observation.angle'])
194
- if 'observation.is_walking' in record and record['observation.is_walking'] is not None:
195
- all_is_walking.append(record['observation.is_walking'])
196
- if 'observation.button_state' in record and record['observation.button_state'] is not None:
197
- all_button_state.append(record['observation.button_state'])
198
 
199
- # ИСПРАВЛЕНО: обработка action.servo_positions
200
- if 'action.servo_positions' in record and isinstance(record['action.servo_positions'], list):
201
- for i, pos in enumerate(record['action.servo_positions']):
202
- if i < 25:
203
- all_servo_positions[i].append(pos)
204
-
205
- # Статистика по наградам
206
- stats_output += "### Статистика по наградам\n"
 
 
 
 
 
 
207
  if all_rewards:
208
- stats_output += f"- Средняя награда: {np.mean(all_rewards):.2f}\n"
209
- stats_output += f"- Минимальная награда: {np.min(all_rewards):.2f}\n"
210
- stats_output += f"- Максимальная награда: {np.max(all_rewards):.2f}\n"
211
- stats_output += f"- Стандартное отклонение награды: {np.std(all_rewards):.2f}\n\n"
 
212
  else:
213
- stats_output += "- Нет данных по наградам.\n\n"
214
 
215
- # Гистограмма награды
216
- fig_reward, ax_reward = plt.subplots()
217
- if all_rewards:
218
- ax_reward.hist(all_rewards, bins=20, edgecolor='black')
219
- ax_reward.set_title('Распределение награды')
220
- ax_reward.set_xlabel('Награда')
221
- ax_reward.set_ylabel('Частота')
222
- else:
223
- ax_reward.text(0.5, 0.5, 'Нет данных по наградам для построения графика',
224
- horizontalalignment='center', verticalalignment='center', transform=ax_reward.transAxes)
225
-
226
- # Статистика по положению робота
227
- stats_output += "### Статистика по положению робота (X, Y, Angle)\n"
228
  if all_x:
229
- stats_output += f"- Среднее X: {np.mean(all_x):.2f}, Среднее Y: {np.mean(all_y):.2f}\n"
230
- stats_output += f"- Средний угол: {np.degrees(np.mean(all_angle)):.2f}°\n\n"
231
- else:
232
- stats_output += "- Нет данных по положению робота.\n\n"
233
-
234
- # Статистика по состоянию ходьбы
235
- stats_output += "### Статистика по состоянию ходьбы\n"
236
- if all_is_walking:
237
- # Для булевых значений лучше считать True/False
238
- true_count = sum(1 for val in all_is_walking if val is True)
239
- false_count = sum(1 for val in all_is_walking if val is False)
240
- total_bool = true_count + false_count
241
- if total_bool > 0:
242
- stats_output += f"- Процент времени в состоянии 'идет': {(true_count / total_bool * 100):.2f}%\n"
243
- stats_output += f"- Процент времени в состоянии 'не идет': {(false_count / total_bool * 100):.2f}%\n\n"
244
- else:
245
- stats_output += "- Нет булевых данных по состоянию ходьбы.\n\n"
246
  else:
247
- stats_output += "- Нет данных по состоянию ходьбы.\n\n"
248
-
249
- # Статистика по состоянию кнопок
250
- stats_output += "### Статистика по состоянию кнопок\n"
251
- if all_button_state:
252
- button_counts = pd.Series(all_button_state).value_counts(normalize=True) * 100
253
- for state, percentage in button_counts.items():
254
- stats_output += f"- Состояние '{state}': {percentage:.2f}%\n"
255
- stats_output += "\n"
256
  else:
257
- stats_output += "- Нет данных по состоянию кнопок.\n\n"
258
-
259
- # Статистика по позициям сервоприводов
260
- stats_output += "### Статистика по действиям (Servo Positions)\n"
261
- # ИСПРАВЛЕНО: проверяем, что есть данные для первого сервопривода
262
- if all_servo_positions and all_servo_positions[0]:
263
- for i in range(25):
264
- if all_servo_positions[i]:
265
- stats_output += f"- Сервопривод {i+1} (среднее/std): {np.mean(all_servo_positions[i]):.2f} / {np.std(all_servo_positions[i]):.2f}\n"
266
- else:
267
- stats_output += f"- Сервопривод {i+1}: Нет данных\n"
268
- stats_output += "\n"
269
  else:
270
- stats_output += "Нет данных для позиций сервоприводов.\n\n"
 
271
 
272
- return stats_output, fig_reward
 
 
 
 
 
273
 
274
  # --- Создаем Gradio интерфейс ---
275
- with gr.Blocks(title="Визуализация данных робота AiNex") as demo:
276
- gr.Markdown("# 🤖 Визуализация данных робота AiNex 🤖")
277
- gr.Markdown(
278
- "Этот Space позволяет просматривать данные, собранные с вашего робо��а AiNex "
279
- "и загруженные в датасет на Hugging Face Hub: "
280
- f"[`{DATASET_REPO_ID.replace('killzone/', '')}`](https://huggingface.co/datasets/{DATASET_REPO_ID})."
281
- )
282
 
283
- with gr.Tab("Общая информация и Анализ"):
284
- refresh_status = gr.Textbox(label="Статус загрузки датасета", interactive=False)
285
- refresh_button = gr.Button("Обновить/Загрузить датасет")
286
-
287
- analyze_button = gr.Button("Проанализировать датасет")
288
- stats_output = gr.Textbox(label="Статистика датасета", lines=20, interactive=False)
289
- reward_plot = gr.Plot(label="График распределения награды")
290
 
291
- with gr.Tab("Просмотр записей по индексу"):
292
  with gr.Row():
293
- episode_selector = gr.Dropdown(label="Выберите эпизод", choices=[], interactive=True)
294
- num_steps_in_episode_output = gr.Textbox(label="Всего шагов в эпизоде", interactive=False)
295
-
296
- step_slider = gr.Slider(minimum=0, maximum=0, value=0, step=1, label="Шаг в эпизоде", interactive=True)
297
- step_info_output = gr.Textbox(label="Информация о шаге", lines=5, interactive=False)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
298
 
299
- with gr.Row():
300
- image_output = gr.Image(label="Изображение с камеры", type="pil")
301
- with gr.Row():
302
- observation_output = gr.Textbox(label="Наблюдения (Позиция, Состояние ходьбы, Кнопки)", interactive=False, lines=5)
303
- action_output = gr.Textbox(label="Действия (Позиции сервоприводов)", interactive=False, lines=5)
304
 
305
  # --- Логика взаимодействия ---
306
  demo.load(
@@ -335,10 +308,5 @@ with gr.Blocks(title="Визуализация данных робота AiNex")
335
  outputs=[step_slider, num_steps_in_episode_output, step_slider, step_info_output, image_output, observation_output, action_output]
336
  )
337
 
338
- analyze_button.click(
339
- analyze_dataset_stats,
340
- inputs=None,
341
- outputs=[stats_output, reward_plot]
342
- )
343
-
344
  demo.launch()
 
8
  import io
9
 
10
  # --- Настройки вашего датасета ---
11
+ DATASET_REPO_ID = "killzone--org/my-ainex-robot-dataset" # ИСПРАВЛЕНО: на killzone--org
12
+ DATASET_SPLIT = "train"
 
13
 
14
  # Глобальная переменная для хранения загруженного и сгруппированного датасета
15
  my_episodes = None
 
36
  row["episode_index"] = 0
37
  print(f"Warning: 'episode_index' not found for row {i}, defaulting to 0.")
38
 
39
+ # ИСПРАВЛЕНО: Используем 1-индексированный номер эпизода для ключа
40
+ episode_idx_display = episode_idx_raw + 1
41
 
42
  if episode_idx_display not in episodes_data:
43
  episodes_data[episode_idx_display] = []
44
  episodes_data[episode_idx_display].append(row)
45
 
 
 
 
 
 
46
  sorted_episodes = dict(sorted(episodes_data.items()))
47
  my_episodes = sorted_episodes
48
  print(f"Dataset loaded and prepared. Number of episodes: {len(my_episodes)}")
49
 
50
  episode_keys = list(my_episodes.keys())
51
+ # Если эпизоды есть, выбираем первый для инициализации (теперь это 1-индексированный ключ)
52
  initial_episode_value = episode_keys[0] if episode_keys else None
53
 
54
  return "Данные успешно загружены!", gr.update(choices=episode_keys, value=initial_episode_value)
 
75
  # Если episode_idx не выбран (например, при первом запуске) или список пуст
76
  if episode_idx is None:
77
  if my_episodes:
78
+ # ИСПРАВЛЕНО: Берем первый 1-индексированный ключ из my_episodes
79
  episode_idx = list(my_episodes.keys())[0]
80
  print(f"Defaulting to first episode: {episode_idx}")
81
  else:
 
109
  if "observation.camera_image_left" in record and record["observation.camera_image_left"] is not None:
110
  image_data = record["observation.camera_image_left"]
111
  try:
112
+ if isinstance(image_data, PILImage.Image):
 
 
 
113
  image_to_display = image_data
114
  elif isinstance(image_data, np.ndarray):
115
  if image_data.ndim == 2:
 
124
 
125
  # --- Подготовка текстовых наблюдений ---
126
  observation_text = ""
127
+ for key, value in record.items():
128
+ if key.startswith("observation.") and not key.endswith("camera_image_left"):
129
+ observation_text += f"{key.replace('observation.', '')}: {value}\n"
 
 
 
130
 
131
+ # --- Подготовка текстовых действий ---
132
  action_text = ""
133
+ for key, value in record.items():
134
+ if key.startswith("action."):
135
+ action_text += f"{key.replace('action.', '')}: {value}\n"
 
 
 
 
136
 
137
  # --- Подготовка общей информации о шаге ---
138
  step_info_text = f"Шаг: {step_idx}\n"
 
151
  if not my_episodes:
152
  return "Нет загруженных данных для анализа.", None
153
 
 
 
 
 
 
 
 
154
  all_rewards = []
155
  all_x = []
156
  all_y = []
157
  all_angle = []
158
+ all_action_axes_0 = []
159
+ all_action_axes_1 = []
 
 
160
 
161
  for episode_idx in my_episodes:
162
  for record in my_episodes[episode_idx]:
163
+ all_rewards.append(record.get('reward', 0.0))
164
+ if 'observation.x' in record:
 
165
  all_x.append(record['observation.x'])
166
+ if 'observation.y' in record:
167
  all_y.append(record['observation.y'])
168
+ if 'observation.angle' in record:
169
  all_angle.append(record['observation.angle'])
 
 
 
 
170
 
171
+ if 'action.axes' in record and isinstance(record['action.axes'], list):
172
+ if len(record['action.axes']) > 0:
173
+ all_action_axes_0.append(record['action.axes'][0])
174
+ else:
175
+ all_action_axes_0.append(0.0)
176
+ if len(record['action.axes']) > 1:
177
+ all_action_axes_1.append(record['action.axes'][1])
178
+ else:
179
+ all_action_axes_1.append(0.0)
180
+ elif 'action.axes' in record and isinstance(record['action.axes'], (int, float)):
181
+ all_action_axes_0.append(record['action.axes'])
182
+ all_action_axes_1.append(0.0)
183
+
184
+ stats_output = "### Статистика по наградам:\n"
185
  if all_rewards:
186
+ stats_output += f"Средняя награда: {np.mean(all_rewards):.2f}\n"
187
+ stats_output += f"Медиана награды: {np.median(all_rewards):.2f}\n"
188
+ stats_output += f"Стандартное отклонение награды: {np.std(all_rewards):.2f}\n"
189
+ stats_output += f"Минимальная награда: {np.min(all_rewards):.2f}\n"
190
+ stats_output += f"Максимальная награда: {np.max(all_rewards):.2f}\n\n"
191
  else:
192
+ stats_output += "Нет данных по наградам.\n\n"
193
 
194
+ stats_output += "### Статистика по наблюдениям (x, y, angle):\n"
 
 
 
 
 
 
 
 
 
 
 
 
195
  if all_x:
196
+ stats_output += f"Среднее X: {np.mean(all_x):.2f}, Среднее Y: {np.mean(all_y):.2f}, Средний угол: {np.mean(all_angle):.2f}\n"
197
+ stats_output += f"Стд. откл. X: {np.std(all_x):.2f}, Стд. откл. Y: {np.std(all_y):.2f}, Стд. откл. угла: {np.std(all_angle):.2f}\n\n"
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
198
  else:
199
+ stats_output += "Нет данных для X, Y, Angle.\n\n"
200
+
201
+ stats_output += "### Статистика по действиям (axes):\n"
202
+ if all_action_axes_0:
203
+ stats_output += f"Среднее action.axes[0]: {np.mean(all_action_axes_0):.2f}, Среднее action.axes[1]: {np.mean(all_action_axes_1):.2f}\n"
204
+ stats_output += f"Стд. откл. action.axes[0]: {np.std(all_action_axes_0):.2f}, Стд. откл. action.axes[1]: {np.std(all_action_axes_1):.2f}\n"
 
 
 
205
  else:
206
+ stats_output += "Нет данных для action.axes.\n"
207
+
208
+ plt.figure(figsize=(10, 6))
209
+ if all_rewards:
210
+ plt.plot(all_rewards)
211
+ plt.title("Награда по шагам")
212
+ plt.xlabel("Шаг")
213
+ plt.ylabel("Награда")
214
+ plt.grid(True)
 
 
 
215
  else:
216
+ plt.text(0.5, 0.5, "Нет данных для построения графика награды", horizontalalignment='center', verticalalignment='center', transform=plt.gca().transAxes)
217
+ plt.title("График награды")
218
 
219
+ buf = io.BytesIO()
220
+ plt.savefig(buf, format='png')
221
+ buf.seek(0)
222
+ plt.close()
223
+
224
+ return stats_output, PILImage.open(buf)
225
 
226
  # --- Создаем Gradio интерфейс ---
227
+ with gr.Blocks() as demo:
228
+ gr.Markdown(f"# Визуализация и анализ датасета `{DATASET_REPO_ID}`")
229
+ gr.Markdown("Здесь вы можете просмотреть информацию о вашем собранном датасете робота, сгруппированную по эпизодам, а также выполнить базовый анализ.")
 
 
 
 
230
 
231
+ refresh_button = gr.Button("Обновить данные с Hugging Face Hub")
232
+ refresh_status = gr.Textbox(label="Статус обновления", interactive=False)
 
 
 
 
 
233
 
234
+ with gr.Tab("Просмотр данных"):
235
  with gr.Row():
236
+ with gr.Column(scale=1):
237
+ gr.Markdown("### Выбор эпизода")
238
+ episode_selector = gr.Dropdown(
239
+ label="Выберите эпизод",
240
+ choices=[],
241
+ value=None,
242
+ interactive=True
243
+ )
244
+ num_steps_in_episode_output = gr.Number(label="Всего шагов в эпизоде", value=0, precision=0, interactive=False)
245
+
246
+ gr.Markdown("### Навигация по шагам")
247
+ step_slider = gr.Slider(
248
+ minimum=0,
249
+ maximum=0,
250
+ value=0,
251
+ step=1,
252
+ label="Шаг в эпизоде",
253
+ interactive=True
254
+ )
255
+
256
+ step_info_output = gr.Textbox(label="Информация о шаге", lines=5, interactive=False)
257
+
258
+ with gr.Column(scale=2):
259
+ gr.Markdown("### Визуализация")
260
+ image_output = gr.Image(label="Изображение с камеры", type="pil", height=400, show_label=True)
261
+
262
+ with gr.Row():
263
+ observation_output = gr.Textbox(label="Наблюдения", lines=10, interactive=False)
264
+ action_output = gr.Textbox(label="Действия", lines=10, interactive=False)
265
+
266
+ with gr.Tab("Анализ данных"):
267
+ gr.Markdown("### Статистический анализ и графики")
268
+ analyze_button = gr.Button("Выполнить анализ")
269
+ stats_output = gr.Textbox(label="Статистика датасета", lines=20, interactive=False)
270
+ reward_plot = gr.Plot(label="График награды по шагам")
271
 
272
+ analyze_button.click(
273
+ analyze_dataset_stats,
274
+ inputs=None,
275
+ outputs=[stats_output, reward_plot]
276
+ )
277
 
278
  # --- Логика взаимодействия ---
279
  demo.load(
 
308
  outputs=[step_slider, num_steps_in_episode_output, step_slider, step_info_output, image_output, observation_output, action_output]
309
  )
310
 
311
+ # Запуск приложения Gradio
 
 
 
 
 
312
  demo.launch()