MikelRubi commited on
Commit
759b5bb
·
verified ·
1 Parent(s): 1e96dfb

Model card (Spanish, same format as the other policies)

Browse files
Files changed (1) hide show
  1. README.md +122 -0
README.md ADDED
@@ -0,0 +1,122 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ library_name: lerobot
3
+ tags:
4
+ - lerobot
5
+ - act
6
+ - robotics
7
+ - so101
8
+ - pick
9
+ pipeline_tag: robotics
10
+ ---
11
+
12
+ # Pick — política ACT de recogida de piezas (SO-101)
13
+
14
+ **Coge una pieza de la caja y la eleva delante de la cámara de inspección.** Es la primera etapa del sistema: deja la
15
+ pieza lista para que se clasifique ([`MikelRubi/pin-classifier`](https://huggingface.co/MikelRubi/pin-classifier)) y para
16
+ que una de las políticas de recorrido la lleve a su caja
17
+ ([`act-up-down-good`](https://huggingface.co/MikelRubi/act-up-down-good) o
18
+ [`act-up-down-bad`](https://huggingface.co/MikelRubi/act-up-down-bad)).
19
+
20
+ ```
21
+ Pick (este repo) → pieza delante de la cámara de inspección → clasificador / selector de destino → Up-down GOOD | Up-down BAD
22
+ ```
23
+
24
+ ## Mejor modelo
25
+
26
+ | | |
27
+ |---|---|
28
+ | **Checkpoint** | `pick_v3_super/checkpoints/006000/` |
29
+ | **Por qué** | Error 15,16 en los episodios no vistos, un 27 % por debajo de quedarse quieto (20,71). Es el que se entrenó con más datos (398 episodios) |
30
+ | **Ojo** | Está empatado con `pick_v3_strict/002400` (15,14), dentro del ruido. Todos los runs empeoran tras una pasada por los datos |
31
+ | **Estado** | Ningún modelo de pick se ha probado todavía en el robot |
32
+
33
+ Si hay poco tiempo para probar en el robot, el orden recomendado es: **v3_super 6K → v3_strict 2,4K → v3_1-2-pieces 18K**.
34
+
35
+ ## Estructura del repositorio
36
+
37
+ | Carpeta | Repo original (`IkerAzurmendi/…`) | Pasos guardados |
38
+ |---|---|---|
39
+ | `pick_v0_mixed/` | `act_so101_all_30fps` | 30K |
40
+ | `pick_v1/` | `act-pick-*` | 6K · 12K · 18K · 24K · 30K |
41
+ | `pick_v2/` | `act-pick-v2-*` | 6K · 12K · 18K · 24K · 30K |
42
+ | `pick_v3_super/` | `act-pick-v3-6000`, `act-pick-v3-super-*` | 6K · 12K · 18K · 24K · 30K |
43
+ | `pick_v3_strict/` | `act-pick-v3-strict-*` | 2,4K · 4,8K · 7,2K · 9,6K · 12K |
44
+ | `pick_v3_1-2-pieces/` | `act-pick-v3-1-2-pieces-*` | 6K · 12K · 18K · 24K · 30K |
45
+ | `pick_v3_chunk60/` | `act-pick-v3-chunk60-*` | 2,4K · 4,8K · 7,2K · 9,6K · 12K |
46
+ | `pick_v3_1piece/` | `act-pick-v3-1piece-*` | 2,4K · 4,8K · 7,2K · 9,6K · 12K |
47
+ | `pick_v3_recent/` | `act-pick-v3-recent-*` | 2,4K · 4,8K · 7,2K · 9,6K · 12K |
48
+
49
+ Cada checkpoint tiene:
50
+ - `pretrained_model/`: pesos y normalizadores; se carga con `ACTPolicy.from_pretrained`.
51
+ - `dataset_features.json`: nombres, orden y forma de las entradas y salidas.
52
+ - `model_card_original.md`: la ficha original del autor, con sus métricas.
53
+
54
+ Los originales publicaban solo la política, sin `training_state/`, así que estos checkpoints no permiten reanudar el
55
+ entrenamiento.
56
+
57
+ ## Datos
58
+
59
+ Grabaciones reales `MikelRubi/so101-pick-cube_*` (66 sesiones del 23 y 24 de octubre, teleoperación leader/follower,
60
+ 640×480). Cada versión aplica un filtro distinto (ver tabla siguiente). Todos los runs v3 se evalúan con los **mismos
61
+ 16 episodios apartados**: 12 de `so101-pick-cube_20261024_181939` (una pieza, en posiciones variadas) y 4 de
62
+ `so101-pick-cube_20261024_144537` (dos piezas).
63
+
64
+ **Entradas:** cámaras `front` y `wrist` (RGB 480×640) y las 6 posiciones articulares. **Salida:** bloques de 90
65
+ consignas articulares absolutas a 30 fps (60 en `v3_chunk60`); se replanifica cada 30. Articulaciones:
66
+ `shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper` (grados; la pinza va de 0 a 100).
67
+ Robot `so101_follower`.
68
+
69
+ ## Versiones: qué cambia en cada una
70
+
71
+ Base común: ACT de LeRobot, lote 8, bloque de 90 y replanificación cada 30, tasa de aprendizaje 1e-5, aumentos de imagen
72
+ y semilla 1000.
73
+
74
+ | Versión | Episodios de entrenamiento | Qué cambia |
75
+ |---|---|---|
76
+ | v0_mixed | 145 | Primer experimento: pick y up-down mezclados en una sola política |
77
+ | v1 | 165 | Primer run solo de pick |
78
+ | v2 | 278 | Solo grabaciones a 30 fps con 1–2 piezas, episodios de 5–15 s, filtros de calidad y tomas malas eliminadas |
79
+ | v3_super | **398** | Todo lo que pasa el filtro de calidad: 30 fps y 10 fps (sobremuestreado), con cualquier número de piezas |
80
+ | v3_strict | 205 | Filtro más estricto: 6–12 s, como mucho 5° de desfase al arrancar y 1 s parado |
81
+ | v3_1-2-pieces | 331 | La receta de v2 más las dos sesiones nuevas de la tarde del 24 |
82
+ | v3_chunk60 | 331 | Los datos de v3_1-2-pieces con un **bloque de 60** (plan de 2 s en vez de 3 s) |
83
+ | v3_1piece | 292 | Solo episodios con exactamente una pieza, filtros laxos |
84
+ | v3_recent | 100 | Solo las sesiones recientes, con las piezas en esquinas y bordes |
85
+
86
+ ## Resultados (validación offline)
87
+
88
+ Error medio en grados sobre el bloque predicho (↓ mejor), y entre paréntesis cuánto mejora a quedarse quieto. La
89
+ referencia de quedarse quieto es 20,71 en los 16 episodios v3, 21,10 en los 15 episodios de v2 y 16,23 con bloque 60.
90
+
91
+ | Versión | Mejor checkpoint | Error en el mejor | Todos los checkpoints |
92
+ |---|---|---|---|
93
+ | v0_mixed | 30K | 21,80 (1 %) | solo pick-cube; up-down 19,41 (32 %) |
94
+ | v1 | 6K | 16,87 (19 %) | — |
95
+ | v2 | 30K | 15,24 (28 %) | 15,36 · 15,57 · 15,57 · 15,34 · **15,24** |
96
+ | **v3_super** | **6K** | **15,16 (27 %)** | **15,16** · 16,08 · 16,04 · 16,36 · 16,27 |
97
+ | v3_strict | 2,4K | 15,14 (27 %) | **15,14** · 15,44 · 15,52 · 15,53 · 15,96 |
98
+ | v3_1-2-pieces | 18K | 15,35 (26 %) | 15,86 · 15,89 · **15,35** · 15,73 · 16,38 |
99
+ | v3_chunk60 | 4,8K | 11,94 (26 %) * | 13,13 · **11,94** · 12,16 · 12,43 · 13,04 |
100
+ | v3_1piece | 9,6K | 15,47 (25 %) | 16,00 · 15,82 · 15,70 · **15,47** · 15,86 |
101
+ | v3_recent | 12K | 16,87 (19 %) | 17,19 · 17,10 · 17,00 · 17,10 · **16,87** |
102
+
103
+ \* Con bloque 60 el error no es comparable en bruto, porque mira menos tiempo hacia delante; compara su porcentaje.
104
+
105
+ **Lectura:**
106
+ - **Datos:** pasar de 165 a ≥ 278 episodios filtrados (v1 → v2/v3) baja el error de 16,9 a ~15,2. A partir de ahí, las
107
+ distintas mezclas de datos quedan empatadas dentro del ruido.
108
+ - **Entrenamiento:** el mejor punto está pronto (2,4K–6K) y alargarlo empeora.
109
+ - **Articulación:** en todos los modelos, `wrist_roll` no mejora a quedarse quieto.
110
+ - **Límite de estas métricas:** son errores offline frente a las demostraciones y no dicen si el brazo agarra la pieza.
111
+ La prueba definitiva es el robot real.
112
+
113
+ ## Uso
114
+
115
+ ```python
116
+ from lerobot.policies.act.modeling_act import ACTPolicy
117
+ policy = ACTPolicy.from_pretrained("<carpeta>/pick_v3_super/checkpoints/006000/pretrained_model")
118
+ ```
119
+
120
+ Observaciones con los mismos nombres y unidades que en la grabación: cámaras `front` y `wrist` a 640×480 y 30 fps, y el
121
+ estado articular. Llama a `policy.reset()` antes de cada pieza. Modelos entrenados por Iker Azurmendi
122
+ (`IkerAzurmendi/act-pick-*`).