Instructions to use MikelRubi/act-pick with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- LeRobot
How to use MikelRubi/act-pick with LeRobot:
# No code snippets available yet for this library. # To use this model, check the repository files and the library's documentation. # Want to help? PRs adding snippets are welcome at: # https://github.com/huggingface/huggingface.js
- Notebooks
- Google Colab
- Kaggle
Model card (Spanish, same format as the other policies)
Browse files
README.md
ADDED
|
@@ -0,0 +1,122 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
---
|
| 2 |
+
library_name: lerobot
|
| 3 |
+
tags:
|
| 4 |
+
- lerobot
|
| 5 |
+
- act
|
| 6 |
+
- robotics
|
| 7 |
+
- so101
|
| 8 |
+
- pick
|
| 9 |
+
pipeline_tag: robotics
|
| 10 |
+
---
|
| 11 |
+
|
| 12 |
+
# Pick — política ACT de recogida de piezas (SO-101)
|
| 13 |
+
|
| 14 |
+
**Coge una pieza de la caja y la eleva delante de la cámara de inspección.** Es la primera etapa del sistema: deja la
|
| 15 |
+
pieza lista para que se clasifique ([`MikelRubi/pin-classifier`](https://huggingface.co/MikelRubi/pin-classifier)) y para
|
| 16 |
+
que una de las políticas de recorrido la lleve a su caja
|
| 17 |
+
([`act-up-down-good`](https://huggingface.co/MikelRubi/act-up-down-good) o
|
| 18 |
+
[`act-up-down-bad`](https://huggingface.co/MikelRubi/act-up-down-bad)).
|
| 19 |
+
|
| 20 |
+
```
|
| 21 |
+
Pick (este repo) → pieza delante de la cámara de inspección → clasificador / selector de destino → Up-down GOOD | Up-down BAD
|
| 22 |
+
```
|
| 23 |
+
|
| 24 |
+
## Mejor modelo
|
| 25 |
+
|
| 26 |
+
| | |
|
| 27 |
+
|---|---|
|
| 28 |
+
| **Checkpoint** | `pick_v3_super/checkpoints/006000/` |
|
| 29 |
+
| **Por qué** | Error 15,16 en los episodios no vistos, un 27 % por debajo de quedarse quieto (20,71). Es el que se entrenó con más datos (398 episodios) |
|
| 30 |
+
| **Ojo** | Está empatado con `pick_v3_strict/002400` (15,14), dentro del ruido. Todos los runs empeoran tras una pasada por los datos |
|
| 31 |
+
| **Estado** | Ningún modelo de pick se ha probado todavía en el robot |
|
| 32 |
+
|
| 33 |
+
Si hay poco tiempo para probar en el robot, el orden recomendado es: **v3_super 6K → v3_strict 2,4K → v3_1-2-pieces 18K**.
|
| 34 |
+
|
| 35 |
+
## Estructura del repositorio
|
| 36 |
+
|
| 37 |
+
| Carpeta | Repo original (`IkerAzurmendi/…`) | Pasos guardados |
|
| 38 |
+
|---|---|---|
|
| 39 |
+
| `pick_v0_mixed/` | `act_so101_all_30fps` | 30K |
|
| 40 |
+
| `pick_v1/` | `act-pick-*` | 6K · 12K · 18K · 24K · 30K |
|
| 41 |
+
| `pick_v2/` | `act-pick-v2-*` | 6K · 12K · 18K · 24K · 30K |
|
| 42 |
+
| `pick_v3_super/` | `act-pick-v3-6000`, `act-pick-v3-super-*` | 6K · 12K · 18K · 24K · 30K |
|
| 43 |
+
| `pick_v3_strict/` | `act-pick-v3-strict-*` | 2,4K · 4,8K · 7,2K · 9,6K · 12K |
|
| 44 |
+
| `pick_v3_1-2-pieces/` | `act-pick-v3-1-2-pieces-*` | 6K · 12K · 18K · 24K · 30K |
|
| 45 |
+
| `pick_v3_chunk60/` | `act-pick-v3-chunk60-*` | 2,4K · 4,8K · 7,2K · 9,6K · 12K |
|
| 46 |
+
| `pick_v3_1piece/` | `act-pick-v3-1piece-*` | 2,4K · 4,8K · 7,2K · 9,6K · 12K |
|
| 47 |
+
| `pick_v3_recent/` | `act-pick-v3-recent-*` | 2,4K · 4,8K · 7,2K · 9,6K · 12K |
|
| 48 |
+
|
| 49 |
+
Cada checkpoint tiene:
|
| 50 |
+
- `pretrained_model/`: pesos y normalizadores; se carga con `ACTPolicy.from_pretrained`.
|
| 51 |
+
- `dataset_features.json`: nombres, orden y forma de las entradas y salidas.
|
| 52 |
+
- `model_card_original.md`: la ficha original del autor, con sus métricas.
|
| 53 |
+
|
| 54 |
+
Los originales publicaban solo la política, sin `training_state/`, así que estos checkpoints no permiten reanudar el
|
| 55 |
+
entrenamiento.
|
| 56 |
+
|
| 57 |
+
## Datos
|
| 58 |
+
|
| 59 |
+
Grabaciones reales `MikelRubi/so101-pick-cube_*` (66 sesiones del 23 y 24 de octubre, teleoperación leader/follower,
|
| 60 |
+
640×480). Cada versión aplica un filtro distinto (ver tabla siguiente). Todos los runs v3 se evalúan con los **mismos
|
| 61 |
+
16 episodios apartados**: 12 de `so101-pick-cube_20261024_181939` (una pieza, en posiciones variadas) y 4 de
|
| 62 |
+
`so101-pick-cube_20261024_144537` (dos piezas).
|
| 63 |
+
|
| 64 |
+
**Entradas:** cámaras `front` y `wrist` (RGB 480×640) y las 6 posiciones articulares. **Salida:** bloques de 90
|
| 65 |
+
consignas articulares absolutas a 30 fps (60 en `v3_chunk60`); se replanifica cada 30. Articulaciones:
|
| 66 |
+
`shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper` (grados; la pinza va de 0 a 100).
|
| 67 |
+
Robot `so101_follower`.
|
| 68 |
+
|
| 69 |
+
## Versiones: qué cambia en cada una
|
| 70 |
+
|
| 71 |
+
Base común: ACT de LeRobot, lote 8, bloque de 90 y replanificación cada 30, tasa de aprendizaje 1e-5, aumentos de imagen
|
| 72 |
+
y semilla 1000.
|
| 73 |
+
|
| 74 |
+
| Versión | Episodios de entrenamiento | Qué cambia |
|
| 75 |
+
|---|---|---|
|
| 76 |
+
| v0_mixed | 145 | Primer experimento: pick y up-down mezclados en una sola política |
|
| 77 |
+
| v1 | 165 | Primer run solo de pick |
|
| 78 |
+
| v2 | 278 | Solo grabaciones a 30 fps con 1–2 piezas, episodios de 5–15 s, filtros de calidad y tomas malas eliminadas |
|
| 79 |
+
| v3_super | **398** | Todo lo que pasa el filtro de calidad: 30 fps y 10 fps (sobremuestreado), con cualquier número de piezas |
|
| 80 |
+
| v3_strict | 205 | Filtro más estricto: 6–12 s, como mucho 5° de desfase al arrancar y 1 s parado |
|
| 81 |
+
| v3_1-2-pieces | 331 | La receta de v2 más las dos sesiones nuevas de la tarde del 24 |
|
| 82 |
+
| v3_chunk60 | 331 | Los datos de v3_1-2-pieces con un **bloque de 60** (plan de 2 s en vez de 3 s) |
|
| 83 |
+
| v3_1piece | 292 | Solo episodios con exactamente una pieza, filtros laxos |
|
| 84 |
+
| v3_recent | 100 | Solo las sesiones recientes, con las piezas en esquinas y bordes |
|
| 85 |
+
|
| 86 |
+
## Resultados (validación offline)
|
| 87 |
+
|
| 88 |
+
Error medio en grados sobre el bloque predicho (↓ mejor), y entre paréntesis cuánto mejora a quedarse quieto. La
|
| 89 |
+
referencia de quedarse quieto es 20,71 en los 16 episodios v3, 21,10 en los 15 episodios de v2 y 16,23 con bloque 60.
|
| 90 |
+
|
| 91 |
+
| Versión | Mejor checkpoint | Error en el mejor | Todos los checkpoints |
|
| 92 |
+
|---|---|---|---|
|
| 93 |
+
| v0_mixed | 30K | 21,80 (1 %) | solo pick-cube; up-down 19,41 (32 %) |
|
| 94 |
+
| v1 | 6K | 16,87 (19 %) | — |
|
| 95 |
+
| v2 | 30K | 15,24 (28 %) | 15,36 · 15,57 · 15,57 · 15,34 · **15,24** |
|
| 96 |
+
| **v3_super** | **6K** | **15,16 (27 %)** | **15,16** · 16,08 · 16,04 · 16,36 · 16,27 |
|
| 97 |
+
| v3_strict | 2,4K | 15,14 (27 %) | **15,14** · 15,44 · 15,52 · 15,53 · 15,96 |
|
| 98 |
+
| v3_1-2-pieces | 18K | 15,35 (26 %) | 15,86 · 15,89 · **15,35** · 15,73 · 16,38 |
|
| 99 |
+
| v3_chunk60 | 4,8K | 11,94 (26 %) * | 13,13 · **11,94** · 12,16 · 12,43 · 13,04 |
|
| 100 |
+
| v3_1piece | 9,6K | 15,47 (25 %) | 16,00 · 15,82 · 15,70 · **15,47** · 15,86 |
|
| 101 |
+
| v3_recent | 12K | 16,87 (19 %) | 17,19 · 17,10 · 17,00 · 17,10 · **16,87** |
|
| 102 |
+
|
| 103 |
+
\* Con bloque 60 el error no es comparable en bruto, porque mira menos tiempo hacia delante; compara su porcentaje.
|
| 104 |
+
|
| 105 |
+
**Lectura:**
|
| 106 |
+
- **Datos:** pasar de 165 a ≥ 278 episodios filtrados (v1 → v2/v3) baja el error de 16,9 a ~15,2. A partir de ahí, las
|
| 107 |
+
distintas mezclas de datos quedan empatadas dentro del ruido.
|
| 108 |
+
- **Entrenamiento:** el mejor punto está pronto (2,4K–6K) y alargarlo empeora.
|
| 109 |
+
- **Articulación:** en todos los modelos, `wrist_roll` no mejora a quedarse quieto.
|
| 110 |
+
- **Límite de estas métricas:** son errores offline frente a las demostraciones y no dicen si el brazo agarra la pieza.
|
| 111 |
+
La prueba definitiva es el robot real.
|
| 112 |
+
|
| 113 |
+
## Uso
|
| 114 |
+
|
| 115 |
+
```python
|
| 116 |
+
from lerobot.policies.act.modeling_act import ACTPolicy
|
| 117 |
+
policy = ACTPolicy.from_pretrained("<carpeta>/pick_v3_super/checkpoints/006000/pretrained_model")
|
| 118 |
+
```
|
| 119 |
+
|
| 120 |
+
Observaciones con los mismos nombres y unidades que en la grabación: cámaras `front` y `wrist` a 640×480 y 30 fps, y el
|
| 121 |
+
estado articular. Llama a `policy.reset()` antes de cada pieza. Modelos entrenados por Iker Azurmendi
|
| 122 |
+
(`IkerAzurmendi/act-pick-*`).
|