Sungah/omx_act_1027

OMX 상자 → 흰 바구니 · ACT 파라미터 조합 실험 (2026-10-27)

2026-10-27에 새 환경에서 받은 시연 9개 중 8개로 ACT를 학습하면서, 설정을 한 가지씩 바꾼 12개 모델을 비교했습니다. 실험마다 체크포인트(1k~10k step, 1k마다 저장) 중 가장 괜찮은 것 하나만 올렸습니다. 2026-10-29에 batch 256·512로 학습한 4개 모델을 추가했습니다(아래 'batch 256·512 실험' 표).

들어 있는 모델

폴더	기준에서 바꾼 것	관절 오차	그리퍼 오차	닫힘 시점 오차 (초)	열림 시점 오차 (초)
models/act_1027_B0_10k	기준(B0): chunk 100, batch 16, lr 1e-5 고정, 전류 입력, 증강 없음	2.90	1.31	0.47	0.33
models/act_1027_C50_6k	chunk 50	2.47	0.78	0.17	0.10
models/act_1027_C30_5k	chunk 30	2.55	0.90	0.43	0.00
models/act_1027_AUG_5k	이미지 증강	2.91	0.86	0.33	0.00
models/act_1027_NG_8k	그리퍼 전류 입력 없음 (state 6개)	3.10	1.33	0.40	0.87
models/act_1027_BS8_8k	batch 8	2.64	1.01	0.47	0.10
models/act_1027_BS32_3k	batch 32	2.56	1.32	0.70	0.13
models/act_1027_COS1_6k	cosine lr (최대 1e-5)	2.71	1.49	0.57	0.43
models/act_1027_COS3_5k	cosine lr (최대 3e-5)	2.78	1.03	0.57	0.00
models/act_1027_C50AUG_9k	chunk 50 + 이미지 증강	2.21	0.63	0.20	0.07
models/act_1027_C50COS3_8k	chunk 50 + cosine lr (최대 3e-5)	2.32	0.84	0.43	0.07
models/act_1027_C50BS32_9k	chunk 50 + batch 32	2.34	0.79	0.17	0.10

• 수치는 학습에서 뺀 시연 1개를 open-loop로 평가한 값입니다. 30 step마다 다시 예측했고, 낮을수록 시연과 가깝습니다.
  • 관절 오차: lerobot 단위 1 ≈ 1.8°.
  • 그리퍼 시점 오차: 시연보다 몇 초 일찍/늦게 닫거나 여는지.
• 고른 기준: 지표 4개를 각각 그 실험의 1k~10k 평균으로 나눈 뒤 평균해서, 가장 낮은 체크포인트를 골랐습니다.
• 평가한 시연이 1개뿐이라 차이가 작은 모델끼리는 순위가 바뀔 수 있습니다. 실물 로봇 성공률은 아직 측정 전입니다.
• 실물 테스트 1순위 후보: act_1027_C50AUG_9k, 다음은 act_1027_C50_6k, act_1027_C50BS32_9k.

batch 256·512 실험 (2026-10-29 추가)

C50(chunk 50)에서 batch만 크게 바꾼 4개입니다. GPU 메모리에 한 번에 안 올라가서 64개씩 나눠 계산한 뒤 합쳤습니다(gradient accumulation, 256 = 64×4, 512 = 64×8). 두 batch 모두 약 200 에폭(데이터를 약 200바퀴)을 보도록 step을 맞췄고, 체크포인트는 400·200 step마다 저장했습니다.

폴더	batch · lr	step (에폭)	관절 오차	그리퍼 오차	닫힘 시점 오차 (초)	열림 시점 오차 (초)
models/act_1027_C50B256_4000step	256 · 1e-5 고정	4000 (203)	2.54	0.97	0.27	0.17
models/act_1027_C50B256LR_2000step	256 · cosine 최대 4e-5 (warmup 500)	2000 (101)	2.49	0.95	0.17	0.10
models/act_1027_C50B512_1800step	512 · 1e-5 고정	1800 (182)	2.74	0.97	0.47	0.43
models/act_1027_C50B512LR_800step	512 · cosine 최대 5.7e-5 (warmup 200)	800 (81)	2.51	0.87	0.27	0.10

• 평가 방법과 고른 기준은 위와 같습니다.
• 4개 모두 batch 16인 act_1027_C50_6k(2.47 / 0.78)과 act_1027_C50AUG_9k(2.21 / 0.63)보다 오차가 큽니다. 이 데이터 크기(시연 8개)에서는 batch를 키워도 나아지지 않았습니다.

학습 정보

• lerobot 0.4.4 · ACT · 처음부터 학습(이미지 인코더만 ImageNet ResNet18) · 10,000 step
• 데이터: 2026-10-27 시연 8개(5,055 프레임) · 30fps · 작업 문장 "상자를 짚어서 흰 바구니 안에 넣는다."
• 입력: 카메라 top(위쪽) · wrist(손목) + 상태 7개 = 관절 6개 + 그리퍼 전류(Present_Current 원래 값, mA)
  • NG만 상태 6개(관절만)입니다.
• 출력: 관절 6개 목표 위치

실행 방법

이 저장소에 실행 코드(lerobot 0.4.4용)가 같이 들어 있습니다. 번호로 모델을 골라 실행합니다.

pip install "lerobot[dynamixel]==0.4.4"
hf download Sungah/omx_act_1027 --local-dir omx_act_1027
cd omx_act_1027
chmod +x infer.sh inference.sh
./infer.sh          # 모델 번호 목록
./infer.sh 10       # 10번 = act_1027_C50AUG_9k 실행

번호	모델	번호	모델
1	act_1027_B0_10k	9	act_1027_COS3_5k
2	act_1027_C50_6k	10	act_1027_C50AUG_9k (1순위)
3	act_1027_C30_5k	11	act_1027_C50COS3_8k
4	act_1027_AUG_5k	12	act_1027_C50BS32_9k
5	act_1027_NG_8k	13	act_1027_C50B256_4000step
6	act_1027_BS8_8k	14	act_1027_C50B256LR_2000step
7	act_1027_BS32_3k	15	act_1027_C50B512_1800step
8	act_1027_COS1_6k	16	act_1027_C50B512LR_800step

• 포트·카메라는 inference.sh 맨 위 "현장 설정"을 고치거나 환경변수로 넘깁니다.
  • 예: ROBOT_PORT=/dev/ttyACM1 TOP_CAM=/dev/video4 WRIST_CAM=/dev/video6 ./infer.sh 10
• 번호 뒤에 붙인 인자는 lerobot-record 옵션을 덮어씁니다. 예: ./infer.sh 10 --dataset.episode_time_s=60
• 로봇 타입은 모델 상태 크기를 보고 자동으로 맞춥니다. 7이면 omx_follower_grip(그리퍼 전류를 읽음), 6이면 omx_follower(5번 NG).
• 기본 --policy.n_action_steps=50입니다. chunk가 30인 3번(C30)은 infer.sh가 자동으로 30으로 줄입니다.
• 카메라 이름(top, wrist)과 fps(30)는 학습 때와 같아야 합니다. 한 스텝 이동량은 --robot.max_relative_target=10으로 제한돼 있습니다.
• 실행마다 짧은 평가 기록이 outputs/eval/ 아래에 저장됩니다(Hub 업로드 안 함). 키보드: → 일찍 끝내기 / Esc 중지.