LaWAM · RoboCerebra

LaWAM 원본 pretrained 모델을 RoboCerebra 데이터로 SFT한 모델을 버전별 폴더로 모아 두는 저장소입니다. 버전마다 학습 데이터, 체크포인트, 학습 설정, 데이터 선정 기록이 해당 폴더 안에 함께 있습니다.

This repository collects LaWAM policies fine-tuned on RoboCerebra, one folder per version. The first version, train100-aug, is trained on 100 whole long-horizon tasks selected from the official RoboCerebra training split (not the benchmark), with texture and distractor-position rendering augmentation, and validated on 20 disjoint held-out training-split tasks. Closed-loop task success has not been measured yet. Checkpoints are in the original LaWAM .pt format.

버전 목록

버전	폴더	학습 데이터	체크포인트 (optimizer updates)	상태
train100-aug	`train100-aug/`	공식 RoboCerebra training split에서 고른 100개 task + 렌더링 증강	20,000 / 23,000 / 24,000 / 25,000	학습 중간 체크포인트, 성공률 미측정
(참고) Unified SFT 25k	별도 저장소 `dn5772/LaWAM-RoboCerebra-Unified-SFT-25k`	`lerobot/robocerebra_unified` (benchmark 시연 기반)	25,000	완료, 성공률 미측정

이전 Unified SFT 모델과 무엇이 다른가

	Unified SFT 25k (별도 저장소)	train100-aug (이 저장소)
데이터 출처	`lerobot/robocerebra_unified@279f0bc`	`qiukingballball/RoboCerebra@5d2e1e3` `RoboCerebra_trainset` 원본 raw HDF5
Benchmark와의 관계	RoboCerebraBench 60개 case와 category 구성·canonical instruction 135개가 동일하고, 확인한 case(`Ideal/case1`)의 trajectory 비교값 72/72가 정확히 일치. benchmark 시연에서 만든 데이터로 기록됨	training split만 사용. benchmark와 정확 일치하는 segment·32-frame 구간 0건 (아래 검사)
규모	6,660 episodes / 571,116 frames	16,212 episodes / 1,618,854 frames (100 task × 증강 변형)
Instruction	`... orig tex0` 같은 변형 tag 포함	공식 subtask 문장 그대로, tag 없음
Validation	`train_split_all=true`: validation 66 episodes가 학습에도 포함	학습과 겹치지 않는 별도 20개 task, 162 episodes
Action 정규화 통계	unified 데이터 전체	학습 100 task만 사용
Global batch / 스케줄	256 / 25k cosine	512 / 60k cosine 스케줄의 25k 지점

Unified 모델을 RoboCerebraBench로 평가하면 학습에 쓴 시연과 같은 계열의 task를 평가하게 됩니다. train100-aug는 benchmark와 분리된 training split으로 학습해 독립 평가를 목적으로 만든 버전입니다.

train100-aug

항목	값
초기 모델	`jialei02/lawam_pretrain@62b14a8`
코드	`RLinf/LaWAM@4ea6fda` (tracked tree clean) + 데이터 loader wrapper (`code/`)
학습 데이터	공식 training split의 100개 long-horizon task → 1,360 subtask episodes × 증강 12변형
Validation	학습·benchmark와 겹치지 않는 training split 20개 task, 증강 없음
체크포인트	20,000 / 23,000 / 24,000 / 25,000 optimizer updates, global batch 512
성공률	미측정. 아래 지표는 모두 offline loss/MSE

1. 원본 데이터

출처: qiukingballball/RoboCerebra revision 5d2e1e361bf65aabbe4d18179515f5a10936cc96의 RoboCerebra_trainset (Stage-2 raw demo.hdf5 + subtask 시간 annotation). RLDS export가 아니라 raw simulator state에서 직접 다시 렌더링했습니다.
변환 기준 코드: buaa-colalab/RoboCerebra@2573426 rlds_dataset_builder/regenerate_robocerebra_dataset.py의 처리 규칙을 따랐습니다.
후보 pool: catalog 1,000 case (coffee_table 796 / kitchen_table 130 / study_table 74) 중 raw HDF5가 공개된 996개. annotation이 일관되지 않은 case를 수정하지 않고 제외해 958개가 후보입니다 (42개 제외: endpoint가 frame 수 초과 15, 잘못된 범위 20, 비증가 endpoint 14, 비연속 경계 13, HDF5 없음 4, TXT/JSON step 수 불일치 1; 한 case가 여러 사유에 해당할 수 있음).

2. 100개 task를 고른 기준

RoboCerebra 논문(NeurIPS 2025) §5.1의 "100개 long task instance를 고른 뒤 temporal annotation으로 단일 step sequence로 나눈다"는 학습 프로토콜을 따랐습니다. 저자들이 실제로 쓴 100개 목록과 선택 코드는 공개되어 있지 않아, 아래 규칙으로 직접 골랐습니다. 저자 목록을 재현했다고 주장하지 않습니다.

장면별 할당: 1,000-case 분포에 Hamilton 최대잉여 배분을 적용해 coffee_table 80 / kitchen_table 13 / study_table 7.
장면 안 순위 (내림차순 → 동률 처리):
1. subtask 수가 많은 순
2. no-op 제거 후 남는 annotated frame 수가 많은 순
3. raw frame 수가 많은 순
4. case 번호 오름차순
무작위 요소는 없습니다. 동률 처리가 실제로 영향을 준 곳은 coffee_table뿐입니다 (subtask 12개인 45개 중 38개 선택).

이 규칙은 subtask가 많은 긴 task 쪽으로 의도적으로 치우쳐 있습니다. 선택된 100개는 1,360 subtasks / raw 423,113 frames / no-op 제거 후 135,845 frames이고, case당 subtask는 12–23개입니다. 같은 장면 할당으로 무작위 100개를 뽑으면 평균 약 893 subtasks / 90,955 frames입니다.

선택 코드: code/size_longest100_raw_cases.py

선택된 100개 task

괄호 안은 subtask 수입니다. case별 frame 수, 증강 파일 수, 원본 HDF5 SHA256은 data/train100_cases.csv에, 16,212개 episode 전체 목록(파일·subtask 순서·길이·instruction)은 data/train100_episodes.csv에 있습니다.

coffee_table (80개, 1,083 subtasks) case502(23), case515(19), case687(18), case663(18), case396(17), case624(17), case513(17), case550(17), case474(17), case220(16), case584(16), case221(16), case473(16), case245(15), case173(15), case539(15), case459(15), case126(15), case563(15), case630(14), case176(14), case781(14), case288(14), case538(14), case144(14), case154(14), case219(14), case573(14), case226(14), case614(14), case391(13), case212(13), case757(13), case631(13), case255(13), case744(13), case794(13), case150(13), case745(13), case427(13), case509(13), case660(13), case562(12), case490(12), case611(12), case395(12), case340(12), case61(12), case330(12), case792(12), case298(12), case751(12), case397(12), case541(12), case110(12), case482(12), case587(12), case407(12), case369(12), case615(12), case440(12), case4(12), case529(12), case113(12), case301(12), case419(12), case697(12), case710(12), case654(12), case503(12), case100(12), case605(12), case510(12), case404(12), case530(12), case290(12), case739(12), case496(12), case152(12), case649(12)

kitchen_table (13개, 181 subtasks) case6(16), case2(16), case34(15), case57(15), case29(14), case69(14), case100(13), case121(13), case120(13), case82(13), case7(13), case46(13), case48(13)

study_table (7개, 96 subtasks) case32(15), case53(14), case37(14), case15(14), case7(13), case28(13), case42(13)

3. Benchmark와의 독립성 검사

비교 대상: qiukingballball/RoboCerebraBench@4e386b9 60 case / 563 segments.

검사	범위	결과
파일 SHA256	100 case vs 60 case	일치 0
segment 단위 joint7+action7 float32 fingerprint	1,360 vs 563 segments	일치 0
segment 단위 joint7만	동일	일치 0
annotation 경계를 무시한 stride-1 32-frame 구간 (float64 정확값, 소수 6자리 반올림)	학습 420,013 vs benchmark 188,750 구간	의미 있는 일치 0

이 검사는 정확한 수치 복제를 찾는 것이며, 의미적으로 비슷한 장면·32 frame보다 짧은 복제·재녹화까지 배제하지는 않습니다. RoboCerebra 저자도 GitHub issue #5에서 일부 training 장면이 평가 환경과 매우 가깝다고 언급했습니다.

4. Validation 20개 task

선정: 958개 후보에서 학습 100개를 뺀 나머지 중 장면별 coffee 16 / kitchen 3 / study 1개를 random.Random(2026)으로 섞어 앞에서부터 골랐습니다. 학습 100개와 benchmark 60개 전체에 대해 32-frame joint+action 구간 일치가 하나라도 있으면 거절하도록 했고, 실제 거절된 후보는 없었습니다. 코드: code/prepare_robocerebra_validation20.py
규모: 162 episodes / 15,934 frames, case당 subtask 4–10개. 증강 없이 원래 texture·위치(orig_tex0)만 렌더링했습니다. 정규화 통계 계산에 쓰지 않았습니다.
목록 (괄호는 subtask 수, 상세: data/val20_cases.csv, data/val20_episodes.csv)
- coffee_table: case546(10), case159(8), case681(7), case264(6), case349(10), case718(7), case737(6), case47(9), case506(9), case701(8), case433(7), case691(10), case421(10), case398(8), case547(9), case293(10)
- kitchen_table: case9(8), case114(6), case81(4)
- study_table: case68(10)

5. 전처리

렌더링 코드: code/augment_robocerebra_train100.py

항목	처리
렌더링	raw simulator state를 복원해 다시 렌더링. Panda, OSC_POSE controller, `control_freq=20`, robosuite 1.4.1, MuJoCo 3.8.1
No-op 제거	공식 `is_noop` 규칙: ‖action[:6]‖ < 1e-4이고 gripper 명령이 직전과 같으면 제거 (423,113 중 287,258 frames 제거)
Subtask 분할	annotation endpoint를 남은 frame 기준으로 매핑해 순서대로 subtask 1개 = episode 1개. 반복 instruction도 별도 segment로 유지
카메라	`agentview` + `robot0_eye_in_hand`, 256×256 RGB, JPEG q95
이미지 방향	공식 RLDS export와 같이 180° 회전을 1회 적용한 상태로 저장
Action	원본 7D OSC_POSE delta 그대로: xyz 3 + axis-angle 3 + gripper 1 (−1 open, +1 close). xyz는 5.625, 회전은 0.225 단위 값
Instruction	공식 `task_description.txt`의 step 문장, RLDS builder처럼 끝 마침표만 제거. 고유 문장 969개
주파수	20 Hz metadata. no-op 제거로 실제 frame 간격은 불균일 (`source_frame_index` 보존)

6. 데이터 증강

각 task를 table texture 3종 × distractor 물체 위치 4종 = 12변형으로 다시 렌더링했습니다. 공개 RoboCerebra 변환 코드의 변형 체계(orig / dxp005 / dyp005 / dym005 × tex0–2)를 따랐습니다.

축	변형
Table texture	`tex0` martin_novak_wood_table, `tex1` Marble062_COL_4K, `tex2` table_light_wood (kitchen은 512px 버전)
Distractor 위치	`orig` 원위치, `dxp005` x +0.05, `dyp005` y +0.05, `dym005` y −0.05 (MuJoCo 좌표 단위, 매 frame의 distractor free-joint 위치에 적용)

coffee_table/case615는 raw XML에 distractor joint가 없어 texture 3변형만 만들었습니다 → 99×12 + 1×3 = 1,191 HDF5 파일, 16,212 episodes, 1,618,854 frames.
공개 코드와 다르게 처리한 부분: study 장면에서는 실제로 쓰이는 tex-desk에 texture를 적용했고 (공개 코드 대상 texture는 장면에서 쓰이지 않아 효과가 없음), case615는 기록된 joint와 맞는 BDDL 정의를 골랐으며, 반복 subtask가 덮어써지지 않도록 segment마다 고유 ID를 붙였습니다.
주의: 한 task의 12변형은 action이 모두 같습니다. 1.6M frames는 1.6M개의 독립 동작이 아니며, 고유 동작 기준으로는 135,845 frames입니다. 논문이 이 증강 설정을 썼다는 근거는 없습니다.
파일럿(4 case, 39변형) 검증 6,234개 항목 통과, 전체 1,191 파일 readback 확인.

7. 학습 설정

항목	값
학습 기간	2026-10-07 01:11 KST 시작 → 2026-10-09 13:12 KST 25,000 update 도달 (GPU 이동·저장·재시작 포함)
GPU	NVIDIA A100-SXM4-80GB, Accelerate DDP, BF16, SDPA
GPU당 batch / global batch	32 / 512 (GPU 수에 따라 accumulation을 바꿔 전 구간 512 유지)
Optimizer	AdamW, betas=(0.9, 0.95), eps=1e-8, weight decay=1e-8, gradient clip 1.0
LR	모든 group 1e-4, warmup 2,000, `cosine_with_min_lr` (min 5e-7), 스케줄 길이 60,000
체크포인트 시점 LR	20k: 7.82e-5 · 23k: 7.11e-5 · 24k: 6.87e-5 · 25k: 6.61e-5 (아직 감쇠 초반)
EMA	off
Seed	2026 (rank별 seed+rank), 결정적 global anchor sampler
Action	유효 horizon 8 (0.4 s × 20 Hz), 내부 padding 50×32
입력	agentview 현재·+7 frame, wrist 현재 frame, `use_state=false`, 이미지 augmentation off
정규화	pose 6차원: 학습 100 task의 min/max로 [−1, 1] min-max. gripper: 0.5 기준 binary (0=open, 1=close)
모델 구조·loss	원본 LaWAM과 동일: flow head 16 layers/1024 hidden, perceptual weight 0.1, LAM encoder distill 0.1, `repeated_diffusion_steps=2`, 첫 16 LLM layer 유지, embedding·마지막 LLM layer frozen
Parameter	총 2,555,179,360 / 학습 가능 1,747,206,144
평가	1,000 update마다, validation frame에 고르게 퍼진 고정 anchor 2,560개 (rank당 20 batch)
소프트웨어	Python 3.10.20, PyTorch 2.6.0+cu124, Transformers 5.2.0, Accelerate 1.13.0 (전체 목록)

명목 sample 수는 25,000×512 = 12.8M으로, 증강 포함 frame 기준 약 7.9회, 고유 동작 frame 기준 약 94회 반복에 해당합니다.

GPU 구성 이력

구간	물리 GPU	optimizer updates	Accumulation
1–3	4,5,6,7 (4장)	0 → 9,763	4
4	0–7 (8장)	9,763 → 15,329	2
5–7	0,1,2,3 (4장)	15,329 → 19,949	4
8	4,5 (2장)	19,949 → 25,000	8

GPU 수를 바꿀 때마다 model·Adam·scheduler·RNG 전체 상태에서 이어서 학습했고 global batch와 data 순서 규칙은 유지했습니다. 다만 rank 수와 reduction 순서가 바뀌므로 중단 없는 실행과 bitwise 동일하지는 않습니다.

8. 체크포인트와 offline 지표

체크포인트	Validation action MSE	Validation future feature MSE	Validation latent distill MSE
`steps_20000_pytorch_model.pt`	0.015990*	0.053714*	0.062865*
`steps_23000_pytorch_model.pt`	0.016218*	0.053862*	0.062778*
`steps_24000_pytorch_model.pt`	0.015641*	0.053753*	0.062055*
`steps_25000_pytorch_model.pt`	평가 없음	–	–

Validation action MSE는 10-step denoising으로 만든 정규화 action과 정답의 MSE입니다.

* 19,949 update 이후는 GPU 2장으로 학습해 평가 범위가 다릅니다. rank당 평가 batch가 20개로 고정이라 2장에서는 고정 anchor 2,560개 중 앞쪽 1,280개만 평가됐습니다 (4·8장에서는 2,560개 전부). 그래서 19,000 이전 값과 직접 비교할 수 없습니다. 25,000은 학습 종료 저장 시점이라 평가가 실행되지 않았습니다.

전체 2,560 anchor로 평가한 구간에서는 다음과 같았습니다 (전체 기록: training/metrics.jsonl):

Update	1k	5k	10k	15k	19k
Validation action MSE	0.0191	0.0160	0.0159	0.0156	0.0152
Validation future feature MSE	0.0533	0.0537	0.0556	0.0561	0.0564
Train flow loss (1k 구간 평균)	0.0275	0.0138	0.0080	0.0066	0.0057

9. 해석할 때 주의할 점

성공률은 아직 측정하지 않았습니다. 모든 수치는 offline loss/MSE이며, 모방학습에서 offline validation loss는 closed-loop 성공률과 잘 맞지 않는 경우가 많습니다.
Validation action MSE는 약 5k–7k update 이후 거의 평평합니다 (7k–19k 기울기 1,000 update당 −0.000012, p=0.57). 같은 기간 train loss는 계속 줄었고 validation future feature MSE는 조금씩 올랐습니다. 100개 task에 대한 과적합 신호로 볼 수 있습니다.
LR이 아직 높은 지점(6.6e-5–7.8e-5)의 체크포인트입니다. 60k 스케줄 끝까지 학습하거나 LR을 낮추는 마무리 학습을 하면 결과가 달라질 수 있습니다.
여러 체크포인트를 공개하는 것은 closed-loop 평가로 체크포인트를 고르기 위해서입니다. 21,000·22,000 체크포인트는 학습 중 보관 정책으로 삭제되어 포함하지 않았습니다.

10. 사용법

공식 LaWAM loader는 .pt 파일의 두 단계 위 폴더에서 config.yaml과 dataset_statistics.json을 읽습니다. 그래서 train100-aug/checkpoints/steps_*.pt 구조를 유지해야 합니다. Hugging Face AutoModel 형식이 아니라 원본 LaWAM .pt 형식입니다.

# 설정·통계·코드만 먼저 받고, 필요한 체크포인트만 추가로 받습니다 (각 7.2 GB).
hf download dn5772/LaWAM-RoboCerebra \
  --include "train100-aug/*" --exclude "train100-aug/checkpoints/*" \
  --local-dir ./lawam_robocerebra
hf download dn5772/LaWAM-RoboCerebra \
  train100-aug/checkpoints/steps_25000_pytorch_model.pt \
  --local-dir ./lawam_robocerebra

# 선택: 경로 연결 전에 무결성 확인 (받지 않은 체크포인트 줄은 무시됨)
cd lawam_robocerebra/train100-aug && sha256sum -c --ignore-missing SHA256SUMS && cd -

로더는 SFT 가중치를 적용하기 전에 Qwen3-VL-2B, LAM checkpoint, DINOv3 초기화 파일을 먼저 읽습니다. 기존 LaWAM 환경에 있는 파일 경로를 연결합니다. prepare_benchmark.py는 PyYAML만 쓰고 가중치를 바꾸지 않으며, training_config.yaml을 바탕으로 config.yaml과 LAM 실행 설정을 다시 씁니다.

python ./lawam_robocerebra/train100-aug/prepare_benchmark.py \
  --qwen-dir /path/to/Qwen3-VL-2B-Instruct \
  --lam-checkpoint /path/to/lam_release/checkpoints/pytorch_model.pt \
  --dino-dir /path/to/dinov3-vitb16-pretrain-lvd1689m

# LaWAM source(RLinf/LaWAM@4ea6fda)를 PYTHONPATH에 둔 환경
from starVLA.model.framework.base_framework import baseframework

policy = baseframework.from_pretrained(
    "/abs/path/lawam_robocerebra/train100-aug/checkpoints/steps_25000_pytorch_model.pt"
).eval().to("cuda")

Policy server로 띄울 때는 LaWAM source root에서:

CUDA_VISIBLE_DEVICES=0 python deployment/model_server/server_policy.py \
  --ckpt_path /abs/path/lawam_robocerebra/train100-aug/checkpoints/steps_25000_pytorch_model.pt \
  --port 10093 --use_bf16

RoboCerebra 평가 adapter에서 맞춰야 할 것

항목	값
정규화 키	`franka` (이 폴더의 `dataset_statistics.json`, RoboCerebra 학습 100 task 통계)
Action 역정규화	pose 6차원은 min/max 사용 (LaWAM 원본 client가 `min`이 있으면 min/max를 씀). q01/q99나 LIBERO 통계로 바꾸지 마세요
Gripper	모델 출력 0.5 기준 binary: 1 → raw +1 (close), 0 → raw −1 (open)
출력 action	8 × 7 (내부 8 × 32 중 앞 7차원), OSC_POSE delta 원본 단위
이미지	agentview + wrist, 256×256 RGB, 학습 데이터처럼 180° 회전한 방향
State	사용하지 않음 (`use_state=false`)
Instruction	현재 subtask 문장 (끝 마침표 제거)
Embodiment / 주파수	`embodiment_id=25`, `action_hz=20`
추론	denoising 10 steps, CFG 1.0, 8 action chunk 실행 후 재질의

공식 loader 로드 검증

steps_20000과 steps_25000을 배포 구조 그대로 원본 baseframework.from_pretrained로 CPU에서 로드했습니다. 2,157개 key에 누락·추가가 없고, parameter 수와 정규화 통계가 일치했으며, 로드된 가중치가 학습 체크포인트와 bitwise로 같았습니다. 학습 중 저장된 Accelerate model.safetensors(중복 alias 1,419 key)를 원본 LaWAM 형식(2,157 key, alias 738개는 같은 storage 공유)으로 변환했고, 변환 전후 모든 tensor가 동일함을 확인했습니다. 기록: training/load_validation.json, training/conversion/

11. 폴더 구조

train100-aug/
├── checkpoints/
│   ├── steps_20000_pytorch_model.pt   # 각 7,174,295,574 bytes, 원본 LaWAM .pt
│   ├── steps_23000_pytorch_model.pt
│   ├── steps_24000_pytorch_model.pt
│   └── steps_25000_pytorch_model.pt
├── config.yaml                 # 추론용 설정 (prepare_benchmark.py가 경로를 갱신)
├── training_config.yaml        # 실제 학습 수치, 이식 가능한 상대 경로
├── dataset_statistics.json     # unnorm key "franka", 학습 100 task 통계
├── prepare_benchmark.py        # Qwen / LAM / DINO 경로 연결
├── assets/dino_large_vae.yaml  # 실제 사용한 LAM architecture
├── data/
│   ├── train100_cases.csv      # 선택된 100 task와 case별 통계·원본 SHA256
│   ├── train100_episodes.csv   # 학습 episode 16,212개 목록
│   ├── val20_cases.csv
│   ├── val20_episodes.csv
│   └── lawam_action_stats.json # 정규화에 쓴 원본 action 통계
├── code/                       # 선택·렌더링·증강·validation 선정·loader·학습 wrapper 코드
├── training/                   # metrics.jsonl, 환경, 로드·변환 검증 기록
└── SHA256SUMS

학습 데이터(HDF5) 자체는 이 저장소에 포함하지 않습니다. 위 목록과 code/의 렌더링 스크립트로 공식 training split에서 다시 만들 수 있습니다.