kimtaegyu/TETHER_CVPR

MAR — SO-100 실로봇 4태스크 Continual Learning 체크포인트 (CVPR 제출용)

SO-100/SO-101 팔(so_follower)의 조작 태스크 4개를 순차로 학습한 DiT-Flow MT 정책 체크포인트입니다. 태스크가 끝날 때마다 저장했으므로 망각의 진행을 체크포인트 단위로 볼 수 있습니다.

제안 방법 MAR (λ = 1, 2, 3) 과 Experience Replay 기준선을 같은 조건(같은 출발점·같은 seed·같은 데이터 분할)에서 비교합니다. kimtaegyu/TETHER 와 같은 구조이고, 그 저장소와 다른 점은 맨 아래에 적었습니다.

디렉터리	방법	손실	과거 보존 방식
er/	Experience Replay (기준선)	L_FM(현재 24 + 리플레이 8) 한 배치	과거 태스크당 5 에피소드를 버퍼에 유지
mar_lam1/	MAR, λ = 1	L_FM(현재) + λ · Σ_j L_j	과거 태스크의 (state, 시각특징) 코드북에서 합성 샘플을 만들어 teacher 와 액션 공간에서 맞춤
mar_lam2/	MAR, λ = 2	위와 같음	위와 같음
mar_lam3/	MAR, λ = 3	위와 같음	위와 같음

MAR 의 앵커 손실 (과거 태스크 j 마다, N = 과거 태스크 수):

‖p_S − p_T‖² = (r_S − r_T)² + 2·r_S·r_T·(1 − cos) = m + e
L_j = (1/N)·mean(m) + (1/N)·β·mean( e / (r_T² + c) )        c = 0.1, β = 1

속도를 크기(m)와 방향(e)으로 쪼개고, 방향 항에 teacher 크기의 역제곱을 곱해 느린 구간(정밀 조작)의 방향이 감독을 받게 합니다. 계수가 (0, 1/c] 로 유계라 배치 통계 기반 클리핑이 필요 없습니다. 자세한 식은 policy_code/L2_V5.py 와 policy_code/cl_train.py 의 머리 주석에 있습니다.

이름에 대하여: 코드·task_info.json 에는 개발 당시 내부 이름 v5 가 남아 있습니다. "method": "v5" 가 MAR 입니다. task_info.json 에 "method_name" 을 같이 적어 두었습니다.

---

디렉터리 구조

<run>/
  task_0/  config.json  model.safetensors  task_info.json   <- 태스크 0 까지 배운 모델
  task_1/  ...                                               <- 태스크 0,1 까지
  task_2/  ...
  task_3/  ...                                               <- 4 태스크를 모두 배운 최종 모델
  train_config.json     학습에 실제로 쓴 인자 전부
  holdout_report.txt    hold-out MSE 표 (아래 결과와 같은 것)
  holdout_mse.csv / .json
  summary.json          태스크 순서·step·소요 시간
  diag.jsonl            200 step 마다 손실·앵커 내부값
policy_code/            정책·학습 코드 (아래 "로드" 참고)

task_info.json 예:

{"task_index": 1, "task_dir": "pick_a_block_and_drop_on_the_box_2",
 "instructions": ["pick a block and drop on the box"], "steps_done": 10000,
 "method": "v5", "method_name": "MAR"}

---

태스크 순서와 지시문

k	데이터셋 (asdl-unist/…)	지시문 (그대로 입력)	에피소드	프레임
0	put_the_ring_on_the_stick	Put the ring on the stick.	50	7,767
1	pick_a_block_and_drop_on_the_box_2	pick a block and drop on the box	50	10,464
2	new_aicp_carrot	Pick up the carrot and put it in the basket.	50	14,137
3	stack_cup	Pick up the left paper cup and stack it onto the right paper cup.	50	12,397

태스크마다 뒤쪽 5 에피소드는 학습에서 제외하고 hold-out 평가에만 썼습니다 (학습 45 / hold-out 5).

학습 설정 (네 런 공통)

	값
출발점	svla_so100_pretrained_clare (SO-100 3 태스크 joint 사전학습) — 가중치만 읽고 정규화 버퍼는 ASDL 통계 사용
태스크당 step	10,000 (총 40,000), 코사인 스케줄은 태스크마다 새로 시작
배치 / seed	32 / 42
정규화	4 태스크 pooled min/max — 네 런의 정규화 버퍼가 동일
옵티마이저	AdamW (lerobot 기본)
ER	현재 24 + 리플레이 8 을 한 배치로 이어 붙여 손실 하나 (--er_replay_bs 8, LIBERO scripts/er.py 와 같은 방식). 버퍼 = 과거 태스크당 앞쪽 5 에피소드
MAR	--anchor_c 0.1 --beta 1.0 --dir_space act --anchor_reduce mean --pose_dims 5 --speed_mode diff, 코드북 K = max(8, 2 × 데모 수)

실제 인자는 각 폴더의 train_config.json 에 전부 들어 있습니다.

---

결과 — hold-out action MSE (낮을수록 좋음)

정규화 공간에서 실행 구간 8 스텝(로봇이 실제로 내보내는 액션)의 MSE, 태스크당 256 창. 롤아웃 성공률이 아닙니다.

최종 (4 태스크를 모두 배운 뒤, task_3/ 체크포인트)

태스크	ER	MAR λ=1	MAR λ=2	MAR λ=3
t0 ring	0.00843	0.01066	0.01068	0.01096
t1 box	0.01418	0.01360	0.01400	0.01438
t2 carrot	0.01562	0.01256	0.01239	0.01272
t3 stack_cup	0.01162	0.01042	0.01039	0.01064
평균	0.01246	0.01181	0.01187	0.01218

망각 (최종 − 배운 직후, 음수 = 오히려 개선)

태스크	ER	MAR λ=1	MAR λ=2	MAR λ=3
t0 ring	−0.00116	+0.00106	+0.00109	+0.00137
t1 box	−0.00049	−0.00150	−0.00144	−0.00182
t2 carrot	+0.00197	−0.00058	−0.00055	−0.00035
평균	+0.00008	−0.00025	−0.00023	−0.00020

전체 행렬 (행 = 태스크 k 까지 배운 뒤, 열 = 평가 태스크)

ER                                      MAR λ=1
after    t0      t1      t2      t3     after    t0      t1      t2      t3
0     0.00959                           0     0.00959
1     0.00886 0.01466                   1     0.01098 0.01510
2     0.00851 0.01302 0.01365           2     0.00928 0.01382 0.01313
3     0.00843 0.01418 0.01562 0.01162   3     0.01066 0.01360 0.01256 0.01042

MAR λ=2                                 MAR λ=3
0     0.00959                           0     0.00959
1     0.01035 0.01544                   1     0.01021 0.01620
2     0.00886 0.01396 0.01294           2     0.00981 0.01391 0.01306
3     0.01068 0.01400 0.01239 0.01039   3     0.01096 0.01438 0.01272 0.01064

읽을 때

• t0 의 "직후" 값(0.00959)이 네 런에서 정확히 같습니다. 첫 태스크에는 과거가 없어 리플레이도 앵커도 걸리지 않으므로 같아야 정상이고, 네 런이 같은 출발점·seed 를 썼다는 확인입니다.
• ER 은 t0 를 가장 잘 지키지만 t2(carrot)를 가장 많이 잃고(+0.00197), MAR 은 t2·t3 가 좋고 t0 를 조금 잃습니다. 최종 평균은 MAR λ=1 이 가장 낮습니다.
• seed 1 개, 태스크 순서 1 개입니다. 런 간 차이(최대 0.0007)가 seed 변동보다 큰지는 이 네 런만으로 알 수 없습니다.
• 행동 예측 오차이지 성공률이 아닙니다. 실로봇 롤아웃과 함께 읽어야 합니다.

---

로드

config.json 의 "type": "ditflow_mt" 는 업스트림 lerobot 에 없는 커스텀 정책이라 lerobot 포크(lerobot_lsy) 가 필요합니다. policy_code/ 의 modeling_dit_flow_mt.py·configuration_dit_flow_mt.py 가 그 정책 소스이지만 lerobot 코어에 의존하므로 단독으로는 동작하지 않습니다.

import sys; sys.path.insert(0, "<이 저장소를 받은 경로>/policy_code")
from asdl_data import AsdlMeta
from lerobot.configs.policies import PreTrainedConfig
from lerobot.policies.factory import make_policy

path = "<이 저장소를 받은 경로>/mar_lam1/task_3"      # 4 태스크를 모두 배운 MAR (λ=1)
cfg = PreTrainedConfig.from_pretrained(path)
cfg.pretrained_path = path
cfg.device = "cuda"
policy = make_policy(cfg=cfg, ds_meta=AsdlMeta("<ASDL 데이터셋 하나의 경로>"))
policy.eval()

• 정규화 통계는 체크포인트 안에 들어 있어(버퍼 10 개) 로드 시 덮어씁니다. ds_meta 는 feature 표를 만들기 위해서만 필요합니다.
• 데이터셋은 LeRobot v3.0 이라 포크의 LeRobotDatasetMetadata(v2.1) 로는 못 읽고, policy_code/asdl_data.py 의 AsdlMeta 를 써야 합니다.

전처리 규약 (어긋나면 조용히 성능이 떨어집니다)

	규약
이미지	observation.images.top, observation.images.wrist 두 카메라, 480×640 → 256×256 종횡비 무시 리사이즈, [0,1] float. 관측 2 프레임(t−1, t)
state	관절 절대 위치 6 차원 날것 (정규화는 정책 내부)
action	6 차원, 청크 16, 실행 구간 = 예측 index 1..8 (index 0 은 t−1)
언어	task_info.json 의 지시문 문자열 그대로 (CLIP 텍스트 인코더, 동결)
fps	30

policy_code/asdl_data.py 가 학습 때 쓴 변환 그 자체이므로, 추론 전처리도 이 파일을 기준으로 맞추면 됩니다.

policy_code/

파일	역할
cl_train.py	이 체크포인트들을 만든 학습 드라이버 (ER / MAR). --er_replay_bs 포함
L2_V5.py	MAR 앵커 손실 (speedinv_coef, 크기·방향 분해)
L2_V4.py	코드북 생성·샘플러·teacher 등 앵커 공통 부분 (cl_train.py 가 import)
asdl_data.py	v3.0 데이터 로더 + AsdlMeta + 프레임 캐시
modeling_dit_flow_mt.py, configuration_dit_flow_mt.py	정책 본체·설정 (포크 lerobot_lsy 의 것)

재현 (프레임 캐시를 먼저 만든 뒤):

T=put_the_ring_on_the_stick,pick_a_block_and_drop_on_the_box_2,new_aicp_carrot,stack_cup
python asdl_data.py --tasks $T
python cl_train.py --method er --er_replay_bs 8 --tasks $T --init_from <svla_so100_pretrained_clare> --norm_stats pooled --seed 42 --out results/er
python cl_train.py --method v5 --anchor_c 0.1 --beta 1.0 --dir_space act --anchor_reduce mean --lambda_level 1.0 \
    --pose_dims 5 --speed_mode diff --tasks $T --init_from <svla_so100_pretrained_clare> --norm_stats pooled --seed 42 --out results/mar_lam1

---

kimtaegyu/TETHER 와 다른 점

	kimtaegyu/TETHER	이 저장소
태스크 2	block_on_the_box	pick_a_block_and_drop_on_the_box_2 (재수집 데이터)
제안 방법	TETHER (v4, 속도 공간 앵커 + speedinv 가중)	MAR (v5, 액션 공간, 크기·방향 분해, β=1 c=0.1), λ 1/2/3
ER 배치	현재 32 + 리플레이 32 를 따로 forward	현재 24 + 리플레이 8 한 배치 (LIBERO ER 과 동일)
출발점·정규화·분할	*_pre 런과 같음 (사전학습 출발, pooled)	같음

알려진 한계

1. 대리 지표입니다. hold-out MSE 는 성공률을 대신하지 못합니다.
2. seed 1 개입니다. 네 런 사이의 차이를 통계적으로 구분할 수 없습니다.
3. 태스크 4 개, 순서 1 개뿐입니다.
4. pooled 정규화는 미래 태스크의 min/max 를 미리 보는 셈입니다(값은 학습에 안 쓰이고 축척만 정합니다). 네 런에 똑같이 적용됐습니다.

데이터

네 데이터셋 모두 asdl-unist 의 LeRobot v3.0 형식(parquet + mp4)입니다. 50 에피소드씩, 30 fps, 카메라 2 대, 관절 6 축.