real_franka_ATQ

실기 Franka teleop 데이터로 학습한 ATQ label-gated MoE 체크포인트 모음입니다.

공통 구조: GR00T-N1.5-3B finetune · ATQ label-gated MoE (moe_speed 2.0, expert 4개, 행 16/8/8/4) · conf 라벨은 prehj/humandata-conf-labels-v3 의 conf_vlm (VLM 판단만, 접촉 열 없음) · --action-merge-reduction last (franka action 8차원이 전부 절대값이라 필수).

폴더

폴더	task	step	future token	PE 규약	영상 디코더
long_horizon	long_horizon_task	60k	없음	—	⚠ 버그 판 (아래)
long_horizon_future_token	long_horizon_task	60k	32개	(a) action only	⚠ 버그 판
long_horizon_future_moss_20k	long_horizon_task	20k	32개	(b) MoSS	⚠ 버그 판
long_horizon_future_moss_40k	long_horizon_task	40k	32개	(b) MoSS	⚠ 버그 판
long_horizon_future_moss_60k	long_horizon_task	60k	32개	(b) MoSS	⚠ 버그 판
pnp	pnp_task	60k	없음	—	⚠ 버그 판 (100% 첫 장면)
pnp_20k	pnp_task	20k	없음	—	⚠ 버그 판 (100% 첫 장면)
stack_cup	franka_stack_cup	60k	없음	—	⚠ 버그 판
stack_20k	franka_stack_cup	20k	없음	—	⚠ 버그 판
air_frier_20k	franka_air_frier	20k	없음	—	⚠ 버그 판 (97.5% 첫 장면)
air_frier_30k	franka_air_frier	30k	없음	—	⚠ 버그 판 (97.5% 첫 장면)
air_frier_vfix_30k	franka_air_frier	30k	32개 (순정 N1.5 가중치로 init)	(b) MoSS	정상 — 2026-09-24
air_frier_vfix_20k	franka_air_frier	20k (같은 학습의 checkpoint-20000)	32개	(b) MoSS	정상

air_frier_* 는 라벨이 다릅니다 — prehj/franka-airfryer-conf-labels-v3w 의 conf_vlm (human_data v3 문항 그대로, 가중만 바꾼 판 · 734 청크 · conf 평균 0.544). ep27 은 frame 0 청크 라벨이 없어 머리 16 프레임을 conf loss 에서 마스크했습니다.

⚠ 2026-09-24 발견: torchvision_av keyframe 버그 — *_vfix_* 만 정상입니다

GR00T-action-quantization 계열 코드(atq_v2 · jimin_lg 수정 전)의 gr00t/utils/video.py 는 --video-backend torchvision_av 일 때 요청한 프레임이 아니라 직전 keyframe 을 돌려줍니다. 실기 franka 영상은 keyframe 이 0/250/… 뿐이라 위 표의 ⚠ 체크포인트는 에피소드 첫 장면만 보고 학습됐습니다 (air_frier 97.5%, pnp 100%). state 는 정상이라 궤적을 따라가긴 하지만 현재 화면을 보고 고치지 못합니다. NVIDIA upstream 은 2025-09-18 cdf6d6e 에서 고쳤고 ATQ 레포는 그 수정을 받지 않았습니다.

air_frier_vfix_30k / _20k 는 디코더를 upstream/MoSS 로직으로 고친 jimin_lg 사본으로 다시 학습한 판입니다. air_frier 비교 실험은 이 둘을 쓰십시오. 다른 task 의 정상 판은 아직 없습니다.

air_frier_vfix_30k — 학습 설정

추론 배선 자료(code_jimin_lg.tar.gz · jimin_lg_vs_ca6daad.patch · train_manifest_mlxp.yaml · infer_smoke/)는 air_frier_vfix_30k/ 폴더 안에 체크포인트와 같이 있습니다.

TTaekwan/real_franka_basline/air_frier (MoSS base, SAIL − EAG) 와 조건을 맞춘 ATQ 입니다.

항목	값
코드	jimin_lg = rakybond007/GR00T-action-quantization jimin-dev-label-gated ca6daad + jimin_lg_vs_ca6daad.patch (future token · linear LR · franka data config real_droid_joint/real_droid_joint_conf · video.py 수정). 전체 사본 code_jimin_lg.tar.gz
init	nvidia/GR00T-N1.5-3B. future token 32개는 순정 N1.5 의 future_tokens.weight 로 init (--future-tokens-init pretrained)
MoE	--use-moe-routing --moe-num-experts 4 --moe-label-gated --moe-speed 2.0 --use-merged-8-head --use-merged-4-head --use-native-8-head · --conf-threshold 0.5 --conf-loss-coef 0.1 · conf_readout_detach True
action	--action-merge-reduction last · --discrete-action-dims 7 (gripper)
데이터	franka_air_frier 50 ep · 12,205 프레임 · 10 fps · 448×252 (slurm lerobot_448 사본, baseline 과 픽셀 동일)
학습	bs 32 × 2 GPU (gbs 64) · 30k step · --lr-scheduler-type linear · save 10k · 최종 loss 0.0067
DiT 행	[state 1][future 32][action h], PE 는 줄 전체 (b). expert 마다 h = 16/8/4/8
잡 원본	train_manifest_mlxp.yaml · 추론 스모크 infer_smoke/ (스크립트 + 결과 json, tau 0.5 / 0.3)

air_frier_vfix_30k — 추론 배선

tar xzf code_jimin_lg.tar.gz                    # jimin_lg/{gr00t,scripts}
export PYTHONPATH=$PWD/jimin_lg
python jimin_lg/scripts/inference_service.py --server \
    --model-path <air_frier_vfix_30k 디렉터리> \
    --embodiment-tag new_embodiment \
    --data-config real_droid_joint \
    --head moe \
    --denoising-steps 4 \
    --conf-threshold 0.5 \
    --port 5555

항목	값
모델 클래스	gr00t.model.gr00t_n1.GR00T_N1_5 (jimin_lg 판). config.json action_head_cfg 에 MoE·future token 설정이 다 실려 있어 로드만 하면 됩니다
policy	gr00t.model.policy.Gr00tPolicy + policy.inference_head = "moe" (inference_service.py --head moe 가 이걸 합니다). "main" 을 주면 fine16 디코더만 써서 원속도 정책이 됩니다
data config	real_droid_joint (추론). real_droid_joint_conf 는 학습 전용 — action 에 라벨 carrier 2칸(ratio_label, 8:10)을 붙인 판이라 로봇에서는 쓰지 않습니다
embodiment tag	new_embodiment (experiment_cfg/metadata.json 키)
observation (1 프레임)	video.exterior_image_1_left (1,H,W,3) uint8 · video.wrist_image_left (1,H,W,3) uint8 · state.joint_pos_abs (1,7) · state.gripper_close (1,1) · annotation.human.action.task_description [str]
언어	"Open the air fryer basket, put the food from the plate into the basket, and close the basket."
정규화	state·action min_max (experiment_cfg/metadata.json)
denoising steps	4
action 출력	action.joint_pos_abs (h,7) 절대 관절각 · action.gripper_close (h,1) · __meta__moe_picked (어느 expert 인지) · __meta__moe_probs. h 는 요청마다 다릅니다

expert 와 실행 규칙 (moe_speed 2.0, 코드의 순서 [main_16, m8, m4, n8]):

moe_picked	이름	행 수 h	행 하나가 덮는 제어 step	그룹
0	fine16	16	1	fine
1	comp16	8	2	compressed
2	comp8	4	2	compressed
3	fine8	8	1	fine (action_pred_m8 에 comp8 4행이 같이 옵니다. 무시해도 됩니다)

• 압축 expert 의 row 는 action_merge_reduction last 로 만든 2 step 뒤의 절대 target 입니다. 클라이언트는 받은 row 를 제어 주기 그대로(10 Hz) 한 row 씩 보내고, chunk 를 다 쓰면 재추론합니다 (sim 클라이언트 scripts/robocasa_service_moe.py 규약). 압축 chunk 는 row 가 절반이라 같은 거리를 절반 시간에 가고, 그것이 가속입니다. row 를 2 step 씩 잡고 있거나 보간하지 마십시오 — 그러면 원속도로 돌아갑니다.
• label-gated 라우팅: conf head 가 conf >= tau 면 compressed 그룹(1·2), 아니면 fine 그룹(0·3) 안에서 router 가 horizon 을 고릅니다. tau 는 학습 파라미터가 아니라 eval 노브입니다 — 학습값 0.5 가 기본이고 --conf-threshold 로 바꾸면 한 체크포인트로 속도/성공률 곡선을 훑을 수 있습니다 (낮출수록 compressed 가 많이 뽑힙니다).
• --moe-stochastic 등 확률 라우팅 옵션은 끄고(argmax) 시작하십시오. openarm 배포는 켰지만 franka 는 검증된 값이 없습니다.
• 디코더 하나만 강제하고 싶으면 --head main(fine16 고정) 을 쓰십시오. 압축 디코더 강제는 코드에 노브가 없습니다.

추론 스모크 (릴리스 전 확인)

MLXP GPU 컨테이너에서 위 배선 그대로(Gr00tPolicy + real_droid_joint + new_embodiment, head moe, denoising 4) air_frier 에피소드 0 의 실제 관측으로 get_action 을 호출했습니다.

frame	tau 0.5 (학습값) → moe_picked / 행 수	tau 0.3 → moe_picked / 행 수	지연(s, 첫 호출 제외)
0	2 comp8 / 4	2 comp8 / 4	0.6 (warm-up)
5	2 comp8 / 4	2 comp8 / 4	0.08
50	3 fine8 / 8	3 fine8 / 8	0.08
120	2 comp8 / 4	2 comp8 / 4	0.07
200	2 comp8 / 4	2 comp8 / 4	0.07~0.27
300	1 comp16 / 8	1 comp16 / 8	0.07

반환 키: action.joint_pos_abs (h,7) · action.gripper_close (h,) · __meta__moe_picked · __meta__moe_probs. 값은 전부 유한, 1배속 시연과의 평균 절대 오차 0.007~0.02 rad (frame 300 은 0.07 — 시연 종료 직전 정지 구간). 행 수가 요청마다 4/8 로 바뀌는 것이 정상 동작입니다. 관측은 (1,H,W,3)·(1,7)·(1,1) (T 축 포함) 로 넣었습니다; T 축 없는 (H,W,3)·(7,) 형태도 upstream 규약대로 받습니다. 이 스모크에서는 6 프레임 중 5 프레임이 compressed 로 라우팅됐습니다 — 실기에서 너무 공격적이면 --conf-threshold 를 0.5 보다 올려서 fine 을 늘리십시오.

future token 이 뭔가

DiT 입력 행의 state 와 action 사이에 끼우는 학습되는 임베딩 32개입니다 (config.json 의 use_future_tokens: true · num_target_vision_tokens: 32).

행 = [ state 1 ][ future 32 ][ action 16 ]

어떤 디코더도 이 토큰의 hidden state 를 읽지 않습니다. 자기 loss 가 없고, DiT 의 self-attention 층(16층 중 홀수 idx 8층, interleave_self_attention: true)을 통해 action flow-matching loss 만 역전파됩니다. cross-attention 층에서 VL 문맥을 흡수해 self-attention 층에서 action 토큰에 넘겨주는 역할입니다. 학습·추론 모두 32개가 항상 들어가며 drop/mask 는 없습니다.

⚠ PE 규약 (a) 와 (b) — 코드가 다릅니다

positional embedding 을 누구에게 더하느냐가 두 판에서 다릅니다. 가중치만 바꿔 끼우면 안 되고, 추론 코드가 해당 규약과 맞아야 합니다.

(a) long_horizon_future_token — stock GR00T-N1.5 / ATQ 규약

pos_ids = arange(action_horizon)          # 0..15
action_features += PE(pos_ids)            # action 에만
row = cat(state, future, action)          # state·future 는 PE 없음

(b) *_moss_*, air_frier_vfix_* — MoSS_GR00T 규약 (flow_matching_action_head_MoSS.py:886-888)

row = cat(state, future, action)
pos_ids = arange(row.shape[1])            # 0..48
row += PE(pos_ids)                        # state=0, future=1..32, action=33..48

TTaekwan/real_franka_basline, TTaekwan/real_franka_sail, TTaekwan/real_franka_demospeed 의 체크포인트는 모두 MoSS_GR00T 로 학습해 (b) 입니다. 그 둘과 비교할 목적이라면 (b) 판을 쓰십시오. long_horizon_future_token (a) 는 초기 판으로 남겨둔 것입니다.

추론 코드 주의

베이스는 rakybond007/GR00T-action-quantization 의 jimin-dev-label-gated (ca6daad) 이지만, 그 브랜치에는 future token 구현이 없습니다. 패치 없이 로드하면 action_head.future_tokens.weight 가 unexpected key 로 조용히 버려지고 (에러가 안 납니다) 조건 토큰 32개가 빠진 채로 정책이 돕니다. air_frier_vfix_* 는 반드시 code_jimin_lg.tar.gz (또는 ca6daad + jimin_lg_vs_ca6daad.patch) 로 여십시오.

MoE per-expert 경로라 스트림은 expert 마다 각자 horizon 으로 다시 만들어집니다 — 행 길이는 1 + 32 + h, h 는 16/8/4/8 입니다.

router 와 conf head 는 [vl_pooled, state_pooled] 만 읽으므로 future token 과 무관하고 shape 도 그대로입니다.

Eagle 백본의 동적 모듈이 import 시점에 CUDA 를 요구합니다. GPU 없는 노드에서는 --device cpu 를 줘도 죽습니다. transformers==4.51.3, torch 2.7, timm, decord 필요.