Dongkkka/Task905-943-GR00T-Molmo-R3-15k

SH5 Task 905 + 943 · GR00T N1.7 + MolmoPoint · R3 15,000 step

완료된 15,000 optimizer step 체크포인트 전체를 포함합니다. GR00T 모델 shard 3개뿐 아니라 optimizer, scheduler, RNG, trainer 상태, processor, 정규화 통계, embodiment ID, Molmo adapter/backend를 원래 저장 구조대로 넣었습니다. 이 실행은 batch 256, 30,000 step 예정으로 시작했고 16,856 step에서 중단됐습니다. 따라서 15,000 step이 마지막 완결 저장본이며, 이 파일은 정상 종료한 30,000 step 모델이 아닙니다.

모델·데이터

• GR00T N1.7의 VLM은 nvidia/Cosmos-Reason2-2B (Qwen3-VL 구조)입니다. MolmoPoint-8B는 별도 모델로 에피소드 첫 head 프레임에서 점을 한 번 예측합니다. 이후 프레임은 동일 좌표에 불투명 마젠타 점만 표시합니다. 점 반지름은 원본 이미지 짧은 변의 **3%**로, 이전 Task 905 30k 모델의 1%와 다릅니다. 번호와 추적은 없습니다.
• Task 905 원본: 오른손으로 점 위치의 생리대 집기. Task 943: 왼손으로 점 위치의 목표 물체 집기. 학습 프롬프트는 각 데이터셋의 실제 instruction을 사용합니다.
• 합친 학습 분할 156 에피소드/70,217 프레임, 검증 18 에피소드/7,643 프레임, 30Hz. W&B 실행. 저장된 processor와 statistics가 추론 계약의 기준입니다.

다운로드와 추론

hf download Dongkkka/Task905-943-GR00T-Molmo-R3-15k --local-dir task905_943_r3_15k
cd task905_943_r3_15k
sha256sum -c SHA256SUMS
tar -xf Isaac-GR00T-molmo-inference-source.tar.gz
cd Isaac-GR00T-molmo
export PYTHONPATH="$PWD"
GR00T_PYTHON=/path/to/groot-venv/bin/python
MOLMO_PYTHON=/path/to/molmo-venv/bin/python
"$GR00T_PYTHON" -m gr00t.eval.run_gr00t_server \
  --model-path ../checkpoint-15000 --embodiment-tag new_embodiment \
  --use-tactile --molmo-python "$MOLMO_PYTHON" \
  --molmo-base /models/MolmoPoint-8B/step2000 \
  --device cuda --molmo-device cuda --host 127.0.0.1

GR00T는 포함된 수정 소스의 pyproject.toml/uv.lock에 맞는 환경이 필요합니다(학습 당시 Python 3.12, Torch 2.9, Transformers 4.57.3). Molmo는 별도 환경에서 checkpoint-15000/molmo/requirements-molmo.txt 및 Ai2 native 코드 고정 커밋을 설치해야 합니다. 이 저장소의 adapter 외에 공식 MolmoPoint-8B native Long-Context SFT tar를 별도로 받아 step2000/config.yaml과 step2000/model_and_optim/.metadata가 있는 디렉터리를 --molmo-base로 지정하세요. HF의 일반 model.safetensors 형식은 이 native 기본 가중치를 대체하지 않습니다. 저장된 bundle이 기본 모델의 식별값을 검사합니다.

입출력 차원과 에피소드 절차

• Head RGB observation["video"]["cam_left_head"]: uint8, (B=1,T=1,H,W,3). 모든 프레임의 원본 크기를 동일하게 유지합니다. processor는 224×224 직접 resize (letter_box_transform=false).
• State: left_arm(7), right_arm(7), left_hand(20), right_hand(20)의 순서로 관절 54차원. 각 입력 배열은 (1,1,D)입니다. tactile_left(45), tactile_right(45)는 양손 2×5×9 taxel이며 finger_mlp가 32차원 특징으로 인코딩합니다. max_state_dim=132는 모델 padding 용량입니다. 관절 이름·단위는 실제 로봇 config와 일치시켜야 합니다.
• 언어 observation["language"]["annotation.human.task_description"]: [["실제 task instruction"]] (B=1,T=1). Task 905와 943의 손 지시를 바꾸지 마세요.
• 출력: action horizon 40, 순서 [left_arm(7),right_arm(7),left_hand(20),right_hand(20)], 총 54차원, ABSOLUTE/NON_EEF. 저장된 processor가 normalization을 복원합니다. 출력은 실제 로봇 명령에 연결하기 전에 joint mapping과 단위를 검증해야 합니다.
• 최초 호출에는 실제 에피소드 첫 프레임을 줍니다. policy.reset() 후 policy.get_action(first_obs, options={"episode_start": True}); 이후 policy.get_action(next_obs). 새 에피소드마다 다시 reset합니다. B=1,T=1만 지원하며 Molmo는 첫 호출에만 실행됩니다.

checkpoint-15000/를 그대로 GR00T 추론에 사용합니다. 학습 재개에는 함께 저장된 optimizer.pt, scheduler.pt, rng_state.pth, trainer_state.json과 동일 데이터·코드·설정이 필요합니다. SHA256SUMS로 다운로드 무결성을 확인하세요. 이 공개는 실제 로봇 성공률이나 다른 컴퓨터에서의 전체 추론 재현을 입증하지 않습니다.