--- license: apache-2.0 tags: [sciedu-bench, simulation, mujoco, openarm, reinforcement-learning] --- # SciEdu sim RL demo — 강화학습 시연 원본 (2026-11-12 ~ 11-13) OpenArm 양팔 로봇 과학 실험 시뮬(MuJoCo)에서 "IK 코드 계획 위의 잔차 강화학습"으로 시연을 만들어 본 실험의 원본이다. 측정 문서 `docs/measurements/sim-train-augment.md`의 "강화학습 시연(gen=rl)" 절이 읽는 계획 줄·모델·견줌 줄을 그대로 담았다. **알아 둘 것: 옛 쥠(주황 손잡이)·옛 장면 판으로 지은 시연이다. 새 에셋·철판 윗부분 쥠으로 다시 짓는다.** 학습 데이터로 쓰지 말고 그 절의 숫자를 되짚는 데에만 쓴다. | 폴더 | 내용 | |---|---| | `redox_plate/<판>/` | 산화환원 판 넣기. 판 다섯(v1, v1b_straight_zeroinit, v1_two_phase, v2_wide, v2_wide_tp): `actor.safetensors`, `config.json`, `norm.json`, 학습 줄, `plans/plans.jsonl`과 명령 열 `.npz`, 시작 JSON | | `redox_plate/*.jsonl`, `redox_plate/starts/` | 코드만(곧은·두 걸음) 견줌 줄, 넓은 시작 | | `rod/` | 검전기 막대 털 문지르기. 학습 줄(`rub_train*.jsonl`), 체크포인트 정책(`rub_policy*_itNNN.json`), 53칸 견줌 줄(`rub_compare*.jsonl`, `_j010` = 새 판정 0.10.0-draft), 곡선 그림, `rejudge.log` | | `whole/` | 동작 전체 줄(넣기·담그기) 견줌 | | `mineral/` | 광물 조흔 긋기 견줌 | | `rod_shadow/outputs/`, `rod_shadow_judge010/outputs/` | 옛 판정·새 판정 사본에서 돌린 결과(결과 파일만) | | `*_diag*.jsonl`, `MUJOCO_LOG_20261112.txt` | 실패 진단 줄, 물리 경고 기록 | 올리지 않은 것(다시 만들 수 있음): 그때 저장소 코드의 사본(`rod_shadow/`·`rod_shadow_judge010/`의 코드, `rod_3646e6d2.tar`, `mineral_shadow/scripts`)은 저장소 갈래 커밋 3646e6d2·95c32236에서 다시 만든다. 학습 로그(`*.log`)와 임시 스크립트(`scratch/`)는 뺐다. 코드: 저장소 `scripts/sim/rl_demo*.py`, `scripts/sim/ppo_rim.py`, 설정 `config/rl_demo/*.yaml`.