docs/RESUME.md

새 세션에서 이어가기 — 여기부터 읽으세요

/home/work/seoik 만 영구입니다. 그 밖($HOME 포함)은 컨테이너와 함께 사라집니다. 아래 순서대로 하면 중단 지점에서 그대로 이어집니다.

---

1. 부트스트랩 (제일 먼저, 반드시)

bash /home/work/seoik/bootstrap_cerberus.sh   # 멱등 — 여러 번 돌려도 안전
source ~/.bashrc

복구되는 것: ~/.claude 심링크(에이전트·스킬), 지난 대화 기록, CERBERUS_PY·CERBERUS_ROOT·TORCH_HOME·HF_HOME·HF_TOKEN·GEMINI_API_KEY· CUBLAS_WORKSPACE_CONFIG, git 사용자 설정. 데이터·모델·체크포인트 존재도 검증합니다.

건너뛰면 $CERBERUS_PY 가 비어 모든 학습·평가 명령이 조용히 실패합니다.

지난 대화를 이어받으려면 부트스트랩 후에 claude --continue 또는 claude --resume (목록은 claude 실행 시점에 읽히므로 순서가 중요합니다).

2. 상황 파악 — 이 순서로 읽으세요

문서	내용
docs/STATE.md	지금 무엇이 어디까지 됐고 다음이 무엇인가 — 가장 먼저
docs/MIGRATION-3GPU.md	컨테이너 이전·GPU 구성 변경 절차
docs/experiment-roadmap.md	실험 계획, 결과별 대응, 기각된 실험과 그 이유
docs/training-log.md	학습 이력, 실패와 원인, 설정 변경 근거
docs/evidence-index.md	각 주장의 근거와 재현 명령
docs/review-log.md	심사 지적 → 조치 → 커밋, 하지 않은 것과 그 이유
루트 CLAUDE.md	세션 운영·서버 함정. §5 완화 항목 필독

3. 현재 상태 확인

cd $CERBERUS_ROOT/hawk
bash scripts/run_arms_parallel.sh --check      # arm 진행률
nvidia-smi --query-gpu=index,memory.used --format=csv,noheader
cat /sys/fs/cgroup/memory.max                  # 컨테이너 메모리 한계 (free 는 호스트를 보여줌)
git status --porcelain | wc -l                 # 0 이어야 정상

4. 학습 재개

# GPU 2장이면
ARM_GPUS="0 1" bash scripts/run_arms_parallel.sh
# GPU 3장이면
bash scripts/run_arms_parallel.sh

남은 arm 을 GPU 1장씩 병렬로 돌립니다. 완료된 arm 은 건너뛰고, 웨이브가 끝난 뒤 남은 arm 이 있으면 같은 명령을 다시 실행하면 됩니다.

GPU 를 한 작업에 묶지 마세요. iters_per_epoch: 2500 이 고정이라 GPU 를 더 붙여도 epoch 시간이 줄지 않고 epoch 당 샘플 수만 늘어납니다. arm 을 쪼개야 벽시계 시간이 줍니다.

5. 반드시 지킬 것 세 가지

1. 평가는 CUBLAS_WORKSPACE_CONFIG=:4096:8 과 함께. 없으면 생성이 비결정론적이라 같은 체크포인트가 실행마다 다른 문장을 냅니다(실측 3/3 불일치, 하나는 4 4 4 4 … 퇴화).
2. CERBERUS_REPR_LOSS_WEIGHT=0. 러너가 export 하지만, 직접 학습을 띄울 때는 확인하세요. 이 항이 켜지면 arm 마다 다른 시점에 활성화되어 통제가 깨지고, 한 arm 은 발산했습니다.
3. 실행 중인 bash 스크립트를 편집하지 마세요. bash 가 바이트 오프셋으로 읽어 나가므로 남은 부분을 잘못 해석합니다. 사본을 만들어 고치세요.

6. 학습이 끝나면

for a in flow zero random_mask duplicate flow_reinit; do
  CUBLAS_WORKSPACE_CONFIG=:4096:8 $CERBERUS_PY scripts/evaluate.py \
    --ckpt $CERBERUS_ROOT/runs/abl2_$a/main/checkpoint_39.pth \
    --anno $CERBERUS_ROOT/hawk_anomaly/Annotation/All_Mix/all_videos_heldout.local.json \
    --out experiments/out/eval_abl2_$a.json
done
$CERBERUS_PY scripts/compare_arms.py \
  $(for a in flow zero random_mask duplicate flow_reinit; do echo --eval experiments/out/eval_abl2_$a.json; done) \
  --out experiments/out/arm_comparison.json

평가는 순차로 돌리세요. 동시에 돌리면 디코딩 중 호스트 메모리를 함께 잡습니다.

7. 백업 위치

코드·논문·문서	GitHub jungseoik/hawk
스킬·에이전트	GitHub jungseoik/seoik_skills (독립 저장소)
체크포인트·로그·결과	HF backseollgi/Cerberus — ablation_v2/·docs/·results/·benchmark/
대화 기록	seoik/claude_state/ (정본) · seoik/session_archive/ (스냅샷)

체크포인트 전량은 seoik/runs/ 에만 있습니다(arm 당 77GB). HF 에는 완주한 arm 의 최종본만 올립니다.