docs/STATE.md

현재 상태 — 세션이 끊겨도 여기부터 읽으면 이어갈 수 있다

마지막 갱신 2026-08-18. 긴 서술은 다른 문서에 있다. 여기는 지금 무엇이 돌고 있고 다음이 무엇인가만 둔다.

▶ 현재 — 웨이브 2 진행 중 (2026-08-21 15:53)

웨이브 1 완주. duplicate·flow_reinit 가 40/40 을 마쳤고 체크포인트가 건강하다 (비유한 파라미터 0/231, 손실 단조 하강).

  ✅ zero         40/40
  ✅ duplicate    40/40   oriloss 1.2402 → 1.0682
  ✅ flow_reinit  40/40   oriloss 1.2567 → 0.7255
  🔄 flow         17/40   (GPU 0)
  🔄 random_mask  21/40   (GPU 1)

주의 — 아직 해석하지 말 것. flow_reinit 의 최종 손실이 duplicate 보다 낮지만, 이는 학습 손실이며 하류 성능이 아니다. 판정은 held-out 평가와 compare_arms.py 의 클립 단위 쌍 부트스트랩으로만 한다(experiment-roadmap.md §0 의 S1/S2/S3).

남은 42 epoch ÷ 2 GPU × 1.6h ≈ 1.4일, 완료 예상 8월 23일.

재개 명령:

cd $CERBERUS_ROOT/hawk && ARM_GPUS="0 1" bash scripts/run_arms_parallel.sh

🔁 대화 기록이 이제 영속된다 (2026-08-18)

~/.claude 는 컨테이너와 함께 사라지므로 claude --resume 목록도 사라졌다. 정본을 seoik/claude_state/ 에 두고 scripts/claude_state_sync.sh 로 세 겹 보존한다 — 부팅 시 --restore, 5분 주기 데몬 --save, 정상 종료 시 SessionEnd 훅. 부트스트랩 1.5 단계가 자동 처리하므로 새 컨테이너에서 claude --continue 로 바로 이어갈 수 있다. 부트스트랩을 먼저 돌린 다음 claude 를 띄워야 한다 (목록은 실행 시점에 읽힌다). 과거 세션 5개가 이관돼 실제 재개까지 검증됐다.

⚠ 컨테이너 메모리 제한이 모든 미스터리 사망의 원인이었다

/sys/fs/cgroup/memory.max      240 GB   (구 컨테이너)  →  739 GB  (2026-08-18 신 컨테이너)
/sys/fs/cgroup/memory.events   oom_kill 6              →  0

free 는 호스트 2TB 를 보여준다 — 속지 말고 항상 cgroup 값을 볼 것. 구 컨테이너에서는 DataLoader worker 가 OOM kill → rank 사망 → NCCL watchdog SIGABRT 가 약 5 epoch(6.6시간)마다 발생했다. 신 컨테이너는 여유가 3배라 재발 가능성이 낮지만, num_workers 4 와 재시도 상한 12 는 그대로 둔다(마진만 커진다). 재개는 정상 작동하므로 진행분을 잃지 않는다. random_mask v1 중단, 평가 2건 실패, flow v2 의 주기적 사망이 전부 이것이었다.

확인: cat /sys/fs/cgroup/memory.events

확인: bash scripts/run_ablation_v2.sh --check 가중치 확인: grep -m1 REPR_LOSS_WEIGHT $CERBERUS_ROOT/runs/abl2_flow/train.log

이미 나온 실측 (첫 결과)

flow v1 arm 의 이탈 전/후 비교 — 표현 손실이 활성화되면 성능이 떨어진다.

	ep27 (이탈 전)	ep39 (이탈 후)
Scene-word Recall	0.4085	0.3208
BLEU-1	0.3259	0.2866

Δ = +0.0920, 95% CI [+0.0564, +0.1276], n = 424 — 구간이 0 을 포함하지 않는다. 원고 반영: Appendix A.2. 이것이 t = 0 재실행의 실증 근거다. 결과: experiments/out/eval_flow_ep{27,39}.json

설계 결정 — 원본과의 예산 일치는 필수가 아니다 (2026-08-17)

원본 HAWK 의 effective batch·샘플 예산에 맞추는 것은 요구사항이 아니다. 필요한 것은 arm 끼리 서로 같은 조건뿐이다. GPU 구성 변경을 검토할 때 "원본과 달라진다"를 반대 근거로 쓰지 말 것 (루트 CLAUDE.md §5 완화 항목 참조).

왜 재실행하는가 (v1 실패 요약)

arm	v1 결과
flow	40/40 완주. 단 epoch 28 에 표현 손실이 정류점 이탈, 마지막 12 epoch 이 다른 arm 과 다른 실효 목적함수
random_mask	epoch 5 에서 DataLoader worker OOM kill. 러너가 감지 못하고 다음 arm 으로 진행
duplicate	epoch 16 에서 발산 — 파라미터 193/231 비유한, 회복 불가. 마지막 정상은 ckpt_15
zero	미시작
flow_reinit	미시작

셋 다 원인이 같다 — L_sim·L_dis 가 cos = ±1 정류점에 갇혀 있다가 장기 학습에서 이탈하고, 이탈 시점이 arm 마다 다르며, 어떤 arm 에서는 학습을 죽인다. 논문은 두 항을 기여로 주장하지 않으므로(Appendix A) 0 으로 두는 데 잃는 것이 없다.

v1 결과는 지우지 않는다 — 이탈 현상 자체가 Appendix A.1 의 근거다.

끝나면 할 일

# arm 별 평가 (정적 입력 모드는 run 의 config.yaml 에서 자동 검출)
for a in flow zero random_mask duplicate flow_reinit; do
  CUBLAS_WORKSPACE_CONFIG=:4096:8 $CERBERUS_PY scripts/evaluate.py \
    --ckpt $CERBERUS_ROOT/runs/abl2_$a/main/checkpoint_39.pth \
    --anno $CERBERUS_ROOT/hawk_anomaly/Annotation/All_Mix/all_videos_heldout.local.json \
    --out experiments/out/eval_abl2_$a.json
done
# 통계 비교 (쌍 부트스트랩 + Holm + 도메인별)
$CERBERUS_PY scripts/compare_arms.py $(for a in flow zero random_mask duplicate flow_reinit; do
  echo --eval experiments/out/eval_abl2_$a.json; done) --out experiments/out/arm_comparison.json

결과가 나오면 판정하는 것

experiment-roadmap.md §0 의 S1/S2/S3 사다리와 §6 의 결과별 대응을 그대로 따른다. 주 종점은 도메인별 값이다(풀링은 DoTA 62.8% 편중).

미해결 (Loop 3 must-fix 중 남은 것)

	내용

| — | Stage-1 재학습 여부 (정렬 결함 근본 해결 + C3 증거 확보를 한 번에) — GPU 예산 결정 | | — | C3 증거 경로: Appendix F(손실 항 누적 절제)를 실행할지, C3 를 기여에서 내릴지 |

Loop 3 이후 완료한 것

• 가설 형식 제거 — H1~H7 → 발견 서술. 심사자가 찾은 모순 3건 동반 해소
• 벤치마크 "재사용 가능" 주장 철회 — 라벨은 LLM 생성 + 사람 1인 80건 검증. 그 규모로 독립 벤치마크를 주장하면 정작 튼튼한 것들까지 신뢰를 잃는다. 두 번째 주석자도 불필요해짐
• Scene-word Recall 편향 3종 보정 (결과 전 동결) — 표제어화, 동의어 15군, 속성 상충 무효화. 합성 6케이스 검증
• 라벨 스키마 4범주로 통일, context_critical → causal
• 부록 A.1·A.2 위치 정정 (Appendix I 뒤에 있었음), 수식 (A.1) → (B.1)
• [54]/[55]/[57] 기술 정정 — Barlow Twins ≠ VICReg, RESOUND 은 예측 불가능성이 아니라 최소화

최근에 고친 것 (되돌리지 말 것)

• 생성 비결정론 — do_sample=False 만으로 부족했다. 같은 체크포인트·같은 클립에서 3/3 다른 출력, 하나는 4 4 4 4 … 퇴화. enforce_determinism() 추가 후 3/3 동일. 평가는 반드시 CUBLAS_WORKSPACE_CONFIG=:4096:8 과 함께 실행할 것.
• 추론 경로가 arm 설정을 무시 — load_streams_aligned 가 항상 flow 로 고정돼 있었다. 이제 run 의 config.yaml 에서 자동 검출한다.
• 정답 설명 오염 — UCF-Crime 10.8% 가 LLM 거부 응답. 평가에서만 제외(학습은 통제 유지).
• Stage-1 정렬 결함 공개 — checkpoint_106 은 정렬 수정 커밋보다 10시간 앞선다. §4.1 에 공개했고 Appendix A 에 전제로 달았다.