|
Download docs/experiment-roadmap.md from backseollgi/Cerberus: direct link, hf CLI and curl.
- Browser
- Download file 21.6 kB
-
https://huggingface.co/backseollgi/Cerberus/resolve/main/docs/experiment-roadmap.md
- Command line
-
hf download hf://backseollgi/Cerberus/docs/experiment-roadmap.md
-
curl -L -o experiment-roadmap.md https://huggingface.co/backseollgi/Cerberus/resolve/main/docs/experiment-roadmap.md
21.6 kB
| # CERBERUS ์คํ ๋ก๋๋งต โ ๋ฌด์์, ์, ์ด๋ค ์์๋ก | |
| ์ด ๋ฌธ์ ํ๋๋ง ์ฝ์ผ๋ฉด **๋ค๋ฅธ ์๋ฒ์ ์์ด์ ํธ๋ ์ด์ด์ ์งํํ ์ ์๋๋ก** ์ด๋ค. | |
| ํํฉยท๊ทผ๊ฑฐยท๋ค์ ๋ช ๋ นยทํ๋จ ๊ธฐ์ค์ ํ๊ณณ์ ๋ชจ์๋ค. | |
| - ์ธ์ ๋ณต๊ตฌ ์ ์ฐจ: `../../CLAUDE.md` (๋ณผ๋ฅจ ๋ฃจํธ) ๋๋ `session-recovery.md` | |
| - ํ์ต ์ด๋ ฅยท์ค์ ๊ทผ๊ฑฐ: `training-log.md` | |
| - ์ฌ์ฌ ์ง์ ๊ณผ ๋์: `review-2026-08-10-methodology.md` | |
| --- | |
| ## 0. ์ด ์ฐ๊ตฌ๊ฐ ์ ์ฆํ๋ ค๋ ๊ฒ | |
| > **HAWK๋ ์ ์ ๋ฐฐ๊ฒฝ์ ๋ณ๋ ํ์ต ๋์์ผ๋ก ๋์ง ์๋๋ค. ๋ฐฐ๊ฒฝ ์ ์ฉ ์คํธ๋ฆผ์ ์ถ๊ฐํ๊ณ | |
| > ์ฅ๋ฉด ์ธ์ด๋ก ๊ฐ๋ ํ๋ฉด, ๋ฐฐ๊ฒฝ ๋งฅ๋ฝ์ด ์ค์ํ ์ด์์์ ์ดํด ์ฑ๋ฅ์ด ํฅ์๋๋ค.** | |
| ์ฆ๋ช ํด์ผ ํ๋ ๊ฒ์ **์ธ ๋จ๊ณ**์ด๋ฉฐ, ๋ค๋ก ๊ฐ์๋ก ์ด๋ ต๋ค. | |
| | ๋จ๊ณ | ์ฃผ์ฅ | ๋ฐ์ฆ๋๋ ์กฐ๊ฑด | | |
| |---|---|---| | |
| | S1 | ๋ฐฐ๊ฒฝ ์คํธ๋ฆผ์ ์ถ๊ฐํ๋ฉด ์ฑ๋ฅ์ด ์ค๋ฅธ๋ค | `flow` โ `zero` | | |
| | S2 | ๊ทธ ํฅ์์ด **์ฉ๋์ด ์๋๋ผ ๋ฐฐ๊ฒฝ ๋ด์ฉ** ๋๋ฌธ์ด๋ค | `flow` โ `random_mask` | | |
| | S3 | ๊ทธ ํฅ์์ด **์๋ณด ๋ถํด** ๋๋ฌธ์ด๋ค (๋จ์ ์ถ๊ฐ๊ฐ ์๋๋ผ) | `flow` โ `duplicate` | | |
| S1๋ง ์ฑ๋ฆฝํ๊ณ S2๊ฐ ๊นจ์ง๋ฉด "๋ธ๋์น๋ฅผ ๋๋ฆฌ๋ฉด ์ข๋ค"๋ ํํ ๊ฒฐ๊ณผ๋ก ์ถ์๋๋ค. | |
| S2๊น์ง ์ฑ๋ฆฝํ๊ณ S3๊ฐ ๊นจ์ง๋ฉด "๋ฐฐ๊ฒฝ ์ ๋ณด๋ฅผ ๋ฐ๋ก ์ฃผ๋ฉด ์ข๋ค"๊น์ง๋ ์ฃผ์ฅํ ์ ์์ผ๋ | |
| "ํ์๊ฐ ๋ณด์กด ์๋ณด ๋ถํ "(C1)์ ๊ณ ์ ์ฑ์ ํฌ๊ธฐํด์ผ ํ๋ค. | |
| **์ค๊ณ ์์น**: ๊ฐ์ค์ด ์ฐธ์ด๋ผ๋ฉด ๋๋ฌ๋๋๋ก ์ต๋ํ ์ ๋ฆฌํ ์กฐ๊ฑด์ ๋ง๋ค๋, ๊ฑฐ์ง์ผ ๊ฒฝ์ฐ์ | |
| ๋ฌด์์ ๋ณด๊ณ ํ ์ง๋ ๋ฏธ๋ฆฌ ์ ํด ๋๋ค. ์ด๋ ์ชฝ์ด ๋์ค๋ ์ธ ์ ์๋ ๋ ผ๋ฌธ์ด ๋๋๋ก ํ๋ค. | |
| --- | |
| ## 1. ํ์ฌ ์งํ ์ค โ โ ํต์ ๊ตฐ 4-arm | |
| **๋ชฉ์ **: S1ยทS2ยทS3๋ฅผ ํ ๋ฒ์ ํ์ ํ๋ค. ์ด ์คํ์ด ๋ ผ๋ฌธ์ ์์ฌ๋ฅผ ๊ฐ๋ฅธ๋ค. | |
| ```bash | |
| cd $CERBERUS_ROOT/hawk | |
| bash scripts/run_ablation_arms.sh # flow โ random_mask โ duplicate โ zero | |
| ``` | |
| - arm๋น 40 epoch(=400k ์ํ), ์ฝ 1.6์ผ. ์ ์ฒด ์ฝ 6.4์ผ | |
| - ๋ค arm์ **์ํคํ ์ฒยทํ๋ผ๋ฏธํฐ ์ยท์๊ฐ ํ ํฐ ์๊ฐ ๋์ผ**ํ๊ณ ์ ์ ์คํธ๋ฆผ์ *๋ด์ฉ*๋ง ๋ค๋ฅด๋ค | |
| - ์ฌ๊ฐ ๊ฐ๋ฅ: ๋๊ธด ๋ค ๊ฐ์ ๋ช ๋ น์ ๋ค์ ์คํํ๋ฉด `train_run.sh`๊ฐ arm๋ณ๋ก ์ด์ด๋ฐ๋๋ค | |
| - ์งํ ํ์ธ: `grep -c "Averaged stats" $CERBERUS_ROOT/runs/abl_<arm>/train.log` | |
| **์ฃผ์ โ ์ด ์คํ์ด ๋๋ ๋์ ํ์ต ๊ฒฝ๋ก ์ฝ๋๋ฅผ ์์ ํ์ง ๋ง ๊ฒ.** arm๋ง๋ค ๋ค๋ฅธ ์ฝ๋๋ก | |
| ํ์ต๋๋ฉด ํต์ ๊ฐ ๊นจ์ง๋ค(์ค์ ๋ก ํ ๋ฒ ๋ฐ์ํด ์ฌ์์ํ๋ค). ํ๊ฐยท๋ฌธ์ยท๋ถ์ ์ฝ๋๋ ๋ฌด๊ดํ๋ค. | |
| **๋๋๋ฉด ํ ์ผ** | |
| ```bash | |
| for a in flow random_mask duplicate zero; do | |
| $CERBERUS_PY scripts/evaluate.py --ckpt $CERBERUS_ROOT/runs/abl_$a/main/checkpoint_39.pth \ | |
| --out experiments/out/eval_abl_$a.json --judge gemini-2.5-flash | |
| done | |
| $CERBERUS_PY scripts/evaluate.py --compare | |
| ``` | |
| --- | |
| ## 2. ๋ค์ ์์ (โ ์๋ฃ ํ) | |
| ์ฐ์ ์์๋ **"์ด๋ค ์ง๋ฌธ์ ๋ตํ์ง ๋ชปํ๋ฉด ๋ ผ๋ฌธ์ด ๋งํ๋๊ฐ"** ๊ธฐ์ค์ด๋ค. | |
| ### โก ์๋ 3ํ โ 3.2์ผ ยท ์ต์ฐ์ | |
| ๋ฐฐ๊ฒฝ ์คํธ๋ฆผ์ ๊ธฐ๋ ์ด๋์ ์ด ๋ฒค์น๋งํฌ์์ ์์์ ๋์งธ ์๋ฆฌ ๋์ญ์ด๋ค. ๋จ์ผ ์คํ | |
| ์ ์ถ์ ์ผ๋ก๋ "๋ฐ ๊ฐ ๋ ธ์ด์ฆ์ ๊ตฌ๋ณ๋์ง ์๋๋ค"๋ ํ ๋ฌธ์ฅ์ ๋ฌด๋์ง๋ค. ์ฃผ์ 2๊ฐ arm | |
| (`flow`, ๊ฐ์ฅ ๊ฐํ ํต์ ๊ตฐ)์ ์๋ 3๊ฐ๋ฅผ ๋๋ ค ํ๊ท ยฑํ์คํธ์ฐจ์ ๋ถํธ์คํธ๋ฉ CI๋ฅผ ๋ณด๊ณ ํ๋ค. | |
| ```bash | |
| # seed ๋ config ์ run.seed ๋ฅผ --options ๋ก ๋ฎ์ด์ด๋ค | |
| for s in 43 44; do | |
| bash scripts/train_run.sh configs/train_configs/ablation/stage2_flow.yaml abl_flow_s$s 0,1 2 | |
| done | |
| ``` | |
| โป `run.seed` ์ค๋ฒ๋ผ์ด๋๋ฅผ `train_run.sh`์ `OPTS`์ ์ถ๊ฐํด์ผ ํ๋ค(๋ฏธ๊ตฌํ). | |
| ### โข 5๋ฒ์งธ arm โ ๊ณ ์น `L_dis` โ 1.6์ผ | |
| **๋ตํ๋ ์ง๋ฌธ**: "์ ๋๋ก ์๋ํ๋ ๋ถ๋ฆฌ ๋ชฉ์ ํจ์๊ฐ ํ๋ฅ ์ฑ๋ฅ์ ๋ฐ๊พธ๋๊ฐ." | |
| ํ์ฌ `L_dis`๋ ํดํ ๊ณ ์ ์ ์ ์์ด ๊ธฐ์ธ๊ธฐ๊ฐ 0์ด๋ค(ยง4 ์ฐธ์กฐ). ๊ณ ์ณ์ ์ฌ์คํํ๋ ค๋ฉด | |
| Stage-1๋ถํฐ ๋ค์ ํด์ผ ํ ๊ฒ ๊ฐ์ง๋ง, **`encoder_1`์ด ๊ณ๊ฐ์ง๋ผ ๊ทธ๋ด ํ์๊ฐ ์๋ค** โ | |
| `projection.py`์์ `decoder_2`๋ `encoder_0`์ ์ถ๋ ฅ์ ๋ฐ์ผ๋ฏ๋ก, `encoder_1`๋ง | |
| ์ฌ์ด๊ธฐํํ๋ฉด LLM ๊ฒฝ๋ก๊ฐ ์์๋์ง ์๋๋ค. | |
| ``` | |
| 1. L_dis ์ฌ์ ์: ๋ฐ์๊ด(cosโโ1) โ ํ์๊ด(|cos|โ0) | |
| + ๋ฐฐ์น ์ค์ฌํ, ์ํ๋ณ ์ฝ์ฌ์ธ(.view(1,-1) ์ ๊ฑฐ), ๋ถ์ฐ ํํ(VICReg์ hinge) | |
| 2. checkpoint_106 ๋ก๋ ํ encoder_1 ๋ง ์ฌ์ด๊ธฐํ | |
| 3. Stage-2 40 epoch (๋ค๋ฅธ arm๊ณผ ๋์ผ ์์ฐ) | |
| ``` | |
| **ํ๊ณ**: Stage-2๋ 400k ์ํ์ด๋ผ ๋ชฉ์ ํจ์๊ฐ ์์ฉํ ๊ธฐํ๊ฐ Stage-1(1.6M)๋ณด๋ค ์ ๋ค. | |
| "Stage-1๋ถํฐ ๊ณ ์ณ ํ์ตํ๋ค๋ฉด ์ด๋ ์์ง"๋ ๋ตํ์ง ๋ชปํ๋ฉฐ, ์ด๋ ํ๊ณ๋ก ๋ช ์ํ๋ค. | |
| #### โข์ด ๋์ด๋ฆฌ๋ ๊ฒ โ ๋ถ๋ก์ผ๋ก ๋ด๋ฆฐ ์คํ๋ค์ ๋ถํ ์กฐ๊ฑด | |
| **E1ยทE3๋ ํ๊ธฐ๋ ๊ฒ์ด ์๋๋ผ ๋ณด๋ฅ๋ ๊ฒ์ด๋ค.** ๋ ์คํ์ ์ ์ด์ `L_dis`(๋ฐฉํฅ์ฑ ๋ถ๋ฆฌ | |
| ๋ชฉ์ ํจ์)๋ฅผ ์งํฑํ๋ ค๊ณ ์ค๊ณ๋์๊ณ , ๊ทธ ๋ชฉ์ ํจ์๋ฅผ ๊ธฐ์ฌ์์ ๋ด๋ฆฌ๋ฉด์ ํจ๊ป ๋ถ๋ก์ผ๋ก ๊ฐ๋ค. | |
| ๋ฐ๋ผ์ โข์์ ๊ณ ์น ๋ชฉ์ ํจ์๊ฐ ํจ๊ณผ๋ฅผ ๋ณด์ด๋ฉด **๋ ์คํ์ด ๋ค์ ๋ณธ๋ฌธ ์๋ฆฌ๋ฅผ ์๊ตฌํ๋ค.** | |
| ๊ทธ ํ๋จ์ ๋์ค์ ์ฌ๊ตฌ์ฑํ์ง ์์๋ ๋๋๋ก ์์กด๊ด๊ณ๋ฅผ ์ฌ๊ธฐ ๋จ๊ธด๋ค. | |
| | ์คํ | ์๋ ๋ชฉ์ | ์ง๊ธ ์์น | ๋์ด์๋๋ ์กฐ๊ฑด | | |
| |---|---|---|---| | |
| | **E1** (ํํ ์์ค ์ง๋จ) | `L_dis`๊ฐ ์ค์ ๋ก ํํ์ ๋ถ๋ฆฌํ๋์ง CDSยทCKAยท์ํธ์ ๋ณด๋์ผ๋ก ์ธก์ | Appendix D | โข์์ ๋ชฉ์ ํจ์๊ฐ ํดํํ์ง ์๊ณ , ๋ถ๋ฆฌ๋๊ฐ ์ค์ ๋ก ๋ณํ ๋ | | |
| | **E3** (๋ถ๋ฆฌ ๋ชฉ์ ํจ์ ๊ฒ์ ) | ์์ค *๋ฐฉํฅ*(+1 vs โ1)์ด ๋ถ๋ฆฌ๋ฅผ ์ผ๊ธฐํ๋ ์ธ๊ณผ ์์ธ์์ ํต์ ์คํ์ผ๋ก ์ ์ฆ | Appendix E | ๋์. ๋จ ์ถ์ด "๋ฐฉํฅ ๋น๊ต"๊ฐ ์๋๋ผ **"ํดํํ์ง ์๋ ๋ชฉ์ ํจ์ vs ์์"** ์ผ๋ก ์ด๋ฏธ ๋ฐ๋์๋ค | | |
| | **CDS** | ๋ถ๋ฆฌ๋๋ฅผ ์ฌ๋ ๋จ์ผ ์ค์นผ๋ผ | Appendix C | ๋ถํธ ๋ฌธ์ (์๋)๋ฅผ ๋จผ์ ๊ณ ์ณ์ผ ํจ | | |
| **๋์ด๋ฆด ๋ ๋ฐ๋์ ํจ๊ป ๊ณ ์ณ์ผ ํ๋ ๊ฒ ๋ ๊ฐ์ง.** ๊ทธ๋ฅ ๋ถ๋ก์์ ๋๋ก ๊บผ๋ด๋ฉด ์ ๋๋ค. | |
| 1. **CDS์ ๋ถํธ ๋ถ๋ณ์ฑ.** linear CKA๋ Gram ํ๋ ฌ ๊ธฐ๋ฐ์ด๋ผ ๋ถํธ์ ๋ถ๋ณํ๋ฏ๋ก, | |
| `z_b = โcยทz_m`์ธ ์ํ์์ Redundancy = 1์ด ๋์ด CDS = 0์ด ๋๋ค. ์ฆ ๋ฐ์๊ด์ ์งํฅํ๋ | |
| ๋ชฉ์ ํจ์์ ์ด ์งํ๋ ๋ฐ๋ ๋ฐฉํฅ์ ๊ฐ๋ฆฌํจ๋ค. โข์ด ๋ชฉ์ ํจ์๋ฅผ **ํ์๊ด**(`cos โ 0`)์ผ๋ก | |
| ๋ฐ๊พธ๋ฉด ์ด ๋ชจ์์ ์๋์ผ๋ก ํด์๋์ง๋ง, ๊ทธ ์ฌ์ค์ ํ์ธํ๊ณ ยง4.2์ ํ๊ณ ์์ ์ ๊ฐฑ์ ํด์ผ ํ๋ค. | |
| 2. **Coverage์ ๊ธฐ์ค์ถ.** ๊ธฐ์ค์ด `z_a`์ธ๋ฐ `z_a`๋ `L_sim`์ผ๋ก ํ์ต๋๋ฏ๋ก, ๋ชฉ์ ํจ์๊ฐ | |
| ๋ค๋ฅธ ๊ตฌ์ฑ ๊ฐ ๋น๊ต์์ ์[ๅฐบ]๊ฐ ํจ๊ป ์์ง์ธ๋ค. ํ์ต์์ ์์ ๋ก์ด ๊ณ ์ ํํ์ ๊ธฐ์ค์ผ๋ก | |
| ์จ์ผ ํ๋ค(`complementary_disentanglement_score(..., reference=...)` ์ธ์๋ก ์ด๋ฏธ ์ง์). | |
| **๋์ด์๋์ง ์๋ ๊ฒฝ์ฐ์๋ ๋จ๋ ๊ฐ์น.** โข์ด ์์ฑ์ผ๋ก ๋์ค๋ฉด E1ยทE3๋ ๋ณธ๋ฌธ์ผ๋ก ์ค์ง ์์ง๋ง, | |
| "์ค๊ณํ๊ณ ยท ํดํํ๊ณ ยท ๊ณ ์ณ๋ ๋ฌ๋ผ์ง์ง ์์๋ค"๋ 3๋จ ๊ธฐ๋ก์ด ์์ฑ๋๋ค. ์ด๋ ํ์ ์ฐ๊ตฌ๊ฐ ๊ฐ์ | |
| ์ค๊ณ๋ฅผ ๋ฐ๋ณตํ์ง ์๊ฒ ํ๋ ์ ๋ณด์ด๋ฉฐ, ๋ถ๋ก์ ๊ทธ๋๋ก ๋๋ฉด ๋๋ค. **๋ ๊ฒฝ์ฐ ๋ชจ๋ ์ญ์ ํ์ง ๋ง ๊ฒ.** | |
| --- | |
| ## 2.5 ๋๋ฉ์ธ ๊ตฌ์กฐ โ ์ธก์ ์ผ๋ก ๋๋ฌ๋ ๊ฒ๊ณผ ๊ทธ๊ฒ์ด ๋ฐ๊พธ๋ ์ค๊ณ | |
| 2026-08-11, heldout 471๊ฑด์ **์ ๋ต ์ค๋ช **์ ํ์ ํด(์ ์ ์ฅ๋ฉด ์กฐ๊ฑด์ด ์์ธ ์ค๋ช ์ ์ผ๋ถ์ธ๊ฐ) | |
| ๋๋ฉ์ธ๋ณ ๋ถํฌ๋ฅผ ์ป์๋ค. ๊ฒฐ๊ณผ๊ฐ ์คํ ์ค๊ณ๋ฅผ ๋ฐ๊พผ๋ค. | |
| | ๋ฐ์ดํฐ์ | n(heldout) | causal | ๋ง์คํฌ ๋น์จ | ์นด๋ฉ๋ผ | ์ ์ฒด ๊ท๋ชจ | | |
| |---|---|---|---|---|---| | |
| | DoTA | 296 | **43%** | 0.449 | ์๊ธฐ์ด๋ โ **๋ง์คํฌ ํดํ** | 4,883 | | |
| | UBnormal | 32 | **22%** | 0.039 | ๊ณ ์ โ ๋ง์คํฌ ์ ์ | 543 | | |
| | UCF-Crime | 112 | 9% | 0.064 | ๊ณ ์ | 1,854 | | |
| | ShanghaiTech | 24 | **0%** | 0.067 | ๊ณ ์ | 437 | | |
| | Ped1 / Ped2 / Avenue | 7 | **0%** | ~0.15 | ๊ณ ์ | 135 | | |
| ### ์ด๊ฒ์ด A(๋ฐ์ดํฐ ๊ฒฐํจ)๊ฐ ์๋๋ผ B(๋๋ฉ์ธ ์ฑ์ง)์ธ ๊ทผ๊ฑฐ | |
| UCF-Crime์ ์ค๋ช ์ **์ค์ 176์ด์ **๋ก DoTA(36์ด์ )์ ์ฝ 5๋ฐฐ์ธ๋ฐ causal์ 9%๋ฟ์ด๋ค. ๊ธธ์ด | |
| ๋ฌธ์ ๊ฐ ์๋๋ค. ์ ๋ยทํญํยท๋ฐฉํ์ ์์ธ์ ํ๊ฒฝ์ด ์๋๋ผ **ํ์**๋ค. ShanghaiTech์ ์ด์ ์ค๋ช ๋ | |
| "๊ด์ฅ์์ ํ ์ฌ๋์ด ๋ค๋ฅธ ๋ณดํ์ ์ง๋ก๋ก ๊ฐ์๊ธฐ ํ์ด ์ถฉ๋์ ์ผ๊ธฐ"์ฒ๋ผ ์ฅ์๊ฐ *์ด๋์*์ผ ๋ฟ | |
| *์*๊ฐ ์๋๋ค. ๋ฐ๋ผ์ **๊ณ ์ ๊ฐ์ ์นด๋ฉ๋ผ์์ ์ด์์ ํ์์ ์ด๊ณ , ์ฅ๋ฉด์ ์ค์ ๋ก ๋ฐฐ๊ฒฝ์ด๋ค.** | |
| ๋ ผ๋ฌธ์ ์ ์ฉ ๋ฒ์๋ฅผ "๊ฐ์ ์์ ์ผ๋ฐ"์ด ์๋๋ผ **"์ฅ๋ฉด ์กฐ๊ฑด์ด ์ํ๋๋ฅผ ๊ท์ ํ๋ ๋๋ฉ์ธ"** | |
| ์ผ๋ก ์ขํ์ผ ํ๋ค. ์ด๋ ์ ์งํ ์ถ์์ด๊ณ ๋ฐฉ์ด ๊ฐ๋ฅํ๋ค. | |
| ### ์ด๊ฒ์ด ๋ง๋๋ 3-ํจํด ๊ฒ์ โ ์ธ ๋์ ์ค๋ช ์ ๋์์ ๊ฐ๋ฅธ๋ค | |
| ์ด๋์ด ์ด๋์ ๋ํ๋๋์ง๊ฐ ์ธ ๊ฐ์ค์ ๊ตฌ๋ณํ๋ค. ๊ณต๋ณ๋(causal ๋น์จยท๋ง์คํฌ ํ์ง)์ด **๊ฒฐ๊ณผ๋ฅผ | |
| ๋ณด๊ธฐ ์ ์ ์ธก์ ๋์ด ์๋ค**๋ ์ ์ด ํต์ฌ์ด๋ค. | |
| | ๋๋ฉ์ธ | causal | ๋ง์คํฌ | ์ฉ๋ ๊ฐ์ค | ๋ง์คํน ์ ๊ทํ ๊ฐ์ค | **๋ณธ ์ฐ๊ตฌ ๊ฐ์ค** | | |
| |---|---|---|---|---|---| | |
| | UBnormal | 22% | ์ ์ | ์ด๋ ์์ | ์ด๋ ์์(๋ง์คํฌ ๋น์จ 0.039) | **์ด๋ ์์** | | |
| | DoTA | 43% | ํดํ | ์ด๋ ์์ | ์ด๋ ํผ(๋น์จ 0.449) | **์ด๋ ๊ฐ์** | | |
| | ShanghaiTechยทPed | 0% | ์ ์ | ์ด๋ ์์ | ์ด๋ ์ค๊ฐ | **์ด๋ ์์** | | |
| | UCF-Crime | 9% | ์ ์ | ์ด๋ ์์ | ์ด๋ ์์ | ์ด๋ ์์ | | |
| ์ฉ๋ ๊ฐ์ค์ **๊ท ์ผํ** ์ด๋์ ์์ธกํ๊ณ , ๋ง์คํน ์ ๊ทํ ๊ฐ์ค์ **๋ง์คํฌ ๋น์จ**์ ๋ฐ๋ผ๊ฐ๋ฉฐ, | |
| ๋ณธ ์ฐ๊ตฌ ๊ฐ์ค๋ง์ด **UBnormal ์์ / DoTA ๊ฐ์ / ShanghaiTech ์์**์ ๋น๋จ์กฐ ํจํด์ ์์ธกํ๋ค. | |
| ์ด ํจํด์ ์ฉ๋์ด๋ ์ ๊ทํ๋ก ๋ง๋ค ์ ์๋ค. | |
| ### ๊ทธ๋์ ๋ฐ๋๋ ๊ฒ ์ธ ๊ฐ์ง | |
| 1. ~~**โฃ ego-motion ๋ณด์ ์ ํต์ฌ ์คํ์ผ๋ก ์น๊ฒฉ.**~~ โ **์ค์ธก์ผ๋ก ๊ธฐ๊ฐ(โฃ ํญ๋ชฉ ์ฐธ์กฐ).** | |
| 2D ์ ๋ ฌ๋ก๋ DoTA ์ ๋ง์คํฌ๊ฐ ์ค์ง ์๋๋ค(0.383 โ 0.398, ์ ๋ ฌ ์คํจ 0/320). ์ ์ง ์ฃผํ์ | |
| ํ๋ก์ฐ๋ ๊น์ด์ ๋ฐ๋ผ ๋ฌ๋ผ์ง๋ 3D ์์ฐจ์ด๋ฏ๋ก 2D ๋ณํ์ผ๋ก ์ ๊ฑฐํ ์ ์๋ค. ๋ฐ๋ผ์ DoTA ์ | |
| ์ด๋ ๊ฐ์๋ ๋ฐ์ ์๋จ ์์ด **์ ์ฉ ๋ฒ์์ ํ๊ณ๋ก ๋ณด๊ณ **ํ๋ค. | |
| 2. **UBnormal์ด ๊ฐ์ฅ ๊นจ๋ํ ๊ฒ์ ๋ฌด๋.** ๊ณ ์ ์นด๋ฉ๋ผ + ๋ฐฐ๊ฒฝ ์ธ๊ณผ 22%๋ก ego-motion ๊ต๋์ด | |
| ์๋ค. ๋จ **๋ ๊ฐ์ง ํ๊ณ๋ฅผ ๋ช ์ํด์ผ ํ๋ค** โ (i) UBnormal์ **ํฉ์ฑ ์์**์ด๋ฏ๋ก ๊ฐ์ฅ ๊นจ๋ํ | |
| ์ฆ๊ฑฐ๊ฐ ํฉ์ฑ ๋ฐ์ดํฐ์์ ๋์จ๋ค๋ ์ , (ii) heldout ๋ด causal ํด๋ฆฝ์ด 7๊ฑด๋ฟ์ด๋ผ ์ ๋ ๊ฒ์ ์๋ | |
| ํ๋ณธ์ด ๋ถ์กฑํ๋ค(์ ์ฒด 543๊ฑด ์ค ๋๋ถ๋ถ์ด ํ์ต ๋ถํ ). ์ ๋์ DoTA๊ฐ, ๊ธฐ์ ์์๋ UBnormal์ด | |
| ๋ด๋นํ๋ ๋ถ์ ์ผ๋ก ๋ณด๊ณ ํ๋ค. | |
| 3. **์ฃผ ์ข ์ ์ ๋๋ฉ์ธ๋ณ๋ก.** ํ๋ง ์์น๋ DoTA 62.8% ํธ์ค์ด๋ผ ์ฌ์ค์ ๋์์บ ์ฑ๋ฅ์ด๋ค | |
| (Section 4.8 ์ฌ์ ๋ฑ๋ก ์๋ฃ). | |
| ### ํ์ ๋ฐฉ์์ ํ ์คํธ๋ก ๋ฐ๊พผ ์ด์ | |
| ๊ธฐ์กด ํ๋กํ ์ฝ(๋ง์คํน ์์ โ ์๋ณธ ์์ 2๋จ๊ณ)์ ์ฌ๋โLLM ์ผ์น๋๋ ฮบ = 0.383์ด์๋ค. ์์ธ์ | |
| **๋ ํ์ ์๊ฐ ์๋ก ๋ค๋ฅธ ์ ๋ณด๋ฅผ ๋ดค๋ค**๋ ๋ฐ ์๋ค โ ์ฌ๋์ ์ ๊ฒฝ์ด ์ง์์ง ์ ์ ๋ณด ์์์, LLM์ | |
| ํ๋ ์์ ๋ดค๋ค. ์ ๋ต ์ค๋ช ํ ์คํธ๋ฅผ ํ์ ํ๋ฉด ๋์ด ๊ฐ์ ๊ฒ์ ๋ณด๊ณ , ๋ฌด์๋ณด๋ค **์ฑ์ ๊ธฐ์ค๊ณผ | |
| ์ผ์นํ๋ค**: ์ฐ๋ฆฌ๋ ์์ฑ๋ฌธ์ ์ ๋ต ์ค๋ช ๊ณผ ๋น๊ตํด ์ฑ์ ํ๋ฏ๋ก, "์ ๋ต์ด ์ฅ๋ฉด ์กฐ๊ฑด์ ์์ธ์ผ๋ก | |
| ๋๋๊ฐ"๊ฐ ์ด๋์ด ๋ํ๋ ์ ์๋ ์กฐ๊ฑด์ ์ ํํ ๊ท์ ํ๋ค. | |
| ์์ฑ๋ฌผ: `experiments/bg_critical_benchmark/labels_scene_causal_llm.json` | |
| ์ฌํ: `$CERBERUS_PY scripts/label_scene_causal.py --anno <heldout> --out <๊ฒฝ๋ก>` (471๊ฑด 82์ด) | |
| ๋จ์ ์ฌ๋ ์์ : `--sample 80 --dry-run`์ผ๋ก ๋ฝ์ ํ๋ณธ์ ์ฌ๋์ด ๋ผ๋ฒจํ๊ณ ฮบ ๊ณ์ฐ. | |
| ### โฃ ego-motion ๋ณด์ arm โ **์ทจ์ (์ค์ธก์ผ๋ก ๊ธฐ๊ฐ, 2026-08-13)** | |
| ยง2.5์์ ์ด ์คํ์ ํต์ฌ์ผ๋ก ์น๊ฒฉํ์ผ๋, **์คํ ์ ์ ํจ๊ณผ๋ฅผ ์ธก์ ํ ๊ฒฐ๊ณผ ์๋ํ์ง ์๋๋ค.** | |
| ํ์ต ์์ด ํ์ธํ ์ ์๋ ๊ฒ์ด์๊ณ , ํ์ธํด์ 2์ผ์ ์๊ผ๋ค. | |
| ์ธก์ : ๋ฐ์ดํฐ์ ๋น 40 ํด๋ฆฝ ร 8 ํ๋ ์. ์ ํ๋ ์์ ํน์ง์ ๋์ + RANSAC ์ดํ์ธ์ผ๋ก ํ | |
| ํ๋ ์์ ์ ๋ ฌํ ๋ค ํ๋ก์ฐ๋ฅผ ๋ค์ ๊ณ์ฐ(warp-then-flow). | |
| | ๋ฐ์ดํฐ์ | ๋ณด์ ์ | ์์ชฝ warp(ํต์ ) | ๋ณด์ ํ | ๋ณด๊ฐ ์ํฐํฉํธ | **์ํจ๊ณผ** | 95% CI | | |
| |---|---|---|---|---|---|---| | |
| | DoTA | 0.383 | 0.381 | 0.398 | โ0.002 | **+0.016** | [+0.009, +0.024] | | |
| | UCF-Crime | 0.078 | 0.079 | 0.092 | +0.001 | +0.013 | [โ0.001, +0.027] | | |
| | UBnormal | 0.042 | 0.042 | 0.043 | +0.000 | +0.001 | [โ0.000, +0.001] | | |
| | ShanghaiTech | 0.094 | 0.093 | 0.111 | โ0.001 | +0.018 | [โ0.001, +0.036] | | |
| **ํต์ ์ค๊ณ.** ๋ ํ๋ ์์ **๊ฐ์ ์ถ์ ๋ณํ์ผ๋ก warp** ํ ์กฐ๊ฑด์ ํต์ ๋ก ๋๋ค โ ์๋ ์ด๋์ | |
| ๋ณด์กด๋๊ณ ๋ณด๊ฐ๋ง ์์ชฝ์ ๋์ผํ๊ฒ ๊ฑธ๋ฆฌ๋ฏ๋ก, ์๋ณธ ๋๋น ์ฆ๊ฐ๋ถ์ด ๊ณง ๋ณด๊ฐ ์ํฐํฉํธ๋ค. ์ธก์ | |
| ๊ฒฐ๊ณผ ์ํฐํฉํธ๋ โ0.002~+0.001๋ก **์ฌ์ค์ 0**์ด๋ฉฐ, ๊ด์ธก๋ ์ฆ๊ฐ๋ ๋ณด๊ฐ์ด ์๋๋ค. | |
| *(ํญ๋ฑ ํ๋ ฌ ํต์ ๋ฅผ ๋จผ์ ์๋ํ์ผ๋ ํต์ ๊ฐ ๋์ง ์๋๋ค โ ์ ํํ ํญ๋ฑ์ ์ ์ ํ์ ๋์์ด๋ผ | |
| ๋ณด๊ฐ์ ์์ ๊ฑด๋๋ฐ์ด ์ํฐํฉํธ๊ฐ 0์ผ๋ก ๋์ค๊ณ , ์๋ชป๋ ์์ฌ์ ์ค๋ค. ๊ธฐ๋ก์ผ๋ก ๋จ๊ธด๋ค.)* | |
| **์ ๋ ฌ์ ์ ๋ถ ์ฑ๊ณตํ๋๋ฐ ๋ง์คํฌ๊ฐ ์ค์ง ์์๊ณ , ์คํ๋ ค ์ฌ๋๋ค.** ๊ทธ๋ฆฌ๊ณ ๊ทธ ์์น์ | |
| **๊ณ ์ ์นด๋ฉ๋ผ ๋๋ฉ์ธ์์๋ ๊ฐ์ ํฌ๊ธฐ๋ก ๋ํ๋๋ค**(ShanghaiTech +0.018, DoTA +0.016). | |
| ์ฐธ ํจ๊ณผ๊ฐ 0์ด์ด์ผ ํ๋ ๊ณณ์์ ๊ฐ์ ๊ฐ์ด ๋์จ๋ค๋ ๊ฒ์, ์ด ์ ์ฐจ๊ฐ ์๊ธฐ ์ด๋์ ์ ๊ฑฐํ๋ | |
| ๊ฒ์ด ์๋๋ผ **์ ๋ ฌ ์ค์ฐจ๋ฅผ ์ฃผ์ **ํ๊ณ ์๋ค๋ ๋ป์ด๋ค. | |
| ์์ธ์ ์ถ์ ํ๋ค. ์ถ์ ๋ ๋ณํ์ ์ค์ฌ ์ด๋์ ๊ณ ์ ์นด๋ฉ๋ผ์์ 0.02~0.10px๋ก ์ฌ์ค์ ํญ๋ฑ์ด๊ณ | |
| DoTA๋ง 3.49px๋ค โ **์ถ์ ์์ฒด๋ ์ ํํ๋ค.** ๋ฌธ์ ๋ `estimateAffinePartial2D`๊ฐ ํ์ ยท์ค์ผ์ผ๋ | |
| ์ถ์ ํ๋ค๋ ๋ฐ ์๋ค. ์ค์ฌ์ ๊ฑฐ์ ์ ์์ง์ฌ๋ **๋ฏธ์ธํ ์ค์ผ์ผ ์ค์ฐจ(์: 1.001๋ฐฐ)๊ฐ ํ๋ฉด | |
| ๊ฐ์ฅ์๋ฆฌ๋ฅผ 1px ๊ฐ๊น์ด ๋ฐ์ด** ์ฃผ๋ณ๋ถ๋ฅผ ์ด๊ธ๋๊ฒ ํ๋ค. ์ค์ฌ ์ด๋๋ง ์ฌ๋ ์ด๊ธฐ ์งํ๋ ์ด๋ฅผ | |
| ๋์ณค๋ค. | |
| ๋ฐ๋ผ์ ๊ฒฐ๋ก ์ ์ ์ง๋๋ ๊ทผ๊ฑฐ๊ฐ ๋ฐ๋๋ค. **2D ์์ฌ๋ณํ ์ ๋ ฌ๋ก๋ DoTA ์ ๋ถํ ์ด ๋ณต๊ตฌ๋์ง | |
| ์์ผ๋ฉฐ, ๊ฐ์ ์ ์ฐจ๊ฐ ๋ชจ๋ ๋๋ฉ์ธ์ +0.013~0.018์ ์ ๋ ฌ ์ค์ฐจ๋ฅผ ์ฃผ์ ํ๋ค.** ์ ์ง ์ฃผํ์ | |
| ํ๋ก์ฐ๊ฐ ๊น์ด์ ๋ฐ๋ผ ๋ฌ๋ผ์ง๋ 3D ์์ฐจ๋ผ๋ ํด์์ ์ฌ์ ํ ์ ๋ ฅํ๋, **์ด ์ธก์ ๋ง์ผ๋ก๋ | |
| "์์ฐจ ๋๋ฌธ์ ์ ๊ฑฐ ๋ถ๊ฐ"์ "์ด ์ถ์ ๊ธฐ์ ์ค์ฐจ๊ฐ ์ ๊ฑฐ๋์ ์์"๋ฅผ ๊ตฌ๋ณํ์ง ๋ชปํ๋ค.** | |
| ํธ๋ชจ๊ทธ๋ํผ(8-DOF)๋ ํ๋ฉด์ธ ๋ ธ๋ฉด์ ์ ์ง์ํฌ ์ ์์ผ๋ฏ๋ก ์๋ํด ๋ณผ ๊ฐ์น๊ฐ ์๋ค โ | |
| ๋ค๋ง ๊ทธ๊ฒ๋ ๋ ธ๋ฉด ๋ฐ ๊ตฌ์กฐ๋ฌผ์๋ ๊ฐ์ ๋ฌธ์ ๋ฅผ ๋จ๊ธด๋ค. | |
| **ํ๋ฆฐ ๋ฐฉ๋ฒ๋ ๊ธฐ๋กํ๋ค.** ์ฒ์์๋ ํ๋ก์ฐ ์ฅ์ ์ดํ์ธ์ ์ ํฉํด ๊ทธ ์ฑ๋ถ์ ๋นผ๋ ๋ฐฉ์์ | |
| ์ผ๋๋ฐ, DoTA ๊ฐ 0.383 โ **0.615 ๋ก ์ ํ**๋์๋ค. ํ์์ 62% ๋ ์ด๋ฏธ ์๊ณ๊ฐ ์๋์ธ๋ฐ | |
| ์ ์ฒด ์ฅ์ ์ ํฉ๋ ๋ชจ๋ธ์ด ๊ทธ ์ ์ ์์ญ์๋ ์ด๋์ ์์ธกํ๋ฏ๋ก, ์ฐจ์ด๊ฐ ์์ฐจ๋ก ๋จ์ ์๋ก | |
| ๋ง์คํฌ์ ๋ค์ด๊ฐ๋ค. ์๊ธฐ ์ด๋์ ์ ๊ฑฐํ๋ ๋์ ์ ์ ์์ญ์ ์ธ๊ณต ์ด๋์ ์ฃผ์ ํ๋ ์ ์ด๋ค. | |
| ์ฌํ: `$CERBERUS_PY scripts/measure_ego_motion_effect.py --n 40` | |
| ์์ฑ๋ฌผ: `experiments/bg_critical_benchmark/ego_motion_effect.json` | |
| **์ด๊ฒ์ด ๋ฐ๊พธ๋ ๊ฒ.** ยง2.5์ "โฃ ๊ฐ DoTA ์ ์ด๋ ๊ฐ์๋ฅผ ์๋ฐฑ์์ ๊ธฐ์ ์ฆ๊ฑฐ๋ก ๋ฐ์ ์ํจ๋ค"๋ | |
| ๊ณํ์ ์ฑ๋ฆฝํ์ง ์๋๋ค. DoTA ์์ ์ด๋์ด ์๊ฒ ๋์ค๋๋ผ๋ ์ ๋ ดํ ๋ฐ์ ์๋จ์ด ์์ผ๋ฏ๋ก, | |
| ๋ ผ๋ฌธ์ **์ ์ฉ ๋ฒ์์ ํ๊ณ๋ก ์ ์งํ๊ฒ ๋ณด๊ณ **ํด์ผ ํ๋ค โ ์ด ๋ฐฉ๋ฒ์ ๋ถํ ์ ๊ณ ์ ์นด๋ฉ๋ผ | |
| ๋๋ฉ์ธ์์ ์ ํจํ๊ณ , ์์ฐจ๊ฐ ์ง๋ฐฐํ๋ ์ฃผํ ์์์์๋ 2D ์ ๋ ฌ๋ก ๋ณต๊ตฌ๋์ง ์๋๋ค. | |
| DoTA(์ ์ฒด์ 62%)์์ ์๊ธฐ์ด๋์ด ํ๋ฉด ์ ์ฒด๋ฅผ ๋์ ์ผ๋ก ๋ถ๋ฅํด ์ ์ ์คํธ๋ฆผ์ด ๋น๋ ๋ฌธ์ | |
| (`mask_statistics.json`). ์ ์ญ ํธ๋ชจ๊ทธ๋ํผ ์ถ์ ํ ์์ฐจ ํ๋ก์ฐ๋ก ๋ง์คํฌ๋ฅผ ๋ง๋ ๋ค. | |
| **์ฑ๋ฅ ๊ฐ์ ์ด์ ๋ฐฉ๋ฒ๋ก ๊ธฐ์ฌ**๊ฐ ๋ ์ ์๋ค โ ๋ฐฐ๊ฒฝ์ ๋ ์ ๋ณด๊ฒ ๋ง๋๋ ๋ฐฉํฅ์ด๋ฏ๋ก | |
| ์ฐ๊ตฌ ์ฃผ์ฅ๊ณผ ๊ฐ์ ๋ฐฉํฅ์ด๋ค. | |
| ### โค Stage-1 ์ฌํ์ต โ 2.8์ผ + Stage-2 6.3์ผ | |
| โข์ ์์ ํ. `L_dis`๋ฅผ ๊ณ ์น ์ํ๋ก Stage-1๋ถํฐ 1.6M ์ํ์ ๋ค์ ํ์ตํ๋ค. | |
| โข์์ ์ ์ํ ํจ๊ณผ๊ฐ ๋ณด์์ ๋๋ง ์ ๋นํ๋๋ค. 2 GPU ๊ธฐ์ค `max_epoch`์ 107 โ **133** | |
| ์ผ๋ก ์ฌ๋ ค์ผ ์ํ ์์ฐ(1.6M)์ด ์ ์ง๋๋ค(`iters_per_epoch` 1500, batch 4, 2 GPU). | |
| ### โฅ ์ฃผ ๋น๊ต full-budget run โ 6.3์ผ | |
| Table 1์ ์๋ณธ ๊ณต๊ฐ ์์น์ ๋๋ํ ๋๊ธฐ ์ํด `flow` ๊ตฌ์ฑ์ ์๋ณธ๊ณผ ๊ฐ์ 1.6M ์ํ | |
| (`max_epoch: 160`, batch 2, 2 GPU)๋ก ํ ๋ฒ ๋๋ฆฐ๋ค. โ ์ ๊ฐ์ถ ์์ฐ ๊ฒฐ๊ณผ์๋ ๋ณ๊ฐ๋ค. | |
| --- | |
| ## 3. GPU ์์ด ๋ณํํ ๊ฒ | |
| | ์์ | ์ํ | ๋น๊ณ | | |
| |---|---|---| | |
| | ์ฅ๋ฉด ์ดํ ์ฌํ์จ ์งํ | โณ | **์ฐ๊ตฌ ์ฃผ์ฅ์ ์ง์ ์ฌ๋ ์ ์ผํ ์งํ** โ ยง5 ์ฐธ์กฐ | | |
| | Background-critical ์ฃผ์ 600๊ฑด | โณ | ์ฌ๋ 2์ธ ์ด์ ํ์. `bg_critical_benchmark/annotation_protocol.md` | | |
| | Route B ํฉ์ฑ ํ๋ก๋ธ + ๊ท๋ฌด ์กฐ๊ฑด | โ | `corrected_bsi()` ๊ตฌํ๋จ, ์ค๋ฐ์ดํฐ ์ ์ฉ ๋ฏธ์ | | |
| | ์ฐธ๊ณ ๋ฌธํ [51]โ[55] ์๋ฌธ ๋์กฐ | โณ | ๊ธฐ์ต์ผ๋ก ์์ฑ๋จ โ `improved/07_references.md`์ ํ์ | | |
| | Figure 1 teaser | โณ | ์ค์ ํ๋ ์์ `x` / `Mโx` / `(1โM)โx` 3์ฅ์ด๋ฉด ์ถฉ๋ถ | | |
| --- | |
| ## 4. ํ์ ๋ ์ฌ์ค (๋๋๋ฆฌ์ง ๋ง ๊ฒ) | |
| ์ธก์ ยท๊ฒ์ฆ์ ๊ฑฐ์น ๊ฒ๋ค์ด๋ค. ๋ค์ ๋ ผ์ํ๊ธฐ ์ ์ ๊ทผ๊ฑฐ๋ฅผ ๋จผ์ ๋ณผ ๊ฒ. | |
| **`L_dis`๋ ํ์ต๋ ์ ์ด ์๋ค.** `checkpoint_106` ์ค์ธก: | |
| - `encoder_1.bias` ์ฝ์ฌ์ธ `+0.9988` / `โ0.9993` (๋ชฉํ๊ฐ์ ์ ํํ ๋๋ฌ) | |
| - ๊ฐ์ ๋ชจ๋์ `decoder_2.bias`(์ด ์์ค์ด ์ ๋ฟ๋ ๋์กฐ๊ตฐ) `+0.027` / `+0.023` | |
| - `encoder_1.weight`๋ ์ด๊ธฐํ ๋๋น 0.97~1.01๋ฐฐ โ ์ ๋ ฅ ์ฒ๋ฆฌ๋ถ๋ ์ ์์ง์๊ณ | |
| ์ ๋ ฅ ๋ฌด๊ด bias๋ง 20~40๋ฐฐ ํฝ์ฐฝ | |
| - `cos = ยฑ1`์ ์ฝ์ฌ์ธ์ ์ ๋ฅ์ โ ๊ธฐ์ธ๊ธฐ 0 โ ์ดํ 106 epoch ๋์ ๋ฌด๊ธฐ์ฌ | |
| - ๊ฒฐ๋ก : `t_4 = 0.1`๊ณผ `t_4 = 0`์ด ๋นํธ ๋จ์๋ก ๋์ผํ๋ค. ์ด๋ธ๋ ์ด์ ๋ถํ์ | |
| **CDS๋ `L_dis`์ ์ต์ ์ ์์ 0์ด ๋๋ค.** linear CKA๊ฐ ๋ถํธ ๋ถ๋ณ์ด๋ฏ๋ก | |
| `z_b = โcยทz_m`์์ Redundancy = 1 โ CDS = 0. ์ฆ ๋ชฉ์ ํจ์์ ์ง๋จ ์งํ๊ฐ ์๋ก | |
| ๋ฐ๋๋ฅผ ๊ฐ๋ฆฌํจ๋ค. ๋น์ค๋ณต์ฑ์ด ์๊ตฌํ๋ ๊ฒ์ ๋ฐ์๊ด(โ1)์ด ์๋๋ผ ํ์๊ด(0)์ด๋ค. | |
| **๋ง์คํฌ ๋น์จ์ ๋๋ฉ์ธ ๊ฐ 10๋ฐฐ ์ด์ ์ฐจ์ด ๋๋ค** (์ ์ 7,852 ํด๋ฆฝ, ฯ=0.2): | |
| DoTA 0.449 / Ped2 0.160 / Ped1 0.159 / Avenue 0.147 / ShanghaiTech 0.067 / | |
| UCF-Crime 0.064 / UBnormal 0.039. ๊ณ ์ ์นด๋ฉ๋ผ ๋๋ฉ์ธ์์ ์ ์ ์คํธ๋ฆผ์ ํ๋ ์์ | |
| 84โ96%๋ฅผ ๋ณด์กดํ๋ฏ๋ก ์ธํ ์คํธ๋ฆผ๊ณผ ์ ๋ ฅ์ด ํฌ๊ฒ ๊ฒน์น๋ค โ `duplicate` ํต์ ๊ตฐ์ด ํนํ ์ค์. | |
| **Stage-2์๋ `L_ML`ยท`L_BL`์ด ์๋ค.** ์ธ ์คํธ๋ฆผ์ concatํด LLaMA๋ฅผ 1ํ ํต๊ณผ์ํค๋ฏ๋ก | |
| `loss_motion = loss_background = loss`์ด๋ฉฐ(`video_llama.py:806`), ์คํจ ๋ชฉ์ ์ | |
| `1.2ยทL_VL + 0.1ยทL_sim + 0.1ยทL_dis`๋ค. ๋ฐ๋ผ์ `+L_BL` ์ด๋ธ๋ ์ด์ ํ์ Stage-1 | |
| ์ฌ์ฌ์ ํ์ต์ ์๊ตฌํ๋ค. | |
| **Stage-1์์ `L_BL`์ ์ ์ ์๋ํ๋ค.** ๋ก๊ทธ์ `motionloss 2.6672` vs | |
| `backgroundloss 2.2075`๊ฐ ์๋ก ๋ค๋ฅธ ๊ฐ์ด๋ผ๋ ๊ฒ์ด ์ฆ๊ฑฐ๋ค. ์ฐ๊ตฌ ์ฃผ์ฅ์ ํต์ฌ ๋ถํ์ | |
| ๋ถ๊ดดํ์ง ์์๋ค. | |
| --- | |
| ## 5. ์์ง ์๋ ๊ฒ โ ์ฃผ์ฅ์ ์ง์ ์ฌ๋ ์งํ | |
| ํ์ฌ ์งํ๋ ์ฐ๊ตฌ ์ฃผ์ฅ์ **๊ฐ์ ์ ์ผ๋ก๋ง** ์ฐ๋ค. | |
| - BLEU: ๋ฌธ์ฅ ์ ์ฒด. ๋ฐฐ๊ฒฝ ์์ ์ด ์ข์์ ธ๋ ํฌ์๋๋ค | |
| - BSI: ๋ฐฐ๊ฒฝ์ *๋ฏผ๊ฐํ๊ฐ*์ด์ง *์ ํํ๊ฐ*๊ฐ ์๋๋ค | |
| - `context_critical` ์ ํ๋: ๋ง์๋ ํ๋ ธ๋. ๋ฐฐ๊ฒฝ ์์ ํ์ง์ ์๋๋ค | |
| **์ฅ๋ฉด ์ดํ ์ฌํ์จ(Scene-word Recall)** โ ์ ๋ต ์บก์ ์์ ๋ฝ์ ์ฅ๋ฉด ์ดํ | |
| (`extract_background_entities_sentence`๊ฐ ๋ฝ๋ ๋ฐ๋ก ๊ทธ ๋จ์ด๋ค, `L_BL`์ ํ์ต ๋ชฉํ)๋ฅผ | |
| ๋ชจ๋ธ ์ถ๋ ฅ์ด ์ผ๋ง๋ ๋งํ๋๊ฐ. ์ด๊ฒ์ด ์์ด์ผ *"HAWK๋ ๋ ธ๋ฉด์ด ์ ์๋ค๋ ๊ฑธ ๋งํ์ง ๋ชปํ๋๋ฐ | |
| ์ฐ๋ฆฌ๋ ๋งํ๋ค"* ๋ฅผ ์ซ์๋ก ์ธ ์ ์๋ค. GPU ๋ถํ์. | |
| --- | |
| ## 6. ๊ฒฐ๊ณผ๋ณ ๋์ (๋ฏธ๋ฆฌ ์ ํด ๋๋ค) | |
| | โ ๊ฒฐ๊ณผ | ํด์ | ๋ ผ๋ฌธ ๋ฐฉํฅ | | |
| |---|---|---| | |
| | `flow` > `duplicate` > `random_mask` โ `zero` | S1ยทS2ยทS3 ์ ๋ถ ์ฑ๋ฆฝ | ์์๋๋ก. ์๋ณด ๋ถํด๊ฐ ํต์ฌ ๊ธฐ์ฌ | | |
| | `flow` โ `duplicate` > `random_mask` โ `zero` | S1ยทS2 ์ฑ๋ฆฝ, S3 ์คํจ | C1์ "๋ฐฐ๊ฒฝ ์ ๋ณด์ ๋ช ์์ ๋ถ๋ฆฌ"๋ก ์ถ์. ๋ถํด์ *ํํ*๋ ์ฃผ์ฅํ์ง ์์ | | |
| | `flow` โ `random_mask` | S2 ์คํจ | ์ด๋์ด ์ฉ๋ยท์ ๊ทํ ํจ๊ณผ. ๊ตฌ์กฐ ์ฃผ์ฅ ์ฒ ํ, ์์ฑ ๊ฒฐ๊ณผ๋ก ์ ์งํ๊ฒ ๋ณด๊ณ | | |
| | ์ ๋ถ ๋์ | S1 ์คํจ | ๋ฐฐ๊ฒฝ ์คํธ๋ฆผ ์์ฒด๊ฐ ๋ฌดํจ. โฃ(ego-motion)๋ก ๋ง์คํฌ ํ์ง์ ๋จผ์ ๊ฐ์ ํด ์ฌ์๋ | | |
| ๋ง์ง๋ง ๋ ๊ฒฝ์ฐ๊ฐ ๋์๋ **๋ฒ๋ฆด ์คํ์ด ์๋๋ค** โ "๋ธ๋์น ์ถ๊ฐ๋ ์ฉ๋ ํจ๊ณผ์๋ค"๋ ๊ฒ๋ | |
| ์ด ๊ณ๋ณด์์ ๋ณด๊ณ ํ ๊ฐ์น๊ฐ ์๋ ๊ฒฐ๊ณผ์ด๋ฉฐ, ํต์ ๊ตฐ์ ๊ฐ์ถ ๋๋ถ์ ๊ทธ๋ ๊ฒ ๋งํ ์ ์๋ค. | |
| --- | |
| ## 7. ๋ฐฑ์ ๊ท์ฝ | |
| ํฐ ๋ณ๊ฒฝ ํ์๋ ์์ชฝ ๋ชจ๋ ๋ฐ์ด ๋ค๋ฅธ ์๋ฒ์์ ์ฌํ ๊ฐ๋ฅํ๊ฒ ํ๋ค. | |
| ```bash | |
| # ์ฝ๋ยท๋ฌธ์ยทfigure | |
| git push https://<token>@github.com/jungseoik/hawk.git HEAD:main | |
| # ์ฒดํฌํฌ์ธํธยท๋ก๊ทธ (HF) | |
| $CERBERUS_PY scripts/upload_checkpoint.py --folder <name> --run-dir $CERBERUS_ROOT/runs/<run> --latest | |
| ``` | |
| ํ ํฐ: `$CERBERUS_ROOT/.github_token`, `.hf_token`, `.gemini_token`(ํ์ ์). | |