Download docs/paper/benchmarks.md from kimjunhan/vkgs-sim: direct link, hf CLI and curl.
- Browser
- Download file 16.2 kB
-
https://huggingface.co/kimjunhan/vkgs-sim/resolve/main/docs/paper/benchmarks.md
- Command line
-
hf download hf://kimjunhan/vkgs-sim/docs/paper/benchmarks.md
-
curl -L -o benchmarks.md https://huggingface.co/kimjunhan/vkgs-sim/resolve/main/docs/paper/benchmarks.md
๋ ผ๋ฌธ ๋น๊ตํ ์ด์ โ ์ฃผํ ์ฅ๋ฉด 3DGSยท์๋ฎฌ๋ ์ดํฐ (2026-10-06 ์กฐ์ฌ)
CVPR ์ ์ถ์ ๊ฐ์ ํ ๋น๊ตํ ์ด์. ์์น๋ ๊ฐ ๋ ผ๋ฌธ arXiv ์๋ฌธ ํ(HTML)์์ ์ฎ๊ฒผ๋ค. ์์ฝ ๋๊ตฌ๋ฅผ ๊ฑฐ์ณ ์ฝ์์ผ๋ฏ๋ก ์ ์ถ ์ PDF ํ์ ๋ฐ๋์ ๋์กฐํ ๊ฒ (์กฐ์ฌ ์ค ์ด ์ด๋ฆ์ด ์๋ชป ๋ถ์ ์ฌ๋ก๊ฐ 1๊ฑด ์์๋ค โ ReconDreamer++ 3 m/6 m). '(๋ณต์ฌ: X)' ๋ ๊ทธ ๋ ผ๋ฌธ์ด X ์ ํ๋ฅผ ์ฎ๊ฒจ ์จ ๊ฐ, '(์ฌ์คํ)' ์ ๊ทธ ๋ ผ๋ฌธ ์ ์๊ฐ ๋ค์ ๋๋ฆฐ ๊ฐ์ด๋ค. ๊ฐ์ ๋ชจ๋ธ๋ ํ๋กํ ์ฝ(ํด์๋ยท๋ถํ ยท์นด๋ฉ๋ผยทํด๋ฆฝ ๊ธธ์ดยท๋ง์คํฌ)์ ๋ฐ๋ผ ์ dB ์ฉ ๋ค๋ฅด๋ค โ ์: Street Gaussians ์ฌ๊ตฌ์ฑ PSNR ์ OmniRe ํ์์ 29.08, PVG ํ 4 ์์ 32.18. ๋ค๋ฅธ ํ๋กํ ์ฝ์ ์์น๋ฅผ ํ ์ด์ ์์ง ์๋๋ค.
1. nuScenes โ ์๋ ๊ฒฝ๋ก (๋ณด๊ฐ ์์ )
1a. SplatAD ํ๋กํ ์ฝ โ ์ฐ๋ฆฌ๊ฐ ๋ง์ถ ๊ธฐ์ค (์ถ์ฒ)
SplatAD (arXiv 2411.16816, CVPR'25) ํ 1. 10๊ฐ ์ฅ๋ฉด 0039ยท0054ยท0061ยท0066ยท0104ยท0108ยท0122ยท0176ยท0180ยท0193, 6์บ ์ ํด์๋(1600ร900), ํ ํ๋ ์ ๊ฑธ๋ฌ ํ์ต / ๋๋จธ์ง ํ๊ฐ. ๊ธฐ์ค์ ์ ๋ถ SplatAD ์ ์ ์ฌ์คํ (๊ณต๊ฐ ์ฝ๋ neurad-studio).
| ๋ฐฉ๋ฒ | PSNR | SSIM | LPIPS |
|---|---|---|---|
| UniSim | 22.66 | 0.743 | 0.414 |
| PVG | 24.94 | 0.768 | 0.497 |
| OmniRe | 25.50 | 0.798 | 0.386 |
| Street Gaussians | 25.54 | 0.799 | 0.375 |
| NeuRAD | 26.17 | 0.790 | 0.312 |
| SplatAD | 27.54 | 0.849 | 0.302 |
- 10๊ฐ ์ค 6๊ฐ๊ฐ ์ฑ๊ฐํฌ๋ฅด (0039ยท0054ยท0061ยท0122ยท0193 one-north, 0180 queenstown โ ์ฐ๋ฆฌ ์ธ๋ฑ์ค์ ์์), 4๊ฐ(0066ยท0104ยท0108ยท0176)๋ ๋ณด์คํด. โ ๋ณด์คํด 4๊ฐ๋ฅผ ์ธ๋ฑ์ค์ ๋ํด 10๊ฐ ์ ์ฒด๋ฅผ ๋๋ฆฌ๊ฑฐ๋, '์ฑ๊ฐํฌ๋ฅด 6๊ฐ ๋ถ๋ถ์งํฉ' ์ผ๋ก ๋ฐ๋ก ํ๊ธฐ (๊ธฐ์ค์ ๋ ๊ฐ์ 6๊ฐ๋ก ๋ค์ ๊ณ์ฐํด์ผ ํจ โ ๋ ผ๋ฌธ์ ์ฅ๋ฉด๋ณ ์์น๋ฅผ ์ฃผ์ง ์์, ํ์ธ ํ์).
- 'ํ๋ ์' ์ด 2 Hz ํคํ๋ ์์ธ์ง 12 Hz sweep ํฌํจ์ธ์ง ๋ ผ๋ฌธ์ ๋ช ์ ์์ โ ํ์ธ ํ์ (๋ถํ ๋์ด๋๊ฐ ๋ฌ๋ผ์ง๋ค).
1b. ๊ทธ ๋ฐ์ nuScenes ํ๋กํ ์ฝ (์ฐธ๊ณ โ ์ฐ๋ฆฌ์ ์ง์ ๋น๊ต ๋ถ๊ฐ)
| ์ถ์ฒ | ์ค์ | ๋ฐฉ๋ฒ: PSNR / SSIM / LPIPS |
|---|---|---|
| DrivingGaussian (2312.07920) ํ 1 | 6๊ฐ ์ฅ๋ฉด(์ด๋ฆ ๋น๊ณต๊ฐ), 6์บ 1600ร900, 5์ฅ๋ง๋ค ํ๊ฐ | 3D-GS 26.08/.717/.298 ยท EmerNeRF 26.75/.760/.311 ยท S-NeRF 25.43/.730/.302 ยท DrivingGaussian-L 28.74/.865/.237 |
| NeuRAD (2311.15260) ํ 1 (S-NeRF ํ๋กํ ์ฝ) | 0164ยท0209ยท0359ยท0916, 6์บ , 40 ์ํ ์ค 4์ฅ๋ง๋ค ํ๊ฐ | Mip-NeRF360* 24.37/.795/.240 ยท S-NeRF 26.21/.831/.228 ยท NeuRAD 26.99/.815/.225 ยท NeuRAD-2x 27.13/.820/.205 |
| ReconDrive (2603.07552, 2026) ํ 1 | ๊ฒ์ฆ 14์ฅ๋ฉด, 6์บ 518ร280, 0.5 s ๋ง๋ค 1์ฅ๋ง ํ์ต(ํฌ์) | ์ ์์ : Street GS 22.98/.696/.295 ยท PVG 23.48/.692/.290 ยท OmniRe 23.01/.689/.276 ยท ReconDrive(ํผ๋ํฌ์๋) 23.99/.723/.259 |
| Nighttime PBR-GS (2602.13549) ํ II | ์ผ๊ฐ 11์ฅ๋ฉด, 8์ฅ๋ง๋ค ํ๊ฐ | ์ ์์ : 3DGS 26.4 ยท Street GS 26.9 ยท OmniRe 26.9 ยท ์ ์ 27.7 |
| HUGSIM (2412.01718) ํ V | 2๊ฐ ์ฅ๋ฉด(๋น๊ณต๊ฐ), 5์ฅ๋ง๋ค ์ ์ธ | HUGSIM 25.36/.776/.171 (KID .062) ยท NeuRAD 24.49/.692/.287 (KID .082) |
| ReconDreamer++ (2503.18438) ํ 2 | ์๋ ๊ฒฝ๋ก | Street GS 34.91/.9528/.1185 ยท ReconDreamer 33.85 ยท ReconDreamer++ 34.69/.9533/.1161 |
์์ฒด ๋ ผ๋ฌธ์ nuScenes ์์น๊ฐ ์๋ ๋ชจ๋ธ: OmniRe(์ ์ฑ๋ง), SยณGaussian, EmerNeRF, Street Gaussians, PVG โ nuScenes ์์น๋ ์์ฒ๋ผ ๋จ์ด ์ฌ์คํํ ๊ฒ๋ง ์๋ค.
LiDAR (SplatAD ํ 2, nuScenes): SplatAD ์ค์๊ฐ ๊น์ด ์ค์ฐจ 0.02 / Chamfer 1.7, NeuRAD 0.01 / 6.3.
1c. ์ฐ๋ฆฌ ํ์ฌ ์์น (๋น๊ต ๋ถ๊ฐ ์กฐ๊ฑด โ ํ์ ๋ฃ์ง ๋ง ๊ฒ)
scene-0003 ํ๋, 6์บ 800ร450, 8์ฅ๋ง๋ค ํ๊ฐ, ์ ์ ์์ญ๋ง PSNR: 25.0 dB / SSIM 0.79 (ํ๊ฒฝ ์ ์ฉ ๋ชจ๋ธ). SplatAD ํ๋กํ ์ฝ๋ก ๋ฐ๊พธ๋ ค๋ฉด: โ 10(๋๋ 6)๊ฐ ์ฅ๋ฉด โก ํ ์ฅ ๊ฑธ๋ฌ ํ์ต โข 1600ร900 ํ๊ฐ โฃ ์ ์ฒด ์์ PSNR (์ง๊ธ์ ์ฐจ๋์ ์ง์ด ํ๊ฒฝ ์ ์ฉ์ด๋ผ ์ ์ฒด ์์์์ ํฌ๊ฒ ๋ถ๋ฆฌ โ ๋น๊ต์ฉ์ผ๋ก๋ ๋์ ๊ฐ์ฒด๋ฅผ ๋ชจ๋ธ๋งํ๋ ํ์ต์ด ๋ฐ๋ก ํ์) โค ๊ฐ์ ํ๋ ์ ์์ค.
2. Waymo โ ์๋ ๊ฒฝ๋ก
2a. OmniRe ํ๋กํ ์ฝ (2408.16760 ํ 1) โ ๋์ ์ฅ๋ฉด ๋น๊ต์ ์ฌ์ค์ ํ์ค
๋์ 8 ์ธ๊ทธ๋จผํธ(์ฌ๋ยท์์ ๊ฑฐ ๋ง์), ์ฝ 150 ํ๋ ์, ์ 3์บ 640ร960, 10์ฅ๋ง๋ค ํ๊ฐ. ๊ธฐ์ค์ ์ OmniRe ์ ์๊ฐ LiDAR ๊น์ดยทAbsGrad ๋ฅผ ๋ฃ์ด ์ฌ์คํ. ๊ฐ์ PSNR/SSIM.
| ๋ฐฉ๋ฒ | ์ฌ๊ตฌ์ฑ ์ ์ฒด | ์ฌ๊ตฌ์ฑ ์ฌ๋ | ์ฌ๊ตฌ์ฑ ์ฐจ๋ | ์ ์์ ์ ์ฒด | ์ ์์ ์ฌ๋ | ์ ์์ ์ฐจ๋ |
|---|---|---|---|---|---|---|
| 3DGS | 26.00/.912 | 16.88/.414 | 16.18/.425 | 25.57/.906 | 16.62/.387 | 16.00/.407 |
| DeformableGS | 28.40/.929 | 17.80/.460 | 19.53/.570 | 27.72/.922 | 17.30/.426 | 18.91/.530 |
| HUGS | 28.26/.923 | 16.23/.404 | 24.31/.794 | 27.65/.914 | 15.99/.378 | 23.27/.748 |
| Street GS | 29.08/.936 | 16.83/.420 | 27.73/.880 | 28.54/.928 | 16.55/.393 | 26.71/.846 |
| EmerNeRF | 31.93/.902 | 22.88/.578 | 24.65/.723 | 29.67/.883 | 20.32/.454 | 22.07/.609 |
| PVG | 32.37/.937 | 24.06/.703 | 25.02/.787 | 30.19/.919 | 21.30/.567 | 22.28/.679 |
| OmniRe | 34.25/.954 | 28.15/.845 | 28.91/.892 | 32.57/.942 | 24.36/.727 | 27.57/.858 |
OmniRe ํ 3 (LiDAR ๊น์ด, Chamfer/RMSE, ์ ํ๋ ์): 3DGS .467/2.896 ยท StreetGS .286/2.228 ยท OmniRe .244/1.909. OmniRe ํ 5 (์์ฒด 32 ๋์ ์ธ๊ทธ๋จผํธ โ NOTR dynamic-32 ์ ๋ค๋ฅธ ์งํฉ์ผ๋ก ๋ณด์, ํ์ธ ํ์): ์ ์์ ์ ์ฒด EmerNeRF 29.04 ยท StreetGS 28.73 ยท OmniRe 31.71. DeSiRe-GS (2411.11921) ํ 2: ๊ฐ์ ํ๋กํ ์ฝ ์ฌ๊ตฌ์ฑ 33.82 / ์ ์์ 31.49 (PSNR ๋ง).
2b. NOTR (EmerNeRF ํ๋กํ ์ฝ) โ ์ 3์บ 640ร960, 10์ฅ๋ง๋ค ํ๊ฐ
| ์ถ์ฒ | ๋ฐฉ๋ฒ | ์ฌ๊ตฌ์ฑ PSNR/SSIM/LPIPS (๋์ D-PSNR) | ์ ์์ PSNR/SSIM/LPIPS (D-PSNR) |
|---|---|---|---|
| EmerNeRF (2311.02077) ํ 1a, dynamic-32 ์ ์ฒด ๋ก๊ทธ | EmerNeRF | 28.87/.814/โ (26.19) | 27.62/.792/โ (24.18) |
| SยณGaussian (2405.20323) ํ 1, dynamic, 100 ํ๋ ์ ํด๋ฆฝ | 3DGS | 28.47/.876/.136 (23.26) | 25.14/.813/.165 (20.48) |
| ใ | EmerNeRF (์ฌ์คํ) | 28.16/.806/.228 (24.32) | 25.14/.747/.313 (23.49) |
| ใ | SยณGaussian | 31.35/.911/.106 (26.02) | 27.44/.857/.137 (22.92) |
| 4DGS ๋ค์ดํฐ๋ธ (2412.20720) ํ 8, 50 ํ๋ ์ | Street GS (์ฌ์คํ) | 29.89/.906/.125 | 28.19/.867/.133 |
| ใ | 4DGS | 35.04/.943/.057 | 28.67/.868/.102 |
| IDSplat (2511.19235) ํ 1, DeSiRe ์ค์ | SplatAD | โ | 30.80/.900/.160 (28.97) |
| ใ | IDSplat | โ | 30.83/.900/.160 (29.20) |
| SยณGaussian ํ 1, static-32 | 3DGS | 29.42/.891/.118 | 26.82/.836/.134 |
| ใ | EmerNeRF (์ฌ์คํ) | 30.00/.834/.201 | 28.89/.814/.212 |
| ใ | SยณGaussian | 30.73/.883/.116 | 27.05/.825/.142 |
2c. PVG ํ 4 (12 ์ธ๊ทธ๋จผํธ, ์ 3์บ 960ร640, ์ ๋ถ ์ฌ์คํ) โ ์ ์ /๋์ ๋ถ๋ฆฌ ์์น๊ฐ ์์ด ์ ์ฉ
๊ฐ: PSNR/SSIM/LPIPS, ๊ทธ ๋ค ์ ์ S / ๋์ D PSNR.
| ๋ฐฉ๋ฒ | ์ฌ๊ตฌ์ฑ | ์ ์์ |
|---|---|---|
| Street GS | 32.18/.918/.090, S 32.68 / D 28.64 | 28.92/.877/.110, S 29.38 / D 25.54 |
| HUGS | 31.58/.904/.094, S 32.79 / D 25.78 | 29.34/.865/.110, S 30.42 / D 23.84 |
| OmniRe | 32.32/.923/.084, S 32.92 / D 28.36 | 29.41/.884/.101, S 29.91 / D 25.85 |
| DeformableGS | 32.34/.923/.086, S 32.94 / D 27.39 | 29.52/.889/.100, S 30.37 / D 24.66 |
| 4DGS | 34.94/.935/.068, S 35.36 / D 31.80 | 26.56/.793/.132, S 26.87 / D 23.97 |
| PVG | 36.02/.952/.059, S 36.79 / D 32.17 | 30.95/.897/.105, S 31.72 / D 25.82 |
2d. Street Gaussians ํ๋กํ ์ฝ (2401.01339 ํ 1) โ 8 ์ธ๊ทธ๋จผํธ, ์ ์นด๋ฉ๋ผ 1066ร1600, 4์ฅ๋ง๋ค ํ๊ฐ (์ ์์ )
3DGS 29.64/.918/.117 ยท EmerNeRF 30.87/.905/.133 ยท MARS 29.75/.886/.264 ยท Street GS 34.61/.938/.079 (๋ฐ์ค ์ PSNR* 30.23). ๊ฐ์ 8 ์ธ๊ทธ๋จผํธ 1280ร1920 (AD-GS ์ค์ , IDSplat ํ 1): Street GS 33.97 ยท 4DGS 34.64 ยท SplatAD 34.24 ยท IDSplat 34.59. โป SยณGaussian ์ด '๋น๋ ค ์๋ค' ๋ Street GS ๊ธฐ์ค์ ์์น๋ ํ์ฌ arXiv ํ์ ๋ค๋ฆ โ ์ฐ์ง ๋ง ๊ฒ.
3. ์ ์์ โ ์ฐจ์ ์ด๋ (์ฐ๋ฆฌ ์ ์ง Difix ์ฆ๋ฅ ์ฃผ์ฅ์ ํ๊ฐ)
3a. ์ ๋ต ์๋ ์ด๋ (๋ถํฌยท์ผ๊ด์ฑ ์งํ)
| ์ถ์ฒ | ๋ฐ์ดํฐ | ๋ฐฉ๋ฒ | ๊ฒฐ๊ณผ |
|---|---|---|---|
| FreeVS (2410.18079) ํ 2 | Waymo 12 ์ํ์ค, ์ 0/1/2/4 m | 3DGS ยท EmerNeRF ยท Street GS ยท FreeVS | FID@1m 52.07 ยท 58.26 ยท 41.17 ยท 13.45; FID@2m 61.16 ยท 69.50 ยท 55.71 ยท 16.60; FID@4m 86.21 ยท 84.81 ยท 80.44 ยท 22.08 |
| StreetCrafter (2412.13188) ํ 1 | Waymo 15 ์ํ์ค, ์ 2/3 m | 3DGS ยท Street GS ยท StreetCrafter(3DGS ์ฆ๋ฅ) | FID@2m 100.50 ยท 71.42 ยท 58.17; FID@3m 122.52 ยท 93.38 ยท 71.40; ๋ณด๊ฐ PSNR 28.85 ยท 30.95 ยท 30.05; FPS 213 ยท 92 ยท 113 |
| StreetCrafter ํ 2 | PandaSet 5 ์ํ์ค | UniSim ยท NeuRAD ยท Street GS ยท StreetCrafter(์ฆ๋ฅ) | FID@2m 75.26 ยท 64.65 ยท 69.87 ยท 62.15; FID@3m 92.65 ยท 86.44 ยท 90.41 ยท 78.88 |
| ReconDreamer (2411.19548) ํ 1 | Waymo 8 ์ธ๊ทธ๋จผํธ, ์ ์นด๋ฉ๋ผ | Street GS โ ReconDreamer | 3 m: NTA-IoU .498โ**.539**, NTL-IoU 53.19โ54.58, FID 130.75โ93.56; 6 m: FID 213.04โ149.19 |
| ReconDreamer++ (2503.18438) | nuScenes, 3 m | ReconDreamer โ ReconDreamer++ | NTA-IoU .325โ**.365**, NTL-IoU 49.72โ51.33, FID 125.43โ118.27 |
| DriveDreamer4D (2410.13571) | Waymo 8 ์ธ๊ทธ๋จผํธ, ์ฐจ์ ๋ณ๊ฒฝ | PVG โ +DD4D | NTA-IoU .256โ**.438**, FID 105.29โ71.52 |
| UniSim (2308.01898) | PandaSet | UniSim | FID@2m 74.7, @3m 97.5 |
3b. ์ ๋ต ์๋ ์ด๋ (์ค์ธก ํํ ์ฐจ์ )
- Para-Lane (2502.15635): ํํ 3์ฐจ์ 25 ๊ทธ๋ฃน(์ฐจ์ ๊ฐ๊ฒฉ 3โ4 m), ์ 1920ร1080. ์ธ์ ์ฐจ์ PSNR/SSIM/LPIPS: 3DGS 17.05/.524/.446 ยท Scaffold-GS 17.59 ยท Street GS 17.50/.510/.456 (๊ฐ์ ์ฐจ์ ์ฝ 23 โ ํ ์ฐจ์ ์ ์ฝ โ5.5 dB).
- EUVS (2412.05256, ICCV'25): nuPlanยทArgoverse2ยทMARS ๋ค์ค ์ฃผํ. ์ค์ 1(์ด๋๋ง): 3DGS 16.37/.7203/.2599 ยท GSPro 16.39 (๋ฐฉ๋ฒ๋ณ ํ ๋ฒํธ ํ์ธ ํ์). ReconDreamer++ ๊ฐ ํ ์ฐจ์ ์คํ์ 20.52/.7033/.3057 ๋ณด๊ณ .
- Difix3D+ (2503.01774) ํ 3: ์์ฒด RDS (๊ฐ์ด๋ฐ ์นด๋ฉ๋ผ๋ก ํ์ต, ์ ์นด๋ฉ๋ผ ํ๊ฐ โ ์ฐจ์ ์ด๋์ด ์๋) Nerfacto 19.95/.4930/.5300/FID 91.38 โ +Difix3D+ 21.75/.5829/.4016/73.08.
- OneFixer (2609.32175): ์ด๋ก๋ง ํ์ธ โ FVDยทLPIPSยทDISTS + closed-loop ์ถฉ๋๋ฅ (์์ 3DGS ๋๋น ์ฝ 1/3 ๊ฐ์). ํ ์์น ํ์ธ ํ์.
์ฐ๋ฆฌ ํ๋กํ ์ฝ (์ถ์ฒ): ReconDreamer++ ์ nuScenes ํ๋กํ ์ฝ์ ๋ฐ๋ฅธ๋ค โ โ ์๋ ๊ฒฝ๋ก PSNR/SSIM/LPIPS (๋๋น ์ง์ง ์์์ ๋ณด์) โก ์ 1ยท2ยท3 m ์์ FIDยทKID + NTA-IoU(nuScenes 3D ๋ฐ์ค ํฌ์ vs ๊ฒ์ถ๊ธฐ) + NTL-IoU(nuScenes ๋งต ์ฐจ์ ํฌ์ vs ์ฐจ์ ๊ฒ์ถ๊ธฐ) โข ๊ธฐ์ค์ ์ Street GSยทOmniReยท์์ 3DGS ๋ฅผ ์ฐ๋ฆฌ ์ฅ๋ฉด์์ ์ฌ์คํ(๋ ผ๋ฌธ ๊ฐ FID ๋ ์ฅ๋ฉดยทํ๋ณธ ์๊ฐ ๋ฌ๋ผ ๋น๊ต ๋ถ๊ฐ โ FreeVSยทStreetCrafter ์์น๋ ๋งฅ๋ฝ์ผ๋ก๋ง) โฃ ์ ๋ต ์๋ ์ฃผ์ฅ์ด ํ์ํ๋ฉด EUVS ์ค์ 1 ๋๋ Para-Lane ์ธ์ ์ฐจ์ ์ถ๊ฐ. ์ฐ๋ฆฌ๊ฐ ์ด๋ฏธ ๊ฐ์ง ๊ฒ: ์ฌ์ดํด ๋ ๋ ๋ฒค์น๋งํฌ(OneFixer ๋ถ๋ก A.1 ๋ฐฉ์, LPIPS/DISTS) โ scene-0003 1 m ์ด๋ LPIPS 0.391. (+Difix 0.162 ๋ ๋ฌดํจ โ ์ฐธ์กฐ๋ก ์ ๋ต๊ณผ 0.13 m ๋จ์ด์ง ์ค์ ์ฌ์ง์ ์จ์ ์ ๋ต์ ๋ฒ ๊ผ๋ค. 2026-10-06 ์์ : ์ฐธ์กฐ๋ ์ด๋ ๊ฑฐ๋ฆฌ ์ด์ ๋จ์ด์ง ํ๋ ์์์. ๋ค์ ์ด ๊ฒ.)
4. closed-loop ์๋ฎฌ๋ ์ดํฐ ์งํ
| ํ๋กํ ์ฝ | ์งํ ์ ์ | ๋ํ ์์น | ๋ ๋๋ง |
|---|---|---|---|
| HUGSIM (2412.01718) | HD-Score_t = NC ร DAC ร ๊ฐ์คํ๊ท (TTC, COM); HD-Score = Rc ร ์๊ฐ ํ๊ท . KITTI-360ยทWaymoยทnuScenesยทPandaSet 70+ ์ํ์ค, 400+ ์๋๋ฆฌ์ค, 4 ๋์ด๋ | ์ฃผํ ์ ์ฑ ์ ์๋ ๊ทธ๋ฆผ(Fig. 18)๋ง, ํ ์์. ์ ์์ nuScenes 25.36/.776/.171/KID .062 | 89.15 FPS (RTX 3090), 445๋ง ๊ฐ์ฐ์์, ํด์๋ ๋ฏธ๊ธฐ์ฌ |
| RAD (2502.13144) ํ 4 | ์ถฉ๋๋ฅ CR, ์ดํ๋ฅ DR, ADD, ์ ํฌ | VADv2 โ RAD: CR .270โ.089, DR .243โ.063 | ๋ฏธ๊ธฐ์ฌ |
| NeuroNCAP (2404.07762) ํ 1 | NNS (์ถฉ๋ ์์ผ๋ฉด 5, ์์ผ๋ฉด ์ถฉ๋ ์๋๋ก ๊ฐ์ ), nuScenes 14 ์ํ์ค ร 100ํ | UniAD 0.73 (์ถฉ๋ 88.6%) ยท VAD 0.66 (92.5%) | NeuRAD ๊ธฐ๋ฐ |
| NAVSIM v1 (2406.15349) | PDMS = NC ร DAC ร (5ยทEP + 5ยทTTC + 2ยทC)/12 | TransFuser 84.0 ยท UniAD 83.4 ยท ์ฌ๋ 94.8 | ๋ ๋๋ง ์์ |
| NAVSIM v2 (2506.04218) | EPDMS (+DDC, TLC, LK, HC, EC). 2๋จ๊ณ๋ 3DGS ๋ก ํฉ์ฑํ ๊ด์ธก | navhard: LTF 23.1 ยท PDM-Closed 51.3. 3DGS ์์ฌ ์๋ฎฌ๋ ์ด์ โ ์ค์ closed-loop ์๊ด r = 0.89 | ์คํ๋ผ์ธ ์ฌ์ ์์ฑ |
| Bench2Drive (2406.03877) | DS, SR (CARLA) | UniAD-Base 45.81/16.36 ยท VAD 42.35/15.00 | ๊ฒ์ ์์ง โ ๋งฅ๋ฝ์ผ๋ก๋ง |
๋ ๋๋ง ์๋ ๋น๊ต (์ฃผํ 3DGS): Street GS 135 FPS (1066ร1600, RTX 4090) ยท 3DGS 205 ยท EmerNeRF 0.21 ยท StreetCrafter ์ฆ๋ฅ 113 ยท HUGSIM 89 (RTX 3090). ์ฐ๋ฆฌ: RTX 3060 Ti(8 GB)์์ 1600ร900 ํ ์ฅ ์ ๋ ฌ 0.9โ2.7 ms + ๋์คํฐ ์ฝ 15 ms (GPU ๊ณต์ ์ํ ์ธก์ ) โ 6์บ 1600ร900 ์ ์ฒด ๋ฃจํ Hz ๋ฅผ ๋ฐ๋ก ์ฌ์ GPU ๋ฑ๊ธ ์ฐจ์ด๋ฅผ ๋ฐํ ํจ๊ป ํ๊ธฐํ ๊ฒ.
์ฐ๋ฆฌ ํ๋กํ ์ฝ (์ถ์ฒ): HUGSIM ์ HD-Score ํญ๋ชฉ(NCยทDACยทTTCยทCOMยทRc) ๋๋ NAVSIM EPDMS ํญ๋ชฉ์ผ๋ก ์ฃผํ ์ ์, ๋ ๋๋ฌ FPS ์ ๋ฃจํ Hz ๋ฅผ ๋ฐ๋ก, NAVSIM v2 ์ r = 0.89 ๋ฅผ '3DGS ์ฌ์๋ฎฌ๋ ์ด์ ์ด ์ ํจํ๋ค' ๊ทผ๊ฑฐ๋ก ์ธ์ฉ.
5. ๋ ์จ ํฉ์ฑ โ ํ์ค ๋ฒค์น๋งํฌ ์์
| ์ถ์ฒ | ํ๊ฐ | ์์น |
|---|---|---|
| ClimateNeRF (2211.13226, ICCV'23) | ์ฌ์ฉ์ ์ฐ๊ตฌ๋ง (37๋ช , 2,664 ์) | ์ ํธ ์ฝ 80โ85%, ์ค์๊ฐ ์๋ |
| WeatherEdit (2505.20471) | CLIP-S / CLIP-DS, warp error, FID(์ ์ ), ๋ค์ด์คํธ๋ฆผ ๋ถํ mIoU | CLIP-S .750 / CLIP-DS .302 (InstructPix2Pix .691/.295), ACDCยทMUSE ์ต๋ +14.9% mIoU, 3D ๋ ๋ ํ๋ ์๋น 0.21 s |
| Weather-Magician (2505.19919) | CMMD, UVQ | RTX 4090 1200ร800: ๋ง์ 83 FPS ยท ์๊ฐ 31 ยท ๋น/๋ 10.4 ยท ๋ ์์ 58 |
| GSRAIN (2608.02177) | FID, ๊ฐ์ฐ๋ ์ ์ด 0โ13 mm/h | FID 149.09 (CycleGAN-Turbo 155.71, WeatherEdit 157.94) โ ์ด๋ก๋ง ํ์ธ |
์ฐ๋ฆฌ ํ๋กํ ์ฝ (์ถ์ฒ): WeatherEdit ์ CLIP-S/CLIP-DS + ์ค์ ์ฐ์ฒ ์์(ACDC ๋๋ nuScenes ๋ฐคยท๋น ์ฌ) ๋๋น FID/KID, warp error(์๊ฐ ์ผ๊ด์ฑ), ์ฌ์ฉ์ ์ฐ๊ตฌ, ๋ค์ด์คํธ๋ฆผ ๊ฒ์ถ ์ฑ๋ฅ ์ ํ, ํจ๊ณผ๋ณ FPS (Weather-Magician ๋๋น โ ์ฐ๋ฆฌ ๊ฐ์ ์ ์ 0.05 ms + ๋ ์จ ํจ์ค 0.2โ0.5 ms). 6์บ ์ผ๊ด์ฑ(๊ฐ์ ๋น๋ฐฉ์ธ)์ ๊ธฐ์กด ์ฐ๊ตฌ๊ฐ ๋ค๋ฃจ์ง ์๋ ์ฐจ๋ณ์ โ ์นด๋ฉ๋ผ ๊ฒน์นจ ์์ญ ์ผ๊ด์ฑ ์งํ๋ฅผ ์๋ก ์ ์ํ ์ ์๋ค.
6. ์ฐ๋ฆฌ๊ฐ ํ ์ผ (๋น๊ตํ๋ฅผ ์ฑ์ฐ๋ ค๋ฉด)
- SplatAD nuScenes ํ๋กํ ์ฝ ์ฌํ โ 6๊ฐ ์ฑ๊ฐํฌ๋ฅด ์ฅ๋ฉด(+ ๋ณด์คํด 4๊ฐ ์ธ๋ฑ์ค ์ถ๊ฐ ์ฌ๋ถ ๊ฒฐ์ ), ํ ์ฅ ๊ฑธ๋ฌ ํ์ต, 1600ร900, ์ ์ฒด ์์ PSNR. ๋์ ๊ฐ์ฒด๋ฅผ ์ง์ด ํ๊ฒฝ ์ ์ฉ ๋ชจ๋ธ๊ณผ ๋ณ๋๋ก, ๋์ ๊ฐ์ฒด๋ฅผ ํฌํจํ ํ์ต์ด ํ์ํ๋ค.
- ์ฐจ์ ์ด๋ ํ๊ฐ ๋๊ตฌ โ FID/KID (1ยท2ยท3 m), NTA-IoU (nuScenes ๋ฐ์ค + ๊ฒ์ถ๊ธฐ), NTL-IoU (nuScenes ๋งต ์ฐจ์ + ์ฐจ์ ๊ฒ์ถ๊ธฐ).
- ๊ธฐ์ค์ ์ฌ์คํ โ drivestudio(OmniReยทStreet GSยทPVG) ๋ฅผ ๊ฐ์ ์ฅ๋ฉดยท๋ถํ ๋ก.
- ์๋ฎฌ๋ ์ดํฐ ์งํ โ HD-Score ํญ๋ชฉ ๊ตฌํ, 6์บ ๋ฃจํ Hz ์ธก์ .
- ๋ชจ๋ ์ธ์ฉ ์์น๋ฅผ PDF ํ์ ๋์กฐ (์ด ๋ฌธ์๋ ์ด์).
์ถ์ฒ (arXiv)
DrivingGaussian 2312.07920 ยท S-NeRF/NeuRAD 2311.15260 ยท SplatAD 2411.16816 ยท UniSim 2308.01898 ยท EmerNeRF 2311.02077 ยท Street Gaussians 2401.01339 ยท PVG 2311.18561 ยท SยณGaussian 2405.20323 ยท OmniRe 2408.16760 ยท HUGS 2403.12722 ยท DeSiRe-GS 2411.11921 ยท 4DGS 2412.20720 ยท IDSplat 2511.19235 ยท DIAL-GS 2511.06632 ยท ReconDrive 2603.07552 ยท Nighttime PBR-GS 2602.13549 ยท FreeVS 2410.18079 ยท StreetCrafter 2412.13188 ยท DriveDreamer4D 2410.13571 ยท ReconDreamer 2411.19548 ยท ReconDreamer++ 2503.18438 ยท Difix3D+ 2503.01774 ยท OneFixer 2609.32175 ยท Para-Lane 2502.15635 ยท EUVS 2412.05256 ยท HUGSIM 2412.01718 ยท RAD 2502.13144 ยท NeuroNCAP 2404.07762 ยท NAVSIM 2406.15349 / 2506.04218 ยท Bench2Drive 2406.03877 ยท ClimateNeRF 2211.13226 ยท WeatherEdit 2505.20471 ยท Weather-Magician 2505.19919 ยท GSRAIN 2608.02177