Download docs/architecture.md from kimjunhan/vkgs-sim: direct link, hf CLI and curl.
- Browser
- Download file 29 kB
-
https://huggingface.co/kimjunhan/vkgs-sim/resolve/main/docs/architecture.md
- Command line
-
hf download hf://kimjunhan/vkgs-sim/docs/architecture.md
-
curl -L -o architecture.md https://huggingface.co/kimjunhan/vkgs-sim/resolve/main/docs/architecture.md
์ค๊ณ์ ๊ทธ ๊ทผ๊ฑฐ
๊ฒฐ์ ๋ง๋ค ์ ๊ทธ๋ ๊ฒ ํ๋์ง ๋ฅผ ๋จ๊ธด๋ค. ๋์ค์ ๋ค์ง์ ๋ ๋ฌด์์ด ๊ฑธ๋ ค ์๋์ง ์๊ธฐ ์ํด์๋ค.
์ ์ฒด ๊ทธ๋ฆผ
nuScenes ์๋ณธ (NFS, ์ฝ๊ธฐ์ ์ฉ)
โ
โ โ ์ธ๋ฑ์ฑ โ ํ ๋ฒ๋ง, ์คํธ๋ฆฌ๋ฐ
โผ
cache/scene_index/*.json.gz ์ฌ๋ณ 6์บ ํ๋ ์ + ego ํฌ์ฆ + ์บ๋ฆฌ๋ธ
โ
โ โก ์ฌ๊ตฌ์ฑ โ ์ฌ๋น 1ํ, PyTorch/CUDA
โผ
outputs/gs/<scene>.ply ์ ์ ๋ฐฐ๊ฒฝ 3DGS + ๊ฐ์ฒด๋ณ 3DGS
โ
โ โข ๋ ๋๋ง โ ๋งค ํ๋ ์, Vulkan
โผ
6 ร (1600ร900) RGB
โ
โ โฃ closed-loop
โผ
VLM/VLA ๋ชจ๋ธ โ ์ ์ด โ ego ์ ๋ถ โ โข ์ผ๋ก ๋๋์๊ฐ
์ ํ์ต์ CUDA, ๋ ๋๋ง์ Vulkan ์ธ๊ฐ
๋์ ํ API ๋ก ํต์ผํ์ง ์์ ๊ฑด ์๋์ ์ด๋ค.
ํ์ต์ CUDA ๋ฅผ ์ฐ๋ ์ด์ . 3DGS ์ต์ ํ๋ ์ญ์ ํ๊ฐ ํ์ํ๋ค. PyTorch ์ autograd ์์ ์ฌ๋ฆฌ๋ฉด densification/pruning ๊ฐ์ ์คํ์ ๋ฉฐ์น ์ด ์๋๋ผ ๋ช ์๊ฐ ๋จ์๋ก ๋๋ ค๋ณผ ์ ์๋ค. Vulkan ์ผ๋ก ํ์ต ํ์ดํ๋ผ์ธ์ ๋ค์ ์ฐ๋ ๊ฒ์ ๊ฐ๋ฅํ์ง๋ง, ์ป๋ ๊ฒ์ด ์๋ค โ ํ์ต์ ์คํ๋ผ์ธ์ด๊ณ ํ ๋ฒ๋ง ๋๋ค.
๋ ๋๋ง์ Vulkan ์ ์ฐ๋ ์ด์ . closed-loop ๋ ๋งค ์คํ 6์ฅ์ ์๋ก ๊ทธ๋ฆฐ๋ค. CUDA ๋์คํฐ๋ผ์ด์ ๋ฅผ ๊ทธ๋๋ก ์ฐ๋ฉด (a) ํ๋ฉด ์ถ๋ ฅ์ CUDA-GL interop ์ด ๋ผ์ด์ผ ํ๊ณ , (b) ํ์ต ํ๋ ์์ํฌ ์ ์ฒด๊ฐ ๋ฐํ์ ์์กด์ฑ์ด ๋๋ฉฐ, (c) ๋ชจ๋ธ ์ถ๋ก ๊ณผ GPU ๋ฅผ ๋คํฌ๊ฒ ๋๋ค. Vulkan ์ชฝ์ ๊ทธ๋ํฝ ํ์ดํ๋ผ์ธยท์ค์์ฒด์ธยทํ์๋ผ์ธ ์ธ๋งํฌ์ด๊ฐ ์ด๋ฏธ ์์ด์ ๋ ๋๋ง๊ณผ ์ถ๋ก ์ ๋ณ๋ ํ๋ก ๊ฒน์น ์ ์๋ค.
๊ตํ ์ง์ ์ .ply ํ์ผ ํ๋ ๋ค. ํ์ต๊ธฐ๋ ํ์ค 3DGS ply ๋ฅผ ์ฐ๊ณ ,
๋ ๋๋ฌ๋ ๊ทธ๊ฑธ ์ฝ๋๋ค. ๋ ์ชฝ์ด ์๋ก๋ฅผ ๋งํฌํ์ง ์๋๋ค.
์ devkit ์ ๊ฐ์ธ์ง ์๊ณ ์ธ๋ฑ์ค๋ฅผ ๋ฐ๋ก ๋ง๋๋
nuscenes-devkit ์ ๋ฒ๋ฆด ๋ฌผ๊ฑด์ด ์๋๋ค โ ์ด๋
ธํ
์ด์
๊ณผ ๋งต API ๋ ๊ทธ๋๋ก ์ด๋ค.
๋ค๋ง NuScenes() ์์ฑ์๊ฐ ๋ชจ๋ ํ
์ด๋ธ์ ํต์งธ๋ก ์ฌ๋ฆฌ๋ ๊ฒ ๋ฌธ์ ๋ค
(trainval 2~3๋ถ, 10 GB+). ์๋ฎฌ๋ ์ด์
๋ฃจํ๊ฐ "scene-0553 ์ CAM_FRONT 137๋ฒ์งธ
ํ๋ ์ ๊ฒฝ๋ก์ ๊ทธ๋ ego ์์ธ" ๋ฅผ ๋ฌป๋ ๋ฐ ๋ผ ๋น์ฉ์ด ์๋๋ค.
๊ทธ๋์ ๋จ๊ฑฐ์ด ๊ฒฝ๋ก๋ง ๋์ด๋ธ๋ค. ์ธ๋ฑ์ค์ ๋ด๋ ๊ฒ์ ์ฌ๊ตฌ์ฑ๊ณผ ๋ ๋๋ง์ ๋งค๋ฒ ํ์ํ ๊ฒ๋ฟ์ด๋ค: ํ์ผ ๊ฒฝ๋ก, ํ์์คํฌํ, ego ํฌ์ฆ, ์นด๋ฉ๋ผ ์บ๋ฆฌ๋ธ. ์ด๋ ธํ ์ด์ ยท๋งตยท๋ผ์ด๋ค๋ ํ์ํ ๋ devkit ์ผ๋ก ๊ฐ๋ค.
nusim.io.jsonstream ์ด ์ด๊ฑธ ๊ฐ๋ฅํ๊ฒ ํ๋ค. ์ต์์ JSON ๋ฐฐ์ด์ ์์ ๋จ์๋ก
ํ๋ ค๋ณด๋ด๋ฏ๋ก 1.35 GB ํ์ผ์ ํผํฌ 30 MB ๋ก ํ๋๋ค. json.load() ๋ ๊ฐ์ ํ์ผ์
6 GB ์ํ์ ์ด๋ค.
์ขํ๊ณ
์ฌ๊ธฐ์ ํ๋ฆฌ๋ฉด ์ ๋ถ ํ๋ฆฐ๋ค. ํ ๊ณณ(nusim.data.rig)์๋ง ์ ์ด ๋๋ค.
| ํ๋ ์ | ์ถ | ๋น๊ณ |
|---|---|---|
| global / map | x=๋, y=๋ถ, z=์ | nuScenes ๋งต ์ขํ, ๋ฏธํฐ |
| ego | x=์ ๋ฐฉ, y=์ข, z=์ | |
| camera | x=์ฐ, y=ํ, z=์ ๋ฐฉ | OpenCV. nuScenes intrinsic ์ด ์ด๊ฑธ ๊ฐ์ |
| clip | NDC x,y โ [-1,1], y ์๋๊ฐ +, z โ [0,1] | Vulkan. OpenGL ๊ณผ ๋ค๋ฆ |
nuScenes ์๋ณธ์ ์๋ฏธ:
ego_pose.translation/rotation= ego โ globalcalibrated_sensor.translation/rotation= camera โ ego- ์ฟผํฐ๋์ธ์ ์ ๋ถ
(w, x, y, z)์์
๋ฐ๋ผ์ c2w = ego2global @ cam2ego, view ํ๋ ฌ์ ๊ทธ ์ญ์ด๋ค.
์ค์ธก์ผ๋ก ํ์ธํ 6-์นด๋ฉ๋ผ ๋ฐฐ์น (scene-0003, ego ์ ๋ฐฉ ๊ธฐ์ค ๋ฐฉ์๊ฐ):
CAM_FRONT_LEFT +55.2ยฐ HFOV 64.3ยฐ
CAM_FRONT +0.3ยฐ HFOV 64.6ยฐ
CAM_FRONT_RIGHT -56.4ยฐ HFOV 64.8ยฐ
CAM_BACK_RIGHT -110.8ยฐ HFOV 64.8ยฐ
CAM_BACK +179.9ยฐ HFOV 89.3ยฐ โ ํ๋ฐฉ๋ง ๊ด๊ฐ ๋ ์ฆ
CAM_BACK_LEFT +108.6ยฐ HFOV 65.0ยฐ
๊ฒน์นจ์ ํฌํจํด 360ยฐ ๋ฅผ ๋ฎ๋๋ค. CAM_BACK ๋ง ์ด์ ๊ฑฐ๋ฆฌ๊ฐ 809 px ๋ก ๋ค๋ฅธ 5๊ฐ(์ฝ 1260 px)์ ๋ค๋ฅด๋ค โ ๋ฉํฐ๋ทฐ ํ ์๋ฅผ ๋ง๋ค ๋ intrinsic ์ ๊ณต์ ํ๋ฉด ์ ๋๋ ์ด์ ๋ค.
๋ ๋๋ฌ: ์ 2๋จ๊ณ์ธ๊ฐ
1๋จ๊ณ ๋น๋ณด๋: ๊ฐ์ฐ์์๋ง๋ค ํ๋ฉด์ ๋ ฌ ์ฟผ๋๋ฅผ ๊ทธ๋ฆฌ๊ณ ๊น์ด์์ผ๋ก ์ ๋ ฌํด ์ํ ๋ธ๋ ๋ฉ. ๊ทธ๋ํฝ ํ์ดํ๋ผ์ธ๋ง ์ฐ๋ฏ๋ก ๋ฉฐ์น ์ด๋ฉด ํ๋ฉด์ด ๋ฌ๋ค. ์ ๋ ฌ์ด per-๊ฐ์ฐ์์ ๊ทผ์ฌ๋ผ ์นด๋ฉ๋ผ๊ฐ ๋ ๋ popping ์ด ์๊ธด๋ค.
2๋จ๊ณ ์ปดํจํธ ํ์ผ: ์๋ณธ 3DGS ๋ฐฉ์. ํ๋ฉด์ 16ร16 ํ์ผ๋ก ๋๋๊ณ , ๊ฐ ํ์ผ์ ๊ฒน์น๋ ๊ฐ์ฐ์์์ binning ํ ๋ค ํ์ผ๋ณ๋ก ์ ํํ ์์๋ก ๋ธ๋ ๋ฉํ๋ค. ๋ ผ๋ฌธ ๋๋น ์ ํํ ๊ฒฐ๊ณผ๊ฐ ๋์ค๊ณ 6๋ทฐ ๋์ ๋ ๋๋ง์์ ํจ์ฌ ๋น ๋ฅด๋ค.
1๋จ๊ณ๋ฅผ ๊ฑด๋๋ฐ์ง ์๋ ์ด์ ๋ ๊ฒ์ฆ ์๋จ ๋๋ฌธ์ด๋ค. ํ์ผ ๋์คํฐ๋ผ์ด์ ๋ฅผ ๋๋ฒ๊น ํ ๋ "์ด ์ฅ๋ฉด์ด ๋์ถฉ ์ด๋ ๊ฒ ๋ณด์ฌ์ผ ํ๋ค" ๋ ๊ธฐ์ค ์ด๋ฏธ์ง๊ฐ ์์ด์ผ ํ๋ค. ๋น๋ณด๋ ๋ ๋๋ฌ๊ฐ ๊ทธ ๊ธฐ์ค์ด ๋๋ค.
๋น๋ณด๋ ๊ฒฝ๋ก๋ 2๋จ๊ณ๊ฐ ๋๋๋ ๋จ๊ธด๋ค โ ์ ์ฌ์ ํด๋ฐฑ์ผ๋ก ์ธ ์ ์๋ค.
๋ ๋๋ฌ ๋ฆฌ์์ค ๋ฐ์ธ๋ฉ: bindless (2026-10-05)
๋ชจ๋ ํ์ดํ๋ผ์ธ์ด ์ ์ญ descriptor set ํ๋(set 0)์ ๊ฐ์ ํ์ดํ๋ผ์ธ ๋ ์ด์์(push constant 160 B, ๋ชจ๋ ๋จ๊ณ)์
์ด๋ค. set ์๋ ์ข
๋ฅ๋ณ ๋ฆฌ์์ค ๋ฐฐ์ด์ด ์๊ณ ์
ฐ์ด๋๋ ๋ฒํธ๋ก ๊ณ ๋ฅธ๋ค (shaders/bindless.glsl, Vulkan 1.2 descriptor
indexing โ partially bound, update-after-bind):
| binding | ์ข ๋ฅ | ์ฐ์ |
|---|---|---|
| 0 | SSBO[256] | 0 ์ ์ญ ์์(IBL ํ๋ธ ๋ฒํธ), 1 ๊ฐ์ฐ์์, 2 ์คํ๋ซ, 3 ์ ๋ ฌ ํค, 4 ์ธ๋ค์ด๋ ํธ ์ธ์, 5~ glTF ์ฌ์ง (๋ชจ๋ธ๋ง๋ค ํ๋) |
| 1 | UBO[16] | 0 ์นด๋ฉ๋ผ, 1 ๋ ์จ |
| 2 | sampler2D[4096] | 0 BRDF LUT, 1 ํฐ์, 2~ glTF ํ ์ค์ฒ |
| 3 | samplerCube[32] | 0 IBL specular, 1 irradiance, 2 ํ์ต๋ ํ๋ |
| 4 / 5 | image2D 4์ฑ๋[8] / 1~2์ฑ๋[8] (ํ์ ์๋ storage โ ์ค์ ํ์์ ๋ ๋ ๊ทธ๋ํ JSON) | ๋ ๋ ํ๊ฒยท๋ ์จ ๊ฒฐ๊ณผยท๋ฐฐ๊ฒฝยท๊ฐ์ / ๊ฑฐ๋ฆฌ ๋์ |
ํ๋๋ฟ์ธ ๋ฆฌ์์ค๋ ๊ณ ์ ์ฌ๋กฏ(์
ฐ์ด๋์ C++ ์ ๊ฐ์ ์์), ์ฌ๋ฌ ๊ฐ์ธ ๋ฆฌ์์ค(์ฌ์งยทํ
์ค์ฒยทํ๋ธ)๋ push constant ๋
์ ์ญ ์์์ ๋ฒํธ. ํ๋ ์๋ง๋ค set ์ ๋ ๋ฐ์ธ๋ ์ง์ ์ ํ ๋ฒ์ฉ๋ง ๋ฌถ๊ณ , glTF ๋ ์ฌ์ง์ด ๋ฐ๋ ๋ push ๋ง ๋ฐ๊พผ๋ค.
๋ฆฌ์์ค๋ฅผ ๋ํด๋ ํ์ดํ๋ผ์ธยทset ์ ์๋ก ๋ง๋ค ํ์๊ฐ ์์ด์, ์ฐจ๋ยทํ
์ค์ฒยท์ฌ(๋งต ์คํธ๋ฆฌ๋ฐ)์ด ๋์ด๋๋ ๊ฐ์ ๊ตฌ์กฐ๋ค.
์ ํ ์ ํ ๋ ๋ 14์ฅ(์คํ๋ซยทIBLยทBEV+glTF ์ฐจ๋ยท๋ ์จยทํ์ต๋ ํ๋)์ด ๋นํธ ๋จ์๋ก ๊ฐ๋ค (cache/bindless_check.sh).
๋ ๋ ๊ทธ๋ํ์ ์ ฐ์ด๋ ๋ฆฌํ๋ ์ (2026-10-05)
ํ ํ๋ ์์ด ๋ฌด์์ ์ด๋ค ์์๋ก ํ๋์ง๋ configs/render_graph.json ์ด ์ ํ๋ค. ์์ง(src/vkgs/src/render_graph.*)์
pipelines๋ก ํ์ดํ๋ผ์ธ์ ๋ง๋ ๋ค (์ ฐ์ด๋ ํ์ผยทํ ํด๋ก์งยท๊น์ด ๋ชจ๋ยท์ปฌ๋ง). ์ ฐ์ด๋ ์ธํฐํ์ด์ค๋ SPIR-V ๋ฆฌํ๋ ์ (SPIRV-Reflect)์ผ๋ก ์ฝ๋๋ค. push ๋ฒ์, bindless ๋ ์ด์์๊ณผ binding ์ข ๋ฅ๊ฐ ๋ง๋์ง, ๊ฑฐ๋ฆฌ ๋์ ์ถ๋ ฅ (location 1)์ ์ฐ๋์ง, ์ปดํจํธ ์ํฌ๊ทธ๋ฃน ํฌ๊ธฐ๋ฅผ ๋ชจ๋ ์ ฐ์ด๋ ์์ ์๊ฒ์ ์ป๋๋ค.- ์คํ ์์ = ์ ์ธ ์์๋ค. ์ ์ธ ์์๊ฐ ๊ณง ์ ๊ทผ ์์๋ฅผ ์ ์ํ๋ฏ๋ก,
uses(๋ฆฌ์์ค, ์ฌ์ฉ ๋ฐฉ์)๋ก ๋ง๋ ์์กด ๊ฐ์ (RAWยทWAWยทWAR)์ ๋ ์ ํจ์ค โ ๋ค ํจ์ค์ด๊ณ ์ํ์ด ์๊ธธ ์ ์๋ค. ๊ฐ์ ์ ๊ทธ๋ฆผ๊ณผ, ์์ผ๋ก ๋ ๋ฆฝ ํจ์ค๋ฅผ ์ฐพ๋ ๋ฐ(ํ ๋ณ๋ ฌํ) ์ด๋ค. (2026-10-05 ๊ฒํ ์ ๊น์ง ๋ฌธ์๋ '์์ ์ ๋ ฌ๋ก ์ฌ๋ฐฐ์น' ๋ผ๊ณ ํ์ง๋ง ๊ฒฐ๊ณผ๋ ๋ ์ ์ธ ์์์๋ค.) - ๋งค ํ๋ ์ for ๋ฌธ ํ๋๋ก ๊ทธ ์์๋ฅผ ๋๋ค: ์ฌ์ฉ ๋ฐฉ์๋ง๋ค ๋ฐฐ๋ฆฌ์ด์ ์ด๋ฏธ์ง ๋ ์ด์์ ์ ํ์ ์๋์ผ๋ก ๋ฃ๋๋ค
(๋ฆฌ์์ค๋ณ ๋ง์ง๋ง ์ฐ๊ธฐ ๋จ๊ณยท์ ๊ทผ, ๊ทธ ๋ค ์ฝ์ ๋จ๊ณ๋ฅผ ์ถ์ ํ๋ค). ๊ทธ๋ฐ ๋ค์
kind์ด๋ฆ์ ์คํ๊ธฐ๋ฅผ ๋ถ๋ฅด๊ณ ํ์์คํฌํ๋ฅผ ์ฐ๋๋ค.
์์ง ์ฝ๋๋ ํจ์ค ์ข
๋ฅ๋ณ ์คํ๊ธฐ๋ง ๊ฐ๋๋ค: fill_draw_args, compute(๋์คํจ์น ํฌ๊ธฐ gaussians_pow2|screen,
push_slots), radix_sort(๋์ฒด bitonic_sort), copy_buffer(host_read), copy_image, raster(target + ๊ทธ๋ฆฌ๊ธฐ ํญ๋ชฉ ๋ชฉ๋ก), none.
๋ฆฌ์์ค๋ JSON create ๋ก ์์ง์ด ๋ง๋ ๋ค (๋ฒํผ: bytes ๋๋ bytes_perรstride, ์ด๋ฏธ์ง: ํ๋ฉด ํฌ๊ธฐ + format), ๋ ๋ ํจ์ค๋ targets. ๋์คํฐ ํจ์ค์ ๊ทธ๋ฆฌ๊ธฐ ํญ๋ชฉ(background, splats,
gltf_opaque โฆ)๋ ์ด๋ฆ โ ์คํ๊ธฐ ํ๋ค. ํจ์คยท๊ทธ๋ฆฌ๊ธฐ ํญ๋ชฉยทํ์ดํ๋ผ์ธ์ JSON ์ ๋ํ๋ฉด ์ํ ์ฝ๋๋ ๊ทธ๋๋ก๋ค.
- ๊ทธ๋ฆผ:
vkgs_viewer x --graph out.dot(GPU ๋ถํ์; ๊ฐ์ ์ด๋ฆ์.json์ ์คํ ์์๋ ์ด๋ค),dot -Tsvg out.dot. ํ์ฌ ๊ทธ๋ํ๋docs/img/render_graph.svg. - ์ฐฝ ๋ทฐ์ด์ F2 ๋ ๋ ๋ ๊ทธ๋ํ ์ฐฝ์ด๋ค. ์ ๋ ฌ ์์, ํจ์ค๋ณ GPU ms, ๋ฆฌ์์ค ์ฌ์ฉ์ ๋ณด์ฌ ์ฃผ๊ณ , ๊ทธ๋ฆฌ๊ธฐ ํญ๋ชฉ๊ณผ
"optional": trueํจ์ค๋ฅผ ์ผ๊ณ ๋ ์ ์๋ค. - ๊ฒ์ฆ: ์ ํ ์ ํ ๋ ๋ 14์ฅ ์ค 12์ฅ์ด ๋นํธ ๋จ์๋ก ๊ฐ๋ค (๋ ์จ 2์ฅ์ ์ต๋ 1/255). Khronos ๊ฒ์ฆ ๋ ์ด์ด์
๋๊ธฐํ ๊ฒ์ฆ์์๋ ํด์ ๋๊ฐ 0์ด๋ค (
VK_INSTANCE_LAYERS=VK_LAYER_KHRONOS_validation,VK_LAYER_ENABLES=VK_VALIDATION_FEATURE_ENABLE_SYNCHRONIZATION_VALIDATION_EXT). ์ ๋ ฌยท๋ฐฐ๋ฆฌ์ด ๊ท์น์tests/test_render_graph_cpp.py๊ฐ GPU ์์ด ์ํํ๋ค. - ์ฒจ๋ถ(color/depth attachment)์ ์ ํ์ ๋ ๋ ํจ์ค(์ธ๋ถ ์์กด์ฑ ํฌํจ)๊ฐ ๋งก๊ณ , ๊ทธ๋ํ๋ ํจ์ค๊ฐ ๋๋ ๋ค์ ์ํ๋ง ๊ธฐ๋กํ๋ค. ํจ์ค ์์ ๋ฐ๋ณต ๋ฐฐ๋ฆฌ์ด(radixยทbitonic ๋จ๊ณ ์ฌ์ด)๋ ์คํ๊ธฐ๊ฐ ์ง์ ๋ฃ๋๋ค.
- ํ๊ณ:
begin_frame์ ๋ชจ๋ ์ด๋ฏธ์ง ๋ ์ด์์์ UNDEFINED ๋ก ๋๋ฆฐ๋ค โ ํ๋ ์์ ๋๊ฒจ ๋ด์ฉ์ ์ด์ด ์ฐ๋ ์ด๋ฏธ์ง(TAA ๊ธฐ๋ก ๋ฑ)๋ ์์ง ์๋ค. ์๊ธฐ๋ฉดpersistentํ์๊ฐ ํ์ํ๋ค.
๊ฑฐ๋ฆฌ ๋์ ๊ณผ ๋ฐฐ๊ฒฝ ๋ถ๋ฆฌ (2026-10-05 ๊ฒํ )
๊ฑฐ๋ฆฌ ๋์ ์ฒจ๋ถ๋ RG32F ๋ก (ฮฃzยทฮฑยทT, ฮฃฮฑยทT) ๋ฅผ ์๋๋ค โ ํ๋ฉด ๊น์ด = R/G, ๋ฐฐ๊ฒฝ์ด ๋ณด์ด๋ ๋น์จ = 1 โ G (depth_common.glsl).
์์ ์๋ R ํ๋์ ๋ฐฐ๊ฒฝ 1000 m ๋ฅผ ์์ '๊ธฐ๋ ๊น์ด' ๋ฅผ ์จ์, ๋ฐํฌ๋ช
์ด 3%๋ง ๋จ์๋ ๊น์ด๊ฐ 30 m ๋์ด ๋น๋ฐฉ์ธ ๊ฐ๋ฆผยท์๊ฐยท๋
ธ๋ฉด ํ์ ์ด ํ๋ ธ๋ค.
๋ฐฐ๊ฒฝ ํ๋(์๋ฎฌ๋ ์ด์
ํ๋ยทํ์ต๋ ํ๋ยทํ๊ฒฝ๋งต)์ ๋ณ๋ background ํจ์ค๊ฐ ๊ทธ๋ฆฌ๊ณ , ์ฅ๋ฉด ํจ์ค๋ ํฌ๋ช
๋ฐฐ๊ฒฝ ์์ ์๋๋ค.
weather ๊ฐ ๊ฐ์ฐ์์ ๋ถ๋ถ(premultiplied ๋ฅผ ํ์ด์)๊ณผ ํ๋ ๋ถ๋ถ์ ๋ฐ๋ก ๋ณด์ ํ ๋ค ๋ฎ์ ฮฑ ๋ก ํฉ์น๋ค โ ์๋ฎฌ๋ ์ด์
ํ๋์
๋ ๋ฒ ์ด๋ก๊ฒ ํ๊ฑฐ๋, ๋ฐํฌ๋ช
ํฝ์
์ด ๋ฎ ํ๋์์ ํ์ ์ฑ ๋ฐค ๋ณด์ ์ ํผํ๋ ์ผ์ด ์๋ค. ๋ ์จ๋ฅผ ๋๋ฉด ๊ฐ์ ํฉ์ฑ์์ด๋ผ ๋ ๋๋ ๊ทธ๋๋ก๋ค.
์ ฐ์ด๋ ๊ทธ๋ํ
ํ์ฒ๋ฆฌ ํจ๊ณผ๋ ๋
ธ๋ ๊ทธ๋ํ(configs/shader_graphs/<์ด๋ฆ>.json)๋ก ์ง ๋ค. ๋
ธ๋์ ์ฐ์ฐ์ ๋
ธ๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ
(src/vkgs/shaders/nodes/*.glsl)์ GLSL ํจ์ n_<op> ์ด๋ค. ์์ฑ๊ธฐ(scripts/shader_graph.py)๋ ํจ์ ์๊ทธ๋์ฒ๋ฅผ
์ฝ์ด ๋
ธ๋ ์ ์๋ฅผ ์ป๋๋ค โ Ctx ์์ ์ธ์๋ ์
๋ ฅ ํฌํธ, ๋ค์ float ์ ๋งค๊ฐ๋ณ์์ด๊ณ , ๊ธฐ๋ณธ๊ฐยท๋ฒ์๋ // @param ์ฃผ์์์ ์จ๋ค.
๋
ธ๋๋ฅผ ๋ํ ๋ ์์ฑ๊ธฐ๋ ๊ทธ๋๋ก๋ค. ์์ฑ๊ธฐ๋ ๋
ธ๋๋ฅผ ์์ ์ ๋ ฌํด ํจ์ ํธ์ถ ํ ์ค์ฉ์ผ๋ก ํผ์น๊ณ , ์ํยท๊ฐ์ ํ์
ยท๋น ์ง ์
๋ ฅยท๋ชจ๋ฅด๋
๋งค๊ฐ๋ณ์๋ฅผ ๋น๋ ๋ ์ก๋๋ค. ๊ฒฐ๊ณผ๋ ์ธ ๊ฐ์ง๋ค: <์ด๋ฆ>.comp ๋ CMake ๊ฐ SPIR-V ๋ก ๊ตฝ๊ณ , <์ด๋ฆ>.params.json ์
๋งค๊ฐ๋ณ์ ํ, <์ด๋ฆ>.dot ์ ๊ทธ๋ฆผ์ด๋ค.
์์ง์ ๋ ๋ ๊ทธ๋ํ์ compute ํจ์ค๋ก ๋๋ฆฐ๋ค. ๋งค๊ฐ๋ณ์๋ SSBO ์ ์๊ณ , ์ด ๋ฒํผ๋ ๋ ๋ ๊ทธ๋ํ JSON ์
"create" ๋ก ์์ง์ด ๋ง๋ ๋ค. ์
ฐ์ด๋๋ push ๋ bindless ์ฌ๋กฏ(push_slots)์ผ๋ก ๋ฒํผ๋ฅผ ์ฝ๋๋ค. ๊ทธ๋์ ์ฌ๋ผ์ด๋(F2 ์ฐฝ)๋
sim.json shader_graphs.<์ด๋ฆ>.params ๋ก ๊ฐ์ ๋ฐ๊ฟ๋ ๋ค์ ์ปดํ์ผํ์ง ์๋๋ค. ๋
ธ๋๋ ํฝ์
ํ๋๋ง ๋ณด๋ฏ๋ก ๊ฒฐ๊ณผ๋ฅผ ๊ฐ์
์ด๋ฏธ์ง(post)์ ๋ฎ์ด์จ๋ ์์ ํ๋ค.
์ฒซ ๊ทธ๋ํ camera_isp ๋ ์นด๋ฉ๋ผ ISP ๋ค (sRGB โ ์ ํ โ ๋
ธ์ถ โ ํ์ดํธ๋ฐธ๋ฐ์ค โ ๋น๋คํ
โ ์ผ์ ๋
ธ์ด์ฆ โ sRGB โ ์ฑ๋ โ ๋๋น,
docs/img/shader_graph_camera_isp.svg). VLM ์ด ์นด๋ฉ๋ผ ํน์ฑ ๋ณํ๋ฅผ ์ผ๋ง๋ ๊ฒฌ๋๋์ง ์ํํ๋ ค๋ ๊ฒ์ด๋ค. ๊ธฐ๋ณธ์ ๊บผ์ ธ ์๋ค
(๋ ๋ ๊ฒฐ๊ณผ๋ ๊ทธ๋๋ก).
ํ๋กํ์ผ๋ง: Tracy (2026-10-05)
vkgs_viewer ์๋ Tracy ํด๋ผ์ด์ธํธ๊ฐ ๋ค์ด ์๋ค (CMake VKGS_TRACY, ๊ธฐ๋ณธ ์ผฌ, TRACY_ON_DEMAND). ํ๋กํ์ผ๋ฌ๊ฐ
๋ถ์ด ์์ ๋๋ง ๊ธฐ๋กํ๋ฏ๋ก ํ์ ์คํ ๋น์ฉ์ ๊ฑฐ์ ์๋ค. ๊ธฐ๋กํ๋ ๊ฒ์ ๋ค์๊ณผ ๊ฐ๋ค.
- CPU ๊ตฌ๊ฐ:
render,record,gpu wait, ๋ ๋ ๊ทธ๋ํpass(์ด๋ฆ ๋ถ์),png queue/png encode - GPU ๊ตฌ๊ฐ: ๋ ๋ ๊ทธ๋ํ ํจ์ค์ ๋์คํฐ ๊ทธ๋ฆฌ๊ธฐ ํญ๋ชฉ๋ง๋ค Vulkan ํ์์คํฌํ (
TracyVkZoneTransient), ํ๋ ์ ๊ฒฝ๊ณ, ๊ทธ๋ํ ๊ฐ(๋ณด์ด๋ ๊ฐ์ฐ์์ ์ยท์๋)
๋๊ตฌ๋ scripts/build_tracy.sh ๋ก ์ฌ์ฉ์ ๊ณต๊ฐ์์ ๋น๋ํ๋ค: GUI(X11), ์ฐฝ ์์ด ์บก์ฒํ๋ tracy-capture, ํ๋ก ๋ฝ๋ tracy-csvexport.
scripts/profile.sh ๋ ์บก์ฒ์ ํต๊ณ ์ถ๋ ฅ์ ํ ๋ฒ์ ํ๋ค.
์ฒซ ์ธก์ ์์ ์คํ์คํฌ๋ฆฐ ํ ์ฅ 229 ms ์ค PNG ์ ์ฅ(stb, zlib 8, ํ๋ง๋ค ํํฐ 5์ข
์ํ)์ด 216 ms ์๋ค. ์ธ์ฝ๋ฉ์ ๋ฐฑ๊ทธ๋ผ์ด๋
์ค๋ ๋๋ก ๋๊ธฐ๊ณ ํํฐ๋ฅผ ๊ณ ์ ํด(sim.json output) ํ ์ฅ 23 ms ๊ฐ ๋๋ค.
ํ๋ ๊ฐ์ฐ์์ ํ์ (2026-10-05)
ํ๋์ ๋ถ๋ฆฌํ์ง ์๊ณ ํ์ตํ ๋ชจ๋ธ(_env, _depth)์ ๋ฎ ํ๋์ ๊ฐ์ฐ์์์ผ๋ก ๊ตฌ์ ๋ฃ์ด, ํฉ์ฑ ๋ฐค์๋ ํ๋์ด ํ์๋ค.
nusim recon skylabel ์ ๊ฐ์ฐ์์ ์ค์ฌ์ ํ์ต ๋ทฐ์ ํฌ์ํด SegFormer ํ๋ ๋ง์คํฌ์ ๋จ์ด์ง๋ ๋น์จ์ ์ผ๋ค. ๋ผ์ด๋ค
๊น์ด๋ณด๋ค ๋ค๋ผ์ ๊ฐ๋ ค์ง ๋ทฐ๋ ์ธ์ง ์๋๋ค. ๋น์จ์ด 0.4 ๋ฅผ ๋์ผ๋ฉด ํ๋๋ก ํ์ํด sky_gaussians.u8 ์ ์ฐ๊ณ , ๋ทฐ์ด๋ ์๋ฎฌ๋ ์ด์
ํ๋ ๋ชจ๋์์ ์ด๊ฒ๋ค์ ๋บ๋ค. scene-0003_env ์์๋ 6.9๋ง ๊ฐ๊ฐ ํ์๋๋ค.
weather.comp ๋ ๊ฑฐ๋ฆฌ ๋ฒํผ๋ก ๋ฐฐ๊ฒฝ ํ๋์ด ์ค์ ๋ก ๋ณด์ด๋ ํฝ์
๋ง '์๋ฎฌ๋ ์ด์
ํ๋์ด ์ด๋ฏธ ๊ทธ๋ ธ๋ค' ๋ก ๋ณธ๋ค. ํ๋์ฒ๋ผ ๋ฐ์๋
๊ฐ์ฐ์์์ด ๊ทธ๋ฆฐ ํฝ์
์ ๋ฐค ๋
ธ์ถ์ ๋ฐ๋๋ค. nusim render compare ๋ --keep-sky-gaussians ๋ก ํ์ต๊ธฐ์ ๊ฐ๊ฒ ๊ทธ๋ฆฐ๋ค.
๋์ ๊ฐ์ฒด
์ด๊ฒ closed-loop ์ ํต์ฌ ๋์ ์ด๋ค. ์ฌ ์ ์ฒด๋ฅผ ํ๋์ ์ ์ 3DGS ๋ก ์ฌ๊ตฌ์ฑํ๋ฉด ์ง๋๊ฐ๋ ์ฐจ๊ฐ ๋ฐฐ๊ฒฝ์ "๊ตฌ์์ ธ" ๋ฒ๋ฆฐ๋ค. ego ๊ฐ ์๋ณธ๊ณผ ๋ค๋ฅธ ๊ฒฝ๋ก๋ก ๊ฐ๋ ์๊ฐ ๊ทธ ๊ตฌ์์ง ์ฐจ๋ ๋ง์ด ์ ๋๋ ์์น์ ๋จ๋๋ค.
nuScenes ์๋ 3D ๋ฐ์ค ์ด๋ ธํ ์ด์ ์ด ์์ผ๋ฏ๋ก SfM ๊ธฐ๋ฐ ๋ฐฉ๋ฒ๋ค์ด ํ๋ ์ถ์ ์์ด ๋ฐ๋ก ๋ถ๋ฆฌํ ์ ์๋ค:
- ๋ฐ์ค ์์ ํฝ์ โ ๊ฐ์ฒด๋ณ 3DGS (๊ฐ์ฒด ๋ก์ปฌ ์ขํ๊ณ์์ ํ์ต)
- ๋ฐ์ค ๋ฐ์ ํฝ์ โ ์ ์ ๋ฐฐ๊ฒฝ 3DGS
- ๋ ๋๋ง ์์ ์ ๊ฐ์ฒด๋ฅผ ์ํ๋ ์์ธ๋ก ๋ฐฐ์น
์ด๋ฌ๋ฉด ์๋ฎฌ๋ ์ดํฐ๊ฐ ๋ค๋ฅธ ์ฐจ๋์ ๋ ๋ฆฝ์ ์ผ๋ก ์์ง์ผ ์ ์๊ณ , ๊ทธ๋์ผ "๋ชจ๋ธ์ด ๊ธ์ ๊ฑฐํ์ ๋ ๋ค์ฐจ๊ฐ ์ด๋ป๊ฒ ๋๋๊ฐ" ๊ฐ์ ์ง๋ฌธ์ด ์ฑ๋ฆฝํ๋ค.
๋ฌด์์ด '์์ง์ด๋' ๊ฐ์ฒด์ธ๊ฐ (nusim.recon.dynamic.dynamic_instances).
์ด๋
ธํ
์ด์
๋ง ๋ฏฟ์ ์ ์๋ค. ์ ์ ๋ฌผ์ฒด๋ ํคํ๋ ์๋ง๋ค ๋ฐ์ค๊ฐ 0.5~1.5 m ํ๋ค๋ ค์
์ต๋ ๋ณ์ ๊ธฐ์ค์ผ๋ก๋ ์ฃผ์ฐจ ์ฐจ๋ยท์ฝ๊น์ง ์ ๋ถ ๋์ ์ผ๋ก ์กํ๋ค (scene-0003: 66๊ฐ ์ค 58๊ฐ).
๊ทธ๋์ ๊ถค์ ์ 1/3 ๊ณผ ๋ค 1/3 ์ ์ค์๊ฐ ์์น ์ฐจ์ด ๋ฅผ ์ด๋ค โ ํ๋ค๋ฆผ์ด ์์๋๋ค.
์ค์ธก ๋ถํฌ: ์์ง์ด๋ ๊ฐ์ฒด 3.8 m ์ด์, ์ ์ ๊ฐ์ฒด 1.5 m ์ดํ โ ๊ธฐ์ค 2 m.
์ฌ๋์ ์ ์์ด๋ ํญ์ ๋์ , ํ๋ ํคํ๋ ์๋ง ์ค์น ์ฐจ๋ moving ์์ฑ ๊ณผ๋ฐ์ผ๋ก ์ก๋๋ค.
์์ฐจ๋ฅผ ์ค์ ์ฐจ๋์ผ๋ก ๊ทธ๋ฆฌ๊ธฐ (๊ฐ์ฒด ์์ )
nuScenes ์์ฐจ(Renault Zoe)๋ ์๊ธฐ ์นด๋ฉ๋ผ์ ์ฐํ์ง ์์ผ๋ฏ๋ก ์ฌ๊ตฌ์ฑํ ์ ์๋ค. ๋์ ๋ค๋ฅธ ์ฌ์
์ฃผ์ฐจ ์ฐจ๋์ ์ด๋ค. ์ฃผ์ฐจ ์ฐจ๋์ ์ ์ ์ด๋ผ ์ฌ 3DGS ์์ ์ด๋ฏธ ์ฌ๊ตฌ์ฑ๋ผ ์๋ค โ 3D ๋ฐ์ค ์์
๊ฐ์ฐ์์์ ์๋ผ ๋ฐ์ค ์ขํ๊ณ(x ์, y ์ผ์ชฝ, z ์, ๋ฐ๋ฅ ์ค์ ์์ )๋ก ์ฎ๊ธฐ๋ฉด ์์
์ด ๋๋ค
(nusim asset extract, nusim/recon/asset.py).
- ๊ณ ๋ฅด๋ ๋ฒ: ์ฃผ๊ฐ ์ฌ ์ ์ ์กฐ์ฌ(
nusim asset scan) โ ์์ฐจ๊ฐ 5 m ์์ผ๋ก ์ง๋๊ฐ๋ฉฐ ์ฌ๋ฌ ๋ฐฉ์์์ ๋ณธ ์ฐจ. scene-0003 ์ ์ฃผ์ฐจ ์ฐจ๋์ 12 m ๋ฐ์์ ํ๋ ๋ฐฉ์๋ก๋ง ๋ณด์ฌ ๊ฐ์ฐ์์ 3์ฒ ๊ฐ, ํ๋ฆฟํ๋ค. scene-0916 instance 8 (์ธ๋จ, 8๋ฐฉ์ ์ค 6๋ฐฉ์) โ 7,831๊ฐ, ์๋ฉด์ ๋ฐํดยท์ฐฝ๊น์ง ์ ๋ช . - ๋ชป ๋ณธ ์๋ฉด์ ์ฐจ์ ์ข์ฐ ๋์นญ์ผ๋ก ์ฑ์ด๋ค (์ ๋ณด์ธ ์ชฝ์ ๊ฑฐ์ธ ๋ณต์ฌ, ์ฟผํฐ๋์ธ (w,โx,y,โz)).
- ํ์ ํ๋ฉด ๊ณ ์ฐจ SH ์ถ์ด ์ด๊ธ๋๋ฏ๋ก 0์ฐจ(๊ธฐ๋ณธ ์)๋ง ์ด๋ค.
- ์ยท๋ท๋ฉด์ ์ฃผ์ฐจ ์ฐจ๋์ด๋ผ ๋น์ค๋ฌํ๋ง ๋ณด์ฌ ํ๋ฆฌ๋ค. 3์ธ์นญ ๊ธฐ๋ณธ ์์ ์ ์ ๋ค๊ฐ ์๋ ์ผ์ชฝ ๋ค 10ยฐ๋ก ๋ ์ด์ . ๋ ๋๋ฆฌ๋ฉด ์นด๋ฉ๋ผ๊ฐ ํ์ต ๊ถค์ ์์ ๋ฒ์ด๋ ๋ฐฐ๊ฒฝ์ด ๊นจ์ง๋ค (25ยฐ = ์์ผ๋ก 3.2 m ์์ ์ค์ธก).
๋ ๋๋ฌ๋ ์์
์ ์ฌ ๊ฐ์ฐ์์ ๋ค์ ๋ถ์ฌ ํ ๋ฒ์ ์ ๋ ฌํ๋ค โ ์ฅ๋ฉด๊ณผ ์๋ก ์ฌ๋ฐ๋ฅด๊ฒ ๊ฐ๋ฆฐ๋ค.
์์
๊ฐ์ฐ์์์ ์ ์ฒ๋ฆฌ ์
ฐ์ด๋์์ ๋งค ํ๋ ์ ์์ฐจ ํฌ์ฆ๋ก ์ฎ๊ธด๋ค(obj_xform, ๊ณต๋ถ์ฐ์ RฮฃRแต).
์์ฐจ ์นด๋ฉ๋ผ ์์ (๊ด์ธก ์ ์ฅ ํฌํจ)์์๋ ์จ๊ธด๋ค โ ๋ชจ๋ธ ์
๋ ฅ์ ์๊ธฐ ์ฐจ๊ฐ ๋ผ๋ฉด ์ ๋๋ค.
๋งต ์ ์ ๊น์ด๋ฅผ ์ฐ์ง ์๋ ์ค๋ฒ๋ ์ด๋ผ, ์์
๊ฒฝ๊ณ ์์๋ฅผ ๊น์ด์๋ง ๊ทธ๋ ค(๊ฐ๋ฆผ๋ง) ์ ์ด ์ฐจ ๋ค๋ก ๊ฐ๋ ค์ง๊ฒ ํ๋ค.
์: ์ ํ์ต ์ค ๋ณด์ ์ ๋๊ณ , ๊ทธ๊ฑธ ์ค์ฌํํ๋๊ฐ
nuScenes 6์บ ์ ๋ ธ์ถยทํ์ดํธ๋ฐธ๋ฐ์ค๊ฐ ์ ๊ฐ๊ฐ์ด๊ณ ์๋๋ ธ์ถ์ด๋ผ ํ๋ ์๋ง๋ค๋ ๋ฐ๋๋ค. ํ์ต์ ๋ ๋์ ์นด๋ฉ๋ผ๋ณ 3x4 ์ํ + ํ๋ ์๋ณ RGB ๊ฒ์ธ์ ๊ณฑํด ์๋ณธ๊ณผ ๋น๊ตํ๋ค. ๋ณด์ ์ ๋นผ๋ฉด ๊ฐ์ฐ์์ ์์ด ์นด๋ฉ๋ผ ๊ฐ ์ฐจ์ด๋ฅผ ํ๊ท ๋ด๋๋ผ ํ๋ ค์ง๋ค.
ํ์ง๋ง ๋ ๋๋ฌ๋ ply ๋ง ์ฝ๋๋ค. ๋ณด์ ๊ณผ ๊ฐ์ฐ์์ ์์ ์๋ก ๊ฐ์ ๋ ๋๊ธธ ์ ์์ด์ (์ ๋ถ ๋ฐ๊ฒ + ๋ณด์ ์ผ๋ก ์ด๋ก๊ฒ = ๊ฐ์ ๊ฒฐ๊ณผ), ๊ทธ๋ฅ ๋๋ฉด ply ์ '์ ์ค ์' ์ด ์ค์ ์นด๋ฉ๋ผ์ ํ์ฐธ ๋ค๋ฅด๋ค (๋ณด์ ์์ด 18 dB). ๊ทธ๋์ ๋ณด์ ์ ์ค์ฌํ ํ๋ค: ์นด๋ฉ๋ผ ํ๊ท ์ํ์ ํญ์ ํญ๋ฑ, ํ์ต ํ๋ ์ ํ๊ท ๊ฒ์ธ์ ํญ์ 1. ๊ทธ๋ฌ๋ฉด ์ ์ค ์์ด ๊ณง ํ๊ท ์นด๋ฉ๋ผ์ ์์ด๋ค.
์ฒ์์ ํ์ต ๋์ ํ๊ท ๋ณํ์ SH ๊ณ์์ ๊ตฌ์ ๋ค. ๋ณํ์ ์ ํ์ด๋ผ ์์์ ์ ํํ์ง๋ง
gsplat ์ด SH ์์ clamp_min(0) ์ ๊ฑธ์ด ์ด๋์ด ํฝ์
์์ ํ์ด์ง๋ค โ ์ฃผ๊ฐ 0.1 dB,
์ผ๊ฐ 0.3 dB / SSIM 0.05 ๋ฅผ ์์๋ค. ์ค์ฌํ๋ ํ์ต์ด ๊ณง๋ฐ๋ก ์ต์ข
๊ฒฐ๊ณผ๋ฅผ ์ต์ ํํ๋ฏ๋ก ์ด ๋ฌธ์ ๊ฐ ์๋ค.
์์๋ ์ค์ํ๋ค: ์ ํ ์ โ ์นด๋ฉ๋ผ ๋ณํ โ [0,1] ํฌํ. Vulkan ๋ ๋๋ฌ๋ ๋ง์ง๋ง์๋ง ํฌํ์์ผ์ผ ํ์ต๊ธฐ์ ํฝ์ ์ด ๋ง๋๋ค.
์นด๋ฉ๋ผ ์ธ๋ถ ํ๋ผ๋ฏธํฐ ๋ณด์
nuScenes ์ cameraโego ์บ๋ฆฌ๋ธ๋ ์๋ฒฝํ์ง ์๋ค. ์นด๋ฉ๋ผ๋ง๋ค SE3 ๋ณด์ ํ๋(์๊ฐ ๋ถ๋ณ)๋ฅผ
๊ฐ์ด ํ์ตํ๋ฉด scene-0003 ์์ ์บ ๋ง๋ค 0.290.44ยฐ / 38 cm ๊ฐ ์กํ๊ณ , ๋ฐ๋ณต ์คํ์์ ์ฌํ๋๋ค.
0.4ยฐ ๋ 20 m ์์์ 14 cm โ ๋ทฐ ์ฌ์ด ๊ฐ์ฐ์์์ด ํ๋ ค์ง๊ธฐ์ ์ถฉ๋ถํ๋ค.
๋ค๋ง ์ ์ฝ์ด ์ฝํ ์ฌ์์๋ ๋ณด์ ์ด ํ๋ฅํ๋ค. scene-0003(์ฃผ๊ฐ)๊ณผ scene-0992(์ผ๊ฐ)๋ ๊ฐ์ ์ฐจ๋(n015)์ด๋ผ CAM_FRONT_LEFT ์บ๋ฆฌ๋ธ๊ฐ ์์ ํ ๊ฐ์๋ฐ, ํ์ต๋ ๋ณด์ ์ 0.30ยฐ vs 1.98ยฐ ์๋ค. ๊ทธ๋์ ๋ณด์ ์ ์ฝํ L2 ์ฌ์ ๋ถํฌ(์ค์ผ์ผ 0.5ยฐ / 5 cm)๋ฅผ ๊ฑด๋ค.
๋ ๋์ ๋ฐฉํฅ: ์บ๋ฆฌ๋ธ๋ ์ฐจ๋ ๋จ์๋ก ๊ฑฐ์ ๊ณ ์ ์ด๋ค (์ฑ๊ฐํฌ๋ฅด n015 ์ฌ ๊ฑฐ์ ์ ๋ถ๊ฐ ๊ฐ์ ๊ฐ). ์ฃผ๊ฐ ์ฌ ์ฌ๋ฟ์์ ๋ณด์ ์ ์ถ์ ํด ํ๊ท ์ ๋ด๊ณ , ๊ทธ๊ฑธ ์ฐจ๋๋ณ ๊ณ ์ ์บ๋ฆฌ๋ธ๋ก ์ฐ๋ ํธ์ด ์ฌ๋ง๋ค ๋ฐ๋ก ์ถ์ ํ๋ ๊ฒ๋ณด๋ค ์์ ์ ์ด๋ค. ์์ง ํ์ง ์์๋ค.
IBL โ nuScenes ์นด๋ฉ๋ผ ํ๋ ธ๋ผ๋ง๋ก ๋ง๋ ํ๊ฒฝ ์กฐ๋ช
6์บ ์ฌ์ง (+3DGS ์์ชฝ ์ฑ์) โ 360ยฐ ํ๋
ธ๋ผ๋ง โ HDR ๊ทผ์ฌ โ ํ๋ธ๋งต 512ยฒ
โ prefiltered specular (GGX, mip 6๋จ๊ณ = ๊ฑฐ์น ๊ธฐ 0โ1) + irradiance (SH9 โ 32ยฒ) + BRDF LUT (256ยฒ, split-sum)
โ BC6H ์์ถ (AMD Compressonator) โ KTX2 (์์ฒด ์์ฑ๊ธฐ, Khronos `ktx validate` ํต๊ณผ)
โ Vulkan: ํ๊ฒฝ ๋ฐฐ๊ฒฝ + PBR ๋ฉ์ ์กฐ๋ช
nusim render ibl <scene> (20์ด), ๋ทฐ์ด --ibl outputs/ibl/<scene> [--pbr-spheres].
- ํ๋
ธ๋ผ๋ง: ์นด๋ฉ๋ผ ์ธ๋ก ์์ผ๊ฐ ยฑ20ยฐ ๋ฟ์ด๋ผ ์ฌ์ง์ ๊ตฌ์ ์ฝ 26% ๋ง ๋ฎ๋๋ค. ์ฌ์ง๋ง๋ค ํ์ต๋ ์ ๋ณด์ ์
๊ฑฐ๊พธ๋ก ๊ฑธ์ด ์ ์ค ์์ผ๋ก ๋ง์ถ๋ค (์ ํ๋ฉด ์บ ๊ฒฝ๊ณ ์ด์๋งค). ์์ชฝ์ 3DGS ๋ ๋๋ฅผ ์ํ๋ก ํฉ์ฑํ๊ณ ๋น ๊ณณ(์ฒ์ )์
์ ๊ฐ์ฅ์๋ฆฌ์ ๋ฐ์ 15% ์(ํ๋)์ผ๋ก, ์๋์ชฝ์ ์๋ ๊ฐ์ฅ์๋ฆฌ ์(๋
ธ๋ฉด)์ผ๋ก ๋งค๋๋ฝ๊ฒ ์ธ์ฝํ๋ค.
- 3DGS ๋ง์ผ๋ก ์ฑ์ฐ๋ฉด ์ฒ์ ์ด ๊ฒ๊ณ (์๋ฅผ ๋ณธ ํ์ต ์นด๋ฉ๋ผ๊ฐ ์๋ค) ๋ฐ๋ฐ์ ๋ฐ๋ ํฌ์ฑ์ด์๋ค.
- ๊ฐ์ฅ์๋ฆฌ ์์ ๊ทธ๋๋ก ์๋ก ๋์ด๋ฉด ๊ธฐ๋ฅยท๊ฑด๋ฌผ ์์ด ์ธ๋ก ์ค๋ฌด๋ฌ๊ฐ ๋๋ค โ ๋ฐฉ์ ยฑ10ยฐ ํํ.
- HDR ์ ๊ทผ์ฌ๋ค. nuScenes ๋ 8bit JPEG. sRGBโ์ ํ ํ ํ๋ 0.75 ์๋ฅผ ์ต๋ 7๋ฐฐ๋ก ํค์ด๋ค. ํ์ ์ง์ฌ๊ด ์ธ๊ธฐ๋ ๋ชจ๋ฅธ๋ค. ํ๋ฉด์ ๊ทธ๋ฆด ๋๋ ๊ฐ์ ์์ ๋๋๋ ค(compress_highlights) 3DGS ์ ๊ฐ์ ์นด๋ฉ๋ผ sRGB ๊ณต๊ฐ์ผ๋ก ๋ง์ถ๋ค.
- ํ๋ธ ๋ฉด ๋ฐฉํฅ์ Vulkan ์คํ ํ ๊ทธ๋๋ก, ์ ฐ์ด๋๋ ์ฌ ์ขํ(z ์) ๋ฐฉํฅ์ผ๋ก ๋ฐ๋ก ์ํ๋งํ๋ค โ ๊ตฝ๋ ์ชฝ๊ณผ ๊ทธ๋ฆฌ๋ ์ชฝ์ด ๊ฐ์ ํ๋ฅผ ์ด๋ค. ๊ฒ์ฆ: ๊ฑฐ์ธ ๊ตฌ์ ํ๋์ด ์, ๋ ธ๋ฉด์ด ์๋๋ก ๋น์น๋ค.
- ์์ถ: specular 16 MB โ 2 MB (BC6H 8:1), ์ค์๊ฐ ์๋ ์ค์ฐจ 0.35%.
- ๋ฉ์์ ์คํ๋ซ์ ๊น์ด ํฉ์ฑ: ์คํ๋ซ ์ฟผ๋์ ๊ฐ์ฐ์์ ์ค์ฌ ๊น์ด๋ฅผ ์ฃผ๊ณ ๊น์ด ํ ์คํธ๋ง ํ๋ค. ๋ฉ์๋ฅผ ๋จผ์ ๊ทธ๋ฆฌ๋ฉด ๊ทธ ๋ค์ ์คํ๋ซ์ด ๊ฐ๋ ค์ง๋ค (3DGS ๋ ์๋ ๊น์ด๋ฅผ ์ฐ์ง ์๋๋ค).
- ๋ฉ์ ์๋ฉด ํ์ : ํฌ์์ด OpenCV ์ถ(y ์๋)์ ๊ทธ๋๋ก Vulkan NDC ๋ก ๋ณด๋ด ํ๋ฉด ๊ฐ๊น์ด ๋ค์งํ๋ค โ
VK_FRONT_FACE_CLOCKWISE. ๋ฐ๋๋ก ๋๋ฉด ๊ตฌ์ ์์ชฝ์ด ๋ณด์ฌ ๋น๊ธ์๋ ๊ฑฐ์ธ์ฒ๋ผ ๋ณด์๋ค.
ํ๊ณ: ํ๊ฒฝ๋งต์ ํ ์ง์ (ํ๋ ์) ๊ฒ์ด๋ค โ ์์ฐจ๊ฐ ์์ญ m ์์ง์ด๋ฉด ๋ฐ์ฌ๊ฐ ๋ง์ง ์๋๋ค. 3DGS ์์ฐจ ์์ ์ ๋ฉ์๊ฐ ์๋๋ผ IBL ์กฐ๋ช ์ ๋ฐ์ง ์๋๋ค. IBL ์ glTF ์ฐจ๋(๋ค์ ๋จ๊ณ)์ ์ํ ๊ฒ์ด๋ค.
closed-loop ํ๊ฐ ์ธํฐํ์ด์ค โ HUGSIM ์ (2026-10-11)
๋ชฉ์ ์ง("๋ชจ๋ธ์ ์ ์ด๊ฐ ๋ค์ ๊ด์ธก์ ๋ฐ๊พธ๋ ๋ฃจํ")๋ฅผ ํ๊ฐ ๊ฐ๋ฅํ ํํ๋ก ๋ฌถ์๋ค. ์ค๊ณ๋ HUGSIM(arXiv 2412.01718)์ ๋ฐ๋ฅธ๋ค: ์๋ฎฌ๋ ์ดํฐ๋ฅผ Gymnasium env ๋ก ๊ฐ์ธ๊ณ , ์๋ฎฌ๋ ์ดํฐ์ AD ์๊ณ ๋ฆฌ์ฆ์ ๋ค๋ฅธ ํ๋ก์ธ์ค, ๊ฐ์ ๊ธฐ๊ณ์์๋ ์ด๋ฆ ์๋ ํ์ดํ๋ก ๋งํ๋ค.
์ ์ฑ
(nusim.sim.policies / UniADยทVAD ๋ํผ) โโ ์จ์ดํฌ์ธํธ(์์ฐจ ์ขํ, 0.5 s ร 6) โโโถ LQR ์ถ์ข
(nusim.sim.controller)
โฒ 6์บ RGB + ์์ฐจ ์ํ + ๋ด๋น ๋ช
๋ น โ ๊ฐ์ยท์กฐํฅ๊ฐ, 50 ms ๋ง๋ค
โ โผ
VkgsEnv (nusim.sim.closed_loop) โโโ ์ํ ์ค โโ DIR/resp โโ vkgs_viewer --serve DIR (์ฐฝ ์์)
โโ ๋ช
๋ น ์ค โโโถ DIR/cmd drive.hpp Vehicle + step_with_contact (0.01 s), ๊ตฌ๊ฐ ๋ชจ๋ธ ์คํธ๋ฆฌ๋ฐ,
๊ด์ธก: /dev/shm/vkgs_sim_*/obs/<CAM>.rgb (HรWร3 uint8) โโโ 6์บ ๋ ๋ (๊ฒฐ์ ์์ ๋ง๋ค)
- ์๋ฒ (
vkgs_viewer <ply> --cams rig.txt [--segments โฆ] --drivable โฆ --obstacles โฆ [--voxels โฆ] --size WxH --serve DIR): ์ฐฝ ์ด์ ๊ณผ ๊ฐ์ ์ฐจ๋ ๋ชจ๋ธยท์ถฉ๋ ์ฝ๋๋ฅผ ์ด๋ค โ ๋ฌผ๋ฆฌ ํ ์คํ ์drive.hpp step_with_contact๋ก ๋นผ์ ์ฐฝ ๋ฃจํ์ ์๋ฒ๊ฐ ๊ฐ์ด ๋ถ๋ฅธ๋ค. ๊ฐ์ยท์กฐํฅ๊ฐ ๋ช ๋ น์control_for๊ฐ ํ๋ฌยทํธ๋ค๋ก ๋ฐ๊พผ๋ค (์ ์ง ์ค ์์ ๊ฐ์ = ์ ์ง ์ ์ง, ํ์งํ์ง ์์). ์นด๋ฉ๋ผ๋ ํ์ง ์์ธ(๊ธฐ๋ก z)๋ก ๋ถ์ธ๋ค โ ํ์ต ์นด๋ฉ๋ผ๋ ๊ทธ ๋์ด์๋ค.settle_on_ground์ zยทpitchยทroll ์ ์ํ๋ก๋ง ์๋ฆฐ๋ค. - ํ๋กํ ์ฝ (
src/vkgs/src/serve.hpp, ์ค ๋จ์์ด๋ฆ key=value โฆโok key=value โฆ|err โฆ):hello(ํด์๋ยท์นด๋ฉ๋ผยท์ฐจ์ฒด ์น์ยท์ถฉ๋ ํ์ฉ์น),reset x= y= yaw= [v=] [frame=],step dt= accel= delta=๋๋step dt= throttle= brake= steer=(+render=1,sensors=1์ด๋ฉด ๋ผ์ด๋คยท๋ ์ด๋๋ shm ์ nuScenes ํ์์ผ๋ก),render,state,actors boxes=x,y,yaw,๋ฐ๊ธธ์ด,๋ฐํญ;โฆ(๋ค๋ฅธ ์ฐจ๋ ๋ฐ๋ฅ ์ฌ๊ฐํ โ ์ถฉ๋ยท์ผ์์ฉ, ๊ทธ๋ฆฌ๊ธฐ๋ ์์ง),close. ์ํ ํค:t x y z yaw v yaw_rate accel delta contact contact_n blocked collisions on_road log_dev ground_z pitch roll seg step_ms render_ms n_obs obs. ๋ ์ชฝ ๋ค cmd ๋ฅผ ๋จผ์ ์ฐ๋ค (๊ต์ฐฉ ๋ฐฉ์ง). - ์๋๋ฆฌ์ค
configs/scenarios/<์ด๋ฆ>.json(nusim sim make-scenarios๊ฐoutputs/gs_day์ ๊ตฌ๊ฐ์ด ๋ค ๋๋ ์ฌ๋ง๋ค Easy ๋ฅผ ๋ง๋ ๋ค): ์ฌยท๋ชจ๋ธ ๋๋ ํฐ๋ฆฌ(๋จ์ผ ๋๋ ๊ตฌ๊ฐ), ์ถ๋ฐ(๋ฆฌ๊ทธ ํ๋ ์, ๊ธฐ๋ก ์๋), ๊ฒฝ๋ก(๊ทธ ํ๋ ์๋ถํฐ์ ๊ธฐ๋ก ๊ถค์ ,max_m์ผ๋ก ์๋ฆ), ์ ํ ์๊ฐ,actors(์ง๊ธ์static_boxโ ๋ณด์ด์ง ์๋ ์ถฉ๋ ์์. replay/IDM/aggressiveยท3DRealCar ์์ ์ ๊ฐ์ ์๋ฆฌ์ ๋ค์ด์จ๋ค),overrides(closed_loop.json ๋ฎ์ด์ฐ๊ธฐ). ํ์์nusim/sim/scenario.pydocstring. - ์ข
๋ฃ: ์ฅ์ ๋ฌผยท์ฐจ๋์ ๋งํ(์ถฉ๋), ๋๋ก ์ดํ 2 s ์ง์, ๊ฒฝ๋ก์์ 8 m ๋๊ฒ ๋ฒ์ด๋จ(์ฌ๊ตฌ์ฑ ๋ฒ์ ๋ฐ), ๊ฒฝ๋ก ๋ 2 m ์(์์ฃผ),
์๊ฐ ์ด๊ณผ โ ๊ฐ์
configs/closed_loop.json termination.
HD-Score (nusim/sim/hdscore.py, ์ค์ configs/closed_loop.json hdscore)
๊ฒฐ์ ์์ (2 Hz) t ๋ง๋ค HD_t = NC ร DAC ร (5ยทTTC + 2ยทCOM) / 7, ์ต์ข
HD-Score = Rc ร ํ๊ท _t HD_t (HUGSIM ์, NAVSIM
PDM ์์ EP ๋ฅผ ๋บ ๊ฒ). ๋ถ๋ถ ์ ์๋ NAVSIM ์ ์๋ฅผ ์ฐ๋ฆฌ ํ์ ์ฌ๋ฃ๋ก ์ฎ๊ฒผ๋ค:
| ์ ์ | ํ์ ์ฌ๋ฃ | |
|---|---|---|
| NC | ๊ฒฐ์ ๊ตฌ๊ฐ ์ ๋ฟ์ ๊ฒ์ ์ข
๋ฅ๋ณ ๊ฐ ์ต์ (์ฐจ๋ 0, ์ฅ์ ๋ฌผ 0, ์ฐ์ 1 โ NAVSIM ์ ์ ์ ๋ฌผ์ฒด 0.5, hdscore.nc) |
์๋ฒ ์ ์ด: ๋งํ ๋๋ graze ํ๋ณธ ๋๊ฒ ๋ฟ์ |
| DAC | ๊ฒฐ์ ๊ตฌ๊ฐ ๋ชจ๋ ์ ์ด ์คํ ์์ ์ฐจ์ฒด ๋๋ 8์ ์ด ์ฃผํ๊ฐ๋ฅ์์ญ ์ | ์๋ฒ on_road (= ์ฐ์ ํ์ ๊ณผ ๊ฐ์ ๋๋ ยทํ์ฉ์น) |
| TTC | ๋ฑ์ยท๋ฑ๋ฐฉ์ 1 s ํฌ์(0.1 s ๊ฐ๊ฒฉ)์ด ์ง๊ธ๋ณด๋ค ๊น์ด ๋ฟ์ผ๋ฉด 0, ์ ์์ผ๋ฉด 1 | Python geometry.World โ ์ฅ์ ๋ฌผ ์ง๋ยท์ฐจ๋ ์์ |
| COM | ๊ทธ ์์ ๊น์ง 2 s ๋์ ์ข ๊ฐ์ [-4.05, 2.40], ํก๊ฐ์ 4.89, ์ข ์ ํฌ 4.13, ์ ํฌ 8.37, ์๋ ์ดํธ 0.95, ์๊ฐ์ 1.93 | 20 Hz ์ํ, 0.3 s ์ด๋ํ๊ท ๋ค ๋ฏธ๋ถ (๋ฏธ๋ ํ๋ณธ ์ ์) |
| Rc | ๊ฒฝ๋ก ํฌ์ ์งํ ์ต๋ / ๊ฒฝ๋ก ๊ธธ์ด (์์ฃผ ํ์ฉ ๊ฑฐ๋ฆฌ ์์ด๋ฉด 1) | ๊ธฐ๋ก ๊ถค์ ํด๋ฆฌ๋ผ์ธ |
Python ํ์ ์ drive.hpp vehicle_contact ์ ๊ฐ์ ํ๋ณธ์ (float32 ๋์ 0.1 m ๊ฒฉ์, ๋๋ 8์ )์ ์ด๋ค โ
tests/test_serve_cpp.py ๊ฐ ๊ฐ์ ์ง๋ยท์์ธ์์ C++ ์ ์ ์๋ฅผ ๋์กฐํ๋ค. ๊ฒฐ์ t ์ ์ ์๋ t ๊น์ง์ ๋ก๊ทธ๋ง ์ฐ๋ฏ๋ก ํ๊ฒฝ์ด
๋งค ๊ฒฐ์ ์ฃผ๋ ๋ณด์๊ณผ nusim sim score ๊ฐ ๋๋ ๋ก๊ทธ๋ก ๋ค์ ๋ธ ์ ์๊ฐ ๊ฐ๋ค.
๊ธฐ์ค์ (2026-10-11, 800ร450, ํ์ต ์์
๊ณผ GPU ๊ณต์ ): scene-0402 Easy (235 m ์ง์ ) replay 1.000 / constant 0.169
(49 m ์์ ์ผ์ชฝ ๋๋ฌด์ ์ถฉ๋), scene-0006 Easy (101 m, 90ยฐ ํ์ ) replay 0.982 (ํ์ ์ค TTC ํ ๋ฒ 0 โ ๋ฑ๋ฐฉ์ ํฌ์์ด
๋ฐ๊นฅ ์ฅ์ ๋ฌผ๋ก ๋๊ฐ๋ค, NAVSIM ๊ณผ ๊ฐ์ ํ๊ณ) / constant 0.440 (ํ์ ๊ตฌ๊ฐ์์ ์ถฉ๋). 6์บ ๋ ๋ 6279 ms, ๋ฌผ๋ฆฌ 50 ms ์ ๋ถ +
์ ์ด 0.30.6 ms, ๊ฒฐ์ ํ ๋ฒ ์ฝ 120 ms (์ค์๊ฐ์ ์ฝ 4๋ฐฐ ๋น ๋ฅด๊ธฐ).
ํ๊ณ: ๋ค๋ฅธ ์ฐธ๊ฐ์๋ ์์ง ๊ทธ๋ฆฌ์ง ์๋๋ค (Easy ๋ง ์๋ฏธ ์๋ค). ์ง์ญ ๋งต(_map/<์ง์ญ>)์ ์ฅ์ ๋ฌผยท๋ณต์
์ด ์์ด ์๋๋ฆฌ์ค๋ก
์ฐ์ง ์๋๋ค. ๊ด์ธก ํ์ง์ ๊ทธ ์ฌ ์ฌ๊ตฌ์ฑ ํ์ง ๊ทธ๋๋ก๋ค (scene-0006 ์ ํ์ ๊ตฌ๊ฐ์ด ํ๋ฆฌ๋ค).
8 GB VRAM ์ด๋ผ๋ ์ ์ฝ
RTX 3060 Ti 8 GB ๊ฐ ์ค๊ณ ์ ๋ฐ์ ๋๋ฅธ๋ค.
๊ฐ์ฐ์์ 1๊ฐ = 236 B (fp32):
| ํญ๋ชฉ | ๋ฐ์ดํธ |
|---|---|
| ์์น xyz | 12 |
| ์ค์ผ์ผ | 12 |
| ํ์ ์ฟผํฐ๋์ธ | 16 |
| ๋ถํฌ๋ช ๋ | 4 |
| SH ๊ณ์ (degree 3, 48๊ฐ float) | 192 |
- ๋ ๋๋ง ์ ์ฉ: 8 GB รท 236 B โ 2,000๋ง ๊ฐ ๊ฐ ์ด๋ก ์ํ. ํ๋ ์๋ฒํผยท์ ๋ ฌ ๋ฒํผ๋ฅผ ๋นผ๋ฉด ์ค์ง 1,200๋ง ๊ฐ ์ํ.
- ํ์ต: gradient + Adam ๋ชจ๋ฉํ 2๊ฐ๊ฐ ๋ถ์ด ํ๋ผ๋ฏธํฐ๋น 4๋ฐฐ. ์ฌ๋น 100๋ง~200๋ง ๊ฐ, ์ด๋ฏธ์ง 2๋ฐฐ ๋ค์ด์ค์ผ์ผ ์ ๊ธฐ์ค์ ์ผ๋ก ์ก๋๋ค.
- SH ๋ฅผ fp16 ์ผ๋ก ์ ์ฅํ๋ฉด ๊ฐ์ฐ์์๋น 96 B ๋ฅผ ์๋๋ค (40%).
vkgs_probe๊ฐshaderFloat16์ง์ ์ฌ๋ถ๋ฅผ ๋ณด๊ณ ํ๋ค.
๋ฐ์ดํฐ๋ฅผ ์ ๋ ์ฐ์ง ์๋๋ค
nuScenes ์๋ณธ์ 67 TB ๊ฐ ์ฐฌ ๊ณต์ฉ NFS ์์ ์๋ค. docker-compose.yml ์์
:ro ๋ก ๋ง์ดํธํ๋ ๊ฒ์ ํธ์๊ฐ ์๋๋ผ ์์ ์ฅ์น๋ค. ํ์๋ฌผ์ ์ ๋ถ
๋ก์ปฌ ๋์คํฌ์ cache/ ์ outputs/ ๋ก ๊ฐ๋ค.