vkgs-sim / docs /architecture.md
kimjunhan's picture
Add files using upload-large-folder tool
ceea884 verified
|
Raw History Blame Contribute Delete
29 kB

์„ค๊ณ„์™€ ๊ทธ ๊ทผ๊ฑฐ

๊ฒฐ์ •๋งˆ๋‹ค ์™œ ๊ทธ๋ ‡๊ฒŒ ํ–ˆ๋Š”์ง€ ๋ฅผ ๋‚จ๊ธด๋‹ค. ๋‚˜์ค‘์— ๋’ค์ง‘์„ ๋•Œ ๋ฌด์—‡์ด ๊ฑธ๋ ค ์žˆ๋Š”์ง€ ์•Œ๊ธฐ ์œ„ํ•ด์„œ๋‹ค.

์ „์ฒด ๊ทธ๋ฆผ

nuScenes ์›๋ณธ (NFS, ์ฝ๊ธฐ์ „์šฉ)
   โ”‚
   โ”‚  โ‘  ์ธ๋ฑ์‹ฑ โ€” ํ•œ ๋ฒˆ๋งŒ, ์ŠคํŠธ๋ฆฌ๋ฐ
   โ–ผ
cache/scene_index/*.json.gz          ์”ฌ๋ณ„ 6์บ  ํ”„๋ ˆ์ž„ + ego ํฌ์ฆˆ + ์บ˜๋ฆฌ๋ธŒ
   โ”‚
   โ”‚  โ‘ก ์žฌ๊ตฌ์„ฑ โ€” ์”ฌ๋‹น 1ํšŒ, PyTorch/CUDA
   โ–ผ
outputs/gs/<scene>.ply               ์ •์  ๋ฐฐ๊ฒฝ 3DGS + ๊ฐ์ฒด๋ณ„ 3DGS
   โ”‚
   โ”‚  โ‘ข ๋ Œ๋”๋ง โ€” ๋งค ํ”„๋ ˆ์ž„, Vulkan
   โ–ผ
6 ร— (1600ร—900) RGB
   โ”‚
   โ”‚  โ‘ฃ closed-loop
   โ–ผ
VLM/VLA ๋ชจ๋ธ โ†’ ์ œ์–ด โ†’ ego ์ ๋ถ„ โ†’ โ‘ข ์œผ๋กœ ๋˜๋Œ์•„๊ฐ

์™œ ํ•™์Šต์€ CUDA, ๋ Œ๋”๋ง์€ Vulkan ์ธ๊ฐ€

๋‘˜์„ ํ•œ API ๋กœ ํ†ต์ผํ•˜์ง€ ์•Š์€ ๊ฑด ์˜๋„์ ์ด๋‹ค.

ํ•™์Šต์— CUDA ๋ฅผ ์“ฐ๋Š” ์ด์œ . 3DGS ์ตœ์ ํ™”๋Š” ์—ญ์ „ํŒŒ๊ฐ€ ํ•„์š”ํ•˜๋‹ค. PyTorch ์˜ autograd ์œ„์— ์˜ฌ๋ฆฌ๋ฉด densification/pruning ๊ฐ™์€ ์‹คํ—˜์„ ๋ฉฐ์น ์ด ์•„๋‹ˆ๋ผ ๋ช‡ ์‹œ๊ฐ„ ๋‹จ์œ„๋กœ ๋Œ๋ ค๋ณผ ์ˆ˜ ์žˆ๋‹ค. Vulkan ์œผ๋กœ ํ•™์Šต ํŒŒ์ดํ”„๋ผ์ธ์„ ๋‹ค์‹œ ์“ฐ๋Š” ๊ฒƒ์€ ๊ฐ€๋Šฅํ•˜์ง€๋งŒ, ์–ป๋Š” ๊ฒƒ์ด ์—†๋‹ค โ€” ํ•™์Šต์€ ์˜คํ”„๋ผ์ธ์ด๊ณ  ํ•œ ๋ฒˆ๋งŒ ๋ˆ๋‹ค.

๋ Œ๋”๋ง์— Vulkan ์„ ์“ฐ๋Š” ์ด์œ . closed-loop ๋Š” ๋งค ์Šคํ… 6์žฅ์„ ์ƒˆ๋กœ ๊ทธ๋ฆฐ๋‹ค. CUDA ๋ž˜์Šคํ„ฐ๋ผ์ด์ €๋ฅผ ๊ทธ๋Œ€๋กœ ์“ฐ๋ฉด (a) ํ™”๋ฉด ์ถœ๋ ฅ์— CUDA-GL interop ์ด ๋ผ์–ด์•ผ ํ•˜๊ณ , (b) ํ•™์Šต ํ”„๋ ˆ์ž„์›Œํฌ ์ „์ฒด๊ฐ€ ๋Ÿฐํƒ€์ž„ ์˜์กด์„ฑ์ด ๋˜๋ฉฐ, (c) ๋ชจ๋ธ ์ถ”๋ก ๊ณผ GPU ๋ฅผ ๋‹คํˆฌ๊ฒŒ ๋œ๋‹ค. Vulkan ์ชฝ์€ ๊ทธ๋ž˜ํ”ฝ ํŒŒ์ดํ”„๋ผ์ธยท์Šค์™‘์ฒด์ธยทํƒ€์ž„๋ผ์ธ ์„ธ๋งˆํฌ์–ด๊ฐ€ ์ด๋ฏธ ์žˆ์–ด์„œ ๋ Œ๋”๋ง๊ณผ ์ถ”๋ก ์„ ๋ณ„๋„ ํ๋กœ ๊ฒน์น  ์ˆ˜ ์žˆ๋‹ค.

๊ตํ™˜ ์ง€์ ์€ .ply ํŒŒ์ผ ํ•˜๋‚˜ ๋‹ค. ํ•™์Šต๊ธฐ๋Š” ํ‘œ์ค€ 3DGS ply ๋ฅผ ์“ฐ๊ณ , ๋ Œ๋”๋Ÿฌ๋Š” ๊ทธ๊ฑธ ์ฝ๋Š”๋‹ค. ๋‘ ์ชฝ์ด ์„œ๋กœ๋ฅผ ๋งํฌํ•˜์ง€ ์•Š๋Š”๋‹ค.

์™œ devkit ์„ ๊ฐ์‹ธ์ง€ ์•Š๊ณ  ์ธ๋ฑ์Šค๋ฅผ ๋”ฐ๋กœ ๋งŒ๋“œ๋‚˜

nuscenes-devkit ์€ ๋ฒ„๋ฆด ๋ฌผ๊ฑด์ด ์•„๋‹ˆ๋‹ค โ€” ์–ด๋…ธํ…Œ์ด์…˜๊ณผ ๋งต API ๋Š” ๊ทธ๋Œ€๋กœ ์“ด๋‹ค. ๋‹ค๋งŒ NuScenes() ์ƒ์„ฑ์ž๊ฐ€ ๋ชจ๋“  ํ…Œ์ด๋ธ”์„ ํ†ต์งธ๋กœ ์˜ฌ๋ฆฌ๋Š” ๊ฒŒ ๋ฌธ์ œ๋‹ค (trainval 2~3๋ถ„, 10 GB+). ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๋ฃจํ”„๊ฐ€ "scene-0553 ์˜ CAM_FRONT 137๋ฒˆ์งธ ํ”„๋ ˆ์ž„ ๊ฒฝ๋กœ์™€ ๊ทธ๋•Œ ego ์ž์„ธ" ๋ฅผ ๋ฌป๋Š” ๋ฐ ๋‚ผ ๋น„์šฉ์ด ์•„๋‹ˆ๋‹ค.

๊ทธ๋ž˜์„œ ๋œจ๊ฑฐ์šด ๊ฒฝ๋กœ๋งŒ ๋œ์–ด๋‚ธ๋‹ค. ์ธ๋ฑ์Šค์— ๋‹ด๋Š” ๊ฒƒ์€ ์žฌ๊ตฌ์„ฑ๊ณผ ๋ Œ๋”๋ง์— ๋งค๋ฒˆ ํ•„์š”ํ•œ ๊ฒƒ๋ฟ์ด๋‹ค: ํŒŒ์ผ ๊ฒฝ๋กœ, ํƒ€์ž„์Šคํƒฌํ”„, ego ํฌ์ฆˆ, ์นด๋ฉ”๋ผ ์บ˜๋ฆฌ๋ธŒ. ์–ด๋…ธํ…Œ์ด์…˜ยท๋งตยท๋ผ์ด๋‹ค๋Š” ํ•„์š”ํ•  ๋•Œ devkit ์œผ๋กœ ๊ฐ„๋‹ค.

nusim.io.jsonstream ์ด ์ด๊ฑธ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•œ๋‹ค. ์ตœ์ƒ์œ„ JSON ๋ฐฐ์—ด์„ ์›์†Œ ๋‹จ์œ„๋กœ ํ˜๋ ค๋ณด๋‚ด๋ฏ€๋กœ 1.35 GB ํŒŒ์ผ์„ ํ”ผํฌ 30 MB ๋กœ ํ›‘๋Š”๋‹ค. json.load() ๋Š” ๊ฐ™์€ ํŒŒ์ผ์— 6 GB ์•ˆํŒŽ์„ ์“ด๋‹ค.

์ขŒํ‘œ๊ณ„

์—ฌ๊ธฐ์„œ ํ‹€๋ฆฌ๋ฉด ์ „๋ถ€ ํ‹€๋ฆฐ๋‹ค. ํ•œ ๊ณณ(nusim.data.rig)์—๋งŒ ์ ์–ด ๋‘”๋‹ค.

ํ”„๋ ˆ์ž„ ์ถ• ๋น„๊ณ 
global / map x=๋™, y=๋ถ, z=์œ„ nuScenes ๋งต ์ขŒํ‘œ, ๋ฏธํ„ฐ
ego x=์ „๋ฐฉ, y=์ขŒ, z=์ƒ
camera x=์šฐ, y=ํ•˜, z=์ „๋ฐฉ OpenCV. nuScenes intrinsic ์ด ์ด๊ฑธ ๊ฐ€์ •
clip NDC x,y โˆˆ [-1,1], y ์•„๋ž˜๊ฐ€ +, z โˆˆ [0,1] Vulkan. OpenGL ๊ณผ ๋‹ค๋ฆ„

nuScenes ์›๋ณธ์˜ ์˜๋ฏธ:

  • ego_pose.translation/rotation = ego โ†’ global
  • calibrated_sensor.translation/rotation = camera โ†’ ego
  • ์ฟผํ„ฐ๋‹ˆ์–ธ์€ ์ „๋ถ€ (w, x, y, z) ์ˆœ์„œ

๋”ฐ๋ผ์„œ c2w = ego2global @ cam2ego, view ํ–‰๋ ฌ์€ ๊ทธ ์—ญ์ด๋‹ค.

์‹ค์ธก์œผ๋กœ ํ™•์ธํ•œ 6-์นด๋ฉ”๋ผ ๋ฐฐ์น˜ (scene-0003, ego ์ „๋ฐฉ ๊ธฐ์ค€ ๋ฐฉ์œ„๊ฐ):

CAM_FRONT_LEFT   +55.2ยฐ   HFOV 64.3ยฐ
CAM_FRONT         +0.3ยฐ   HFOV 64.6ยฐ
CAM_FRONT_RIGHT  -56.4ยฐ   HFOV 64.8ยฐ
CAM_BACK_RIGHT  -110.8ยฐ   HFOV 64.8ยฐ
CAM_BACK        +179.9ยฐ   HFOV 89.3ยฐ   โ† ํ›„๋ฐฉ๋งŒ ๊ด‘๊ฐ ๋ Œ์ฆˆ
CAM_BACK_LEFT   +108.6ยฐ   HFOV 65.0ยฐ

๊ฒน์นจ์„ ํฌํ•จํ•ด 360ยฐ ๋ฅผ ๋ฎ๋Š”๋‹ค. CAM_BACK ๋งŒ ์ดˆ์ ๊ฑฐ๋ฆฌ๊ฐ€ 809 px ๋กœ ๋‹ค๋ฅธ 5๊ฐœ(์•ฝ 1260 px)์™€ ๋‹ค๋ฅด๋‹ค โ€” ๋ฉ€ํ‹ฐ๋ทฐ ํ…์„œ๋ฅผ ๋งŒ๋“ค ๋•Œ intrinsic ์„ ๊ณต์œ ํ•˜๋ฉด ์•ˆ ๋˜๋Š” ์ด์œ ๋‹ค.

๋ Œ๋”๋Ÿฌ: ์™œ 2๋‹จ๊ณ„์ธ๊ฐ€

1๋‹จ๊ณ„ ๋นŒ๋ณด๋“œ: ๊ฐ€์šฐ์‹œ์•ˆ๋งˆ๋‹ค ํ™”๋ฉด์ •๋ ฌ ์ฟผ๋“œ๋ฅผ ๊ทธ๋ฆฌ๊ณ  ๊นŠ์ด์ˆœ์œผ๋กœ ์ •๋ ฌํ•ด ์•ŒํŒŒ ๋ธ”๋ Œ๋”ฉ. ๊ทธ๋ž˜ํ”ฝ ํŒŒ์ดํ”„๋ผ์ธ๋งŒ ์“ฐ๋ฏ€๋กœ ๋ฉฐ์น ์ด๋ฉด ํ™”๋ฉด์ด ๋œฌ๋‹ค. ์ •๋ ฌ์ด per-๊ฐ€์šฐ์‹œ์•ˆ ๊ทผ์‚ฌ๋ผ ์นด๋ฉ”๋ผ๊ฐ€ ๋Œ ๋•Œ popping ์ด ์ƒ๊ธด๋‹ค.

2๋‹จ๊ณ„ ์ปดํ“จํŠธ ํƒ€์ผ: ์›๋ณธ 3DGS ๋ฐฉ์‹. ํ™”๋ฉด์„ 16ร—16 ํƒ€์ผ๋กœ ๋‚˜๋ˆ„๊ณ , ๊ฐ ํƒ€์ผ์— ๊ฒน์น˜๋Š” ๊ฐ€์šฐ์‹œ์•ˆ์„ binning ํ•œ ๋’ค ํƒ€์ผ๋ณ„๋กœ ์ •ํ™•ํ•œ ์ˆœ์„œ๋กœ ๋ธ”๋ Œ๋”ฉํ•œ๋‹ค. ๋…ผ๋ฌธ ๋Œ€๋น„ ์ •ํ™•ํ•œ ๊ฒฐ๊ณผ๊ฐ€ ๋‚˜์˜ค๊ณ  6๋ทฐ ๋™์‹œ ๋ Œ๋”๋ง์—์„œ ํ›จ์”ฌ ๋น ๋ฅด๋‹ค.

1๋‹จ๊ณ„๋ฅผ ๊ฑด๋„ˆ๋›ฐ์ง€ ์•Š๋Š” ์ด์œ ๋Š” ๊ฒ€์ฆ ์ˆ˜๋‹จ ๋•Œ๋ฌธ์ด๋‹ค. ํƒ€์ผ ๋ž˜์Šคํ„ฐ๋ผ์ด์ €๋ฅผ ๋””๋ฒ„๊น…ํ•  ๋•Œ "์ด ์žฅ๋ฉด์ด ๋Œ€์ถฉ ์ด๋ ‡๊ฒŒ ๋ณด์—ฌ์•ผ ํ•œ๋‹ค" ๋Š” ๊ธฐ์ค€ ์ด๋ฏธ์ง€๊ฐ€ ์žˆ์–ด์•ผ ํ•œ๋‹ค. ๋นŒ๋ณด๋“œ ๋ Œ๋”๋Ÿฌ๊ฐ€ ๊ทธ ๊ธฐ์ค€์ด ๋œ๋‹ค.

๋นŒ๋ณด๋“œ ๊ฒฝ๋กœ๋Š” 2๋‹จ๊ณ„๊ฐ€ ๋๋‚˜๋„ ๋‚จ๊ธด๋‹ค โ€” ์ €์‚ฌ์–‘ ํด๋ฐฑ์œผ๋กœ ์“ธ ์ˆ˜ ์žˆ๋‹ค.

๋ Œ๋”๋Ÿฌ ๋ฆฌ์†Œ์Šค ๋ฐ”์ธ๋”ฉ: bindless (2026-10-05)

๋ชจ๋“  ํŒŒ์ดํ”„๋ผ์ธ์ด ์ „์—ญ descriptor set ํ•˜๋‚˜(set 0)์™€ ๊ฐ™์€ ํŒŒ์ดํ”„๋ผ์ธ ๋ ˆ์ด์•„์›ƒ(push constant 160 B, ๋ชจ๋“  ๋‹จ๊ณ„)์„ ์“ด๋‹ค. set ์—๋Š” ์ข…๋ฅ˜๋ณ„ ๋ฆฌ์†Œ์Šค ๋ฐฐ์—ด์ด ์žˆ๊ณ  ์…ฐ์ด๋”๋Š” ๋ฒˆํ˜ธ๋กœ ๊ณ ๋ฅธ๋‹ค (shaders/bindless.glsl, Vulkan 1.2 descriptor indexing โ€” partially bound, update-after-bind):

binding ์ข…๋ฅ˜ ์“ฐ์ž„
0 SSBO[256] 0 ์ „์—ญ ์ƒ์ˆ˜(IBL ํ๋ธŒ ๋ฒˆํ˜ธ), 1 ๊ฐ€์šฐ์‹œ์•ˆ, 2 ์Šคํ”Œ๋žซ, 3 ์ •๋ ฌ ํ‚ค, 4 ์ธ๋‹ค์ด๋ ‰ํŠธ ์ธ์ž, 5~ glTF ์žฌ์งˆ (๋ชจ๋ธ๋งˆ๋‹ค ํ•˜๋‚˜)
1 UBO[16] 0 ์นด๋ฉ”๋ผ, 1 ๋‚ ์”จ
2 sampler2D[4096] 0 BRDF LUT, 1 ํฐ์ƒ‰, 2~ glTF ํ…์Šค์ฒ˜
3 samplerCube[32] 0 IBL specular, 1 irradiance, 2 ํ•™์Šต๋œ ํ•˜๋Š˜
4 / 5 image2D 4์ฑ„๋„[8] / 1~2์ฑ„๋„[8] (ํ˜•์‹ ์—†๋Š” storage โ€” ์‹ค์ œ ํ˜•์‹์€ ๋ Œ๋” ๊ทธ๋ž˜ํ”„ JSON) ๋ Œ๋” ํƒ€๊ฒŸยท๋‚ ์”จ ๊ฒฐ๊ณผยท๋ฐฐ๊ฒฝยท๊ฐ•์ˆ˜ / ๊ฑฐ๋ฆฌ ๋ˆ„์ 

ํ•˜๋‚˜๋ฟ์ธ ๋ฆฌ์†Œ์Šค๋Š” ๊ณ ์ • ์Šฌ๋กฏ(์…ฐ์ด๋”์™€ C++ ์˜ ๊ฐ™์€ ์ƒ์ˆ˜), ์—ฌ๋Ÿฌ ๊ฐœ์ธ ๋ฆฌ์†Œ์Šค(์žฌ์งˆยทํ…์Šค์ฒ˜ยทํ๋ธŒ)๋Š” push constant ๋‚˜ ์ „์—ญ ์ƒ์ˆ˜์˜ ๋ฒˆํ˜ธ. ํ”„๋ ˆ์ž„๋งˆ๋‹ค set ์„ ๋‘ ๋ฐ”์ธ๋“œ ์ง€์ ์— ํ•œ ๋ฒˆ์”ฉ๋งŒ ๋ฌถ๊ณ , glTF ๋Š” ์žฌ์งˆ์ด ๋ฐ”๋€” ๋•Œ push ๋งŒ ๋ฐ”๊พผ๋‹ค. ๋ฆฌ์†Œ์Šค๋ฅผ ๋”ํ•ด๋„ ํŒŒ์ดํ”„๋ผ์ธยทset ์„ ์ƒˆ๋กœ ๋งŒ๋“ค ํ•„์š”๊ฐ€ ์—†์–ด์„œ, ์ฐจ๋Ÿ‰ยทํ…์Šค์ฒ˜ยท์”ฌ(๋งต ์ŠคํŠธ๋ฆฌ๋ฐ)์ด ๋Š˜์–ด๋‚˜๋„ ๊ฐ™์€ ๊ตฌ์กฐ๋‹ค. ์ „ํ™˜ ์ „ํ›„ ๋ Œ๋” 14์žฅ(์Šคํ”Œ๋žซยทIBLยทBEV+glTF ์ฐจ๋Ÿ‰ยท๋‚ ์”จยทํ•™์Šต๋œ ํ•˜๋Š˜)์ด ๋น„ํŠธ ๋‹จ์œ„๋กœ ๊ฐ™๋‹ค (cache/bindless_check.sh).

๋ Œ๋” ๊ทธ๋ž˜ํ”„์™€ ์…ฐ์ด๋” ๋ฆฌํ”Œ๋ ‰์…˜ (2026-10-05)

ํ•œ ํ”„๋ ˆ์ž„์ด ๋ฌด์—‡์„ ์–ด๋–ค ์ˆœ์„œ๋กœ ํ•˜๋Š”์ง€๋Š” configs/render_graph.json ์ด ์ •ํ•œ๋‹ค. ์—”์ง„(src/vkgs/src/render_graph.*)์€

  1. pipelines ๋กœ ํŒŒ์ดํ”„๋ผ์ธ์„ ๋งŒ๋“ ๋‹ค (์…ฐ์ด๋” ํŒŒ์ผยทํ† ํด๋กœ์ง€ยท๊นŠ์ด ๋ชจ๋“œยท์ปฌ๋ง). ์…ฐ์ด๋” ์ธํ„ฐํŽ˜์ด์Šค๋Š” SPIR-V ๋ฆฌํ”Œ๋ ‰์…˜(SPIRV-Reflect)์œผ๋กœ ์ฝ๋Š”๋‹ค. push ๋ฒ”์œ„, bindless ๋ ˆ์ด์•„์›ƒ๊ณผ binding ์ข…๋ฅ˜๊ฐ€ ๋งž๋Š”์ง€, ๊ฑฐ๋ฆฌ ๋ˆ„์  ์ถœ๋ ฅ (location 1)์„ ์“ฐ๋Š”์ง€, ์ปดํ“จํŠธ ์›Œํฌ๊ทธ๋ฃน ํฌ๊ธฐ๋ฅผ ๋ชจ๋‘ ์…ฐ์ด๋” ์ž์‹ ์—๊ฒŒ์„œ ์–ป๋Š”๋‹ค.
  2. ์‹คํ–‰ ์ˆœ์„œ = ์„ ์–ธ ์ˆœ์„œ๋‹ค. ์„ ์–ธ ์ˆœ์„œ๊ฐ€ ๊ณง ์ ‘๊ทผ ์ˆœ์„œ๋ฅผ ์ •์˜ํ•˜๋ฏ€๋กœ, uses(๋ฆฌ์†Œ์Šค, ์‚ฌ์šฉ ๋ฐฉ์‹)๋กœ ๋งŒ๋“  ์˜์กด ๊ฐ„์„  (RAWยทWAWยทWAR)์€ ๋Š˜ ์•ž ํŒจ์Šค โ†’ ๋’ค ํŒจ์Šค์ด๊ณ  ์ˆœํ™˜์ด ์ƒ๊ธธ ์ˆ˜ ์—†๋‹ค. ๊ฐ„์„ ์€ ๊ทธ๋ฆผ๊ณผ, ์•ž์œผ๋กœ ๋…๋ฆฝ ํŒจ์Šค๋ฅผ ์ฐพ๋Š” ๋ฐ(ํ ๋ณ‘๋ ฌํ™”) ์“ด๋‹ค. (2026-10-05 ๊ฒ€ํ†  ์ „๊นŒ์ง€ ๋ฌธ์„œ๋Š” '์œ„์ƒ ์ •๋ ฌ๋กœ ์žฌ๋ฐฐ์น˜' ๋ผ๊ณ  ํ–ˆ์ง€๋งŒ ๊ฒฐ๊ณผ๋Š” ๋Š˜ ์„ ์–ธ ์ˆœ์„œ์˜€๋‹ค.)
  3. ๋งค ํ”„๋ ˆ์ž„ for ๋ฌธ ํ•˜๋‚˜๋กœ ๊ทธ ์ˆœ์„œ๋ฅผ ๋ˆ๋‹ค: ์‚ฌ์šฉ ๋ฐฉ์‹๋งˆ๋‹ค ๋ฐฐ๋ฆฌ์–ด์™€ ์ด๋ฏธ์ง€ ๋ ˆ์ด์•„์›ƒ ์ „ํ™˜์„ ์ž๋™์œผ๋กœ ๋„ฃ๋Š”๋‹ค (๋ฆฌ์†Œ์Šค๋ณ„ ๋งˆ์ง€๋ง‰ ์“ฐ๊ธฐ ๋‹จ๊ณ„ยท์ ‘๊ทผ, ๊ทธ ๋’ค ์ฝ์€ ๋‹จ๊ณ„๋ฅผ ์ถ”์ ํ•œ๋‹ค). ๊ทธ๋Ÿฐ ๋‹ค์Œ kind ์ด๋ฆ„์˜ ์‹คํ–‰๊ธฐ๋ฅผ ๋ถ€๋ฅด๊ณ  ํƒ€์ž„์Šคํƒฌํ”„๋ฅผ ์ฐ๋Š”๋‹ค.

์—”์ง„ ์ฝ”๋“œ๋Š” ํŒจ์Šค ์ข…๋ฅ˜๋ณ„ ์‹คํ–‰๊ธฐ๋งŒ ๊ฐ–๋Š”๋‹ค: fill_draw_args, compute(๋””์ŠคํŒจ์น˜ ํฌ๊ธฐ gaussians_pow2|screen, push_slots), radix_sort(๋Œ€์ฒด bitonic_sort), copy_buffer(host_read), copy_image, raster(target + ๊ทธ๋ฆฌ๊ธฐ ํ•ญ๋ชฉ ๋ชฉ๋ก), none. ๋ฆฌ์†Œ์Šค๋Š” JSON create ๋กœ ์—”์ง„์ด ๋งŒ๋“ ๋‹ค (๋ฒ„ํผ: bytes ๋˜๋Š” bytes_perร—stride, ์ด๋ฏธ์ง€: ํ™”๋ฉด ํฌ๊ธฐ + format), ๋ Œ๋” ํŒจ์Šค๋Š” targets. ๋ž˜์Šคํ„ฐ ํŒจ์Šค์˜ ๊ทธ๋ฆฌ๊ธฐ ํ•ญ๋ชฉ(background, splats, gltf_opaque โ€ฆ)๋„ ์ด๋ฆ„ โ†’ ์‹คํ–‰๊ธฐ ํ‘œ๋‹ค. ํŒจ์Šคยท๊ทธ๋ฆฌ๊ธฐ ํ•ญ๋ชฉยทํŒŒ์ดํ”„๋ผ์ธ์„ JSON ์— ๋”ํ•˜๋ฉด ์ˆœํšŒ ์ฝ”๋“œ๋Š” ๊ทธ๋Œ€๋กœ๋‹ค.

  • ๊ทธ๋ฆผ: vkgs_viewer x --graph out.dot (GPU ๋ถˆํ•„์š”; ๊ฐ™์€ ์ด๋ฆ„์˜ .json ์— ์‹คํ–‰ ์ˆœ์„œ๋„ ์“ด๋‹ค), dot -Tsvg out.dot. ํ˜„์žฌ ๊ทธ๋ž˜ํ”„๋Š” docs/img/render_graph.svg.
  • ์ฐฝ ๋ทฐ์–ด์˜ F2 ๋Š” ๋ Œ๋” ๊ทธ๋ž˜ํ”„ ์ฐฝ์ด๋‹ค. ์ •๋ ฌ ์ˆœ์„œ, ํŒจ์Šค๋ณ„ GPU ms, ๋ฆฌ์†Œ์Šค ์‚ฌ์šฉ์„ ๋ณด์—ฌ ์ฃผ๊ณ , ๊ทธ๋ฆฌ๊ธฐ ํ•ญ๋ชฉ๊ณผ "optional": true ํŒจ์Šค๋ฅผ ์ผœ๊ณ  ๋Œ ์ˆ˜ ์žˆ๋‹ค.
  • ๊ฒ€์ฆ: ์ „ํ™˜ ์ „ํ›„ ๋ Œ๋” 14์žฅ ์ค‘ 12์žฅ์ด ๋น„ํŠธ ๋‹จ์œ„๋กœ ๊ฐ™๋‹ค (๋‚ ์”จ 2์žฅ์€ ์ตœ๋Œ€ 1/255). Khronos ๊ฒ€์ฆ ๋ ˆ์ด์–ด์˜ ๋™๊ธฐํ™” ๊ฒ€์ฆ์—์„œ๋„ ํ•ด์ €๋“œ๊ฐ€ 0์ด๋‹ค (VK_INSTANCE_LAYERS=VK_LAYER_KHRONOS_validation, VK_LAYER_ENABLES=VK_VALIDATION_FEATURE_ENABLE_SYNCHRONIZATION_VALIDATION_EXT). ์ •๋ ฌยท๋ฐฐ๋ฆฌ์–ด ๊ทœ์น™์€ tests/test_render_graph_cpp.py ๊ฐ€ GPU ์—†์ด ์‹œํ—˜ํ•œ๋‹ค.
  • ์ฒจ๋ถ€(color/depth attachment)์˜ ์ „ํ™˜์€ ๋ Œ๋” ํŒจ์Šค(์™ธ๋ถ€ ์˜์กด์„ฑ ํฌํ•จ)๊ฐ€ ๋งก๊ณ , ๊ทธ๋ž˜ํ”„๋Š” ํŒจ์Šค๊ฐ€ ๋๋‚œ ๋’ค์˜ ์ƒํƒœ๋งŒ ๊ธฐ๋กํ•œ๋‹ค. ํŒจ์Šค ์•ˆ์˜ ๋ฐ˜๋ณต ๋ฐฐ๋ฆฌ์–ด(radixยทbitonic ๋‹จ๊ณ„ ์‚ฌ์ด)๋Š” ์‹คํ–‰๊ธฐ๊ฐ€ ์ง์ ‘ ๋„ฃ๋Š”๋‹ค.
  • ํ•œ๊ณ„: begin_frame ์€ ๋ชจ๋“  ์ด๋ฏธ์ง€ ๋ ˆ์ด์•„์›ƒ์„ UNDEFINED ๋กœ ๋Œ๋ฆฐ๋‹ค โ€” ํ”„๋ ˆ์ž„์„ ๋„˜๊ฒจ ๋‚ด์šฉ์„ ์ด์–ด ์“ฐ๋Š” ์ด๋ฏธ์ง€(TAA ๊ธฐ๋ก ๋“ฑ)๋Š” ์•„์ง ์—†๋‹ค. ์ƒ๊ธฐ๋ฉด persistent ํ‘œ์‹œ๊ฐ€ ํ•„์š”ํ•˜๋‹ค.

๊ฑฐ๋ฆฌ ๋ˆ„์ ๊ณผ ๋ฐฐ๊ฒฝ ๋ถ„๋ฆฌ (2026-10-05 ๊ฒ€ํ† )

๊ฑฐ๋ฆฌ ๋ˆ„์  ์ฒจ๋ถ€๋Š” RG32F ๋กœ (ฮฃzยทฮฑยทT, ฮฃฮฑยทT) ๋ฅผ ์Œ“๋Š”๋‹ค โ€” ํ‘œ๋ฉด ๊นŠ์ด = R/G, ๋ฐฐ๊ฒฝ์ด ๋ณด์ด๋Š” ๋น„์œจ = 1 โˆ’ G (depth_common.glsl). ์˜ˆ์ „์—๋Š” R ํ•˜๋‚˜์— ๋ฐฐ๊ฒฝ 1000 m ๋ฅผ ์„ž์€ '๊ธฐ๋Œ€ ๊นŠ์ด' ๋ฅผ ์จ์„œ, ๋ฐ˜ํˆฌ๋ช…์ด 3%๋งŒ ๋‚จ์•„๋„ ๊นŠ์ด๊ฐ€ 30 m ๋Š˜์–ด ๋น—๋ฐฉ์šธ ๊ฐ€๋ฆผยท์•ˆ๊ฐœยท๋…ธ๋ฉด ํŒ์ •์ด ํ‹€๋ ธ๋‹ค. ๋ฐฐ๊ฒฝ ํ•˜๋Š˜(์‹œ๋ฎฌ๋ ˆ์ด์…˜ ํ•˜๋Š˜ยทํ•™์Šต๋œ ํ•˜๋Š˜ยทํ™˜๊ฒฝ๋งต)์€ ๋ณ„๋„ background ํŒจ์Šค๊ฐ€ ๊ทธ๋ฆฌ๊ณ , ์žฅ๋ฉด ํŒจ์Šค๋Š” ํˆฌ๋ช… ๋ฐฐ๊ฒฝ ์œ„์— ์Œ“๋Š”๋‹ค. weather ๊ฐ€ ๊ฐ€์šฐ์‹œ์•ˆ ๋ถ€๋ถ„(premultiplied ๋ฅผ ํ’€์–ด์„œ)๊ณผ ํ•˜๋Š˜ ๋ถ€๋ถ„์„ ๋”ฐ๋กœ ๋ณด์ •ํ•œ ๋’ค ๋ฎ์ž„ ฮฑ ๋กœ ํ•ฉ์นœ๋‹ค โ€” ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ํ•˜๋Š˜์„ ๋‘ ๋ฒˆ ์–ด๋‘ก๊ฒŒ ํ•˜๊ฑฐ๋‚˜, ๋ฐ˜ํˆฌ๋ช… ํ”ฝ์…€์ด ๋‚ฎ ํ•˜๋Š˜์ƒ‰์„ ํ’ˆ์€ ์ฑ„ ๋ฐค ๋ณด์ •์„ ํ”ผํ•˜๋Š” ์ผ์ด ์—†๋‹ค. ๋‚ ์”จ๋ฅผ ๋„๋ฉด ๊ฐ™์€ ํ•ฉ์„ฑ์‹์ด๋ผ ๋ Œ๋”๋Š” ๊ทธ๋Œ€๋กœ๋‹ค.

์…ฐ์ด๋” ๊ทธ๋ž˜ํ”„

ํ›„์ฒ˜๋ฆฌ ํšจ๊ณผ๋Š” ๋…ธ๋“œ ๊ทธ๋ž˜ํ”„(configs/shader_graphs/<์ด๋ฆ„>.json)๋กœ ์ง ๋‹ค. ๋…ธ๋“œ์˜ ์—ฐ์‚ฐ์€ ๋…ธ๋“œ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ (src/vkgs/shaders/nodes/*.glsl)์˜ GLSL ํ•จ์ˆ˜ n_<op> ์ด๋‹ค. ์ƒ์„ฑ๊ธฐ(scripts/shader_graph.py)๋Š” ํ•จ์ˆ˜ ์‹œ๊ทธ๋‹ˆ์ฒ˜๋ฅผ ์ฝ์–ด ๋…ธ๋“œ ์ •์˜๋ฅผ ์–ป๋Š”๋‹ค โ€” Ctx ์•ž์˜ ์ธ์ž๋Š” ์ž…๋ ฅ ํฌํŠธ, ๋’ค์˜ float ์€ ๋งค๊ฐœ๋ณ€์ˆ˜์ด๊ณ , ๊ธฐ๋ณธ๊ฐ’ยท๋ฒ”์œ„๋Š” // @param ์ฃผ์„์—์„œ ์˜จ๋‹ค. ๋…ธ๋“œ๋ฅผ ๋”ํ•  ๋•Œ ์ƒ์„ฑ๊ธฐ๋Š” ๊ทธ๋Œ€๋กœ๋‹ค. ์ƒ์„ฑ๊ธฐ๋Š” ๋…ธ๋“œ๋ฅผ ์œ„์ƒ ์ •๋ ฌํ•ด ํ•จ์ˆ˜ ํ˜ธ์ถœ ํ•œ ์ค„์”ฉ์œผ๋กœ ํŽผ์น˜๊ณ , ์ˆœํ™˜ยท๊ฐ„์„  ํƒ€์ž…ยท๋น ์ง„ ์ž…๋ ฅยท๋ชจ๋ฅด๋Š” ๋งค๊ฐœ๋ณ€์ˆ˜๋ฅผ ๋นŒ๋“œ ๋•Œ ์žก๋Š”๋‹ค. ๊ฒฐ๊ณผ๋Š” ์„ธ ๊ฐ€์ง€๋‹ค: <์ด๋ฆ„>.comp ๋Š” CMake ๊ฐ€ SPIR-V ๋กœ ๊ตฝ๊ณ , <์ด๋ฆ„>.params.json ์€ ๋งค๊ฐœ๋ณ€์ˆ˜ ํ‘œ, <์ด๋ฆ„>.dot ์€ ๊ทธ๋ฆผ์ด๋‹ค.

์—”์ง„์€ ๋ Œ๋” ๊ทธ๋ž˜ํ”„์˜ compute ํŒจ์Šค๋กœ ๋Œ๋ฆฐ๋‹ค. ๋งค๊ฐœ๋ณ€์ˆ˜๋Š” SSBO ์— ์žˆ๊ณ , ์ด ๋ฒ„ํผ๋Š” ๋ Œ๋” ๊ทธ๋ž˜ํ”„ JSON ์˜ "create" ๋กœ ์—”์ง„์ด ๋งŒ๋“ ๋‹ค. ์…ฐ์ด๋”๋Š” push ๋œ bindless ์Šฌ๋กฏ(push_slots)์œผ๋กœ ๋ฒ„ํผ๋ฅผ ์ฝ๋Š”๋‹ค. ๊ทธ๋ž˜์„œ ์Šฌ๋ผ์ด๋”(F2 ์ฐฝ)๋‚˜ sim.json shader_graphs.<์ด๋ฆ„>.params ๋กœ ๊ฐ’์„ ๋ฐ”๊ฟ”๋„ ๋‹ค์‹œ ์ปดํŒŒ์ผํ•˜์ง€ ์•Š๋Š”๋‹ค. ๋…ธ๋“œ๋Š” ํ”ฝ์…€ ํ•˜๋‚˜๋งŒ ๋ณด๋ฏ€๋กœ ๊ฒฐ๊ณผ๋ฅผ ๊ฐ™์€ ์ด๋ฏธ์ง€(post)์— ๋ฎ์–ด์จ๋„ ์•ˆ์ „ํ•˜๋‹ค.

์ฒซ ๊ทธ๋ž˜ํ”„ camera_isp ๋Š” ์นด๋ฉ”๋ผ ISP ๋‹ค (sRGB โ†’ ์„ ํ˜• โ†’ ๋…ธ์ถœ โ†’ ํ™”์ดํŠธ๋ฐธ๋Ÿฐ์Šค โ†’ ๋น„๋„คํŒ… โ†’ ์„ผ์„œ ๋…ธ์ด์ฆˆ โ†’ sRGB โ†’ ์ฑ„๋„ โ†’ ๋Œ€๋น„, docs/img/shader_graph_camera_isp.svg). VLM ์ด ์นด๋ฉ”๋ผ ํŠน์„ฑ ๋ณ€ํ™”๋ฅผ ์–ผ๋งˆ๋‚˜ ๊ฒฌ๋””๋Š”์ง€ ์‹œํ—˜ํ•˜๋ ค๋Š” ๊ฒƒ์ด๋‹ค. ๊ธฐ๋ณธ์€ ๊บผ์ ธ ์žˆ๋‹ค (๋ Œ๋” ๊ฒฐ๊ณผ๋Š” ๊ทธ๋Œ€๋กœ).

ํ”„๋กœํŒŒ์ผ๋ง: Tracy (2026-10-05)

vkgs_viewer ์—๋Š” Tracy ํด๋ผ์ด์–ธํŠธ๊ฐ€ ๋“ค์–ด ์žˆ๋‹ค (CMake VKGS_TRACY, ๊ธฐ๋ณธ ์ผฌ, TRACY_ON_DEMAND). ํ”„๋กœํŒŒ์ผ๋Ÿฌ๊ฐ€ ๋ถ™์–ด ์žˆ์„ ๋•Œ๋งŒ ๊ธฐ๋กํ•˜๋ฏ€๋กœ ํ‰์†Œ ์‹คํ–‰ ๋น„์šฉ์€ ๊ฑฐ์˜ ์—†๋‹ค. ๊ธฐ๋กํ•˜๋Š” ๊ฒƒ์€ ๋‹ค์Œ๊ณผ ๊ฐ™๋‹ค.

  • CPU ๊ตฌ๊ฐ„: render, record, gpu wait, ๋ Œ๋” ๊ทธ๋ž˜ํ”„ pass(์ด๋ฆ„ ๋ถ™์Œ), png queue/png encode
  • GPU ๊ตฌ๊ฐ„: ๋ Œ๋” ๊ทธ๋ž˜ํ”„ ํŒจ์Šค์™€ ๋ž˜์Šคํ„ฐ ๊ทธ๋ฆฌ๊ธฐ ํ•ญ๋ชฉ๋งˆ๋‹ค Vulkan ํƒ€์ž„์Šคํƒฌํ”„ (TracyVkZoneTransient), ํ”„๋ ˆ์ž„ ๊ฒฝ๊ณ„, ๊ทธ๋ž˜ํ”„ ๊ฐ’(๋ณด์ด๋Š” ๊ฐ€์šฐ์‹œ์•ˆ ์ˆ˜ยท์†๋„)

๋„๊ตฌ๋Š” scripts/build_tracy.sh ๋กœ ์‚ฌ์šฉ์ž ๊ณต๊ฐ„์—์„œ ๋นŒ๋“œํ•œ๋‹ค: GUI(X11), ์ฐฝ ์—†์ด ์บก์ฒ˜ํ•˜๋Š” tracy-capture, ํ‘œ๋กœ ๋ฝ‘๋Š” tracy-csvexport. scripts/profile.sh ๋Š” ์บก์ฒ˜์™€ ํ†ต๊ณ„ ์ถœ๋ ฅ์„ ํ•œ ๋ฒˆ์— ํ•œ๋‹ค.

์ฒซ ์ธก์ •์—์„œ ์˜คํ”„์Šคํฌ๋ฆฐ ํ•œ ์žฅ 229 ms ์ค‘ PNG ์ €์žฅ(stb, zlib 8, ํ–‰๋งˆ๋‹ค ํ•„ํ„ฐ 5์ข… ์‹œํ—˜)์ด 216 ms ์˜€๋‹ค. ์ธ์ฝ”๋”ฉ์„ ๋ฐฑ๊ทธ๋ผ์šด๋“œ ์Šค๋ ˆ๋“œ๋กœ ๋„˜๊ธฐ๊ณ  ํ•„ํ„ฐ๋ฅผ ๊ณ ์ •ํ•ด(sim.json output) ํ•œ ์žฅ 23 ms ๊ฐ€ ๋๋‹ค.

ํ•˜๋Š˜ ๊ฐ€์šฐ์‹œ์•ˆ ํ‘œ์‹œ (2026-10-05)

ํ•˜๋Š˜์„ ๋ถ„๋ฆฌํ•˜์ง€ ์•Š๊ณ  ํ•™์Šตํ•œ ๋ชจ๋ธ(_env, _depth)์€ ๋‚ฎ ํ•˜๋Š˜์„ ๊ฐ€์šฐ์‹œ์•ˆ์œผ๋กœ ๊ตฌ์›Œ ๋„ฃ์–ด, ํ•ฉ์„ฑ ๋ฐค์—๋„ ํ•˜๋Š˜์ด ํ•˜์–—๋‹ค. nusim recon skylabel ์€ ๊ฐ€์šฐ์‹œ์•ˆ ์ค‘์‹ฌ์„ ํ•™์Šต ๋ทฐ์— ํˆฌ์˜ํ•ด SegFormer ํ•˜๋Š˜ ๋งˆ์Šคํฌ์— ๋–จ์–ด์ง€๋Š” ๋น„์œจ์„ ์„ผ๋‹ค. ๋ผ์ด๋‹ค ๊นŠ์ด๋ณด๋‹ค ๋’ค๋ผ์„œ ๊ฐ€๋ ค์ง„ ๋ทฐ๋Š” ์„ธ์ง€ ์•Š๋Š”๋‹ค. ๋น„์œจ์ด 0.4 ๋ฅผ ๋„˜์œผ๋ฉด ํ•˜๋Š˜๋กœ ํ‘œ์‹œํ•ด sky_gaussians.u8 ์— ์“ฐ๊ณ , ๋ทฐ์–ด๋Š” ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ํ•˜๋Š˜ ๋ชจ๋“œ์—์„œ ์ด๊ฒƒ๋“ค์„ ๋บ€๋‹ค. scene-0003_env ์—์„œ๋Š” 6.9๋งŒ ๊ฐœ๊ฐ€ ํ‘œ์‹œ๋๋‹ค. weather.comp ๋Š” ๊ฑฐ๋ฆฌ ๋ฒ„ํผ๋กœ ๋ฐฐ๊ฒฝ ํ•˜๋Š˜์ด ์‹ค์ œ๋กœ ๋ณด์ด๋Š” ํ”ฝ์…€๋งŒ '์‹œ๋ฎฌ๋ ˆ์ด์…˜ ํ•˜๋Š˜์ด ์ด๋ฏธ ๊ทธ๋ ธ๋‹ค' ๋กœ ๋ณธ๋‹ค. ํ•˜๋Š˜์ฒ˜๋Ÿผ ๋ฐ์•„๋„ ๊ฐ€์šฐ์‹œ์•ˆ์ด ๊ทธ๋ฆฐ ํ”ฝ์…€์€ ๋ฐค ๋…ธ์ถœ์„ ๋ฐ›๋Š”๋‹ค. nusim render compare ๋Š” --keep-sky-gaussians ๋กœ ํ•™์Šต๊ธฐ์™€ ๊ฐ™๊ฒŒ ๊ทธ๋ฆฐ๋‹ค.

๋™์  ๊ฐ์ฒด

์ด๊ฒŒ closed-loop ์˜ ํ•ต์‹ฌ ๋‚œ์ ์ด๋‹ค. ์”ฌ ์ „์ฒด๋ฅผ ํ•˜๋‚˜์˜ ์ •์  3DGS ๋กœ ์žฌ๊ตฌ์„ฑํ•˜๋ฉด ์ง€๋‚˜๊ฐ€๋˜ ์ฐจ๊ฐ€ ๋ฐฐ๊ฒฝ์— "๊ตฌ์›Œ์ ธ" ๋ฒ„๋ฆฐ๋‹ค. ego ๊ฐ€ ์›๋ณธ๊ณผ ๋‹ค๋ฅธ ๊ฒฝ๋กœ๋กœ ๊ฐ€๋Š” ์ˆœ๊ฐ„ ๊ทธ ๊ตฌ์›Œ์ง„ ์ฐจ๋Š” ๋ง์ด ์•ˆ ๋˜๋Š” ์œ„์น˜์— ๋‚จ๋Š”๋‹ค.

nuScenes ์—๋Š” 3D ๋ฐ•์Šค ์–ด๋…ธํ…Œ์ด์…˜์ด ์žˆ์œผ๋ฏ€๋กœ SfM ๊ธฐ๋ฐ˜ ๋ฐฉ๋ฒ•๋“ค์ด ํ•˜๋Š” ์ถ”์ • ์—†์ด ๋ฐ”๋กœ ๋ถ„๋ฆฌํ•  ์ˆ˜ ์žˆ๋‹ค:

  • ๋ฐ•์Šค ์•ˆ์˜ ํ”ฝ์…€ โ†’ ๊ฐ์ฒด๋ณ„ 3DGS (๊ฐ์ฒด ๋กœ์ปฌ ์ขŒํ‘œ๊ณ„์—์„œ ํ•™์Šต)
  • ๋ฐ•์Šค ๋ฐ–์˜ ํ”ฝ์…€ โ†’ ์ •์  ๋ฐฐ๊ฒฝ 3DGS
  • ๋ Œ๋”๋ง ์‹œ์ ์— ๊ฐ์ฒด๋ฅผ ์›ํ•˜๋Š” ์ž์„ธ๋กœ ๋ฐฐ์น˜

์ด๋Ÿฌ๋ฉด ์‹œ๋ฎฌ๋ ˆ์ดํ„ฐ๊ฐ€ ๋‹ค๋ฅธ ์ฐจ๋Ÿ‰์„ ๋…๋ฆฝ์ ์œผ๋กœ ์›€์ง์ผ ์ˆ˜ ์žˆ๊ณ , ๊ทธ๋ž˜์•ผ "๋ชจ๋ธ์ด ๊ธ‰์ •๊ฑฐํ–ˆ์„ ๋•Œ ๋’ค์ฐจ๊ฐ€ ์–ด๋–ป๊ฒŒ ๋˜๋Š”๊ฐ€" ๊ฐ™์€ ์งˆ๋ฌธ์ด ์„ฑ๋ฆฝํ•œ๋‹ค.

๋ฌด์—‡์ด '์›€์ง์ด๋Š”' ๊ฐ์ฒด์ธ๊ฐ€ (nusim.recon.dynamic.dynamic_instances). ์–ด๋…ธํ…Œ์ด์…˜๋งŒ ๋ฏฟ์„ ์ˆ˜ ์—†๋‹ค. ์ •์  ๋ฌผ์ฒด๋„ ํ‚คํ”„๋ ˆ์ž„๋งˆ๋‹ค ๋ฐ•์Šค๊ฐ€ 0.5~1.5 m ํ”๋“ค๋ ค์„œ ์ตœ๋Œ€ ๋ณ€์œ„ ๊ธฐ์ค€์œผ๋กœ๋Š” ์ฃผ์ฐจ ์ฐจ๋Ÿ‰ยท์ฝ˜๊นŒ์ง€ ์ „๋ถ€ ๋™์ ์œผ๋กœ ์žกํžŒ๋‹ค (scene-0003: 66๊ฐœ ์ค‘ 58๊ฐœ). ๊ทธ๋ž˜์„œ ๊ถค์  ์•ž 1/3 ๊ณผ ๋’ค 1/3 ์˜ ์ค‘์•™๊ฐ’ ์œ„์น˜ ์ฐจ์ด ๋ฅผ ์“ด๋‹ค โ€” ํ”๋“ค๋ฆผ์ด ์ƒ์‡„๋œ๋‹ค. ์‹ค์ธก ๋ถ„ํฌ: ์›€์ง์ด๋Š” ๊ฐ์ฒด 3.8 m ์ด์ƒ, ์ •์  ๊ฐ์ฒด 1.5 m ์ดํ•˜ โ†’ ๊ธฐ์ค€ 2 m. ์‚ฌ๋žŒ์€ ์„œ ์žˆ์–ด๋„ ํ•ญ์ƒ ๋™์ , ํ•œ๋‘ ํ‚คํ”„๋ ˆ์ž„๋งŒ ์Šค์นœ ์ฐจ๋Š” moving ์†์„ฑ ๊ณผ๋ฐ˜์œผ๋กœ ์žก๋Š”๋‹ค.

์ž์ฐจ๋ฅผ ์‹ค์ œ ์ฐจ๋Ÿ‰์œผ๋กœ ๊ทธ๋ฆฌ๊ธฐ (๊ฐ์ฒด ์—์…‹)

nuScenes ์ž์ฐจ(Renault Zoe)๋Š” ์ž๊ธฐ ์นด๋ฉ”๋ผ์— ์ฐํžˆ์ง€ ์•Š์œผ๋ฏ€๋กœ ์žฌ๊ตฌ์„ฑํ•  ์ˆ˜ ์—†๋‹ค. ๋Œ€์‹  ๋‹ค๋ฅธ ์”ฌ์˜ ์ฃผ์ฐจ ์ฐจ๋Ÿ‰์„ ์“ด๋‹ค. ์ฃผ์ฐจ ์ฐจ๋Ÿ‰์€ ์ •์ ์ด๋ผ ์”ฌ 3DGS ์•ˆ์— ์ด๋ฏธ ์žฌ๊ตฌ์„ฑ๋ผ ์žˆ๋‹ค โ€” 3D ๋ฐ•์Šค ์•ˆ์˜ ๊ฐ€์šฐ์‹œ์•ˆ์„ ์ž˜๋ผ ๋ฐ•์Šค ์ขŒํ‘œ๊ณ„(x ์•ž, y ์™ผ์ชฝ, z ์œ„, ๋ฐ”๋‹ฅ ์ค‘์•™ ์›์ )๋กœ ์˜ฎ๊ธฐ๋ฉด ์—์…‹์ด ๋œ๋‹ค (nusim asset extract, nusim/recon/asset.py).

  • ๊ณ ๋ฅด๋Š” ๋ฒ•: ์ฃผ๊ฐ„ ์”ฌ ์ „์ˆ˜ ์กฐ์‚ฌ(nusim asset scan) โ€” ์ž์ฐจ๊ฐ€ 5 m ์•ˆ์œผ๋กœ ์ง€๋‚˜๊ฐ€๋ฉฐ ์—ฌ๋Ÿฌ ๋ฐฉ์œ„์—์„œ ๋ณธ ์ฐจ. scene-0003 ์˜ ์ฃผ์ฐจ ์ฐจ๋Ÿ‰์€ 12 m ๋ฐ–์—์„œ ํ•œ๋‘ ๋ฐฉ์œ„๋กœ๋งŒ ๋ณด์—ฌ ๊ฐ€์šฐ์‹œ์•ˆ 3์ฒœ ๊ฐœ, ํ๋ฆฟํ–ˆ๋‹ค. scene-0916 instance 8 (์„ธ๋‹จ, 8๋ฐฉ์œ„ ์ค‘ 6๋ฐฉ์œ„) โ†’ 7,831๊ฐœ, ์˜†๋ฉด์€ ๋ฐ”ํ€ดยท์ฐฝ๊นŒ์ง€ ์„ ๋ช….
  • ๋ชป ๋ณธ ์˜†๋ฉด์€ ์ฐจ์˜ ์ขŒ์šฐ ๋Œ€์นญ์œผ๋กœ ์ฑ„์šด๋‹ค (์ž˜ ๋ณด์ธ ์ชฝ์„ ๊ฑฐ์šธ ๋ณต์‚ฌ, ์ฟผํ„ฐ๋‹ˆ์–ธ (w,โˆ’x,y,โˆ’z)).
  • ํšŒ์ „ํ•˜๋ฉด ๊ณ ์ฐจ SH ์ถ•์ด ์–ด๊ธ‹๋‚˜๋ฏ€๋กœ 0์ฐจ(๊ธฐ๋ณธ ์ƒ‰)๋งŒ ์“ด๋‹ค.
  • ์•žยท๋’ท๋ฉด์€ ์ฃผ์ฐจ ์ฐจ๋Ÿ‰์ด๋ผ ๋น„์Šค๋“ฌํžˆ๋งŒ ๋ณด์—ฌ ํ๋ฆฌ๋‹ค. 3์ธ์นญ ๊ธฐ๋ณธ ์‹œ์ ์„ ์ •๋’ค๊ฐ€ ์•„๋‹Œ ์™ผ์ชฝ ๋’ค 10ยฐ๋กœ ๋‘” ์ด์œ . ๋” ๋Œ๋ฆฌ๋ฉด ์นด๋ฉ”๋ผ๊ฐ€ ํ•™์Šต ๊ถค์ ์—์„œ ๋ฒ—์–ด๋‚˜ ๋ฐฐ๊ฒฝ์ด ๊นจ์ง„๋‹ค (25ยฐ = ์˜†์œผ๋กœ 3.2 m ์—์„œ ์‹ค์ธก).

๋ Œ๋”๋Ÿฌ๋Š” ์—์…‹์„ ์”ฌ ๊ฐ€์šฐ์‹œ์•ˆ ๋’ค์— ๋ถ™์—ฌ ํ•œ ๋ฒˆ์— ์ •๋ ฌํ•œ๋‹ค โ€” ์žฅ๋ฉด๊ณผ ์„œ๋กœ ์˜ฌ๋ฐ”๋ฅด๊ฒŒ ๊ฐ€๋ฆฐ๋‹ค. ์—์…‹ ๊ฐ€์šฐ์‹œ์•ˆ์€ ์ „์ฒ˜๋ฆฌ ์…ฐ์ด๋”์—์„œ ๋งค ํ”„๋ ˆ์ž„ ์ž์ฐจ ํฌ์ฆˆ๋กœ ์˜ฎ๊ธด๋‹ค(obj_xform, ๊ณต๋ถ„์‚ฐ์€ RฮฃRแต€). ์ž์ฐจ ์นด๋ฉ”๋ผ ์‹œ์ (๊ด€์ธก ์ €์žฅ ํฌํ•จ)์—์„œ๋Š” ์ˆจ๊ธด๋‹ค โ€” ๋ชจ๋ธ ์ž…๋ ฅ์— ์ž๊ธฐ ์ฐจ๊ฐ€ ๋ผ๋ฉด ์•ˆ ๋œ๋‹ค. ๋งต ์„ ์€ ๊นŠ์ด๋ฅผ ์“ฐ์ง€ ์•Š๋Š” ์˜ค๋ฒ„๋ ˆ์ด๋ผ, ์—์…‹ ๊ฒฝ๊ณ„ ์ƒ์ž๋ฅผ ๊นŠ์ด์—๋งŒ ๊ทธ๋ ค(๊ฐ€๋ฆผ๋ง‰) ์„ ์ด ์ฐจ ๋’ค๋กœ ๊ฐ€๋ ค์ง€๊ฒŒ ํ–ˆ๋‹ค.

์ƒ‰: ์™œ ํ•™์Šต ์ค‘ ๋ณด์ •์„ ๋‘๊ณ , ๊ทธ๊ฑธ ์ค‘์‹ฌํ™”ํ•˜๋Š”๊ฐ€

nuScenes 6์บ ์€ ๋…ธ์ถœยทํ™”์ดํŠธ๋ฐธ๋Ÿฐ์Šค๊ฐ€ ์ œ๊ฐ๊ฐ์ด๊ณ  ์ž๋™๋…ธ์ถœ์ด๋ผ ํ”„๋ ˆ์ž„๋งˆ๋‹ค๋„ ๋ฐ”๋€๋‹ค. ํ•™์Šต์€ ๋ Œ๋”์— ์นด๋ฉ”๋ผ๋ณ„ 3x4 ์•„ํ•€ + ํ”„๋ ˆ์ž„๋ณ„ RGB ๊ฒŒ์ธ์„ ๊ณฑํ•ด ์›๋ณธ๊ณผ ๋น„๊ตํ•œ๋‹ค. ๋ณด์ •์„ ๋นผ๋ฉด ๊ฐ€์šฐ์‹œ์•ˆ ์ƒ‰์ด ์นด๋ฉ”๋ผ ๊ฐ„ ์ฐจ์ด๋ฅผ ํ‰๊ท ๋‚ด๋А๋ผ ํ๋ ค์ง„๋‹ค.

ํ•˜์ง€๋งŒ ๋ Œ๋”๋Ÿฌ๋Š” ply ๋งŒ ์ฝ๋Š”๋‹ค. ๋ณด์ •๊ณผ ๊ฐ€์šฐ์‹œ์•ˆ ์ƒ‰์€ ์„œ๋กœ ๊ฐ’์„ ๋– ๋„˜๊ธธ ์ˆ˜ ์žˆ์–ด์„œ (์ „๋ถ€ ๋ฐ๊ฒŒ + ๋ณด์ •์œผ๋กœ ์–ด๋‘ก๊ฒŒ = ๊ฐ™์€ ๊ฒฐ๊ณผ), ๊ทธ๋ƒฅ ๋‘๋ฉด ply ์˜ '์ •์ค€ ์ƒ‰' ์ด ์‹ค์ œ ์นด๋ฉ”๋ผ์™€ ํ•œ์ฐธ ๋‹ค๋ฅด๋‹ค (๋ณด์ • ์—†์ด 18 dB). ๊ทธ๋ž˜์„œ ๋ณด์ •์„ ์ค‘์‹ฌํ™” ํ•œ๋‹ค: ์นด๋ฉ”๋ผ ํ‰๊ท  ์•„ํ•€์€ ํ•ญ์ƒ ํ•ญ๋“ฑ, ํ•™์Šต ํ”„๋ ˆ์ž„ ํ‰๊ท  ๊ฒŒ์ธ์€ ํ•ญ์ƒ 1. ๊ทธ๋Ÿฌ๋ฉด ์ •์ค€ ์ƒ‰์ด ๊ณง ํ‰๊ท  ์นด๋ฉ”๋ผ์˜ ์ƒ‰์ด๋‹ค.

์ฒ˜์Œ์—” ํ•™์Šต ๋์— ํ‰๊ท  ๋ณ€ํ™˜์„ SH ๊ณ„์ˆ˜์— ๊ตฌ์› ๋‹ค. ๋ณ€ํ™˜์€ ์„ ํ˜•์ด๋ผ ์ˆ˜์‹์ƒ ์ •ํ™•ํ•˜์ง€๋งŒ gsplat ์ด SH ์ƒ‰์— clamp_min(0) ์„ ๊ฑธ์–ด ์–ด๋‘์šด ํ”ฝ์…€์—์„œ ํ‹€์–ด์ง„๋‹ค โ€” ์ฃผ๊ฐ„ 0.1 dB, ์•ผ๊ฐ„ 0.3 dB / SSIM 0.05 ๋ฅผ ์žƒ์—ˆ๋‹ค. ์ค‘์‹ฌํ™”๋Š” ํ•™์Šต์ด ๊ณง๋ฐ”๋กœ ์ตœ์ข… ๊ฒฐ๊ณผ๋ฅผ ์ตœ์ ํ™”ํ•˜๋ฏ€๋กœ ์ด ๋ฌธ์ œ๊ฐ€ ์—†๋‹ค.

์ˆœ์„œ๋„ ์ค‘์š”ํ•˜๋‹ค: ์„ ํ˜• ์ƒ‰ โ†’ ์นด๋ฉ”๋ผ ๋ณ€ํ™˜ โ†’ [0,1] ํฌํ™”. Vulkan ๋ Œ๋”๋Ÿฌ๋„ ๋งˆ์ง€๋ง‰์—๋งŒ ํฌํ™”์‹œ์ผœ์•ผ ํ•™์Šต๊ธฐ์™€ ํ”ฝ์…€์ด ๋งž๋Š”๋‹ค.

์นด๋ฉ”๋ผ ์™ธ๋ถ€ ํŒŒ๋ผ๋ฏธํ„ฐ ๋ณด์ •

nuScenes ์˜ cameraโ†’ego ์บ˜๋ฆฌ๋ธŒ๋Š” ์™„๋ฒฝํ•˜์ง€ ์•Š๋‹ค. ์นด๋ฉ”๋ผ๋งˆ๋‹ค SE3 ๋ณด์ • ํ•˜๋‚˜(์‹œ๊ฐ„ ๋ถˆ๋ณ€)๋ฅผ ๊ฐ™์ด ํ•™์Šตํ•˜๋ฉด scene-0003 ์—์„œ ์บ ๋งˆ๋‹ค 0.290.44ยฐ / 38 cm ๊ฐ€ ์žกํžˆ๊ณ , ๋ฐ˜๋ณต ์‹คํ–‰์—์„œ ์žฌํ˜„๋œ๋‹ค. 0.4ยฐ ๋Š” 20 m ์•ž์—์„œ 14 cm โ€” ๋ทฐ ์‚ฌ์ด ๊ฐ€์šฐ์‹œ์•ˆ์ด ํ๋ ค์ง€๊ธฐ์— ์ถฉ๋ถ„ํ•˜๋‹ค.

๋‹ค๋งŒ ์ œ์•ฝ์ด ์•ฝํ•œ ์”ฌ์—์„œ๋Š” ๋ณด์ •์ด ํ‘œ๋ฅ˜ํ•œ๋‹ค. scene-0003(์ฃผ๊ฐ„)๊ณผ scene-0992(์•ผ๊ฐ„)๋Š” ๊ฐ™์€ ์ฐจ๋Ÿ‰(n015)์ด๋ผ CAM_FRONT_LEFT ์บ˜๋ฆฌ๋ธŒ๊ฐ€ ์™„์ „ํžˆ ๊ฐ™์€๋ฐ, ํ•™์Šต๋œ ๋ณด์ •์€ 0.30ยฐ vs 1.98ยฐ ์˜€๋‹ค. ๊ทธ๋ž˜์„œ ๋ณด์ •์— ์•ฝํ•œ L2 ์‚ฌ์ „๋ถ„ํฌ(์Šค์ผ€์ผ 0.5ยฐ / 5 cm)๋ฅผ ๊ฑด๋‹ค.

๋” ๋‚˜์€ ๋ฐฉํ–ฅ: ์บ˜๋ฆฌ๋ธŒ๋Š” ์ฐจ๋Ÿ‰ ๋‹จ์œ„๋กœ ๊ฑฐ์˜ ๊ณ ์ •์ด๋‹ค (์‹ฑ๊ฐ€ํฌ๋ฅด n015 ์”ฌ ๊ฑฐ์˜ ์ „๋ถ€๊ฐ€ ๊ฐ™์€ ๊ฐ’). ์ฃผ๊ฐ„ ์”ฌ ์—ฌ๋Ÿฟ์—์„œ ๋ณด์ •์„ ์ถ”์ •ํ•ด ํ‰๊ท ์„ ๋‚ด๊ณ , ๊ทธ๊ฑธ ์ฐจ๋Ÿ‰๋ณ„ ๊ณ ์ • ์บ˜๋ฆฌ๋ธŒ๋กœ ์“ฐ๋Š” ํŽธ์ด ์”ฌ๋งˆ๋‹ค ๋”ฐ๋กœ ์ถ”์ •ํ•˜๋Š” ๊ฒƒ๋ณด๋‹ค ์•ˆ์ •์ ์ด๋‹ค. ์•„์ง ํ•˜์ง€ ์•Š์•˜๋‹ค.

IBL โ€” nuScenes ์นด๋ฉ”๋ผ ํŒŒ๋…ธ๋ผ๋งˆ๋กœ ๋งŒ๋“  ํ™˜๊ฒฝ ์กฐ๋ช…

6์บ  ์‚ฌ์ง„ (+3DGS ์œ„์ชฝ ์ฑ„์›€) โ†’ 360ยฐ ํŒŒ๋…ธ๋ผ๋งˆ โ†’ HDR ๊ทผ์‚ฌ โ†’ ํ๋ธŒ๋งต 512ยฒ
  โ†’ prefiltered specular (GGX, mip 6๋‹จ๊ณ„ = ๊ฑฐ์น ๊ธฐ 0โ†’1) + irradiance (SH9 โ†’ 32ยฒ) + BRDF LUT (256ยฒ, split-sum)
  โ†’ BC6H ์••์ถ• (AMD Compressonator) โ†’ KTX2 (์ž์ฒด ์ž‘์„ฑ๊ธฐ, Khronos `ktx validate` ํ†ต๊ณผ)
  โ†’ Vulkan: ํ™˜๊ฒฝ ๋ฐฐ๊ฒฝ + PBR ๋ฉ”์‹œ ์กฐ๋ช…

nusim render ibl <scene> (20์ดˆ), ๋ทฐ์–ด --ibl outputs/ibl/<scene> [--pbr-spheres].

  • ํŒŒ๋…ธ๋ผ๋งˆ: ์นด๋ฉ”๋ผ ์„ธ๋กœ ์‹œ์•ผ๊ฐ€ ยฑ20ยฐ ๋ฟ์ด๋ผ ์‚ฌ์ง„์€ ๊ตฌ์˜ ์•ฝ 26% ๋งŒ ๋ฎ๋Š”๋‹ค. ์‚ฌ์ง„๋งˆ๋‹ค ํ•™์Šต๋œ ์ƒ‰ ๋ณด์ •์„ ๊ฑฐ๊พธ๋กœ ๊ฑธ์–ด ์ •์ค€ ์ƒ‰์œผ๋กœ ๋งž์ถ˜๋‹ค (์•ˆ ํ•˜๋ฉด ์บ  ๊ฒฝ๊ณ„ ์ด์Œ๋งค). ์œ„์ชฝ์€ 3DGS ๋ Œ๋”๋ฅผ ์•ŒํŒŒ๋กœ ํ•ฉ์„ฑํ•˜๊ณ  ๋นˆ ๊ณณ(์ฒœ์ •)์€ ์œ„ ๊ฐ€์žฅ์ž๋ฆฌ์˜ ๋ฐ์€ 15% ์ƒ‰(ํ•˜๋Š˜)์œผ๋กœ, ์•„๋ž˜์ชฝ์€ ์•„๋ž˜ ๊ฐ€์žฅ์ž๋ฆฌ ์ƒ‰(๋…ธ๋ฉด)์œผ๋กœ ๋งค๋„๋Ÿฝ๊ฒŒ ์™ธ์‚ฝํ•œ๋‹ค.
    • 3DGS ๋งŒ์œผ๋กœ ์ฑ„์šฐ๋ฉด ์ฒœ์ •์ด ๊ฒ€๊ณ (์œ„๋ฅผ ๋ณธ ํ•™์Šต ์นด๋ฉ”๋ผ๊ฐ€ ์—†๋‹ค) ๋ฐœ๋ฐ‘์€ ๋ฐ”๋Š˜ ํˆฌ์„ฑ์ด์˜€๋‹ค.
    • ๊ฐ€์žฅ์ž๋ฆฌ ์ƒ‰์„ ๊ทธ๋Œ€๋กœ ์œ„๋กœ ๋Š˜์ด๋ฉด ๊ธฐ๋‘ฅยท๊ฑด๋ฌผ ์ƒ‰์ด ์„ธ๋กœ ์ค„๋ฌด๋Šฌ๊ฐ€ ๋œ๋‹ค โ†’ ๋ฐฉ์œ„ ยฑ10ยฐ ํ‰ํ™œ.
  • HDR ์€ ๊ทผ์‚ฌ๋‹ค. nuScenes ๋Š” 8bit JPEG. sRGBโ†’์„ ํ˜• ํ›„ ํœ˜๋„ 0.75 ์œ„๋ฅผ ์ตœ๋Œ€ 7๋ฐฐ๋กœ ํ‚ค์šด๋‹ค. ํƒœ์–‘ ์ง์‚ฌ๊ด‘ ์„ธ๊ธฐ๋Š” ๋ชจ๋ฅธ๋‹ค. ํ™”๋ฉด์— ๊ทธ๋ฆด ๋•Œ๋Š” ๊ฐ™์€ ์‹์„ ๋˜๋Œ๋ ค(compress_highlights) 3DGS ์™€ ๊ฐ™์€ ์นด๋ฉ”๋ผ sRGB ๊ณต๊ฐ„์œผ๋กœ ๋งž์ถ˜๋‹ค.
  • ํ๋ธŒ ๋ฉด ๋ฐฉํ–ฅ์€ Vulkan ์ŠคํŽ™ ํ‘œ ๊ทธ๋Œ€๋กœ, ์…ฐ์ด๋”๋Š” ์”ฌ ์ขŒํ‘œ(z ์œ„) ๋ฐฉํ–ฅ์œผ๋กœ ๋ฐ”๋กœ ์ƒ˜ํ”Œ๋งํ•œ๋‹ค โ€” ๊ตฝ๋Š” ์ชฝ๊ณผ ๊ทธ๋ฆฌ๋Š” ์ชฝ์ด ๊ฐ™์€ ํ‘œ๋ฅผ ์“ด๋‹ค. ๊ฒ€์ฆ: ๊ฑฐ์šธ ๊ตฌ์— ํ•˜๋Š˜์ด ์œ„, ๋…ธ๋ฉด์ด ์•„๋ž˜๋กœ ๋น„์นœ๋‹ค.
  • ์••์ถ•: specular 16 MB โ†’ 2 MB (BC6H 8:1), ์ค‘์•™๊ฐ’ ์ƒ๋Œ€ ์˜ค์ฐจ 0.35%.
  • ๋ฉ”์‹œ์™€ ์Šคํ”Œ๋žซ์˜ ๊นŠ์ด ํ•ฉ์„ฑ: ์Šคํ”Œ๋žซ ์ฟผ๋“œ์— ๊ฐ€์šฐ์‹œ์•ˆ ์ค‘์‹ฌ ๊นŠ์ด๋ฅผ ์ฃผ๊ณ  ๊นŠ์ด ํ…Œ์ŠคํŠธ๋งŒ ํ•œ๋‹ค. ๋ฉ”์‹œ๋ฅผ ๋จผ์ € ๊ทธ๋ฆฌ๋ฉด ๊ทธ ๋’ค์˜ ์Šคํ”Œ๋žซ์ด ๊ฐ€๋ ค์ง„๋‹ค (3DGS ๋Š” ์›๋ž˜ ๊นŠ์ด๋ฅผ ์“ฐ์ง€ ์•Š๋Š”๋‹ค).
  • ๋ฉ”์‹œ ์•ž๋ฉด ํŒ์ •: ํˆฌ์˜์ด OpenCV ์ถ•(y ์•„๋ž˜)์„ ๊ทธ๋Œ€๋กœ Vulkan NDC ๋กœ ๋ณด๋‚ด ํ™”๋ฉด ๊ฐ๊น€์ด ๋’ค์ง‘ํžŒ๋‹ค โ†’ VK_FRONT_FACE_CLOCKWISE. ๋ฐ˜๋Œ€๋กœ ๋‘๋ฉด ๊ตฌ์˜ ์•ˆ์ชฝ์ด ๋ณด์—ฌ ๋น„๊ธˆ์†๋„ ๊ฑฐ์šธ์ฒ˜๋Ÿผ ๋ณด์˜€๋‹ค.

ํ•œ๊ณ„: ํ™˜๊ฒฝ๋งต์€ ํ•œ ์ง€์ (ํ”„๋ ˆ์ž„) ๊ฒƒ์ด๋‹ค โ€” ์ž์ฐจ๊ฐ€ ์ˆ˜์‹ญ m ์›€์ง์ด๋ฉด ๋ฐ˜์‚ฌ๊ฐ€ ๋งž์ง€ ์•Š๋Š”๋‹ค. 3DGS ์ž์ฐจ ์—์…‹์€ ๋ฉ”์‹œ๊ฐ€ ์•„๋‹ˆ๋ผ IBL ์กฐ๋ช…์„ ๋ฐ›์ง€ ์•Š๋Š”๋‹ค. IBL ์€ glTF ์ฐจ๋Ÿ‰(๋‹ค์Œ ๋‹จ๊ณ„)์„ ์œ„ํ•œ ๊ฒƒ์ด๋‹ค.

closed-loop ํ‰๊ฐ€ ์ธํ„ฐํŽ˜์ด์Šค โ€” HUGSIM ์‹ (2026-10-11)

๋ชฉ์ ์ง€("๋ชจ๋ธ์˜ ์ œ์–ด๊ฐ€ ๋‹ค์Œ ๊ด€์ธก์„ ๋ฐ”๊พธ๋Š” ๋ฃจํ”„")๋ฅผ ํ‰๊ฐ€ ๊ฐ€๋Šฅํ•œ ํ˜•ํƒœ๋กœ ๋ฌถ์—ˆ๋‹ค. ์„ค๊ณ„๋Š” HUGSIM(arXiv 2412.01718)์„ ๋”ฐ๋ฅธ๋‹ค: ์‹œ๋ฎฌ๋ ˆ์ดํ„ฐ๋ฅผ Gymnasium env ๋กœ ๊ฐ์‹ธ๊ณ , ์‹œ๋ฎฌ๋ ˆ์ดํ„ฐ์™€ AD ์•Œ๊ณ ๋ฆฌ์ฆ˜์€ ๋‹ค๋ฅธ ํ”„๋กœ์„ธ์Šค, ๊ฐ™์€ ๊ธฐ๊ณ„์—์„œ๋Š” ์ด๋ฆ„ ์žˆ๋Š” ํŒŒ์ดํ”„๋กœ ๋งํ•œ๋‹ค.

์ •์ฑ… (nusim.sim.policies / UniADยทVAD ๋ž˜ํผ)  โ”€โ”€ ์›จ์ดํฌ์ธํŠธ(์ž์ฐจ ์ขŒํ‘œ, 0.5 s ร— 6) โ”€โ”€โ–ถ  LQR ์ถ”์ข… (nusim.sim.controller)
        โ–ฒ 6์บ  RGB + ์ž์ฐจ ์ƒํƒœ + ๋‚ด๋น„ ๋ช…๋ น                                              โ”‚ ๊ฐ€์†ยท์กฐํ–ฅ๊ฐ, 50 ms ๋งˆ๋‹ค
        โ”‚                                                                              โ–ผ
VkgsEnv (nusim.sim.closed_loop)  โ—€โ”€โ”€ ์ƒํƒœ ์ค„ โ”€โ”€ DIR/resp โ”€โ”€ vkgs_viewer --serve DIR (์ฐฝ ์—†์Œ)
                                 โ”€โ”€ ๋ช…๋ น ์ค„ โ”€โ”€โ–ถ DIR/cmd       drive.hpp Vehicle + step_with_contact (0.01 s), ๊ตฌ๊ฐ„ ๋ชจ๋ธ ์ŠคํŠธ๋ฆฌ๋ฐ,
        ๊ด€์ธก: /dev/shm/vkgs_sim_*/obs/<CAM>.rgb (Hร—Wร—3 uint8) โ—€โ”€โ”€ 6์บ  ๋ Œ๋” (๊ฒฐ์ • ์‹œ์ ๋งˆ๋‹ค)
  • ์„œ๋ฒ„ (vkgs_viewer <ply> --cams rig.txt [--segments โ€ฆ] --drivable โ€ฆ --obstacles โ€ฆ [--voxels โ€ฆ] --size WxH --serve DIR): ์ฐฝ ์šด์ „๊ณผ ๊ฐ™์€ ์ฐจ๋Ÿ‰ ๋ชจ๋ธยท์ถฉ๋Œ ์ฝ”๋“œ๋ฅผ ์“ด๋‹ค โ€” ๋ฌผ๋ฆฌ ํ•œ ์Šคํ…์€ drive.hpp step_with_contact ๋กœ ๋นผ์„œ ์ฐฝ ๋ฃจํ”„์™€ ์„œ๋ฒ„๊ฐ€ ๊ฐ™์ด ๋ถ€๋ฅธ๋‹ค. ๊ฐ€์†ยท์กฐํ–ฅ๊ฐ ๋ช…๋ น์€ control_for ๊ฐ€ ํŽ˜๋‹ฌยทํ•ธ๋“ค๋กœ ๋ฐ”๊พผ๋‹ค (์ •์ง€ ์ค‘ ์Œ์˜ ๊ฐ€์† = ์ •์ง€ ์œ ์ง€, ํ›„์ง„ํ•˜์ง€ ์•Š์Œ). ์นด๋ฉ”๋ผ๋Š” ํ‰์ง€ ์ž์„ธ(๊ธฐ๋ก z)๋กœ ๋ถ™์ธ๋‹ค โ€” ํ•™์Šต ์นด๋ฉ”๋ผ๋„ ๊ทธ ๋†’์ด์˜€๋‹ค. settle_on_ground ์˜ zยทpitchยทroll ์€ ์ƒํƒœ๋กœ๋งŒ ์•Œ๋ฆฐ๋‹ค.
  • ํ”„๋กœํ† ์ฝœ (src/vkgs/src/serve.hpp, ์ค„ ๋‹จ์œ„ ์ด๋ฆ„ key=value โ€ฆ โ†’ ok key=value โ€ฆ | err โ€ฆ): hello (ํ•ด์ƒ๋„ยท์นด๋ฉ”๋ผยท์ฐจ์ฒด ์น˜์ˆ˜ยท์ถฉ๋Œ ํ—ˆ์šฉ์น˜), reset x= y= yaw= [v=] [frame=], step dt= accel= delta= ๋˜๋Š” step dt= throttle= brake= steer= (+ render=1, sensors=1 ์ด๋ฉด ๋ผ์ด๋‹คยท๋ ˆ์ด๋”๋„ shm ์— nuScenes ํ˜•์‹์œผ๋กœ), render, state, actors boxes=x,y,yaw,๋ฐ˜๊ธธ์ด,๋ฐ˜ํญ;โ€ฆ (๋‹ค๋ฅธ ์ฐจ๋Ÿ‰ ๋ฐ”๋‹ฅ ์‚ฌ๊ฐํ˜• โ€” ์ถฉ๋Œยท์„ผ์„œ์šฉ, ๊ทธ๋ฆฌ๊ธฐ๋Š” ์•„์ง), close. ์ƒํƒœ ํ‚ค: t x y z yaw v yaw_rate accel delta contact contact_n blocked collisions on_road log_dev ground_z pitch roll seg step_ms render_ms n_obs obs. ๋‘ ์ชฝ ๋‹ค cmd ๋ฅผ ๋จผ์ € ์—ฐ๋‹ค (๊ต์ฐฉ ๋ฐฉ์ง€).
  • ์‹œ๋‚˜๋ฆฌ์˜ค configs/scenarios/<์ด๋ฆ„>.json (nusim sim make-scenarios ๊ฐ€ outputs/gs_day ์˜ ๊ตฌ๊ฐ„์ด ๋‹ค ๋๋‚œ ์”ฌ๋งˆ๋‹ค Easy ๋ฅผ ๋งŒ๋“ ๋‹ค): ์”ฌยท๋ชจ๋ธ ๋””๋ ‰ํ„ฐ๋ฆฌ(๋‹จ์ผ ๋˜๋Š” ๊ตฌ๊ฐ„), ์ถœ๋ฐœ(๋ฆฌ๊ทธ ํ”„๋ ˆ์ž„, ๊ธฐ๋ก ์†๋„), ๊ฒฝ๋กœ(๊ทธ ํ”„๋ ˆ์ž„๋ถ€ํ„ฐ์˜ ๊ธฐ๋ก ๊ถค์ , max_m ์œผ๋กœ ์ž๋ฆ„), ์ œํ•œ ์‹œ๊ฐ„, actors (์ง€๊ธˆ์€ static_box โ€” ๋ณด์ด์ง€ ์•Š๋Š” ์ถฉ๋Œ ์ƒ์ž. replay/IDM/aggressiveยท3DRealCar ์—์…‹์€ ๊ฐ™์€ ์ž๋ฆฌ์— ๋“ค์–ด์˜จ๋‹ค), overrides (closed_loop.json ๋ฎ์–ด์“ฐ๊ธฐ). ํ˜•์‹์€ nusim/sim/scenario.py docstring.
  • ์ข…๋ฃŒ: ์žฅ์• ๋ฌผยท์ฐจ๋Ÿ‰์— ๋ง‰ํž˜(์ถฉ๋Œ), ๋„๋กœ ์ดํƒˆ 2 s ์ง€์†, ๊ฒฝ๋กœ์—์„œ 8 m ๋„˜๊ฒŒ ๋ฒ—์–ด๋‚จ(์žฌ๊ตฌ์„ฑ ๋ฒ”์œ„ ๋ฐ–), ๊ฒฝ๋กœ ๋ 2 m ์•ˆ(์™„์ฃผ), ์‹œ๊ฐ„ ์ดˆ๊ณผ โ€” ๊ฐ’์€ configs/closed_loop.json termination.

HD-Score (nusim/sim/hdscore.py, ์„ค์ • configs/closed_loop.json hdscore)

๊ฒฐ์ • ์‹œ์ (2 Hz) t ๋งˆ๋‹ค HD_t = NC ร— DAC ร— (5ยทTTC + 2ยทCOM) / 7, ์ตœ์ข… HD-Score = Rc ร— ํ‰๊ท _t HD_t (HUGSIM ์‹, NAVSIM PDM ์—์„œ EP ๋ฅผ ๋บ€ ๊ฒƒ). ๋ถ€๋ถ„ ์ ์ˆ˜๋Š” NAVSIM ์ •์˜๋ฅผ ์šฐ๋ฆฌ ํŒ์ • ์žฌ๋ฃŒ๋กœ ์˜ฎ๊ฒผ๋‹ค:

์ •์˜ ํŒ์ • ์žฌ๋ฃŒ
NC ๊ฒฐ์ • ๊ตฌ๊ฐ„ ์•ˆ ๋‹ฟ์€ ๊ฒƒ์˜ ์ข…๋ฅ˜๋ณ„ ๊ฐ’ ์ตœ์†Œ (์ฐจ๋Ÿ‰ 0, ์žฅ์• ๋ฌผ 0, ์—ฐ์„ 1 โ€” NAVSIM ์€ ์ •์  ๋ฌผ์ฒด 0.5, hdscore.nc) ์„œ๋ฒ„ ์ ‘์ด‰: ๋ง‰ํž˜ ๋˜๋Š” graze ํ‘œ๋ณธ ๋„˜๊ฒŒ ๋‹ฟ์Œ
DAC ๊ฒฐ์ • ๊ตฌ๊ฐ„ ๋ชจ๋“  ์ œ์–ด ์Šคํ…์—์„œ ์ฐจ์ฒด ๋‘˜๋ ˆ 8์ ์ด ์ฃผํ–‰๊ฐ€๋Šฅ์˜์—ญ ์•ˆ ์„œ๋ฒ„ on_road (= ์—ฐ์„ ํŒ์ •๊ณผ ๊ฐ™์€ ๋‘˜๋ ˆยทํ—ˆ์šฉ์น˜)
TTC ๋“ฑ์†ยท๋“ฑ๋ฐฉ์œ„ 1 s ํˆฌ์˜(0.1 s ๊ฐ„๊ฒฉ)์ด ์ง€๊ธˆ๋ณด๋‹ค ๊นŠ์ด ๋‹ฟ์œผ๋ฉด 0, ์„œ ์žˆ์œผ๋ฉด 1 Python geometry.World โ€” ์žฅ์• ๋ฌผ ์ง€๋„ยท์ฐจ๋Ÿ‰ ์ƒ์ž
COM ๊ทธ ์‹œ์ ๊นŒ์ง€ 2 s ๋™์•ˆ ์ข…๊ฐ€์† [-4.05, 2.40], ํšก๊ฐ€์† 4.89, ์ข…์ €ํฌ 4.13, ์ €ํฌ 8.37, ์š”๋ ˆ์ดํŠธ 0.95, ์š”๊ฐ€์† 1.93 20 Hz ์ƒํƒœ, 0.3 s ์ด๋™ํ‰๊ท  ๋’ค ๋ฏธ๋ถ„ (๋ฏธ๋ž˜ ํ‘œ๋ณธ ์•ˆ ์”€)
Rc ๊ฒฝ๋กœ ํˆฌ์˜ ์ง„ํ–‰ ์ตœ๋Œ€ / ๊ฒฝ๋กœ ๊ธธ์ด (์™„์ฃผ ํ—ˆ์šฉ ๊ฑฐ๋ฆฌ ์•ˆ์ด๋ฉด 1) ๊ธฐ๋ก ๊ถค์  ํด๋ฆฌ๋ผ์ธ

Python ํŒ์ •์€ drive.hpp vehicle_contact ์™€ ๊ฐ™์€ ํ‘œ๋ณธ์ (float32 ๋ˆ„์  0.1 m ๊ฒฉ์ž, ๋‘˜๋ ˆ 8์ )์„ ์“ด๋‹ค โ€” tests/test_serve_cpp.py ๊ฐ€ ๊ฐ™์€ ์ง€๋„ยท์ž์„ธ์—์„œ C++ ์™€ ์  ์ˆ˜๋ฅผ ๋Œ€์กฐํ•œ๋‹ค. ๊ฒฐ์ • t ์˜ ์ ์ˆ˜๋Š” t ๊นŒ์ง€์˜ ๋กœ๊ทธ๋งŒ ์“ฐ๋ฏ€๋กœ ํ™˜๊ฒฝ์ด ๋งค ๊ฒฐ์ • ์ฃผ๋Š” ๋ณด์ƒ๊ณผ nusim sim score ๊ฐ€ ๋๋‚œ ๋กœ๊ทธ๋กœ ๋‹ค์‹œ ๋‚ธ ์ ์ˆ˜๊ฐ€ ๊ฐ™๋‹ค.

๊ธฐ์ค€์„  (2026-10-11, 800ร—450, ํ•™์Šต ์ž‘์—…๊ณผ GPU ๊ณต์œ ): scene-0402 Easy (235 m ์ง์„ ) replay 1.000 / constant 0.169 (49 m ์—์„œ ์™ผ์ชฝ ๋‚˜๋ฌด์— ์ถฉ๋Œ), scene-0006 Easy (101 m, 90ยฐ ํšŒ์ „) replay 0.982 (ํšŒ์ „ ์ค‘ TTC ํ•œ ๋ฒˆ 0 โ€” ๋“ฑ๋ฐฉ์œ„ ํˆฌ์˜์ด ๋ฐ”๊นฅ ์žฅ์• ๋ฌผ๋กœ ๋‚˜๊ฐ„๋‹ค, NAVSIM ๊ณผ ๊ฐ™์€ ํ•œ๊ณ„) / constant 0.440 (ํšŒ์ „ ๊ตฌ๊ฐ„์—์„œ ์ถฉ๋Œ). 6์บ  ๋ Œ๋” 6279 ms, ๋ฌผ๋ฆฌ 50 ms ์ ๋ถ„ + ์ ‘์ด‰ 0.30.6 ms, ๊ฒฐ์ • ํ•œ ๋ฒˆ ์•ฝ 120 ms (์‹ค์‹œ๊ฐ„์˜ ์•ฝ 4๋ฐฐ ๋น ๋ฅด๊ธฐ).

ํ•œ๊ณ„: ๋‹ค๋ฅธ ์ฐธ๊ฐ€์ž๋Š” ์•„์ง ๊ทธ๋ฆฌ์ง€ ์•Š๋Š”๋‹ค (Easy ๋งŒ ์˜๋ฏธ ์žˆ๋‹ค). ์ง€์—ญ ๋งต(_map/<์ง€์—ญ>)์€ ์žฅ์• ๋ฌผยท๋ณต์…€์ด ์—†์–ด ์‹œ๋‚˜๋ฆฌ์˜ค๋กœ ์“ฐ์ง€ ์•Š๋Š”๋‹ค. ๊ด€์ธก ํ™”์งˆ์€ ๊ทธ ์”ฌ ์žฌ๊ตฌ์„ฑ ํ’ˆ์งˆ ๊ทธ๋Œ€๋กœ๋‹ค (scene-0006 ์€ ํšŒ์ „ ๊ตฌ๊ฐ„์ด ํ๋ฆฌ๋‹ค).

8 GB VRAM ์ด๋ผ๋Š” ์ œ์•ฝ

RTX 3060 Ti 8 GB ๊ฐ€ ์„ค๊ณ„ ์ „๋ฐ˜์„ ๋ˆ„๋ฅธ๋‹ค.

๊ฐ€์šฐ์‹œ์•ˆ 1๊ฐœ = 236 B (fp32):

ํ•ญ๋ชฉ ๋ฐ”์ดํŠธ
์œ„์น˜ xyz 12
์Šค์ผ€์ผ 12
ํšŒ์ „ ์ฟผํ„ฐ๋‹ˆ์–ธ 16
๋ถˆํˆฌ๋ช…๋„ 4
SH ๊ณ„์ˆ˜ (degree 3, 48๊ฐœ float) 192
  • ๋ Œ๋”๋ง ์ „์šฉ: 8 GB รท 236 B โ‰ˆ 2,000๋งŒ ๊ฐœ ๊ฐ€ ์ด๋ก  ์ƒํ•œ. ํ”„๋ ˆ์ž„๋ฒ„ํผยท์ •๋ ฌ ๋ฒ„ํผ๋ฅผ ๋นผ๋ฉด ์‹ค์งˆ 1,200๋งŒ ๊ฐœ ์•ˆํŒŽ.
  • ํ•™์Šต: gradient + Adam ๋ชจ๋ฉ˜ํ…€ 2๊ฐœ๊ฐ€ ๋ถ™์–ด ํŒŒ๋ผ๋ฏธํ„ฐ๋‹น 4๋ฐฐ. ์”ฌ๋‹น 100๋งŒ~200๋งŒ ๊ฐœ, ์ด๋ฏธ์ง€ 2๋ฐฐ ๋‹ค์šด์Šค์ผ€์ผ ์„ ๊ธฐ์ค€์„ ์œผ๋กœ ์žก๋Š”๋‹ค.
  • SH ๋ฅผ fp16 ์œผ๋กœ ์ €์žฅํ•˜๋ฉด ๊ฐ€์šฐ์‹œ์•ˆ๋‹น 96 B ๋ฅผ ์•„๋‚€๋‹ค (40%). vkgs_probe ๊ฐ€ shaderFloat16 ์ง€์› ์—ฌ๋ถ€๋ฅผ ๋ณด๊ณ ํ•œ๋‹ค.

๋ฐ์ดํ„ฐ๋ฅผ ์ ˆ๋Œ€ ์“ฐ์ง€ ์•Š๋Š”๋‹ค

nuScenes ์›๋ณธ์€ 67 TB ๊ฐ€ ์ฐฌ ๊ณต์šฉ NFS ์œ„์— ์žˆ๋‹ค. docker-compose.yml ์—์„œ :ro ๋กœ ๋งˆ์šดํŠธํ•˜๋Š” ๊ฒƒ์€ ํŽธ์˜๊ฐ€ ์•„๋‹ˆ๋ผ ์•ˆ์ „์žฅ์น˜๋‹ค. ํŒŒ์ƒ๋ฌผ์€ ์ „๋ถ€ ๋กœ์ปฌ ๋””์Šคํฌ์˜ cache/ ์™€ outputs/ ๋กœ ๊ฐ„๋‹ค.