home: expand NPU section (peak 417, 3.8x, training deep-dive)

index.html

@@ -1146,7 +1146,7 @@ document.addEventListener('keydown', function(e){ if(e.key==='Escape') closeSpot
 
 
   <!-- ═══════════ NPU TECH (2026-10-25, 실측치만) ═══════════ -->
-<div class="section" id="npu-tech"><div class="container"><h2 class="st"><span class="ko-only">NPU: <span>추론 가속 + 학습(LoRA·사전학습)</span></span><span class="en-only">NPU: <span>inference acceleration + training (LoRA, pretraining)</span></span></h2><p class="ss"><span class="ko-only">추론 전용으로 설계된 상용 NPU에서, 추론을 넘어 학습까지 실행했습니다. 아래 수치는 모두 자체 실측이며 측정 조건을 함께 밝힙니다.</span><span class="en-only">On a commercial NPU designed for inference only, we went past inference into training. Every number below is self-measured, with its measurement conditions stated.</span></p><div class="grid g3"><div class="card" style="border-top:4px solid #0f6e56"><div style="font-size:1.6rem">⚡</div><h4 style="margin:6px 0 4px"><span class="ko-only">추론 가속</span><span class="en-only">Inference acceleration</span></h4><div style="font-size:1.7rem;font-weight:900;color:#0f6e56;line-height:1.1">53.9 tok/s</div><div style="font-size:.78rem;color:var(--muted);margin-bottom:8px"><span class="ko-only">Gemma-4-26B · 8칩 · 단일 스트림</span><span class="en-only">Gemma-4-26B · 8 chips · single stream</span></div><p style="font-size:.86rem;line-height:1.65;margin:0"><span class="ko-only">단일 스트림 기준 B200 표준 vLLM 구성(30.2 tok/s)보다 빠른 응답 속도. 배치 최대 약 417 tok/s, 소비전력 약 1/5. 35B MoE(A3B)는 배치 8에서 197 tok/s.</span><span class="en-only">Faster single-stream response than a standard B200 vLLM setup (30.2 tok/s). Batched peak about 417 tok/s at roughly one fifth the power. A 35B MoE (A3B) reaches 197 tok/s at batch 8.</span></p></div><div class="card" style="border-top:4px solid #0f6e56"><div style="font-size:1.6rem">🔧</div><h4 style="margin:6px 0 4px"><span class="ko-only">LoRA 학습</span><span class="en-only">LoRA training</span></h4><div style="font-size:1.7rem;font-weight:900;color:#0f6e56;line-height:1.1">4개 모델</div><div style="font-size:.78rem;color:var(--muted);margin-bottom:8px"><span class="ko-only">SmolLM2-135M·1.7B · Qwen3-0.6B·1.7B</span><span class="en-only">SmolLM2-135M/1.7B · Qwen3-0.6B/1.7B</span></div><p style="font-size:.86rem;line-height:1.65;margin:0"><span class="ko-only">추론 전용 NPU에서 층 내부 LoRA 역전파를 직접 실행. 기울기를 PyTorch autograd와 대조해 상대오차 1.4×10⁻⁴. 대형 모델은 본체를 고정하고 판정 머리만 학습하는 방식으로 확장합니다.</span><span class="en-only">Layer-internal LoRA backpropagation runs directly on the inference NPU. Gradients match PyTorch autograd within 1.4×10⁻⁴ relative error. Larger models extend by freezing the backbone and training a decision head.</span></p></div><div class="card" style="border-top:4px solid #0f6e56"><div style="font-size:1.6rem">🧠</div><h4 style="margin:6px 0 4px"><span class="ko-only">0부터 사전학습</span><span class="en-only">Pretraining from scratch</span></h4><div style="font-size:1.7rem;font-weight:900;color:#0f6e56;line-height:1.1">상관 0.99</div><div style="font-size:.78rem;color:var(--muted);margin-bottom:8px"><span class="ko-only">46M · 137M · 365M 규모 실측</span><span class="en-only">Measured at 46M · 137M · 365M</span></div><p style="font-size:.86rem;line-height:1.65;margin:0"><span class="ko-only">엔비디아 GPU 없이 추론 전용 NPU에서 처음부터 사전학습. 같은 데이터·설정의 GPU 학습과 손실 궤적 상관 0.99. 공개 모델: <a href="https://huggingface.co/FINAL-Bench/VKORE-46M-NPU" target="_blank" rel="noopener noreferrer">VKORE-46M-NPU</a>.</span><span class="en-only">Pretraining from scratch on an inference-only NPU, no Nvidia GPU. Loss trajectory correlates 0.99 with GPU training on the same data and settings. Open model: <a href="https://huggingface.co/FINAL-Bench/VKORE-46M-NPU" target="_blank" rel="noopener noreferrer">VKORE-46M-NPU</a>.</span></p></div></div><p style="color:var(--muted);font-size:.8rem;margin-top:10px"><span class="ko-only">측정 조건: 추론은 8칩 텐서 병렬·생성 128토큰 디코딩 기준. 비교 축은 단일 스트림 속도·전력·학습 가능성입니다. 모든 수치는 자체 실측이며 외부 인증이 아닙니다.</span><span class="en-only">Conditions: inference with 8-chip tensor parallelism, 128-token decode. Comparison axes are single-stream speed, power and trainability. All figures are self-measured, not an external certification.</span></p></div></div>
+<div class="section" id="npu-tech"><div class="container"><div style="font-size:.74rem;font-weight:800;letter-spacing:.08em;color:#0f6e56;margin-bottom:6px">VKORE · NPU TRAINING &amp; INFERENCE</div><h2 class="st"><span class="ko-only">추론 전용 NPU에서 <span>학습까지</span>: 추론 가속 + LoRA + 사전학습</span><span class="en-only">Training on an <span>inference-only NPU</span>: acceleration + LoRA + pretraining</span></h2><p class="ss"><span class="ko-only">NPU는 추론만 하도록 설계됩니다. 학습에 필요한 역전파, 옵티마이저, 대형 학습 그래프를 처음부터 고려하지 않기 때문입니다. 비드래프트는 상용 추론 전용 NPU에서 추론 가속에 그치지 않고 LoRA 미세조정과 0부터의 사전학습까지 실행했습니다. 아래 수치는 모두 자체 실측이며 측정 조건을 함께 밝힙니다.</span><span class="en-only">NPUs are built for inference only. Backpropagation, optimizer state and large training graphs are not part of their design. VIDRAFT went beyond accelerating inference on a commercial inference-only NPU and ran LoRA fine-tuning and pretraining from scratch on it. Every figure below is self-measured, with conditions stated.</span></p><div class="grid" style="grid-template-columns:repeat(auto-fit,minmax(150px,1fr));gap:10px;margin:14px 0 18px"><div class="card" style="text-align:center;padding:14px"><div style="font-size:1.7rem;font-weight:900;color:#0f6e56;line-height:1.1">417 tok/s</div><div style="font-size:.76rem;color:var(--muted);margin-top:4px"><span class="ko-only">추론 최대 처리량 (26B, 8칩)</span><span class="en-only">Peak inference throughput (26B, 8 chips)</span></div></div><div class="card" style="text-align:center;padding:14px"><div style="font-size:1.7rem;font-weight:900;color:#0f6e56;line-height:1.1">3.8×</div><div style="font-size:.76rem;color:var(--muted);margin-top:4px"><span class="ko-only">단일 스트림 가속 (14.1 → 53.9)</span><span class="en-only">Single-stream speedup (14.1 to 53.9)</span></div></div><div class="card" style="text-align:center;padding:14px"><div style="font-size:1.7rem;font-weight:900;color:#0f6e56;line-height:1.1">0.9999</div><div style="font-size:.76rem;color:var(--muted);margin-top:4px"><span class="ko-only">학습 기울기 일치도 (표준 대비 코사인)</span><span class="en-only">Gradient agreement vs standard (cosine)</span></div></div><div class="card" style="text-align:center;padding:14px"><div style="font-size:1.7rem;font-weight:900;color:#0f6e56;line-height:1.1">17.2만</div><div style="font-size:.76rem;color:var(--muted);margin-top:4px"><span class="ko-only">카드 1장 학습 처리량 tok/s (4칩)</span><span class="en-only">Training tok/s per card (4 chips, about 172K)</span></div></div></div><h3 style="font-size:1.05rem;margin:6px 0 8px"><span class="ko-only">왜 어려웠나: 추론 전용 NPU가 학습을 막는 세 가지 벽</span><span class="en-only">Why it was hard: three walls that block training on an inference NPU</span></h3><div class="grid g3"><div class="card"><h4><span class="ko-only">① 가짜 학습</span><span class="en-only">① Silent fake training</span></h4><p style="font-size:.86rem;line-height:1.65"><span class="ko-only">컴파일러의 자동미분은 그래프를 고정하는 과정에서 기울기를 0으로 굳혀 버립니다. 손실값만 보면 학습되는 것처럼 보이지만 실제 가중치는 거의 움직이지 않았습니다. 손실이 25스텝 동안 변하지 않는 것으로 적발했습니다.</span><span class="en-only">Compiler autodiff froze gradients to zero while fixing the graph. Loss curves looked like training, but the weights barely moved. We caught it when loss stayed flat for 25 steps.</span></p></div><div class="card"><h4><span class="ko-only">② 역전파 그래프의 한계</span><span class="en-only">② Backward graph limits</span></h4><p style="font-size:.86rem;line-height:1.65"><span class="ko-only">추론용 컴파일러는 순전파에 맞춰 최적화되어 있습니다. 층 내부 역전파를 그대로 올리면 컴파일이 실패하거나, 거듭제곱이나 스칼라 나눗셈 같은 연산이 장치 그래프로 변환되지 않습니다.</span><span class="en-only">Inference compilers are tuned for the forward pass. Pushing layer-internal backward through them fails to compile, and ops such as powers or scalar division do not convert into device graphs.</span></p></div><div class="card"><h4><span class="ko-only">③ 장기 학습의 발산</span><span class="en-only">③ Divergence in long runs</span></h4><p style="font-size:.86rem;line-height:1.65"><span class="ko-only">1스텝 기울기가 GPU와 0.9999 이상 일치해도, 수만 스텝을 넘기면 작은 편향이 한 방향으로 쌓여 학습이 무너질 수 있습니다. 초기 검증만으로는 드러나지 않는 문제입니다.</span><span class="en-only">Even with one-step gradients matching GPU above 0.9999, small biases can build up in one direction over tens of thousands of steps and break training. Early checks alone do not reveal it.</span></p></div></div><h3 style="font-size:1.05rem;margin:16px 0 8px"><span class="ko-only">어떻게 풀었나</span><span class="en-only">How we solved it</span></h3><div class="grid g3"><div class="card" style="border-top:4px solid #0f6e56"><h4><span class="ko-only">역전파를 직접 구현</span><span class="en-only">Hand-written backward</span></h4><p style="font-size:.86rem;line-height:1.65"><span class="ko-only">자동미분에 맡기지 않고, 역전파를 NPU가 실행할 수 있는 순전파 연산으로 직접 작성했습니다. 원래 가중치는 그래프 상수로 고정하고 학습 대상(LoRA)만 입력으로 넣어 상수 경로 20.6ms 대 입력 경로 266ms, 13배 빠르게 만들었습니다. 어텐션 정규화(q_norm, k_norm)까지 수동으로 역전파해 PyTorch autograd와 상대오차 1.4×10⁻⁴로 맞췄습니다.</span><span class="en-only">Instead of autodiff, backward is written as forward ops the NPU can run. Base weights become graph constants and only the trainable LoRA tensors are inputs: 20.6 ms vs 266 ms, 13x faster. Attention norms (q_norm, k_norm) are back-propagated by hand, matching PyTorch autograd within 1.4×10⁻⁴.</span></p></div><div class="card" style="border-top:4px solid #0f6e56"><h4><span class="ko-only">NPU 기울기 + 고정밀 옵티마이저</span><span class="en-only">NPU gradients + high-precision optimizer</span></h4><p style="font-size:.86rem;line-height:1.65"><span class="ko-only">실제 LLM 블록(어텐션 + SwiGLU)의 LoRA에서 기울기는 NPU가 계산하고 옵티마이저 상태는 fp32로 관리해, 표준 학습 대비 기울기 코사인 0.9999를 얻었습니다. 칩 1개 4.4만 tok/s(약 11 TFLOPS), 카드 1장(4칩) 동시 약 17.2만 tok/s, 카드 전력 약 278W. 서버 CPU(64코어×2) 대비 7.6~17.7배입니다.</span><span class="en-only">On real LLM blocks (attention + SwiGLU) with LoRA, the NPU computes gradients while optimizer state stays in fp32, giving 0.9999 gradient cosine vs standard training. 44K tok/s per chip (about 11 TFLOPS), about 172K tok/s per 4-chip card at roughly 278 W, 7.6 to 17.7x a dual 64-core server CPU.</span></p></div><div class="card" style="border-top:4px solid #0f6e56"><h4><span class="ko-only">청크 컴파일 + 다칩 병렬 + 장기 안정화</span><span class="en-only">Chunked compile + multi-chip + long-run stability</span></h4><p style="font-size:.86rem;line-height:1.65"><span class="ko-only">모델을 N단 청크로 나눠 컴파일하고 대형 어휘 헤드는 호스트에서 처리해, 0.3B급 사전학습을 칩당 2,550 tok/s로 돌렸습니다. 32칩 병렬로 약 1.4만 tok/s입니다. 장기 학습 발산은 자체 안정화 기법으로 해결해 GPU와 같은 손실 궤적(상관 0.99)을 유지합니다. 특허 출원 준비 중이라 세부는 공개하지 않습니다.</span><span class="en-only">The model is compiled in N chunks with the large vocab head on the host, running 0.3B-class pretraining at 2,550 tok/s per chip and about 14K tok/s across 32 chips. Long-run divergence is solved with an in-house stabilization method that keeps the loss trajectory in line with GPU (correlation 0.99). Patent pending, details withheld.</span></p></div></div><h3 style="font-size:1.05rem;margin:16px 0 8px"><span class="ko-only">실측 요약</span><span class="en-only">Measured results</span></h3><div style="overflow-x:auto"><table style="width:100%;border-collapse:collapse;font-size:.85rem;min-width:560px"><thead><tr><th style="padding:8px;border-bottom:2px solid var(--border);text-align:left"><span class="ko-only">구분</span><span class="en-only">Area</span></th><th style="padding:8px;border-bottom:2px solid var(--border);text-align:left"><span class="ko-only">대상·조건</span><span class="en-only">Target, conditions</span></th><th style="padding:8px;border-bottom:2px solid var(--border);text-align:left;text-align:right"><span class="ko-only">실측</span><span class="en-only">Measured</span></th><th style="padding:8px;border-bottom:2px solid var(--border);text-align:left"><span class="ko-only">비고</span><span class="en-only">Note</span></th></tr></thead><tbody><tr><td style="padding:7px 8px;border-bottom:1px solid var(--border);font-weight:700"><span class="ko-only">추론</span><span class="en-only">Inference</span></td><td style="padding:7px 8px;border-bottom:1px solid var(--border)">Gemma-4-26B · 8칩 · 배치</td><td style="padding:7px 8px;border-bottom:1px solid var(--border);text-align:right;font-weight:700;color:#0f6e56">~417 tok/s</td><td style="padding:7px 8px;border-bottom:1px solid var(--border);color:var(--muted);font-size:.8rem"><span class="ko-only">최대 처리량</span><span class="en-only">peak throughput</span></td></tr><tr><td style="padding:7px 8px;border-bottom:1px solid var(--border);font-weight:700"><span class="ko-only">추론</span><span class="en-only">Inference</span></td><td style="padding:7px 8px;border-bottom:1px solid var(--border)">Gemma-4-26B · 단일 스트림</td><td style="padding:7px 8px;border-bottom:1px solid var(--border);text-align:right;font-weight:700;color:#0f6e56">53.9 tok/s</td><td style="padding:7px 8px;border-bottom:1px solid var(--border);color:var(--muted);font-size:.8rem"><span class="ko-only">적용 전 14.1에서 3.8배</span><span class="en-only">from 14.1, 3.8x</span></td></tr><tr><td style="padding:7px 8px;border-bottom:1px solid var(--border);font-weight:700"><span class="ko-only">추론</span><span class="en-only">Inference</span></td><td style="padding:7px 8px;border-bottom:1px solid var(--border)">35B MoE (A3B) · 배치 8</td><td style="padding:7px 8px;border-bottom:1px solid var(--border);text-align:right;font-weight:700;color:#0f6e56">197 tok/s</td><td style="padding:7px 8px;border-bottom:1px solid var(--border);color:var(--muted);font-size:.8rem"><span class="ko-only">미지원 구조를 자체 모델 클래스로 구동</span><span class="en-only">unsupported arch via custom model class</span></td></tr><tr><td style="padding:7px 8px;border-bottom:1px solid var(--border);font-weight:700">LoRA</td><td style="padding:7px 8px;border-bottom:1px solid var(--border)">SmolLM2-135M·1.7B · Qwen3-0.6B·1.7B</td><td style="padding:7px 8px;border-bottom:1px solid var(--border);text-align:right;font-weight:700;color:#0f6e56"><span class="ko-only">4개 성공</span><span class="en-only">4 models</span></td><td style="padding:7px 8px;border-bottom:1px solid var(--border);color:var(--muted);font-size:.8rem"><span class="ko-only">autograd 대조 오차 1.4×10⁻⁴</span><span class="en-only">1.4×10⁻⁴ vs autograd</span></td></tr><tr><td style="padding:7px 8px;border-bottom:1px solid var(--border);font-weight:700">LoRA</td><td style="padding:7px 8px;border-bottom:1px solid var(--border)"><span class="ko-only">LLM 블록(어텐션 + SwiGLU)</span><span class="en-only">LLM block (attention + SwiGLU)</span></td><td style="padding:7px 8px;border-bottom:1px solid var(--border);text-align:right;font-weight:700;color:#0f6e56">cos 0.9999</td><td style="padding:7px 8px;border-bottom:1px solid var(--border);color:var(--muted);font-size:.8rem"><span class="ko-only">표준 학습 대비</span><span class="en-only">vs standard training</span></td></tr><tr><td style="padding:7px 8px;border-bottom:1px solid var(--border);font-weight:700"><span class="ko-only">학습 처리량</span><span class="en-only">Training speed</span></td><td style="padding:7px 8px;border-bottom:1px solid var(--border)"><span class="ko-only">카드 1장 = 4칩</span><span class="en-only">one card = 4 chips</span></td><td style="padding:7px 8px;border-bottom:1px solid var(--border);text-align:right;font-weight:700;color:#0f6e56">~172,000 tok/s</td><td style="padding:7px 8px;border-bottom:1px solid var(--border);color:var(--muted);font-size:.8rem"><span class="ko-only">전력 약 278W</span><span class="en-only">about 278 W</span></td></tr><tr><td style="padding:7px 8px;border-bottom:1px solid var(--border);font-weight:700"><span class="ko-only">사전학습</span><span class="en-only">Pretraining</span></td><td style="padding:7px 8px;border-bottom:1px solid var(--border)">137M / 365M · 단일칩</td><td style="padding:7px 8px;border-bottom:1px solid var(--border);text-align:right;font-weight:700;color:#0f6e56">4,880 / 1,015 tok/s</td><td style="padding:7px 8px;border-bottom:1px solid var(--border);color:var(--muted);font-size:.8rem"><span class="ko-only">0부터 학습</span><span class="en-only">from scratch</span></td></tr><tr><td style="padding:7px 8px;border-bottom:1px solid var(--border);font-weight:700"><span class="ko-only">사전학습</span><span class="en-only">Pretraining</span></td><td style="padding:7px 8px;border-bottom:1px solid var(--border)"><span class="ko-only">0.3B급 · 청크 컴파일</span><span class="en-only">0.3B class, chunked</span></td><td style="padding:7px 8px;border-bottom:1px solid var(--border);text-align:right;font-weight:700;color:#0f6e56"><span class="ko-only">칩당 2,550 tok/s</span><span class="en-only">2,550 tok/s per chip</span></td><td style="padding:7px 8px;border-bottom:1px solid var(--border);color:var(--muted);font-size:.8rem"><span class="ko-only">32칩 병렬 약 1.4만 tok/s</span><span class="en-only">about 14K tok/s on 32 chips</span></td></tr><tr><td style="padding:7px 8px;border-bottom:1px solid var(--border);font-weight:700"><span class="ko-only">사전학습</span><span class="en-only">Pretraining</span></td><td style="padding:7px 8px;border-bottom:1px solid var(--border)">46M · 137M · 365M</td><td style="padding:7px 8px;border-bottom:1px solid var(--border);text-align:right;font-weight:700;color:#0f6e56">corr 0.99</td><td style="padding:7px 8px;border-bottom:1px solid var(--border);color:var(--muted);font-size:.8rem"><span class="ko-only">GPU 학습과 손실 궤적 상관</span><span class="en-only">loss trajectory vs GPU</span></td></tr></tbody></table></div><p style="font-size:.86rem;margin-top:10px"><span class="ko-only">공개 모델: <a href="https://huggingface.co/FINAL-Bench/VKORE-46M-NPU" target="_blank" rel="noopener noreferrer">VKORE-46M-NPU</a> (추론 전용 NPU에서 0부터 사전학습)</span><span class="en-only">Open model: <a href="https://huggingface.co/FINAL-Bench/VKORE-46M-NPU" target="_blank" rel="noopener noreferrer">VKORE-46M-NPU</a> (pretrained from scratch on an inference-only NPU)</span></p><p style="color:var(--muted);font-size:.78rem;margin-top:6px"><span class="ko-only">측정 조건: 추론은 8칩 텐서 ���렬, 생성 128토큰 디코딩. 학습 처리량은 LoRA 블록 기준. 모든 수치는 자체 실측이며 외부 인증이 아닙니다.</span><span class="en-only">Conditions: inference with 8-chip tensor parallelism, 128-token decode. Training throughput measured on LoRA blocks. All figures self-measured, not an external certification.</span></p></div></div>
 
   <!-- ═══════════ AI-NATIVE (minimal) ═══════════ -->