Spaces:
Running
Running
blog: Fast Gemma Challenge 1위 아티클 추가 (505.42 TPS)
Browse files- index.html +104 -10
index.html
CHANGED
|
@@ -920,16 +920,110 @@ footer{background:var(--text);color:#94A3B8;padding:44px 0 28px;margin-top:72px}
|
|
| 920 |
</div>
|
| 921 |
<div class="container">
|
| 922 |
<div class="section">
|
| 923 |
-
<
|
| 924 |
-
|
| 925 |
-
<
|
| 926 |
-
<
|
| 927 |
-
</div>
|
| 928 |
-
|
| 929 |
-
|
| 930 |
-
<
|
| 931 |
-
<
|
| 932 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 933 |
</div>
|
| 934 |
</div>
|
| 935 |
</div>
|
|
|
|
| 920 |
</div>
|
| 921 |
<div class="container">
|
| 922 |
<div class="section">
|
| 923 |
+
<!-- 최신 아티클 -->
|
| 924 |
+
<div style="display:flex;gap:10px;align-items:center;margin-bottom:28px;flex-wrap:wrap">
|
| 925 |
+
<span style="background:var(--ind);color:#fff;font-size:.72rem;font-weight:700;padding:3px 11px;border-radius:100px">최신 포스트</span>
|
| 926 |
+
<span style="font-size:.8rem;color:var(--muted)">2026.06.20 · Fast Gemma Challenge</span>
|
| 927 |
+
</div>
|
| 928 |
+
|
| 929 |
+
<article style="background:#fff;border:1px solid var(--border);border-radius:var(--r);box-shadow:var(--sh-lg);overflow:hidden;margin-bottom:40px">
|
| 930 |
+
<!-- 아티클 헤더 -->
|
| 931 |
+
<div style="background:linear-gradient(135deg,#0F172A,#1E1B4B);padding:40px 40px 32px">
|
| 932 |
+
<div style="display:flex;gap:8px;margin-bottom:16px;flex-wrap:wrap">
|
| 933 |
+
<span style="background:rgba(99,102,241,.3);color:#A5B4FC;font-size:.72rem;font-weight:700;padding:3px 10px;border-radius:100px">HuggingFace 챌린지</span>
|
| 934 |
+
<span style="background:rgba(16,185,129,.25);color:#6EE7B7;font-size:.72rem;font-weight:700;padding:3px 10px;border-radius:100px">1위</span>
|
| 935 |
+
<span style="background:rgba(245,158,11,.2);color:#FCD34D;font-size:.72rem;font-weight:700;padding:3px 10px;border-radius:100px">추론 최적화</span>
|
| 936 |
+
</div>
|
| 937 |
+
<h2 style="color:#fff;font-size:1.55rem;font-weight:800;line-height:1.4;margin-bottom:12px">같은 GPU를 더 잘 쓰는 법 — Fast Gemma Challenge, 1위</h2>
|
| 938 |
+
<p style="color:#94A3B8;font-size:.9rem;line-height:1.7">AI 경쟁이라고 하면 우리는 대개 거대한 풍경을 떠올린다. 끝없이 이어진 데이터센터. 수천 장의 GPU. 그런데 가끔, 그 문장 사이로 작은 균열이 생긴다.</p>
|
| 939 |
+
<div style="margin-top:20px;display:flex;align-items:center;gap:16px;flex-wrap:wrap">
|
| 940 |
+
<div style="background:linear-gradient(135deg,#4338CA,#06B6D4);border-radius:10px;padding:12px 24px;display:inline-block">
|
| 941 |
+
<div style="color:#fff;font-size:2rem;font-weight:900;line-height:1">505.42 <span style="font-size:1rem;font-weight:600">TPS</span></div>
|
| 942 |
+
<div style="color:#A5B4FC;font-size:.75rem;margin-top:2px">a10g-small 단일 GPU · PPL 2.393</div>
|
| 943 |
+
</div>
|
| 944 |
+
<div style="color:#94A3B8;font-size:.82rem">
|
| 945 |
+
<div>📌 HuggingFace Fast Gemma Challenge</div>
|
| 946 |
+
<div>🏆 검증된 유효 결과 <strong style="color:#6EE7B7">1위</strong></div>
|
| 947 |
+
</div>
|
| 948 |
+
</div>
|
| 949 |
+
</div>
|
| 950 |
+
|
| 951 |
+
<!-- 아티클 본문 -->
|
| 952 |
+
<div style="padding:40px;line-height:1.9;color:var(--text);font-size:.95rem" class="blog-body">
|
| 953 |
+
|
| 954 |
+
<p>AI 경쟁이라고 하면 우리는 대개 거대한 풍경을 떠올린다.</p>
|
| 955 |
+
<p>끝없이 이어진 데이터센터. 수천 장의 GPU. 수백 명의 연구자. 그리고 그 뒤를 받치는 막대한 자본.</p>
|
| 956 |
+
<p>요즘 AI 산업의 승부는 마치 이런 문장으로 요약되는 것처럼 보인다.</p>
|
| 957 |
+
<blockquote style="border-left:4px solid var(--ind);padding:14px 20px;margin:24px 0;background:var(--ind-xxl);border-radius:0 8px 8px 0;font-style:italic;color:var(--ind);font-weight:600">더 많이 가진 자가 더 멀리 간다.</blockquote>
|
| 958 |
+
|
| 959 |
+
<p>그런데 가끔, 그 문장 사이로 작은 균열이 생긴다.<br>돈과 장비의 크기가 아니라, 방법의 밀도와 집요함이 순위를 바꾸는 순간이 있다.</p>
|
| 960 |
+
<p>이번 승부가 그랬다.</p>
|
| 961 |
+
|
| 962 |
+
<h3 style="font-size:1.15rem;font-weight:800;margin:32px 0 12px;color:var(--ind)">무대는 HuggingFace Fast Gemma Challenge</h3>
|
| 963 |
+
<p>조건은 단순하면서도 ���정했다.</p>
|
| 964 |
+
<div style="background:var(--ind-xxl);border-radius:10px;padding:18px 22px;margin:18px 0;border:1px solid #C7D2FE">
|
| 965 |
+
<p style="margin:0;font-weight:600"><code style="background:var(--ind);color:#fff;padding:2px 8px;border-radius:4px;font-size:.85rem">google/gemma-4-E4B-it</code> 모델을 <strong>a10g-small GPU 단 한 장</strong>에서 최대한 빠르게 서빙할 것.</p>
|
| 966 |
+
<p style="margin:8px 0 0;color:var(--muted);font-size:.88rem">단, 품질 기준 <strong>PPL ≤ 2.42</strong>는 반드시 지켜야 했다.</p>
|
| 967 |
+
</div>
|
| 968 |
+
|
| 969 |
+
<p>같은 작은 엔진을 놓고, 누가 더 빠르게, 더 안정적으로, 더 멀리 달릴 수 있는가.</p>
|
| 970 |
+
|
| 971 |
+
<div style="background:linear-gradient(135deg,#ECFDF5,#EEF2FF);border-radius:12px;padding:24px;margin:28px 0;text-align:center">
|
| 972 |
+
<div style="font-size:3rem;font-weight:900;color:var(--ind);line-height:1">505.42</div>
|
| 973 |
+
<div style="font-size:1rem;color:var(--muted);margin:4px 0">TPS (Tokens Per Second)</div>
|
| 974 |
+
<div style="font-size:.85rem;color:var(--em);font-weight:600;margin-top:8px">PPL 2.39286 — 품질선 통과 · 검증된 유효 결과 1위</div>
|
| 975 |
+
</div>
|
| 976 |
+
|
| 977 |
+
<h3 style="font-size:1.15rem;font-weight:800;margin:32px 0 12px;color:var(--ind)">비결은 거창한 마법이 아니었다</h3>
|
| 978 |
+
<p>오히려 아주 엔지니어다운 선택이었다.</p>
|
| 979 |
+
<p>어텐션이 바라보는 범위를 조정하고, FFN·centroid 계산 후보를 줄였다.<br>벤치마크를 미리 외워버리는 것처럼 보일 수 있는 위험한 지름길은 피했고,<br>공식 a10g 측정 조건에서 품질 제한선을 넘지 않는 결과만 제출했다.</p>
|
| 980 |
+
<blockquote style="border-left:4px solid var(--em);padding:14px 20px;margin:24px 0;background:var(--em-l);border-radius:0 8px 8px 0;font-weight:700;color:#065F46">품질을 망가뜨리지 않고, 같은 GPU에서 더 많은 토큰을 뽑아냈다.</blockquote>
|
| 981 |
+
|
| 982 |
+
<h3 style="font-size:1.15rem;font-weight:800;margin:32px 0 12px;color:var(--ind)">이게 왜 중요할까</h3>
|
| 983 |
+
<p>AI 산업에서 진짜 비용은 모델을 만드는 순간보다, 모델을 계속 돌리는 순간에 더 자주 발생한다.<br>사용자가 질문할 때마다 GPU가 돈다. 토큰 하나하나가 전기이고, 서버비이고, 응답 대기시간이다.</p>
|
| 984 |
+
<p>그래서 TPS가 오른다는 건 단순한 숫자놀이가 아니다.</p>
|
| 985 |
+
<div style="display:grid;grid-template-columns:repeat(auto-fit,minmax(200px,1fr));gap:12px;margin:20px 0">
|
| 986 |
+
<div style="background:#fff;border:1px solid var(--border);border-radius:8px;padding:14px 16px"><div style="font-size:.75rem;color:var(--ind);font-weight:700;margin-bottom:4px">💰 비용</div><div style="font-size:.88rem">같은 예산으로 더 많은 사용자를 처리</div></div>
|
| 987 |
+
<div style="background:#fff;border:1px solid var(--border);border-radius:8px;padding:14px 16px"><div style="font-size:.75rem;color:var(--em);font-weight:700;margin-bottom:4px">⚡ 속도</div><div style="font-size:.88rem">같은 서버로 더 빠르게 응답</div></div>
|
| 988 |
+
<div style="background:#fff;border:1px solid var(--border);border-radius:8px;padding:14px 16px"><div style="font-size:.75rem;color:var(--ros);font-weight:700;margin-bottom:4px">🌱 생존</div><div style="font-size:.88rem">작은 팀의 생존 가능성이 커진다</div></div>
|
| 989 |
+
</div>
|
| 990 |
+
|
| 991 |
+
<h3 style="font-size:1.15rem;font-weight:800;margin:32px 0 12px;color:var(--ind)">두 개의 전쟁</h3>
|
| 992 |
+
<p>비드래프트의 최근 행보를 보면 이 장면은 더 흥미로워진다.</p>
|
| 993 |
+
<p>얼마 전 Darwin-398B-JGOS는 GPQA Diamond에서 <strong>90.9%</strong>를 기록했다. 단일 Greedy decoding, 온도값 0, 단일 샘플링 — 시험장에서 한 번 보고 한 번 답한 결과에 가깝다.</p>
|
| 994 |
+
<div style="display:grid;grid-template-columns:1fr 1fr;gap:16px;margin:24px 0">
|
| 995 |
+
<div style="background:var(--ind-xxl);border-radius:10px;padding:18px;border:1px solid #C7D2FE">
|
| 996 |
+
<div style="font-size:.75rem;color:var(--ind);font-weight:700;margin-bottom:6px">GPQA Diamond 90.9%가 말하는 것</div>
|
| 997 |
+
<div style="font-weight:700">"우리는 어려운 문제를 추론하는 모델을 만들 수 있다."</div>
|
| 998 |
+
</div>
|
| 999 |
+
<div style="background:var(--em-l);border-radius:10px;padding:18px;border:1px solid #A7F3D0">
|
| 1000 |
+
<div style="font-size:.75rem;color:var(--em);font-weight:700;margin-bottom:6px">Fast Gemma 1위가 말하는 것</div>
|
| 1001 |
+
<div style="font-weight:700">"우리는 제한된 하드웨어에서도 AI를 효율적으로 굴릴 수 있다."</div>
|
| 1002 |
+
</div>
|
| 1003 |
+
</div>
|
| 1004 |
+
<p>좋은 모델을 만드는 것은 연구의 싸움이다.<br>좋은 모델을 싸고 빠르게 돌리는 것은 제품의 싸움이다.</p>
|
| 1005 |
+
|
| 1006 |
+
<h3 style="font-size:1.15rem;font-weight:800;margin:32px 0 12px;color:var(--ind)">작은 팀이 같은 장비로 이기는 장면</h3>
|
| 1007 |
+
<p>솔직히 말하면, 여기서 약간 국뽕이 차오른다.</p>
|
| 1008 |
+
<p>한국의 작은 AI 스타트업이 세계 리더보드에서 이렇게 말할 수 있게 된 것이기 때문이다.</p>
|
| 1009 |
+
<blockquote style="border-left:4px solid var(--amb);padding:14px 20px;margin:24px 0;background:var(--amb-l);border-radius:0 8px 8px 0;font-weight:700;color:#78350F;font-size:1.02rem">"우리는 더 큰 GPU를 쓴 것이 아닙니다. 같은 GPU를 더 잘 썼습니다."</blockquote>
|
| 1010 |
+
<p>이 문장은 조용하지만 강하다.</p>
|
| 1011 |
+
<p>가진 것이 적을수록, 방법은 더 날카로워져야 한다.<br>장비가 작을수록, 설계는 더 정밀해야 한다.<br>자원이 부족할수록, 엔지니어링은 더 정직해야 한다.</p>
|
| 1012 |
+
|
| 1013 |
+
<div style="background:linear-gradient(135deg,#0F172A,#1E1B4B);border-radius:12px;padding:28px;margin:32px 0;text-align:center">
|
| 1014 |
+
<div style="color:#A5B4FC;font-size:.85rem;margin-bottom:8px">이번 1위의 진짜 가치</div>
|
| 1015 |
+
<div style="color:#fff;font-size:1.05rem;font-weight:700;line-height:1.7">505.42라는 숫자 뒤에 숨은 태도.<br><span style="color:#6EE7B7">작은 팀도 세계 최전선에서 싸울 수 있다.<br>더 큰 장비가 아니라, 더 좋은 방법으로.</span></div>
|
| 1016 |
+
<div style="color:#64748B;font-size:.8rem;margin-top:14px">그리고 이번에는, 그 작은 팀이 한국에서 나왔다.</div>
|
| 1017 |
+
</div>
|
| 1018 |
+
</div>
|
| 1019 |
+
</article>
|
| 1020 |
+
|
| 1021 |
+
<!-- 더 보기 -->
|
| 1022 |
+
<div style="text-align:center;padding:32px;background:#fff;border:1px solid var(--border);border-radius:var(--r);box-shadow:var(--sh)">
|
| 1023 |
+
<div style="font-size:1.8rem;margin-bottom:10px">✍️</div>
|
| 1024 |
+
<h3 style="font-size:1rem;margin-bottom:6px">더 많은 인사이트</h3>
|
| 1025 |
+
<p style="color:var(--muted);margin-bottom:18px;font-size:.88rem">비드래프트 대표의 AI 인사이트 · 기술 철학 · 산업 분석</p>
|
| 1026 |
+
<a class="btn btn-p" href="https://brunch.co.kr/@seawolf" target="_blank">브런치 @seawolf에서 보기 →</a>
|
| 1027 |
</div>
|
| 1028 |
</div>
|
| 1029 |
</div>
|