Spaces:
Running
Running
File size: 6,910 Bytes
de4cd47 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 | <!doctype html><html lang="zh-Hant"><head><meta charset="utf-8"><meta name="viewport" content="width=device-width,initial-scale=1">
<title>首頁 — AI/ML 應用工程主題</title>
<style>
:root{--bg:#0b1020;--panel:#121a2e;--panel2:#0f1628;--text:#e6edf7;--muted:#9fb0c8;--accent:#7aa2ff;--accent2:#4fd1c5;--border:#22304d;--code:#0a1222}
*{box-sizing:border-box} html,body{margin:0;padding:0;background:var(--bg);color:var(--text);font-family:system-ui,-apple-system,"Noto Sans TC","PingFang TC","Microsoft JhengHei",sans-serif;line-height:1.7}
a{color:var(--accent);text-decoration:none} a:hover{text-decoration:underline}
.layout{display:flex;min-height:100vh}
nav{width:290px;min-width:240px;background:var(--panel2);border-right:1px solid var(--border);padding:18px 14px;position:sticky;top:0;height:100vh;overflow:auto}
nav h2{font-size:15px;margin:0 0 10px 0;color:var(--muted);font-weight:600;letter-spacing:.02em}
nav .brand{font-size:17px;font-weight:700;color:var(--text);margin-bottom:14px;display:block}
nav ul{list-style:none;padding:0;margin:0}
nav li{margin:4px 0}
nav a{display:block;padding:6px 8px;border-radius:8px;color:var(--text);font-size:14px}
nav a:hover{background:rgba(122,162,255,.12);text-decoration:none}
nav a.active{background:rgba(122,162,255,.18);color:#fff}
main{flex:1;max-width:1100px;padding:28px 34px 60px}
h1{font-size:30px;margin:0 0 8px} h2{font-size:22px;margin:28px 0 10px;border-bottom:1px solid var(--border);padding-bottom:4px}
h3{font-size:18px;margin:22px 0 8px} p{margin:10px 0}
blockquote{margin:10px 0;padding:8px 14px;border-left:4px solid var(--accent);background:rgba(122,162,255,.08);color:var(--muted);border-radius:6px}
code{background:var(--code);padding:1px 6px;border-radius:5px;font-family:ui-monospace,SFMono-Regular,Menlo,Consolas,monospace;font-size:.92em}
pre{background:var(--code);border:1px solid var(--border);border-radius:10px;padding:14px;overflow:auto}
pre code{background:none;padding:0}
.table-wrap{overflow-x:auto;margin:14px 0;border:1px solid var(--border);border-radius:10px}
table{border-collapse:collapse;width:100%;min-width:520px;font-size:14px}
th,td{border-bottom:1px solid var(--border);padding:9px 12px;text-align:left;vertical-align:top}
th{background:#16223a;color:#dfe8f5;font-weight:600;position:sticky;top:0}
tr:nth-child(even) td{background:rgba(255,255,255,.02)}
tr:hover td{background:rgba(122,162,255,.06)}
ul,ol{padding-left:22px} li{margin:4px 0}
.cards{display:grid;grid-template-columns:repeat(auto-fill,minmax(260px,1fr));gap:14px;margin-top:18px}
.card{background:var(--panel);border:1px solid var(--border);border-radius:12px;padding:14px}
.card h3{margin:0 0 6px;font-size:16px;border:0} .card p{margin:0;color:var(--muted);font-size:14px}
.badge{display:inline-block;background:rgba(79,209,197,.15);color:var(--accent2);padding:2px 8px;border-radius:999px;font-size:12px;margin-bottom:14px}
@media(max-width:900px){.layout{flex-direction:column} nav{position:relative;width:auto;height:auto;border-right:0;border-bottom:1px solid var(--border)} main{padding:18px}}
</style></head><body><div class="layout"><nav><a class="brand" href="index.html">AI/ML 應用工程主題</a><h2>文檔導覽</h2><ul><li><a href="index.html" class="active">首頁</a></li><li><a href="00_主題總覽.html" class="">00 · AI/ML 應用工程主題總覽</a></li><li><a href="01_本地LLM部署與推理優化.html" class="">01 · 本地 LLM 部署與推理優化</a></li><li><a href="02_模型選型與成本算力.html" class="">02 · 模型選型與成本算力</a></li><li><a href="03_RAG與向量資料庫.html" class="">03 · RAG 與向量資料庫</a></li><li><a href="04_Agent框架與工具呼叫.html" class="">04 · Agent 框架與工具呼叫</a></li><li><a href="05_微調與對齊流程.html" class="">05 · 微調與對齊流程</a></li><li><a href="06_ML工具鏈與實驗管理.html" class="">06 · ML 工具鏈與實驗管理</a></li><li><a href="07_評估與可觀測性.html" class="">07 · 評估與可觀測性</a></li><li><a href="08_上線架構與維運成本.html" class="">08 · 上線架構與維運成本</a></li></ul></nav><main><span class="badge">Static 知識庫 · 9 節</span><h1>AI/ML 應用工程主題</h1><p>由 Markdown 蒸餾文檔自動轉為靜態站(深色主題、可離線閱讀)。左側導覽可切換各子主題。</p><div class="cards"><div class="card"><h3><a href="00_主題總覽.html">00 · AI/ML 應用工程主題總覽</a></h3><p>本主題聚焦「把模型用起來」而非訓練理論:從本地推理、成本選型、檢索增強、代理編排、微調對齊、實驗工具、評估監控到上線維運,形成一條可落地的工程鏈。</p></div><div class="card"><h3><a href="01_本地LLM部署與推理優化.html">01 · 本地 LLM 部署與推理優化</a></h3><p>TGI 已於 2025-12 轉維護模式、2026-03 封存,新專案直接跳過。選型關鍵不是「誰最快」,而是「你的流量是否共享前綴」:獨立 prompt 下 vLLM 與 SGLang 在 70B 級差距只有幾個百分點;共享前綴重(多輪、RAG、工具定義很長)時 SGLang 的命中率明顯較高。</p></div><div class="card"><h3><a href="02_模型選型與成本算力.html">02 · 模型選型與成本算力</a></h3><p>實務結論:能够用「一個抽象層+可換模型」寫的應用,就先這樣寫。把 model id、temperature、tool schema 收斂到一處設定,換模型是改一行而不是重寫。</p></div><div class="card"><h3><a href="03_RAG與向量資料庫.html">03 · RAG 與向量資料庫</a></h3><p>解析 → chunk → embedding → 索引 → 檢索 → rerank → 組 prompt</p></div><div class="card"><h3><a href="04_Agent框架與工具呼叫.html">04 · Agent 框架與工具呼叫</a></h3><p>模型不會「執行程式」,只輸出結構化物件:</p></div><div class="card"><h3><a href="05_微調與對齊流程.html">05 · 微調與對齊流程</a></h3><p>結論:知識走檢索、格式走 SFT、偏好走 DPO、成本走蒸餾。沒有 eval 與回滾就不要動模型。</p></div><div class="card"><h3><a href="06_ML工具鏈與實驗管理.html">06 · ML 工具鏈與實驗管理</a></h3><p>實務建議:uv 管 Python 套件、Docker image 釘 CUDA,兩者分責,勿在同一專案用 conda 與 uv 裝同一個 torch。</p></div><div class="card"><h3><a href="07_評估與可觀測性.html">07 · 評估與可觀測性</a></h3><p>人眼對 LLM 輸出有強烈確認偏誤:換個 prompt 後看到的 3 個例子都變好,就宣布改善。問題是回歸通常發生在你沒看的那 200 題上。</p></div><div class="card"><h3><a href="08_上線架構與維運成本.html">08 · 上線架構與維運成本</a></h3><p>結論:先做「應用 + 推論」兩層分離,別一開始上 K8s;單一模型、< 20 QPS 時複雜度大於收益。</p></div></div></main></div></body></html> |