GOSHUNCLE's picture
Update README.md
6259b83 verified
|
Raw History Blame Contribute Delete
4.38 kB
---
license: apache-2.0
language:
- zh
- en
base_model: FacebookAI/xlm-roberta-base
pipeline_tag: text-classification
library_name: transformers
tags:
- llm-routing
- cost-optimization
- text-classification
- chinese
widget:
- text: "評估把回焊爐產能提升 20% 需要的資源與風險"
- text: "把 250 mil 換算成 mm"
- text: "根據這些數據推論產能瓶頸並提出改善策略"
---
# LLM Router — Stage 2 難度路由
判斷一則**與工作相關**的請求是**單純**還是**複雜**,據此決定要送往昂貴的雲端大模型(`complex`)
還是便宜的地端小模型(`simple`)。
- **標籤**:`simple` / `complex`
- **基礎模型**:`xlm-roberta-base`
- **語言**:繁體中文為主,中英混合
## 用途
在企業把請求送進昂貴的雲端大模型**之前**先判斷一次,避免兩種常見浪費:
用最貴的模型做分類、翻譯、單位換算這種小事;以及拿公司的 LLM 額度做與工作無關的事。
整個判斷在本地完成,不需要任何 API 金鑰,請求內容也不會送往第三方。
## 怎麼用
```python
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch
repo = "GOSHUNCLE/llm-router-complexity"
tok = AutoTokenizer.from_pretrained(repo)
mdl = AutoModelForSequenceClassification.from_pretrained(repo).eval()
text = "評估把回焊爐產能提升 20% 需要的資源與風險"
inputs = tok(text, return_tensors="pt", truncation=True, max_length=256)
with torch.no_grad():
probs = torch.softmax(mdl(**inputs).logits, dim=-1)[0]
idx = int(probs.argmax())
print(mdl.config.id2label[idx], float(probs[idx]))
```
這個模型預設**只處理已經被第一段判為 `work_related` 的請求**。
直接拿無關的句子餵給它,結果沒有意義——請先過
[相關性守門模型](https://huggingface.co/GOSHUNCLE/llm-router-relevance-gate)。
## 這是兩段式系統的一部分
| 階段 | 模型 | 標籤 |
|---|---|---|
| 第一段 相關性守門 | [GOSHUNCLE/llm-router-relevance-gate](https://huggingface.co/GOSHUNCLE/llm-router-relevance-gate) | `work_related` / `not_work_related` |
| 第二段 難度路由 | [GOSHUNCLE/llm-router-complexity](https://huggingface.co/GOSHUNCLE/llm-router-complexity) | `simple` / `complex` |
完整的路由邏輯(含關鍵詞規則)、可直接試玩的 Demo、訓練腳本與資料集,都在
**[GOSHUNCLE/liang-task-router](https://huggingface.co/spaces/GOSHUNCLE/liang-task-router)**。
## 訓練資料
模板式合成資料,電子製造業情境、中英混合,**不需要任何模型或金鑰即可重現**
(`training/generate_synthetic.py`,固定 seed):
- `stage1.jsonl` — 2,000 筆,`work_related` / `not_work_related` 各半
- `stage2.jsonl` — 1,000 筆,`simple` / `complex` 各半
資料不含任何個人資料、公司名稱或真實使用者語料。
## 訓練設定
以 `xlm-roberta-base` 微調:4 epochs、learning rate 2e-5、batch size 16、max length 256,
資料切分 80 / 10 / 10(train / validation / test),依 Macro-F1 選最佳 checkpoint。
## 限制與注意事項
- **領域侷限**:訓練情境集中在電子製造業。其他產業的用語可能判不準。
- **邊界句子會錯**:「看起來簡單、實際需要推理」的句子最容易出錯。
實際遇過的例子是「分析 SMT 異常根因」被判成 `simple`。
- **合成資料偏樂觀**:模板生成的句子比真實使用者的輸入完整很多。
- **不要單獨拿來做內容審查或合規判斷**。它的用途是分流成本,不是把關風險。
## 授權
Apache License 2.0。基礎模型 `xlm-roberta-base` 為 MIT 授權。
---
## English
Stage 2 of a two-stage LLM cost router: for work-related requests, decides whether the task is
`simple` (route to a cheap/local model) or `complex` (route to an expensive cloud model).
Fine-tuned from `xlm-roberta-base` on synthetic, template-generated data.
Intended to run only on requests already passed by the Stage 1 relevance gate.
No human-labeled benchmark exists yet, so **no accuracy figures are claimed**.
See the [demo Space](https://huggingface.co/spaces/GOSHUNCLE/liang-task-router) for the full
routing logic (keyword rules + both stages), training scripts and dataset.
Licensed under Apache-2.0; base model `xlm-roberta-base` is MIT.