Text Classification
Transformers
Safetensors
English
Chinese
qwen3_5
image-text-to-text
decision-model
system-one
decision-index
lora-merged
Instructions to use PelaAI/KnowLine-4B-Gen5 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use PelaAI/KnowLine-4B-Gen5 with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-classification", model="PelaAI/KnowLine-4B-Gen5")# pip install -U transformers accelerate # Load model directly from transformers import AutoProcessor, AutoModelForMultimodalLM processor = AutoProcessor.from_pretrained("PelaAI/KnowLine-4B-Gen5") model = AutoModelForMultimodalLM.from_pretrained("PelaAI/KnowLine-4B-Gen5", device_map="auto") - Notebooks
- Google Colab
- Kaggle
File size: 8,969 Bytes
dba367c | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 | # KnowLine-4B-Gen5
**PelaAI 4B System One 决策模型的第五版。**
[推理说明](INFERENCE.md) · [English](README.md) · 权重 Apache-2.0 · 上一版:[KnowLine-4B-Gen4](https://huggingface.co/PelaAI/KnowLine-4B-Gen4)
亮点:
- **Decision Index 0.3 公开套件:65.67**(自测;Gen4 为 64.90)。榜单的总分来自维护者的私有测试,见[横向对比](#横向对比)。
- **概率经过校准**:权重里已折入一个温度。按榜单的方法计算,ECE 约 0.04-0.05,Brier 分数约 0.28-0.31,见[校准](#校准)。
- **速度快**:单请求串行,在一张 H20 上中位数 31.6 ms(见 [INFERENCE.md](INFERENCE.md))。
- **没有做过图片训练,也能处理图片**:视觉部分是底座原装的,图片输入为零样本。
KnowLine 是独立开发的模型,与 TypeSafe 或 Jev 没有隶属关系,未获其背书,也不是基于 TypeSafe 或 Jev 开发的。
## 它做什么
你发送一段状态(文本或对话)和最多 64 道带类型的问题:是/否、k 选一、按细则打分。模型对每道题给出各选项的概率分布:
- 每道题只做一次前向计算,不生成文本;
- 生成的是各选项标签 token 的概率;
- 现有 Jev 客户端只需修改 base URL 即可接入;之前版本的用户换模型名即可,接口和推理设置都不变。
| | |
|---|---|
| 底座模型 | [Qwen/Qwen3.5-4B](https://huggingface.co/Qwen/Qwen3.5-4B)(Apache-2.0) |
| 训练方式 | LoRA 监督微调(rank 32,alpha 64,只训语言模型部分),合并为 bf16 权重(见[这一版的制作方式](#这一版的制作方式)) |
| 发布格式 | bf16 权重;最后一层 norm 的权重里已折入读出温度 T = 1.50(见[校准](#校准))。视觉部分和 MTP 头与底座相同;config、分词器和对话模板与 Gen1-Gen4 完全一致 |
| 语言 | 英文、简体中文、繁体中文 |
## 快速开始
```bash
pip install "sglang==0.5.21" "transformers==5.12.1" requests
bash serve_knowline.sh PelaAI/KnowLine-4B-Gen5 0 8080 # SGLang(加载时转 FP8)监听 :9080,/v1/systemone 监听 :8080
curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -d '{
"model": "m",
"state": "Customer: my order arrived broken, I want my money back.",
"questions": {"refund": {"type": "noul", "instructions": "Should the agent offer a refund?"},
"tone": {"type": "choice", "instructions": "Customer tone?",
"criteria": {"angry": "Angry", "neutral": "Neutral", "happy": "Happy"}}}}'
```
- **前端**:`knowline_server.py` 是单个文件,只依赖 transformers 和 requests,与 Gen4 是同一个文件。
- **完整设置**:我们跑 Decision Index 时的完整设置见 [INFERENCE.md](INFERENCE.md)。
## 这一版的制作方式
- **底座模型:** [Qwen/Qwen3.5-4B](https://huggingface.co/Qwen/Qwen3.5-4B)。
- **训练:** LoRA 监督微调,一个 epoch(rank 32,alpha 64,只训语言模型部分),合并为 bf16 权重。训练样本包含由 LLM 教师模型编写并标注的决策任务。
- **读出温度:** T = 1.50,在留出数据上拟合,折入最后一层 norm 的权重。温度只改变概率的大小,不改变哪个选项排第一。
训练数据不包含在本仓库中。
## 横向对比
下表为 Decision Index 的分数。自 Decision Index 0.4(2026-10-19)起,榜单总分 = 60% 同技能私有测试 + 40% 新领域私有任务;公开套件仍会显示,但不再计入总分。这个模型的总分暂时还没有。
| 模型 | 规模 | DI 0.3 公开分 | DI 0.4 总分 | 来源 |
|---|---|---|---|---|
| **KnowLine-4B-Gen5** | 4B | **65.67** | 暂无 | 自测,官方工具 |
| KnowLine-4B-Gen4 | 4B | 64.90 | 暂无 | 自测,官方工具 |
| StartLux-Decision v1.1 4B | 4.7B | 67.81 | 56.35 | 榜单 |
| Perplexity Decider Flash v1.2 | 4.5B | 60.06 | 55.39 | 榜单 |
| vLLM-SR d3-mini | 4.5B | 54.90 | 51.25 | 榜单 |
| OneJev 1.6 | 4.5B | 61.95 | 49.54 | 榜单 |
| Jev 1.14 | (API) | 60.70 | 62.22 | 榜单 |
| KnowLine-35B-A3B-Gen1 | 35B-A3B | 69.49 | 62.28 | 榜单 |
榜单数据截至榜单最近一次更新(Decision Index 0.4)。
各领域的公开套件分数(DI 0.3):
| 领域 | KnowLine-4B-Gen5 | KnowLine-4B-Gen4 |
|---|---|---|
| 知识与推理 | 45.0 | 44.6 |
| 语言理解 | 66.8 | 65.5 |
| 检索与路由 | 73.3 | 72.5 |
| 工具与智能体 | 87.4 | 87.6 |
| 艺术与品味 | 61.2 | 59.2 |
## 版本
模型在自我演进的循环中训练,后续会继续发布新版本。
| 模型 | 日期 | DI 0.3 公开分 | 备注 |
|---|---|---|---|
| KnowLine-4B-Gen5(本模型) | 2026-10-21 | 65.67 | 第五版 |
| [KnowLine-4B-Gen4](https://huggingface.co/PelaAI/KnowLine-4B-Gen4) | 2026-10-10 | 64.90 | 第四版 |
| [KnowLine-4B-Gen3](https://huggingface.co/PelaAI/KnowLine-4B-Gen3) | 2026-10-09 | 63.11 | 第三版 |
| [KnowLine-4B-Gen2](https://huggingface.co/PelaAI/KnowLine-4B-Gen2) | 2026-10-08 | 62.54 | 第二版 |
| [KnowLine-4B-Gen1](https://huggingface.co/PelaAI/KnowLine-4B-Gen1) | 2026-10-07 | 60.47 | 第一版 |
## 评测
以下结果均为自测,未经第三方验证。
### 其他公开基准
| 评测 | Gen5 | Gen4 |
|---|---|---|
| C-Eval(4 个大类,宏平均) | 79.2 | 78.7 |
| JevBench / JevBench 难题集 | 83.1 / 66.7 | 86.1 / 72.1 |
### 网页操作(Mind2Web 官方测试集,仅用于评测)
| 划分 | Gen5 选元素 | Gen5 选操作(平衡计分) | Gen4 选元素 | Gen4 选操作(平衡计分) |
|---|---|---|---|---|
| test_task (Cross-Task) | 92.6 | 97.1 | 92.9 | 97.0 |
| test_website (Cross-Website) | 90.9 | 96.9 | 91.9 | 95.7 |
| test_domain (Cross-Domain) | 91.8 | 98.4 | 91.7 | 97.2 |
- 与 Gen4 基本相同,差别在噪声范围内。
- 任务是从目标元素和页面上随机抽取的最多 5 个其他候选里选出目标,比 Mind2Web 原始评测简单,因此请勿与其排行榜比较。
### 图片输入(零样本)
- **没有图片训练**:Gen5 保留了底座原装、未经改动的视觉部分,训练中没有用过任何图片。`knowline_server.py` 支持在对话状态里放 OpenAI 格式的 `image` / `image_url` 内容并转给 SGLang,每道题仍只做一次前向计算。
### 校准
按 Decision Index 榜单描述的方法在 0.3 公开套件上计算:每个字段按对错计分,置信度是所选选项的概率,各基准等权,10 个等宽分箱。
| 指标 | Gen5 | Gen4 |
|---|---|---|
| ECE(越低越好) | 0.04-0.05 | 0.04-0.05 |
| Brier 分数(越低越好) | 0.28-0.31 | 0.29-0.31 |
| 置信度 ≥95% 却答错 | 1.5-1.6% | 1.6-1.8% |
| 平均置信度 / 准确率 | 0.82-0.83 / 0.78-0.80 | 0.82 / 0.77 |
- **温度在权重里**:最后一层 norm 的权重里折入了读出温度 T = 1.50,因此每个 logit 在对选项标签做 softmax 之前都除以 1.50。排第一的选项不变,只是概率没那么极端。T 是在留出数据上拟合的。
- **为什么给区间**:榜单没有公布它用的是哪 32 个基准,所以和之前的版本一样,我们给出可能的基准组合下的区间。
- **建议**:如果你的用法依赖概率阈值,请在自己的数据上检查校准情况。
## 披露
- **去污染**:全部训练数据都对照 Decision Index 0.3 的全部题目和我们报告的公开基准(Intern-Decision、S1MB、JevBench、MMDM)做了检查。约 2.2 万行被删除:与基准题几乎重复、重复了基准题的问题或论断、或包含基准题完整状态的数据;在更严格的第二轮检查中,还删除了大部分与基准题共用来源段落的数据。
- **教师模型标注的合成数据**:我们的合成任务由大模型教师编写和标注。标签经过筛选,但并非全部经过人工检查。
- **公开套件**:Decision Index 公开套件是公开的;榜单的私有测试分数可能更低。
## 局限
- **知识密集的推理**:弱于更大的模型。知识领域得分 45.0(DI 0.3);4B 模型在这方面有局限,榜单的新领域部分也偏向更大的模型。
- **JevBench 难题集**:66.7,Gen4 为 72.1;下降不显著,但如果你的用法接近 JevBench 难题集,请自行检查。
- **新领域**:榜单的新领域私有任务偏向更大的模型;请在自己的领域上检查模型。
- **提示注入**:状态里植入的指令可能改变答案。请把不可信的文本明确分隔开。
- **图片**:没有做过图片训练,图片使用为零样本,用于图片场景前请在自己的数据上检查。
## 引用
```bibtex
@misc{knowline4bgen5,
title = {KnowLine-4B-Gen5: a 4B decision model},
author = {PelaAI},
year = {2026},
url = {https://huggingface.co/PelaAI/KnowLine-4B-Gen5}
}
```
## 许可证
- **权重**:Apache-2.0,与底座模型相同。
- **代码**:`knowline_server.py` 为 MIT 许可(见文件开头)。
|