KnowLine-4B-Gen5 / README.zh.md
PEScn's picture
KnowLine-4B-Gen5
dba367c
|
Raw History Blame Contribute Delete
8.97 kB

KnowLine-4B-Gen5

PelaAI 4B System One 决策模型的第五版。

推理说明 · English · 权重 Apache-2.0 · 上一版:KnowLine-4B-Gen4

亮点:

  • Decision Index 0.3 公开套件:65.67(自测;Gen4 为 64.90)。榜单的总分来自维护者的私有测试,见横向对比。
  • 概率经过校准:权重里已折入一个温度。按榜单的方法计算,ECE 约 0.04-0.05,Brier 分数约 0.28-0.31,见校准。
  • 速度快:单请求串行,在一张 H20 上中位数 31.6 ms(见 INFERENCE.md)。
  • 没有做过图片训练,也能处理图片:视觉部分是底座原装的,图片输入为零样本。

KnowLine 是独立开发的模型,与 TypeSafe 或 Jev 没有隶属关系,未获其背书,也不是基于 TypeSafe 或 Jev 开发的。

它做什么

你发送一段状态(文本或对话)和最多 64 道带类型的问题:是/否、k 选一、按细则打分。模型对每道题给出各选项的概率分布:

  • 每道题只做一次前向计算,不生成文本;
  • 生成的是各选项标签 token 的概率;
  • 现有 Jev 客户端只需修改 base URL 即可接入;之前版本的用户换模型名即可,接口和推理设置都不变。
底座模型 Qwen/Qwen3.5-4B(Apache-2.0)
训练方式 LoRA 监督微调(rank 32,alpha 64,只训语言模型部分),合并为 bf16 权重(见这一版的制作方式)
发布格式 bf16 权重;最后一层 norm 的权重里已折入读出温度 T = 1.50(见校准)。视觉部分和 MTP 头与底座相同;config、分词器和对话模板与 Gen1-Gen4 完全一致
语言 英文、简体中文、繁体中文

快速开始

pip install "sglang==0.5.21" "transformers==5.12.1" requests
bash serve_knowline.sh PelaAI/KnowLine-4B-Gen5 0 8080     # SGLang(加载时转 FP8)监听 :9080,/v1/systemone 监听 :8080
curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -d '{
  "model": "m",
  "state": "Customer: my order arrived broken, I want my money back.",
  "questions": {"refund": {"type": "noul", "instructions": "Should the agent offer a refund?"},
                "tone": {"type": "choice", "instructions": "Customer tone?",
                         "criteria": {"angry": "Angry", "neutral": "Neutral", "happy": "Happy"}}}}'
  • 前端:knowline_server.py 是单个文件,只依赖 transformers 和 requests,与 Gen4 是同一个文件。
  • 完整设置:我们跑 Decision Index 时的完整设置见 INFERENCE.md。

这一版的制作方式

  • 底座模型: Qwen/Qwen3.5-4B。
  • 训练: LoRA 监督微调,一个 epoch(rank 32,alpha 64,只训语言模型部分),合并为 bf16 权重。训练样本包含由 LLM 教师模型编写并标注的决策任务。
  • 读出温度: T = 1.50,在留出数据上拟合,折入最后一层 norm 的权重。温度只改变概率的大小,不改变哪个选项排第一。

训练数据不包含在本仓库中。

横向对比

下表为 Decision Index 的分数。自 Decision Index 0.4(2026-10-19)起,榜单总分 = 60% 同技能私有测试 + 40% 新领域私有任务;公开套件仍会显示,但不再计入总分。这个模型的总分暂时还没有。

模型 规模 DI 0.3 公开分 DI 0.4 总分 来源
KnowLine-4B-Gen5 4B 65.67 暂无 自测,官方工具
KnowLine-4B-Gen4 4B 64.90 暂无 自测,官方工具
StartLux-Decision v1.1 4B 4.7B 67.81 56.35 榜单
Perplexity Decider Flash v1.2 4.5B 60.06 55.39 榜单
vLLM-SR d3-mini 4.5B 54.90 51.25 榜单
OneJev 1.6 4.5B 61.95 49.54 榜单
Jev 1.14 (API) 60.70 62.22 榜单
KnowLine-35B-A3B-Gen1 35B-A3B 69.49 62.28 榜单

榜单数据截至榜单最近一次更新(Decision Index 0.4)。

各领域的公开套件分数(DI 0.3):

领域 KnowLine-4B-Gen5 KnowLine-4B-Gen4
知识与推理 45.0 44.6
语言理解 66.8 65.5
检索与路由 73.3 72.5
工具与智能体 87.4 87.6
艺术与品味 61.2 59.2

版本

模型在自我演进的循环中训练,后续会继续发布新版本。

模型 日期 DI 0.3 公开分 备注
KnowLine-4B-Gen5(本模型) 2026-10-21 65.67 第五版
KnowLine-4B-Gen4 2026-10-10 64.90 第四版
KnowLine-4B-Gen3 2026-10-09 63.11 第三版
KnowLine-4B-Gen2 2026-10-08 62.54 第二版
KnowLine-4B-Gen1 2026-10-07 60.47 第一版

评测

以下结果均为自测,未经第三方验证。

其他公开基准

评测 Gen5 Gen4
C-Eval(4 个大类,宏平均) 79.2 78.7
JevBench / JevBench 难题集 83.1 / 66.7 86.1 / 72.1

网页操作(Mind2Web 官方测试集,仅用于评测)

划分 Gen5 选元素 Gen5 选操作(平衡计分) Gen4 选元素 Gen4 选操作(平衡计分)
test_task (Cross-Task) 92.6 97.1 92.9 97.0
test_website (Cross-Website) 90.9 96.9 91.9 95.7
test_domain (Cross-Domain) 91.8 98.4 91.7 97.2
  • 与 Gen4 基本相同,差别在噪声范围内。
  • 任务是从目标元素和页面上随机抽取的最多 5 个其他候选里选出目标,比 Mind2Web 原始评测简单,因此请勿与其排行榜比较。

图片输入(零样本)

  • 没有图片训练:Gen5 保留了底座原装、未经改动的视觉部分,训练中没有用过任何图片。knowline_server.py 支持在对话状态里放 OpenAI 格式的 image / image_url 内容并转给 SGLang,每道题仍只做一次前向计算。

校准

按 Decision Index 榜单描述的方法在 0.3 公开套件上计算:每个字段按对错计分,置信度是所选选项的概率,各基准等权,10 个等宽分箱。

指标 Gen5 Gen4
ECE(越低越好) 0.04-0.05 0.04-0.05
Brier 分数(越低越好) 0.28-0.31 0.29-0.31
置信度 ≥95% 却答错 1.5-1.6% 1.6-1.8%
平均置信度 / 准确率 0.82-0.83 / 0.78-0.80 0.82 / 0.77
  • 温度在权重里:最后一层 norm 的权重里折入了读出温度 T = 1.50,因此每个 logit 在对选项标签做 softmax 之前都除以 1.50。排第一的选项不变,只是概率没那么极端。T 是在留出数据上拟合的。
  • 为什么给区间:榜单没有公布它用的是哪 32 个基准,所以和之前的版本一样,我们给出可能的基准组合下的区间。
  • 建议:如果你的用法依赖概率阈值,请在自己的数据上检查校准情况。

披露

  • 去污染:全部训练数据都对照 Decision Index 0.3 的全部题目和我们报告的公开基准(Intern-Decision、S1MB、JevBench、MMDM)做了检查。约 2.2 万行被删除:与基准题几乎重复、重复了基准题的问题或论断、或包含基准题完整状态的数据;在更严格的第二轮检查中,还删除了大部分与基准题共用来源段落的数据。
  • 教师模型标注的合成数据:我们的合成任务由大模型教师编写和标注。标签经过筛选,但并非全部经过人工检查。
  • 公开套件:Decision Index 公开套件是公开的;榜单的私有测试分数可能更低。

局限

  • 知识密集的推理:弱于更大的模型。知识领域得分 45.0(DI 0.3);4B 模型在这方面有局限,榜单的新领域部分也偏向更大的模型。
  • JevBench 难题集:66.7,Gen4 为 72.1;下降不显著,但如果你的用法接近 JevBench 难题集,请自行检查。
  • 新领域:榜单的新领域私有任务偏向更大的模型;请在自己的领域上检查模型。
  • 提示注入:状态里植入的指令可能改变答案。请把不可信的文本明确分隔开。
  • 图片:没有做过图片训练,图片使用为零样本,用于图片场景前请在自己的数据上检查。

引用

@misc{knowline4bgen5,
  title  = {KnowLine-4B-Gen5: a 4B decision model},
  author = {PelaAI},
  year   = {2026},
  url    = {https://huggingface.co/PelaAI/KnowLine-4B-Gen5}
}

许可证

  • 权重:Apache-2.0,与底座模型相同。
  • 代码:knowline_server.py 为 MIT 许可(见文件开头)。