Model cards: remove the KOF section

779944d verified 2 days ago

14.2 kB

# KnowLine-4B-Gen5.5

**KnowLine-4B-Gen5 换了一种推理方式：权重完全相同，前端在作答前把较短的请求读两遍。**

[推理说明](INFERENCE.md) · [English](README.md) · 权重 Apache-2.0 · 上一版：[KnowLine-4B-Gen5](https://huggingface.co/PelaAI/KnowLine-4B-Gen5) · 同系列：[KnowLine-35B-A3B-Gen1.5](https://huggingface.co/PelaAI/KnowLine-35B-A3B-Gen1.5)、[KnowLine-26B-A4B-Gen2.5](https://huggingface.co/PelaAI/KnowLine-26B-A4B-Gen2.5)

只改推理时升小版本号，权重有变化时升大版本号（Gen）。Gen5.5 的所有权重、配置和分词器文件都与 Gen5 逐字节相同。

亮点：

- **权重不变，读两遍。** 对不超过 3,000 token 的纯文本请求，前端在模型作答前把整个输入再写一遍。没有做任何训练，见[Gen5.5 改了什么](#gen55-改了什么)。
- **Decision Index 0.3 公开套件：66.75**（自测，全新完整运行），同样的权重下 Gen5 为 65.67。提升主要在长输入上的推理和推断（知识与推理 45.0 → 47.3，语言 66.8 → 68.2）；工具与 Agent 不变（87.4），艺术与品味略低（61.2 → 61.0），见[横向对比](#横向对比)。
- **新领域决策任务：** 在我们 18 个训练里没有的领域的真实文本决策任务上得分 55.0，同一套评测、同样的权重下 Gen5 为 51.4；在 34 个任务的一套上为 48.4（Gen5 为 42.5），在较早的 10 个任务的一套上为 51.3（Gen5 为 49.5）。
- **同技能、换数据：** 在我们的姊妹集（用其他数据考察某个公开基准所测的技能）上平均 66.1（Gen5 为 63.6）。
- **私有分数：** 榜单总分来自维护者运行的私有测试。Gen5 在榜单上为 53.68。Gen5.5 与 Gen5 权重相同，它的私有分数将由维护者运行得出。
- **其他评测：** Open-Jev 1.1 测试 / OOD 92.2 / 90.7（Gen5 在同样的文件上为 90.0 / 88.0），C-Eval 80.5（79.2），JevBench / JevBench 难题集 85.3 / 70.3（83.1 / 66.7），自建留出集也略高。植入的指令改变了 1.2% 的答案（Gen5 为 0.6%），换成训练里没见过的注入模板为 2.7%（Gen5 为 2.5%），两项差别都不显著。
- **校准：** 权重里折入的温度不变（T = 1.50）。按榜单的方法计算，ECE 约 0.035-0.046（Gen5 为 0.037-0.049），Brier 分数约 0.27-0.30（Gen5 为 0.28-0.31），见[校准](#校准)。
- **代价：** 在 Decision Index 套件上，prompt token 约为 Gen5 的 1.56 倍。单张 H20、一次一个请求：中位数 42.1 ms、平均 83 ms，Gen5 为 31.6 ms 和 58.8 ms（我们自己的测量，不是榜单的参考硬件），见 [INFERENCE.md](INFERENCE.md)。
- **图片：不变。** 带图片的请求与 Gen5 的发送方式完全相同，所以 Gen5 的图片结果同样适用，见[图片输入](#图片输入零样本)。

KnowLine 是独立开发的模型，与 TypeSafe 或 Jev 没有隶属关系，未获其背书，也不是基于 TypeSafe 或 Jev 开发的。

## 它做什么

你发送一段状态（文本或对话）和最多 64 道带类型的问题：是/否、k 选一、按细则打分。模型对每道题给出各选项的概率分布：

- 每道题只做一次前向计算，不生成文本；
- 生成的是各选项标签 token 的概率；
- 现有 Jev 客户端只需修改 base URL 即可接入；之前版本的用户换模型名即可，接口不变。

| | |
|---|---|
| 底座模型 | [Qwen/Qwen3.5-4B](https://huggingface.co/Qwen/Qwen3.5-4B)（Apache-2.0） |
| 权重 | 与 [KnowLine-4B-Gen5](https://huggingface.co/PelaAI/KnowLine-4B-Gen5) 逐字节相同：两个 LoRA 监督微调模型（rank 32，alpha 64，只训语言模型部分）的权重平均，合并为 bf16 权重，最后一层 norm 的权重里折入了读出温度 T = 1.50 |
| 推理 | `serve_knowline.sh`：和 Gen5 一样，SGLang 加载时把权重转成 FP8；`knowline_server.py` 把较短的请求读两遍（默认开启；`--no-read-twice` 即为 Gen5 的 prompt）。我们的全部评测都是单张 96 GB H20 跑一个服务 |
| 语言 | 英文、简体中文、繁体中文 |

## 快速开始

```bash
pip install "sglang==0.5.21" "transformers==5.12.1" requests
bash serve_knowline.sh PelaAI/KnowLine-4B-Gen5.5 0 8080     # SGLang（加载时转 FP8）监听 :9080，/v1/systemone 监听 :8080
curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -d '{
  "model": "m",
  "state": "Customer: my order arrived broken, I want my money back.",
  "questions": {"refund": {"type": "noul", "instructions": "Should the agent offer a refund?"},
                "tone": {"type": "choice", "instructions": "Customer tone?",
                         "criteria": {"angry": "Angry", "neutral": "Neutral", "happy": "Happy"}}}}'
```

- **前端：** `knowline_server.py`，旁边放 `knowline_layout.py`；两者只依赖 transformers 和 requests。
- **完整设置：** 我们跑 Decision Index 时的完整设置见 [INFERENCE.md](INFERENCE.md)。

## Gen5.5 改了什么

1. **读两遍。** Gen5 对每个请求只读一遍：状态，然后是指令、问题和选项。Gen5.5 把这些内容再写一遍，前面加一行 "Read the same input again before answering:"，然后照旧从标签 token 读出答案。规则是固定的：所有不超过 3,000 token 的纯文本请求都读两遍（占 Decision Index 请求的 94.6%）；更长的请求和带图片的请求与 Gen5 相同。
2. **一个可能的原因。** 在因果注意力下，长状态的第一遍是在模型还不知道问题时读的；第二遍里每个 token 还能看到第一遍，包括问题。
3. **没有训练。** 权重、温度和标签 token 读出方式都与 Gen5 相同。发布前我们在自己的评测集上，以及 Decision Index 公开套件的一次全新完整运行上检查了这个改动。它与 [KnowLine-35B-A3B-Gen1.5](https://huggingface.co/PelaAI/KnowLine-35B-A3B-Gen1.5) 和 [KnowLine-26B-A4B-Gen2.5](https://huggingface.co/PelaAI/KnowLine-26B-A4B-Gen2.5) 是同一个改动。
4. **致谢。** 读两遍的布局参照 FlexDM（[github.com/1000luca/FlexDM](https://github.com/1000luca/FlexDM)，MIT）；重复输入的做法可追溯到 RE2（Xu et al., 2023，[arXiv:2309.06275](https://arxiv.org/abs/2309.06275)）。`knowline_layout.py` 是我们自己的实现。

## 横向对比

下表为 Decision Index 的分数。从 Decision Index 0.4 起，榜单总分由同技能私有测试（60%）和新领域私有任务（40%）组成；公开套件分数仍然显示，但不再计入总分。Gen5.5 目前还没有榜单条目。

| 模型 | 规模 | DI 0.3 公开分 | DI 0.4.1 总分 | 来源 |
|---|---|---|---|---|
| **KnowLine-4B-Gen5.5** | 4B | **66.75** | 尚未评分 | 自测，官方工具 |
| KnowLine-4B-Gen5（相同权重） | 4B | 65.67 | 53.68 | 榜单 |
| StartLux-Decision v1.1 4B | 4.7B | 67.81 | 54.80 | 榜单 |
| Perplexity Decider Flash v1.2 | 4.5B | 60.06 | 54.29 | 榜单 |
| vLLM-SR d3-mini | 4.5B | 54.90 | 49.97 | 榜单 |
| OneJev 1.6 | 4.5B | 61.95 | 48.88 | 榜单 |
| Jev 1.14 | (API) | 60.70 | 60.24 | 榜单 |
| KnowLine-35B-A3B-Gen1 | 35B-A3B | 69.49 | 61.20 | 榜单 |

榜单行取自 2026-10-21 的榜单数据（22:34 UTC，Decision Index 0.4.1）。

各领域的公开套件 skill（DI 0.3，相同权重）：

| 领域 | Gen5.5 | Gen5 |
|---|---|---|
| 知识与推理 | 47.3 | 45.0 |
| 语言 | 68.2 | 66.8 |
| 检索与路由 | 74.0 | 73.3 |
| 工具与 Agent | 87.4 | 87.4 |
| 艺术与品味 | 61.0 | 61.2 |

## 版本记录

模型在自我演进的循环里训练，之后还会有新版本。

| 模型 | 日期 | DI 0.3 公开分 | 金标准留出集（英 / 简中 / 繁中） | 说明 |
|---|---|---|---|---|
| KnowLine-4B-Gen5.5（本模型） | 2026-10-22 | 66.75 | 70.3 / 72.1 / 67.5 | Gen5 的权重，读两遍推理 |
| [KnowLine-4B-Gen5](https://huggingface.co/PelaAI/KnowLine-4B-Gen5) | 2026-10-21 | 65.67 | 69.6 / 71.7 / 67.1 | 第五版；调整数据配比，面向泛化 |
| [KnowLine-4B-Gen4](https://huggingface.co/PelaAI/KnowLine-4B-Gen4) | 2026-10-10 | 64.90 | 69.7 / 70.1 / 65.1 | 第四版 |
| [KnowLine-4B-Gen3](https://huggingface.co/PelaAI/KnowLine-4B-Gen3) | 2026-10-09 | 63.11 | 69.4 / 70.8 / 65.0 | 第三版 |
| [KnowLine-4B-Gen2](https://huggingface.co/PelaAI/KnowLine-4B-Gen2) | 2026-10-08 | 62.54 | 69.7 / 71.2 / 64.8 | 第二版 |
| [KnowLine-4B-Gen1](https://huggingface.co/PelaAI/KnowLine-4B-Gen1) | 2026-10-07 | 60.47 | 68.7 / 69.9 / 64.1 | 第一版 |

## 评测

以下结果均为自测，没有经过第三方核实。Gen5.5 的所有数字都通过 Gen5.5 的前端测得（读两遍开启）。除非另有说明，Gen5 的数字都在同样的文件上重新测过。

### 留出、中文与泛化评测

| 评测 | Gen5.5 | Gen5 |
|---|---|---|
| 自建评测集，英文 | 70.3 | 69.6 |
| 自建评测集，简体中文 | 72.1 | 71.7 |
| 自建评测集，繁体中文 | 67.5 | 67.1 |
| C-Eval（4 个大类，宏平均） | 80.5 | 79.2 |
| Open-Jev 1.1 测试 / OOD | 92.2 / 90.7 | 90.0 / 88.0 |
| JevBench / JevBench 难题集 | 85.3 / 70.3 | 83.1 / 66.7 |
| 新领域的决策任务（自建，18 个真实文本任务）¹ | 55.0 | 51.4 |
| 新领域的决策任务（自建，34 个任务）¹ | 48.4 | 42.5 |
| 新领域的决策任务（自建，10 个任务）¹ | 51.3 | 49.5 |
| 姊妹集（同技能、换数据；平均 skill）¹ | 66.1 | 63.6 |
| 提示注入：答案被改变的比例（越低越好） | 1.2% | 0.6% |
| 训练里没见过的注入模板（越低越好） | 2.7% | 2.5% |

- 与 Gen5 做配对检验：Open-Jev 1.1 测试和 OOD 的 p < 0.001，C-Eval p = 0.02；自建留出集（p = 0.20、0.44、0.61）、JevBench（p = 0.23）和 JevBench 难题集（p = 0.34）的差别不显著。植入的指令在 1,000 个答案里改变了 12 个，Gen5 为 6 个（p = 0.24）；换成没见过的模板时，600 个里为 16 个对 15 个。
- Gen5 一列与 Gen5 模型卡一致。
- ¹ 两个模型在同样的推理方式下重新跑过（加载时转 FP8，读两遍通过我们评测用的前端实现，布局相同）；Gen5 模型卡上的数值（51.3、43.0、49.4 和 63.7）来自当时的推理方式。

### 网页操作（Mind2Web 官方测试集，仅用于评测）

| 测试集 | Gen5.5 元素选择 | Gen5.5 操作（类别平衡） | Gen5 元素选择 | Gen5 操作（类别平衡） |
|---|---|---|---|---|
| test_task（训练里见过的网站，新任务） | 92.7 | 96.9 | 92.6 | 97.1 |
| test_website（新网站） | 91.2 | 96.3 | 90.9 | 96.9 |
| test_domain（新领域） | 92.0 | 98.0 | 91.8 | 98.4 |
- 三个测试集上都与 Gen5 在误差范围内（配对检验 p ≥ 0.06）；没有请求失败。
- 任务是从候选集里选出目标元素：目标元素加上从页面里抽样的最多 5 个其他元素。这比 Mind2Web 的原始设定简单，请勿与 Mind2Web 排行榜比较。
### 图片输入（零样本）
- **与 Gen5 相同：** 读两遍只作用于纯文本请求。带图片的请求与 Gen5 逐字节相同，发给同样的权重，所以 Gen5 的图片结果对 Gen5.5 同样成立，我们没有重跑。
- **Gen5 的结果：** 在我们按 Decision Index 0.3.1 视觉榜公开套件复现的评测上得分 66.0（Gen4 为 66.4，原版 Qwen3.5-4B 为 59.4）；各基准的明细见 [Gen5 模型卡](https://huggingface.co/PelaAI/KnowLine-4B-Gen5#images-zero-shot)。
### 校准
在 0.3 公开套件上按 Decision Index 榜单描述的方法计算：每个字段判对错，置信度取所选选项的概率，各基准等权，分 10 个等宽区间。
| 指标 | Gen5.5 | Gen5 |
|---|---|---|
| ECE（越低越好） | 0.035-0.046 | 0.037-0.049 |
| Brier 分数（越低越好） | 0.27-0.30 | 0.28-0.31 |
| 置信度 ≥95% 却答错 | 1.5-1.6% | 1.5-1.6% |
| 平均置信度 / 准确率 | 0.83 / 0.78-0.80 | 0.82-0.83 / 0.78-0.80 |
- **权重里的温度：** 与 Gen5 相同：最后一层 norm 的权重里折入了 T = 1.50，所以每个 logit 在对选项标签做 softmax 之前都除以 1.50。
- **为什么给范围：** 榜单没有公布校准用的是哪些基准，所以和 Gen5 一样，我们给出在各种可能的基准组合下的范围。
- **建议：** 如果你的用法依赖概率阈值，请在自己的数据上检查校准。
## 披露
- **训练数据：** 权重与 Gen5 相同，所以 Gen5 关于训练数据、Decision Index 格式数据和去污染的披露同样适用，见 [Gen5 模型卡](https://huggingface.co/PelaAI/KnowLine-4B-Gen5#disclosures)。
- **按评测做的选择：** 我们在自己的评测集上，以及 Decision Index 0.3 公开套件的一次全新完整运行（即上面的 66.75）上检查后，才采用了读两遍。
- **没有用模型输出作标签：** 没有用 Jev 或任何其他决策模型的输出作为训练标签。
## 局限
- **比 Gen5 慢：** 在 Decision Index 套件上 prompt token 约为 1.56 倍；单张 H20、一次一个请求，中位数 42.1 ms、平均 83 ms（Gen5 为 31.6 ms 和 58.8 ms），第 95 百分位 297 ms（Gen5 为 144 ms）。如果延迟比这些提升更重要，可以用 `--no-read-twice`。
- **只有较短的请求有变化：** 超过 3,000 token 的纯文本请求和带图片的请求，答案与 Gen5 完全相同。
- **并非处处更好：** 公开套件上艺术与品味比 Gen5 略低（61.2 → 61.0）；植入的指令改变了 1.2% 的答案，Gen5 为 0.6%（不显著）。
- **其余与 Gen5 相同：** 知识密集型推理仍是最弱的领域，4B 模型在这方面受限；新领域在我们自己的评测集上比 Gen5 好，但仍明显低于更大的模型；其他提示注入手法仍可能奏效；图片分数是零样本、在我们自己复现的套件上自测的结果。
## 引用
```bibtex
@misc{knowline4bgen55,
  title  = {KnowLine-4B-Gen5.5: a 4B decision model served with read twice},
  author = {PelaAI},
  year   = {2026},
  url    = {https://huggingface.co/PelaAI/KnowLine-4B-Gen5.5}
}
```
## 许可
- **权重：** Apache-2.0，与底座模型相同。
- **代码：** `knowline_server.py`、`knowline_layout.py` 和 `knowline_engine.py` 为 MIT 许可（见文件开头）。

	# KnowLine-4B-Gen5.5

	KnowLine-4B-Gen5 换了一种推理方式：权重完全相同，前端在作答前把较短的请求读两遍。

	[推理说明](INFERENCE.md) · [English](README.md) · 权重 Apache-2.0 · 上一版：[KnowLine-4B-Gen5](https://huggingface.co/PelaAI/KnowLine-4B-Gen5) · 同系列：[KnowLine-35B-A3B-Gen1.5](https://huggingface.co/PelaAI/KnowLine-35B-A3B-Gen1.5)、[KnowLine-26B-A4B-Gen2.5](https://huggingface.co/PelaAI/KnowLine-26B-A4B-Gen2.5)

	只改推理时升小版本号，权重有变化时升大版本号（Gen）。Gen5.5 的所有权重、配置和分词器文件都与 Gen5 逐字节相同。

	亮点：

	- 权重不变，读两遍。对不超过 3,000 token 的纯文本请求，前端在模型作答前把整个输入再写一遍。没有做任何训练，见[Gen5.5 改了什么](#gen55-改了什么)。
	- Decision Index 0.3 公开套件：66.75（自测，全新完整运行），同样的权重下 Gen5 为 65.67。提升主要在长输入上的推理和推断（知识与推理 45.0 → 47.3，语言 66.8 → 68.2）；工具与 Agent 不变（87.4），艺术与品味略低（61.2 → 61.0），见[横向对比](#横向对比)。
	- 新领域决策任务：在我们 18 个训练里没有的领域的真实文本决策任务上得分 55.0，同一套评测、同样的权重下 Gen5 为 51.4；在 34 个任务的一套上为 48.4（Gen5 为 42.5），在较早的 10 个任务的一套上为 51.3（Gen5 为 49.5）。
	- 同技能、换数据：在我们的姊妹集（用其他数据考察某个公开基准所测的技能）上平均 66.1（Gen5 为 63.6）。
	- 私有分数：榜单总分来自维护者运行的私有测试。Gen5 在榜单上为 53.68。Gen5.5 与 Gen5 权重相同，它的私有分数将由维护者运行得出。
	- 其他评测： Open-Jev 1.1 测试 / OOD 92.2 / 90.7（Gen5 在同样的文件上为 90.0 / 88.0），C-Eval 80.5（79.2），JevBench / JevBench 难题集 85.3 / 70.3（83.1 / 66.7），自建留出集也略高。植入的指令改变了 1.2% 的答案（Gen5 为 0.6%），换成训练里没见过的注入模板为 2.7%（Gen5 为 2.5%），两项差别都不显著。
	- 校准：权重里折入的温度不变（T = 1.50）。按榜单的方法计算，ECE 约 0.035-0.046（Gen5 为 0.037-0.049），Brier 分数约 0.27-0.30（Gen5 为 0.28-0.31），见[校准](#校准)。
	- 代价：在 Decision Index 套件上，prompt token 约为 Gen5 的 1.56 倍。单张 H20、一次一个请求：中位数 42.1 ms、平均 83 ms，Gen5 为 31.6 ms 和 58.8 ms（我们自己的测量，不是榜单的参考硬件），见 [INFERENCE.md](INFERENCE.md)。
	- 图片：不变。带图片的请求与 Gen5 的发送方式完全相同，所以 Gen5 的图片结果同样适用，见[图片输入](#图片输入零样本)。

	KnowLine 是独立开发的模型，与 TypeSafe 或 Jev 没有隶属关系，未获其背书，也不是基于 TypeSafe 或 Jev 开发的。

	## 它做什么

	你发送一段状态（文本或对话）和最多 64 道带类型的问题：是/否、k 选一、按细则打分。模型对每道题给出各选项的概率分布：

	- 每道题只做一次前向计算，不生成文本；
	- 生成的是各选项标签 token 的概率；
	- 现有 Jev 客户端只需修改 base URL 即可接入；之前版本的用户换模型名即可，接口不变。

	\| \| \|
	\|---\|---\|
	\| 底座模型 \| [Qwen/Qwen3.5-4B](https://huggingface.co/Qwen/Qwen3.5-4B)（Apache-2.0） \|
	\| 权重 \| 与 [KnowLine-4B-Gen5](https://huggingface.co/PelaAI/KnowLine-4B-Gen5) 逐字节相同：两个 LoRA 监督微调模型（rank 32，alpha 64，只训语言模型部分）的权重平均，合并为 bf16 权重，最后一层 norm 的权重里折入了读出温度 T = 1.50 \|
	\| 推理 \| `serve_knowline.sh`：和 Gen5 一样，SGLang 加载时把权重转成 FP8；`knowline_server.py` 把较短的请求读两遍（默认开启；`--no-read-twice` 即为 Gen5 的 prompt）。我们的全部评测都是单张 96 GB H20 跑一个服务 \|
	\| 语言 \| 英文、简体中文、繁体中文 \|

	## 快速开始

	```bash
	pip install "sglang==0.5.21" "transformers==5.12.1" requests
	bash serve_knowline.sh PelaAI/KnowLine-4B-Gen5.5 0 8080 # SGLang（加载时转 FP8）监听 :9080，/v1/systemone 监听 :8080
	curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -d '{
	"model": "m",
	"state": "Customer: my order arrived broken, I want my money back.",
	"questions": {"refund": {"type": "noul", "instructions": "Should the agent offer a refund?"},
	"tone": {"type": "choice", "instructions": "Customer tone?",
	"criteria": {"angry": "Angry", "neutral": "Neutral", "happy": "Happy"}}}}'
	```

	- 前端： `knowline_server.py`，旁边放 `knowline_layout.py`；两者只依赖 transformers 和 requests。
	- 完整设置：我们跑 Decision Index 时的完整设置见 [INFERENCE.md](INFERENCE.md)。

	## Gen5.5 改了什么

	1. 读两遍。 Gen5 对每个请求只读一遍：状态，然后是指令、问题和选项。Gen5.5 把这些内容再写一遍，前面加一行 "Read the same input again before answering:"，然后照旧从标签 token 读出答案。规则是固定的：所有不超过 3,000 token 的纯文本请求都读两遍（占 Decision Index 请求的 94.6%）；更长的请求和带图片的请求与 Gen5 相同。
	2. 一个可能的原因。在因果注意力下，长状态的第一遍是在模型还不知道问题时读的；第二遍里每个 token 还能看到第一遍，包括问题。
	3. 没有训练。权重、温度和标签 token 读出方式都与 Gen5 相同。发布前我们在自己的评测集上，以及 Decision Index 公开套件的一次全新完整运行上检查了这个改动。它与 [KnowLine-35B-A3B-Gen1.5](https://huggingface.co/PelaAI/KnowLine-35B-A3B-Gen1.5) 和 [KnowLine-26B-A4B-Gen2.5](https://huggingface.co/PelaAI/KnowLine-26B-A4B-Gen2.5) 是同一个改动。
	4. 致谢。读两遍的布局参照 FlexDM（[github.com/1000luca/FlexDM](https://github.com/1000luca/FlexDM)，MIT）；重复输入的做法可追溯到 RE2（Xu et al., 2023，[arXiv:2309.06275](https://arxiv.org/abs/2309.06275)）。`knowline_layout.py` 是我们自己的实现。

	## 横向对比

	下表为 Decision Index 的分数。从 Decision Index 0.4 起，榜单总分由同技能私有测试（60%）和新领域私有任务（40%）组成；公开套件分数仍然显示，但不再计入总分。Gen5.5 目前还没有榜单条目。

	\| 模型 \| 规模 \| DI 0.3 公开分 \| DI 0.4.1 总分 \| 来源 \|
	\|---\|---\|---\|---\|---\|
	\| KnowLine-4B-Gen5.5 \| 4B \| 66.75 \| 尚未评分 \| 自测，官方工具 \|
	\| KnowLine-4B-Gen5（相同权重） \| 4B \| 65.67 \| 53.68 \| 榜单 \|
	\| StartLux-Decision v1.1 4B \| 4.7B \| 67.81 \| 54.80 \| 榜单 \|
	\| Perplexity Decider Flash v1.2 \| 4.5B \| 60.06 \| 54.29 \| 榜单 \|
	\| vLLM-SR d3-mini \| 4.5B \| 54.90 \| 49.97 \| 榜单 \|
	\| OneJev 1.6 \| 4.5B \| 61.95 \| 48.88 \| 榜单 \|
	\| Jev 1.14 \| (API) \| 60.70 \| 60.24 \| 榜单 \|
	\| KnowLine-35B-A3B-Gen1 \| 35B-A3B \| 69.49 \| 61.20 \| 榜单 \|

	榜单行取自 2026-10-21 的榜单数据（22:34 UTC，Decision Index 0.4.1）。

	各领域的公开套件 skill（DI 0.3，相同权重）：

	\| 领域 \| Gen5.5 \| Gen5 \|
	\|---\|---\|---\|
	\| 知识与推理 \| 47.3 \| 45.0 \|
	\| 语言 \| 68.2 \| 66.8 \|
	\| 检索与路由 \| 74.0 \| 73.3 \|
	\| 工具与 Agent \| 87.4 \| 87.4 \|
	\| 艺术与品味 \| 61.0 \| 61.2 \|

	## 版本记录

	模型在自我演进的循环里训练，之后还会有新版本。

	\| 模型 \| 日期 \| DI 0.3 公开分 \| 金标准留出集（英 / 简中 / 繁中） \| 说明 \|
	\|---\|---\|---\|---\|---\|
	\| KnowLine-4B-Gen5.5（本模型） \| 2026-10-22 \| 66.75 \| 70.3 / 72.1 / 67.5 \| Gen5 的权重，读两遍推理 \|
	\| [KnowLine-4B-Gen5](https://huggingface.co/PelaAI/KnowLine-4B-Gen5) \| 2026-10-21 \| 65.67 \| 69.6 / 71.7 / 67.1 \| 第五版；调整数据配比，面向泛化 \|
	\| [KnowLine-4B-Gen4](https://huggingface.co/PelaAI/KnowLine-4B-Gen4) \| 2026-10-10 \| 64.90 \| 69.7 / 70.1 / 65.1 \| 第四版 \|
	\| [KnowLine-4B-Gen3](https://huggingface.co/PelaAI/KnowLine-4B-Gen3) \| 2026-10-09 \| 63.11 \| 69.4 / 70.8 / 65.0 \| 第三版 \|
	\| [KnowLine-4B-Gen2](https://huggingface.co/PelaAI/KnowLine-4B-Gen2) \| 2026-10-08 \| 62.54 \| 69.7 / 71.2 / 64.8 \| 第二版 \|
	\| [KnowLine-4B-Gen1](https://huggingface.co/PelaAI/KnowLine-4B-Gen1) \| 2026-10-07 \| 60.47 \| 68.7 / 69.9 / 64.1 \| 第一版 \|

	## 评测

	以下结果均为自测，没有经过第三方核实。Gen5.5 的所有数字都通过 Gen5.5 的前端测得（读两遍开启）。除非另有说明，Gen5 的数字都在同样的文件上重新测过。

	### 留出、中文与泛化评测

	\| 评测 \| Gen5.5 \| Gen5 \|
	\|---\|---\|---\|
	\| 自建评测集，英文 \| 70.3 \| 69.6 \|
	\| 自建评测集，简体中文 \| 72.1 \| 71.7 \|
	\| 自建评测集，繁体中文 \| 67.5 \| 67.1 \|
	\| C-Eval（4 个大类，宏平均） \| 80.5 \| 79.2 \|
	\| Open-Jev 1.1 测试 / OOD \| 92.2 / 90.7 \| 90.0 / 88.0 \|
	\| JevBench / JevBench 难题集 \| 85.3 / 70.3 \| 83.1 / 66.7 \|
	\| 新领域的决策任务（自建，18 个真实文本任务）¹ \| 55.0 \| 51.4 \|
	\| 新领域的决策任务（自建，34 个任务）¹ \| 48.4 \| 42.5 \|
	\| 新领域的决策任务（自建，10 个任务）¹ \| 51.3 \| 49.5 \|
	\| 姊妹集（同技能、换数据；平均 skill）¹ \| 66.1 \| 63.6 \|
	\| 提示注入：答案被改变的比例（越低越好） \| 1.2% \| 0.6% \|
	\| 训练里没见过的注入模板（越低越好） \| 2.7% \| 2.5% \|

	- 与 Gen5 做配对检验：Open-Jev 1.1 测试和 OOD 的 p < 0.001，C-Eval p = 0.02；自建留出集（p = 0.20、0.44、0.61）、JevBench（p = 0.23）和 JevBench 难题集（p = 0.34）的差别不显著。植入的指令在 1,000 个答案里改变了 12 个，Gen5 为 6 个（p = 0.24）；换成没见过的模板时，600 个里为 16 个对 15 个。
	- Gen5 一列与 Gen5 模型卡一致。
	- ¹ 两个模型在同样的推理方式下重新跑过（加载时转 FP8，读两遍通过我们评测用的前端实现，布局相同）；Gen5 模型卡上的数值（51.3、43.0、49.4 和 63.7）来自当时的推理方式。

	### 网页操作（Mind2Web 官方测试集，仅用于评测）

	\| 测试集 \| Gen5.5 元素选择 \| Gen5.5 操作（类别平衡） \| Gen5 元素选择 \| Gen5 操作（类别平衡） \|
	\|---\|---\|---\|---\|---\|
	\| test_task（训练里见过的网站，新任务） \| 92.7 \| 96.9 \| 92.6 \| 97.1 \|
	\| test_website（新网站） \| 91.2 \| 96.3 \| 90.9 \| 96.9 \|
	\| test_domain（新领域） \| 92.0 \| 98.0 \| 91.8 \| 98.4 \|

	- 三个测试集上都与 Gen5 在误差范围内（配对检验 p ≥ 0.06）；没有请求失败。

	- 任务是从候选集里选出目标元素：目标元素加上从页面里抽样的最多 5 个其他元素。这比 Mind2Web 的原始设定简单，请勿与 Mind2Web 排行榜比较。

	### 图片输入（零样本）

	- 与 Gen5 相同：读两遍只作用于纯文本请求。带图片的请求与 Gen5 逐字节相同，发给同样的权重，所以 Gen5 的图片结果对 Gen5.5 同样成立，我们没有重跑。
	- Gen5 的结果：在我们按 Decision Index 0.3.1 视觉榜公开套件复现的评测上得分 66.0（Gen4 为 66.4，原版 Qwen3.5-4B 为 59.4）；各基准的明细见 [Gen5 模型卡](https://huggingface.co/PelaAI/KnowLine-4B-Gen5#images-zero-shot)。

	### 校准

	在 0.3 公开套件上按 Decision Index 榜单描述的方法计算：每个字段判对错，置信度取所选选项的概率，各基准等权，分 10 个等宽区间。

	\| 指标 \| Gen5.5 \| Gen5 \|
	\|---\|---\|---\|
	\| ECE（越低越好） \| 0.035-0.046 \| 0.037-0.049 \|
	\| Brier 分数（越低越好） \| 0.27-0.30 \| 0.28-0.31 \|
	\| 置信度 ≥95% 却答错 \| 1.5-1.6% \| 1.5-1.6% \|
	\| 平均置信度 / 准确率 \| 0.83 / 0.78-0.80 \| 0.82-0.83 / 0.78-0.80 \|

	- 权重里的温度：与 Gen5 相同：最后一层 norm 的权重里折入了 T = 1.50，所以每个 logit 在对选项标签做 softmax 之前都除以 1.50。
	- 为什么给范围：榜单没有公布校准用的是哪些基准，所以和 Gen5 一样，我们给出在各种可能的基准组合下的范围。
	- 建议：如果你的用法依赖概率阈值，请在自己的数据上检查校准。

	## 披露

	- 训练数据：权重与 Gen5 相同，所以 Gen5 关于训练数据、Decision Index 格式数据和去污染的披露同样适用，见 [Gen5 模型卡](https://huggingface.co/PelaAI/KnowLine-4B-Gen5#disclosures)。
	- 按评测做的选择：我们在自己的评测集上，以及 Decision Index 0.3 公开套件的一次全新完整运行（即上面的 66.75）上检查后，才采用了读两遍。
	- 没有用模型输出作标签：没有用 Jev 或任何其他决策模型的输出作为训练标签。

	## 局限

	- 比 Gen5 慢：在 Decision Index 套件上 prompt token 约为 1.56 倍；单张 H20、一次一个请求，中位数 42.1 ms、平均 83 ms（Gen5 为 31.6 ms 和 58.8 ms），第 95 百分位 297 ms（Gen5 为 144 ms）。如果延迟比这些提升更重要，可以用 `--no-read-twice`。
	- 只有较短的请求有变化：超过 3,000 token 的纯文本请求和带图片的请求，答案与 Gen5 完全相同。
	- 并非处处更好：公开套件上艺术与品味比 Gen5 略低（61.2 → 61.0）；植入的指令改变了 1.2% 的答案，Gen5 为 0.6%（不显著）。
	- 其余与 Gen5 相同：知识密集型推理仍是最弱的领域，4B 模型在这方面受限；新领域在我们自己的评测集上比 Gen5 好，但仍明显低于更大的模型；其他提示注入手法仍可能奏效；图片分数是零样本、在我们自己复现的套件上自测的结果。

	## 引用

	```bibtex
	@misc{knowline4bgen55,
	title = {KnowLine-4B-Gen5.5: a 4B decision model served with read twice},
	author = {PelaAI},
	year = {2026},
	url = {https://huggingface.co/PelaAI/KnowLine-4B-Gen5.5}
	}
	```

	## 许可

	- 权重： Apache-2.0，与底座模型相同。
	- 代码： `knowline_server.py`、`knowline_layout.py` 和 `knowline_engine.py` 为 MIT 许可（见文件开头）。