KnowLine-31B-Gen1.5
KnowLine-31B-Gen1 换了一种处理长请求的推理方式：权重完全相同，较短的请求照旧读两遍，较长的请求在前面加一个问题列表。
推理说明 · English · 权重 Apache-2.0 · 上一版：KnowLine-31B-Gen1 · 同系列：KnowLine-26B-A4B-Gen2.5、KnowLine-35B-A3B-Gen1.5、KnowLine-4B-Gen5.5
只改推理时升小版本号，权重有变化时升大版本号（Gen）。Gen1.5 的所有权重、配置和分词器文件都与 Gen1 逐字节相同。
亮点：
- 权重不变，长请求加问题列表。 读一遍不超过 3,000 token 的纯文本请求仍与 Gen1 一样读两遍。更长的请求（最多 32,768 token）现在读一遍，并在状态之前加一个列出本请求全部问题的问题列表，而不是直接读一遍。没有做任何训练，见Gen1.5 改了什么。
- Decision Index 0.3 公开套件：70.50（自测），同样的权重下 Gen1 为 70.13。语言从 72.0 升到 72.8，工具与 Agent 从 84.7 升到 85.4，检索与路由从 73.0 升到 73.2；知识与推理（59.4）和艺术与品味（60.5）不变。KnowLine-35B-A3B-Gen1.5 和 KnowLine-26B-A4B-Gen2.5 在同一套件上以读两遍方式推理，分别为 70.72 和 68.21，见横向对比。
- 新领域决策任务： 在我们规模较大的一套新领域决策任务上（34 个任务，领域均不在训练数据中）得分 75.0（26B-A4B-Gen2.5 为 66.4，35B-A3B-Gen1.5 为 56.2）。在我们较早的 10 个任务的一套上得分 57.7（26B-A4B-Gen2.5 为 56.6，35B-A3B-Gen1.5 为 56.6）。
- 私有分数： 榜单总分来自维护者运行的私有测试。Gen1 在榜单上为 71.86。Gen1.5 与 Gen1 权重相同，它的私有分数将由维护者运行得出。
- 其他评测： 自建中文留出集 75.9 / 75.9（26B-A4B-Gen2.5 为 73.7 / 71.0），C-Eval 82.5（77.9），Open-Jev 1.1 测试 / OOD 91.3 / 94.8（92.7 / 92.7），JevBench / JevBench 难题集 90.5 / 80.2（90.5 / 81.1），自建英文集 70.2（70.5），见评测。
- 植入的指令： 状态里植入的指令改变了 0.7% 的答案，用训练里没见过的注入模板时为 5.3%，两者都高于 KnowLine-26B-A4B-Gen2.5（0.1% 和 1.7%），见局限。
- 校准过的概率： 权重里折入的温度与 Gen1 相同。按榜单的方法在公开套件上计算，ECE 约 0.013-0.022，Brier 分数约 0.23-0.26（KnowLine-26B-A4B-Gen2.5 为 0.013-0.018 和 0.24-0.27）；在我们自己的留出集上校准较弱，见校准。
- 图片：不变。 带图片的请求与 Gen1 的发送方式完全相同，所以 Gen1 的图片结果同样适用：只用文本训练，保留了底座模型的视觉塔，在我们按 Decision Index 0.3.1 视觉榜公开套件复现的评测上得分 69.9（26B-A4B-Gen2 为 64.7，35B-A3B-Gen1 为 71.2），用官方工具跑视觉榜公开套件得 69.3（自测），见图片输入。
- 框选：不变。 框选题的处理与 Gen1 完全相同，所以 Gen1 的零样本结果同样适用：让它找图片里指定的目标，它在没有框选训练的情况下返回边界框：ScreenSpot 中心点命中 81.3，RefCOCO IoU≥0.5 为 77.3（文档较弱，FUNSD 35.3），见框选。
KnowLine 是独立开发的模型，与 TypeSafe、Jev 或 Google 没有隶属关系，未获其背书，也不是基于 TypeSafe 或 Jev 开发的。
它做什么
你发送一段状态（文本或对话）和最多 64 道带类型的问题：是/否、k 选一、按细则打分。模型对每道题给出各选项的概率分布：
- 每道题只做一次前向计算，不生成文本；
- 生成的是各选项标签 token 的概率；
- 现有 Jev 客户端只需修改 base URL 即可接入；KnowLine-31B-Gen1 和其他 KnowLine 模型的用户换模型名即可，接口不变。
| 底座模型 | google/gemma-4-31B-it（Apache-2.0）：稠密模型，约 31B 参数 |
| 权重 | 与 KnowLine-31B-Gen1 逐字节相同，是 gemma-4-31B-it 的 LoRA 微调（rank 32，alpha 64，只训语言模型部分，一个 epoch，合并为 bf16 权重）；每一步见 Gen1 模型卡 |
| 发布格式 | bf16 权重（约 63 GB），最后一层 norm 的权重和最终 logit 的软上限里折入了读出温度 T = 1.44（见校准）；前端按等效温度 1.0 读出打分题（temperatures.json）。视觉塔与底座模型相同；分词器是 Gemma 4 的，不是基于 Qwen 的 KnowLine 模型的分词器。 |
| 推理 | serve_knowline.sh：和 Gen1 一样，SGLang 以 bf16 运行（这个模型我们没有测试加载时转 FP8）；knowline_server.py 与 Gen1 一样把较短的请求读两遍（默认开启），serve_knowline.sh 另加 --header-when-long 32768，较长的纯文本请求读一遍并加问题列表（--header-when-long 0，也就是单独启动 knowline_server.py 时的默认值，即为 Gen1 的 prompt；--no-read-twice 则每个请求只读一遍，也不加问题列表）。SGLang 默认占用 GPU 显存的 85%（MEM），权重约 63 GB。我们的全部评测都是单张 96 GB H20 跑一个服务。 |
| 语言 | 英文、简体中文、繁体中文 |
快速开始
pip install "sglang==0.5.21" "transformers==5.12.1" requests
bash serve_knowline.sh PelaAI/KnowLine-31B-Gen1.5 0 8080 # SGLang（bf16）监听 :9080，/v1/systemone 监听 :8080
curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -d '{
"model": "m",
"state": "Customer: my order arrived broken, I want my money back.",
"questions": {"refund": {"type": "noul", "instructions": "Should the agent offer a refund?"},
"tone": {"type": "choice", "instructions": "Customer tone?",
"criteria": {"angry": "Angry", "neutral": "Neutral", "happy": "Happy"}}}}'
- 前端：
knowline_server.py，旁边放knowline_layout.py；两者只依赖 transformers 和 requests。读两遍覆盖的请求和带图片的请求，渲染与 KnowLine-31B-Gen1 的前端逐条 prompt 相同；只有较长的纯文本请求有变化。 - 完整设置： 我们跑 Decision Index 时的完整设置见 INFERENCE.md。
Gen1.5 改了什么
- 长请求加问题列表。 Gen1 对超过 3,000 token 的纯文本请求只读一遍：状态，然后是指令、问题和选项。Gen1.5 在状态之前加一个列出本请求全部问题的列表，开头一行为 "Questions that will be asked about the conversation or state below:"，请求仍只读一遍，照旧从标签 token 读出答案。规则是固定的：所有读两遍覆盖不到的纯文本请求，只要加上问题列表后最长的 prompt 不超过 32,768 token，就加问题列表（占 Decision Index 请求的 5.6%）。不超过 3,000 token 的请求与 Gen1 完全一样读两遍（94.1%）；带图片的请求，以及少数加上问题列表后会超过 32,768 token 的请求（0.3%），与 Gen1 相同。
- 一个可能的原因。 在因果注意力下，只读一遍的长状态是在模型还不知道要问什么时读的；加了问题列表，问题排在前面，状态里的每个 token 都能看到它们。
- 没有训练。 权重、温度、按题型的温度和标签 token 读出方式都与 Gen1 相同。发布前我们在自己的评测集上，以及 Decision Index 公开套件上检查了这个改动。
- 致谢。 问题列表和读两遍的布局参照 FlexDM（github.com/1000luca/FlexDM，MIT），Aleria Judge（github.com/ALERIA-ML/aleria-judge，Apache-2.0）也使用同样的问题列表结构；重复输入的做法可追溯到 RE2（Xu et al., 2023，arXiv:2309.06275）。
knowline_layout.py是我们自己的实现。
横向对比
下表为 Decision Index 的分数。从 Decision Index 0.4 起，榜单总分由同技能私有测试（60%）和新领域私有任务（40%）组成；公开套件分数仍然显示，但不再计入总分。Gen1.5 目前还没有榜单条目。
| 模型 | 规模 | DI 0.3 公开分 | DI 0.4.1 总分 | 来源 |
|---|---|---|---|---|
| KnowLine-31B-Gen1.5 | 31B | 70.50 | 尚未评分 | 自测，官方工具 |
| KnowLine-31B-Gen1（相同权重） | 31B | 70.13 | 71.86 | 榜单 |
| KnowLine-35B-A3B-Gen1.5 | 35B-A3B | 70.72 | 65.77 | 榜单 |
| KnowLine-26B-A4B-Gen2.5 | 26B-A4B | 68.21 | 64.57 | 榜单 |
| Fastino GLiDE V1.2 | – | 71.99 | 71.52 | 榜单 |
| Sieve 31B v3 | 31B | 71.68 | 71.10 | 榜单 |
| Turion Jev 31B | 31B | 66.16 | 70.47 | 榜单 |
| vLLM-SR d3-ultra | 27B | 71.57 | 70.18 | 榜单 |
| Jeffan-31b-1710 | 31B | 73.13 | 69.75 | 榜单 |
| H2O Lightning 31B v1.1 | 31B | 67.75 | 68.64 | 榜单 |
| WeMM-JEV-27B | 27B | 69.37 | 68.49 | 榜单 |
| mammoth-1 | 27B | 75.34 | 68.44 | 榜单 |
| Perplexity Decider v1.2 | 27B | 67.74 | 67.98 | 榜单 |
| StartLux-Decision v1.1 27B | 27B | 72.88 | 67.92 | 榜单 |
| FlexDM · Gemma-4-31B | 31B | 63.63 | 67.56 | 榜单 |
| Jev 1.14 | (API) | 60.70 | 60.24 | 榜单 |
榜单行取自 2026-10-29 的榜单数据（17:22 UTC，Decision Index 0.4.1）。
各领域的公开套件 skill（DI 0.3；KnowLine-31B-Gen1.5 用它的发布推理方式，其余三个以读两遍方式推理）：
| 领域 | KnowLine-31B-Gen1.5 | KnowLine-31B-Gen1 | KnowLine-26B-A4B-Gen2.5 | KnowLine-35B-A3B-Gen1.5 |
|---|---|---|---|---|
| 知识与推理 | 59.4 | 59.4 | 55.1 | 55.0 |
| 语言 | 72.8 | 72.0 | 71.2 | 72.9 |
| 检索与路由 | 73.2 | 73.0 | 70.9 | 75.4 |
| 工具与 Agent | 85.4 | 84.7 | 83.3 | 88.2 |
| 艺术与品味 | 60.5 | 60.5 | 61.4 | 64.2 |
版本记录
模型在自我演进的循环里训练，之后还会有新版本。
| 模型 | 日期 | DI 0.3 公开分 | 金标准留出集（英 / 简中 / 繁中） | 说明 |
|---|---|---|---|---|
| KnowLine-31B-Gen1.5（本模型） | 2026-11-04 | 70.50 | 70.2 / 75.9 / 75.9 | Gen1 的权重；读两遍，长请求加问题列表 |
| KnowLine-31B-Gen1 | 2026-10-24 | 70.13 | 70.2 / 75.9 / 75.9 | 第一个基于稠密 Gemma 4 底座的版本；读两遍推理 |
| KnowLine-26B-A4B-Gen2.5 | 2026-10-22 | 68.21 | 70.5 / 73.7 / 71.0 | Gen2 的权重，读两遍推理 |
| KnowLine-35B-A3B-Gen1.5 | 2026-10-22 | 70.72 | 70.8 / 74.6 / 73.2 | 35B-A3B Gen1 的权重，读两遍推理 |
| KnowLine-4B-Gen5.5 | 2026-10-22 | 66.75 | 70.3 / 72.1 / 67.5 | Gen5 的权重，读两遍推理 |
| KnowLine-4B-Gen5 | 2026-10-21 | 65.67 | 69.6 / 71.7 / 67.1 | 4B，第五版 |
| KnowLine-26B-A4B-Gen2 | 2026-10-19 | 66.94 | 70.6 / 72.6 / 69.8 | 26B-A4B，第二版 |
| KnowLine-26B-A4B-Gen1 | 2026-10-19 | 65.76 | 70.6 / 72.2 / 69.2 | 第一个基于 Gemma 4 的版本 |
| KnowLine-35B-A3B-Gen1 | 2026-10-12 | 69.49 | 70.3 / 73.8 / 72.1 | 35B-A3B 第一版 |
评测
以下结果均为自测，没有经过第三方核实。新的推理方式只改变超过 3,000 token 的纯文本请求；其他请求的发送方式与 KnowLine-31B-Gen1 完全相同。JevBench 和见过模板的注入集通过 Gen1.5 的发布服务完整重跑，我们 34 个任务的新领域集里较长的请求通过布局相同的评测前端重跑。其余评测集没有会变化的请求，所以下面它们的数字（第一张表的其他行、Mind2Web、图片和框选）是 Gen1 的数字，用 Gen1 的推理方式测得（读两遍开启）。31B-Gen1 一列与 Gen1 模型卡相同。新领域任务集的数字附一条脚注，说明其中与我们训练数据相似的任务。26B-A4B-Gen2.5 和 35B-A3B-Gen1.5 的数字来自它们发布时用读两遍前端做的评测。
留出集和中文评测
| 评测 | 31B-Gen1.5 | 31B-Gen1 | 26B-A4B-Gen2.5 | 35B-A3B-Gen1.5 |
|---|---|---|---|---|
| 自建评测集，英文 | 70.2 | 70.2 | 70.5 | 70.8 |
| 自建评测集，简体中文 | 75.9 | 75.9 | 73.7 | 74.6 |
| 自建评测集，繁体中文 | 75.9 | 75.9 | 71.0 | 73.2 |
| C-Eval（4 个大类，宏平均） | 82.5 | 82.5 | 77.9 | 88.1 |
| Open-Jev 1.1 测试 / OOD | 91.3 / 94.8 | 91.3 / 94.8 | 92.7 / 92.7 | 93.4 / 93.6 |
| JevBench / JevBench 难题集 | 90.5 / 80.2 | 90.5 / 80.2 | 90.5 / 81.1 | 87.0 / 73.0 |
| 新领域决策任务（自建，34 个任务）¹ | 75.0 | 74.9 | 66.4 | 56.2 |
| 新领域决策任务（自建，10 个任务）¹ | 57.7 | 57.7 | 56.6 | 56.6 |
| 提示注入：答案被改变（越低越好） | 0.7% | 0.4% | 0.1% | 0.0% |
| 提示注入，使用训练里没见过的模板（越低越好） | 5.3% | 5.3% | 1.7% | 1.0% |
- 与 KnowLine-26B-A4B-Gen2.5 做配对符号检验：自建简体中文集、繁体中文集、C-Eval 和 Open-Jev 1.1 OOD 更高（各 p < 0.001），Open-Jev 1.1 测试更低（p = 0.04）；自建英文集（p = 0.61）、JevBench 和 JevBench 难题集（p = 1.0）没有差别。换成没见过的注入模板时，600 个答案里有 32 个被带到植入的选项上，26B-A4B-Gen2.5 为 10 个（p < 0.001）。
- 与 KnowLine-35B-A3B-Gen1.5 相比：自建简体中文集（p = 0.03）和繁体中文集（p = 0.004）更高，C-Eval（p < 0.001）和 Open-Jev 1.1 测试（p = 0.002）更低；自建英文集（p = 0.42）、Open-Jev 1.1 OOD（p = 0.07）、JevBench 和 JevBench 难题集（p = 0.06）在 p < 0.05 下没有差别。换成没见过的注入模板时为 32 个对 6 个（p < 0.001）。
- ¹ 我们自建的新领域决策任务（领域均不在训练数据中），通过我们评测用的前端运行，布局与发布前端相同：KnowLine-31B-Gen1.5 用它的推理方式（读两遍，34 个任务的一套里较长的请求加问题列表），其余三个读两遍。34 个任务里有 11 个（规则、政策、状态跟踪）与我们训练数据里的程序化合成任务相似；在其余 23 个上得分 73.4（31B-Gen1 为 73.3，26B-A4B-Gen2.5 为 66.1，35B-A3B-Gen1.5 为 57.1）。
网页操作（Mind2Web 官方测试集，仅用于评测）
| 测试集 | 31B-Gen1 元素选择 | 31B-Gen1 操作（类别平衡） | 26B-A4B-Gen2.5 元素选择 | 26B-A4B-Gen2.5 操作（类别平衡） |
|---|---|---|---|---|
| test_task（训练里见过的网站，新任务） | 91.5 | 92.8 | 89.8 | 90.3 |
| test_website（新网站） | 91.5 | 95.9 | 89.2 | 94.0 |
| test_domain（新领域） | 90.4 | 96.6 | 89.6 | 92.9 |
元素选择在三个测试集上都比 KnowLine-26B-A4B-Gen2.5 高（配对检验 p = 0.05、0.01 和 0.11）；操作准确率在误差范围内（p ≥ 0.09）。没有请求失败。Mind2Web 的请求都不超过 3,000 token，所以这些用 Gen1 推理方式测得的结果对 Gen1.5 同样成立。
任务是从候选集里选出目标元素：目标元素加上从页面里抽样的最多 5 个其他元素。这比 Mind2Web 的原始设定简单，请勿与 Mind2Web 排行榜比较。
图片输入（零样本）
- 没有图片训练： 视觉塔是底座模型的，未做改动，训练中也没有见过图片。
knowline_server.py接受对话状态里 OpenAI 风格的image/image_url内容块并传给 SGLang；每道题仍然只做一次 prefill。带图片的请求只读一遍，也不加问题列表（读两遍和问题列表都只作用于纯文本请求）。 - 怎么测的： 与之前的版本相同，用我们按 Decision Index 0.3.1 视觉榜公开套件复现的评测（11 个基准，按随机水平校正的 skill，以及榜单的权重），通过 Gen1 的发布服务运行，0 个请求失败。我们也用官方工具跑了视觉榜公开套件（12,210 行，完整，0 失败）。带图片的请求与 Gen1 逐字节相同，发给同样的权重，所以这些结果对 Gen1.5 同样成立，我们没有重跑。
| 基准 | 31B-Gen1（我们的复现） | 31B-Gen1（官方视觉套件） | 26B-A4B-Gen2（我们的复现） | 35B-A3B-Gen1（我们的复现） |
|---|---|---|---|---|
| CV-Bench | 73.9 | 74.1 | 70.5 | 75.8 |
| BLINK | 65.7 | 58.0 | 57.4 | 59.8 |
| RealWorldQA | 57.2 | 55.9 | 54.2 | 71.9 |
| CharXiv | 65.8 | 74.7 | 61.9 | 66.9 |
| InfographicVQA | 86.9 | 91.3 | 81.4 | 90.7 |
| Mind2Web | 77.3 | 73.4 | 70.8 | 86.4 |
| Winoground | 85.5 | 86.0 | 78.5 | 80.0 |
| KIE（CORD+FUNSD） | 94.3 | 93.7 | 95.1 | 96.2 |
| 内容审核（Hateful Memes） | 49.7 | 44.4 | 41.1 | 41.1 |
| R-Bench-M | 30.3 | 30.3 | 26.2 | 29.1 |
| MMMU-Pro vision | 38.7 | 36.2 | 28.0 | 45.1 |
| 加权公开指数 | 69.9 | 69.3 | 64.7 | 71.2 |
- 介于 26B-A4B 和 35B-A3B 之间： 在我们的复现上比 KnowLine-26B-A4B-Gen2 高 5.2 分，比 KnowLine-35B-A3B-Gen1 低 1.3 分；相对 26B-A4B 提升最大的是 MMMU-Pro vision（+10.7）、Hateful Memes（+8.6）和 BLINK（+8.3）；KIE 低 0.8。
- 仅供参考： 复现是我们自己做的，不是榜单的数据；官方套件一列是用官方工具自测的结果。
框选（零样本，未训练）
- 做什么： 框选题指出图片里的一个目标，服务返回它的边界框；模型没有给出框时返回拒答。没有做过框选训练：这是底座模型本身的能力，通过发布前端读出（
--box-prompt gemma --box-coords yxyx）。 - 怎么测的： 每条一个请求，通过 Gen1 的发布服务运行，每张图 280 个图像 soft token，图片每边不超过 1,568 像素，最多生成 64 个新 token。所有条目都计入，拒答算作未命中；0 个请求失败。框选题的处理与 Gen1 完全相同，所以这些结果对 Gen1.5 同样成立。
| 评测集 | n | 指标 | 31B-Gen1 | 拒答 |
|---|---|---|---|---|
| ScreenSpot（6 个子集 × 50） | 300 | 中心点落在目标内 | 81.3 | 5.3% |
| RefCOCO val | 300 | IoU ≥ 0.5（平均 IoU） | 77.3（72.7） | 5.0% |
| FUNSD | 150 | IoU ≥ 0.5（中心点落在目标内） | 35.3（58.7） | 4.0% |
| 业务系统界面截图，中/英（自建）² | 1,500 | 中心点落在目标内 | 60.5（英文 67.4，中文 56.2） | 5.8% |
| 发票，中/英（自建）² | 800 | IoU ≥ 0.5 | 44.6（清晰 74.8，拍照 43.4，扫描 34.6） | 0.1% |
- 文档较弱： 在发布使用的 280 个 soft token 下，表单和文档字段较弱（FUNSD 35.3）。更高的图片分辨率对文档有帮助，本版本不提供。
- 文字目标比图标容易： ScreenSpot 上图标为 68.0 / 70.0 / 74.0，文字为 92.0 / 94.0 / 90.0（桌面 / 手机 / 网页）。
- 置信度： 框选的置信度不是校准过的概率（ECE：ScreenSpot 0.238，RefCOCO 0.153，FUNSD 0.247）。我们没有附带框选校准文件。
- ² 我们自建的合成留出集，仅供参考，不是公开基准。
校准
在 0.3 公开套件上按 Decision Index 榜单描述的方法计算：每个字段判对错，置信度取所选选项的概率，各基准等权，分 10 个等宽区间。
| 指标 | 31B-Gen1.5 | 31B-Gen1 | 26B-A4B-Gen2.5 | 35B-A3B-Gen1.5 |
|---|---|---|---|---|
| ECE（越低越好） | 0.013-0.022 | 0.012-0.021 | 0.013-0.018 | 0.03-0.04 |
| Brier 分数（越低越好） | 0.23-0.26 | 0.23-0.26 | 0.24-0.27 | 0.24-0.26 |
| 置信度 ≥95% 却答错 | 1.0-1.1% | 0.9-1.0% | 0.9% | 1.5% |
| 平均置信度 / 准确率 | 0.84 / 0.81-0.83 | 0.83-0.84 / 0.81-0.83 | 0.82-0.83 / 0.80-0.82 | 0.85-0.86 / 0.81-0.83 |
- 权重里的温度： 与 Gen1 相同：最后一层 norm 的权重和最终 logit 的软上限里折入了读出温度 T = 1.44，它是在读两遍推理方式下用我们训练内的评测集拟合出来的，所以每个最终 logit 在对选项标签做 softmax 之前都除以 1.44。排第一的选项不变。在我们的留出集上，所有题都按这个温度读时 ECE 为 0.044，不加温度（T = 1）时为 0.102。
- 打分题按温度 1.0 读出（与 Gen1 相同）：
serve_knowline.sh传入temperatures.json（{"score": 0.6944}），前端把打分（细则）题的 logit 再除以 0.6944，即按等效温度 1.44 × 0.6944 = 1.0 读出；是/否题和选择题仍为 1.44。打分题常按量表上的期望值读出，温度越高，期望值越被拉向中间。这是推理设置，不是权重改动，Gen1 之前的 KnowLine 版本没有用过；启动knowline_server.py时不传--temperatures（或knowline_engine.py用--option temperatures=none），则所有题都按 1.44 读出。代价是校准：按发布的推理设置，在我们的留出集上 ECE 为 0.064（打分题也按 1.44 时为 0.044；KnowLine-26B-A4B-Gen2.5 为 0.027，KnowLine-35B-A3B-Gen1.5 为 0.023）。 - 为什么给范围： 榜单没有公布校准用的是哪些基准，所以和之前的版本一样，我们给出在各种可能的基准组合下的范围。
- 建议： 温度是在我们的数据上拟合的。如果你的用法依赖概率阈值，请在自己的数据上检查校准。
披露
- 训练数据： 权重与 Gen1 相同，所以 Gen1 关于训练数据、Decision Index 格式数据、去污染以及权重如何得到的披露同样适用，见 Gen1 模型卡。
- 按评测做的选择： 我们在自己的评测集上，以及 Decision Index 0.3 公开套件上（即上面的 70.50；这次运行是怎么做的见 INFERENCE.md）检查后，才采用了长请求加问题列表。
- 没有用模型输出作标签： 没有用 Jev 或任何其他决策模型的输出作为训练标签。
局限
- 规模和速度： bf16 权重约 63 GB，且是稠密模型，每个 token 都用到全部 31B 参数；我们只在 96 GB 的卡上运行过。单张 H20、一次一个请求，在按榜单延迟方法抽样的 700 行 Decision Index 数据上，中位数 330 ms、平均 1,135 ms（第 95 百分位 4,241 ms）；KnowLine-26B-A4B-Gen2.5 在较早抽取的 300 行上为 66.3 ms 和 151 ms，见 INFERENCE.md。
- 读两遍和问题列表： 不超过 3,000 token 的纯文本请求会写两遍，在 Decision Index 套件上 prompt token 约为 1.54 倍。更长的请求在每道题的 prompt 里都带问题列表，所以整个套件各题 prompt token 之和为 8.96 亿（用 Gen1 的推理方式为 3.23 亿）；SGLang 的前缀缓存让每个请求的问题列表和状态只 prefill 一次，实际 prefill 的 token 约多 5%。如果延迟更重要，可以用
--no-read-twice（同时关闭问题列表）；本模型卡里我们没有评测过不读两遍的情况。 - 植入的指令： 比我们的其他模型更容易被带偏：换成训练里没见过的注入模板时，5.3% 的答案被带到植入的选项上，KnowLine-26B-A4B-Gen2.5 为 1.7%，KnowLine-35B-A3B-Gen1.5 为 1.0%（见过的模板为 0.7%）。请把不可信的文本清楚地隔开。
- C-Eval 和 Open-Jev 1.1 测试： 低于 KnowLine-35B-A3B-Gen1.5（C-Eval 82.5 对 88.1，Open-Jev 1.1 测试 91.3 对 93.4）。
- 在我们评测集上的校准： 打分题按等效温度 1.0 读出时，我们留出集上的 ECE 为 0.064，高于 KnowLine-26B-A4B-Gen2.5（0.027）和 KnowLine-35B-A3B-Gen1.5（0.023）。
- 图片： 没有做过图片训练，请在自己的数据上检查图片用法。
- 框选： 零样本（没有框选训练）；表单和文档字段较弱，框选置信度没有校准，见框选。
- 其他攻击： 其他提示注入手法仍可能奏效。
- 私有测试： 公开套件的部分分数来自训练数据里有同类任务的基准，所以私有测试的分数可能更低。
引用
@misc{knowline31bgen15,
title = {KnowLine-31B-Gen1.5: a 31B decision model served with read twice and a question header},
author = {PelaAI},
year = {2026},
url = {https://huggingface.co/PelaAI/KnowLine-31B-Gen1.5}
}
许可
- 权重： Apache-2.0，与底座模型相同。
- 底座模型的许可： google/gemma-4-31B-it 以 Apache-2.0 发布，见 Google 的许可页面 ai.google.dev/gemma/docs/gemma_4_license。
- 代码：
knowline_server.py、knowline_layout.py和knowline_engine.py为 MIT 许可（见文件开头）。