Text Classification
Transformers
Safetensors
English
Chinese
gemma4
image-text-to-text
decision-model
system-one
decision-index
lora-merged
Instructions to use PelaAI/KnowLine-31B-Gen2 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use PelaAI/KnowLine-31B-Gen2 with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-classification", model="PelaAI/KnowLine-31B-Gen2")# pip install -U transformers accelerate # Load model directly from transformers import AutoProcessor, AutoModelForMultimodalLM processor = AutoProcessor.from_pretrained("PelaAI/KnowLine-31B-Gen2") model = AutoModelForMultimodalLM.from_pretrained("PelaAI/KnowLine-31B-Gen2", device_map="auto") - Notebooks
- Google Colab
- Kaggle
File size: 12,754 Bytes
3b2dac1 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 | # KnowLine-31B-Gen2
**PelaAI System One 决策模型的 31B Gen2 版本:31B 参数,与 KnowLine 系列其他模型一样,在一台一体机上,由同一个 Agent 驱动的数据迭代与研究循环训练出来。以"读两遍"方式推理。**
[推理说明](INFERENCE.md) · [English](README.md) · 权重 Apache-2.0 · 同系列:[KnowLine-26B-A4B-Gen2.5](https://huggingface.co/PelaAI/KnowLine-26B-A4B-Gen2.5)、[KnowLine-35B-A3B-Gen1.5](https://huggingface.co/PelaAI/KnowLine-35B-A3B-Gen1.5) · 上一版:[KnowLine-31B-Gen1.5](https://huggingface.co/PelaAI/KnowLine-31B-Gen1.5)
亮点:
- **Decision Index 0.3 公开套件:73.00**(自测)。KnowLine-35B-A3B-Gen1.5 和 KnowLine-26B-A4B-Gen2.5 在同一套件、同样的推理方式下分别为 70.72 和 68.21,见[横向对比](#横向对比)。
- **校准过的概率:** 权重里折入了一个温度(在留出数据上拟合)。按榜单的方法在公开套件上计算,ECE 约 0.009–0.013,Brier 分数约 0.208–0.231(KnowLine-26B-A4B-Gen2.5 为 0.013-0.018 和 0.24-0.27),见[校准](#校准)。
KnowLine 是独立开发的模型,与 TypeSafe、Jev 或 Google 没有隶属关系,未获其背书,也不是基于 TypeSafe 或 Jev 开发的。
## 它做什么
你发送一段状态(文本或对话)和最多 64 道带类型的问题:是/否、k 选一、按细则打分。模型对每道题给出各选项的概率分布:
- 每道题只做一次前向计算,不生成文本;
- 生成的是各选项标签 token 的概率;
- 现有 Jev 客户端只需修改 base URL 即可接入;其他 KnowLine 模型的用户换模型名即可,接口不变。
| | |
| ---- | ---- |
| 底座模型 | [google/gemma-4-31B-it](https://huggingface.co/google/gemma-4-31B-it)(Apache-2.0):稠密模型,约 31B 参数 |
| 训练 | LoRA 监督微调,训练语言模型部分,合并为 bf16 权重(见[Gen2 是怎么做出来的](#gen2-是怎么做出来的)) |
| 发布格式 | bf16 权重(约 62.5 GB),最后一层 norm 的权重和最终 logit 的软上限里折入了读出温度 T = 1.27(见[校准](#校准));前端按等效温度 1.0 读出打分题(`temperatures.json`)。视觉部分与底座模型相同;分词器是 Gemma 4。 |
| 推理 | `serve_knowline.sh`:和 26B-A4B 一样,SGLang 以 bf16 运行;`knowline_server.py` 把较短的请求读两遍,与 KnowLine-26B-A4B-Gen2.5 和 KnowLine-35B-A3B-Gen1.5 相同(默认开启;`--no-read-twice` 则每个请求只读一遍)。SGLang 默认占用 GPU 显存的 85%(MEM),权重约 62.5 GB。本次 DI 评测使用 H20 96G。 |
| 语言 | 英文、简体中文、繁体中文 |
## 快速开始
```bash
pip install "sglang==0.5.21" "transformers==5.12.1" requests
bash serve_knowline.sh PelaAI/KnowLine-31B-Gen2 0 8080 # SGLang(bf16)监听 :9080,/v1/systemone 监听 :8080
curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -d '{
"model": "m",
"state": "Customer: my order arrived broken, I want my money back.",
"questions": {"refund": {"type": "noul", "instructions": "Should the agent offer a refund?"},
"tone": {"type": "choice", "instructions": "Customer tone?",
"criteria": {"angry": "Angry", "neutral": "Neutral", "happy": "Happy"}}}}'
```
- **前端:** `knowline_server.py`,旁边放 `knowline_layout.py`;两者只依赖 transformers 和 requests。文本请求的渲染与 KnowLine-26B-A4B-Gen2.5 的前端逐条 prompt 相同。
- **完整设置:** 我们跑 Decision Index 时的完整设置见 [INFERENCE.md](INFERENCE.md)。
## Gen2 是怎么做出来的
- **底座模型:** [google/gemma-4-31B-it](https://huggingface.co/google/gemma-4-31B-it)(Apache-2.0),稠密模型。
- **训练:** 用 LoRA 适配器训练语言模型部分(rank 32,alpha 64,只训语言模型部分,一个 epoch),合并为 bf16 权重。训练样本包括由 LLM 教师模型编写和标注的决策任务,按 Gemma 的对话模板渲染。
- **推理方式和温度:** 与 KnowLine-26B-A4B-Gen2.5 和 KnowLine-35B-A3B-Gen1.5 一样以读两遍方式推理。在这种推理方式下,在留出数据上拟合出一个读出温度 T = 1.27,折入权重。它改变概率的大小,不改变排第一的选项。
训练数据不包含在本仓库中。
## 横向对比
下表为 Decision Index 的分数。从 Decision Index 0.4 起,榜单总分由同技能私有测试(60%)和新领域私有任务(40%)组成;公开套件分数仍然显示,但不再计入总分。本模型目前还没有榜单条目。
| 模型 | 规模 | DI 0.3 公开分 | DI 0.4.1 总分 | 来源 |
|---|---|---|---|---|
| **KnowLine-31B-Gen2** | 31B | **73.00** | 尚未评分 | 自测,官方工具 |
| karpo-decision-31B | 约 31.3B | 75.05 | 73.86 | 榜单 |
| GLiDE 27B | 约 26.1B | 72.49 | 73.37 | 榜单 |
| REAX 1.3 | 约 57.4B | 73.71 | 72.64 | 榜单 |
| Logits Sigma-1 Duo | 约 57.4B | 72.93 | 72.28 | 榜单 |
| Copernicus-31B | 约 31.3B | 70.37 | 72.11 | 榜单 |
| KnowLine 31B Gen1.5 | 约 31.3B | 70.50 | 71.91 | 榜单 |
| Copernicus-57B | 约 57.4B | 75.34 | 71.80 | 榜单 |
| FlexDM-LoRA 2.1 · Gemma-4-31B | 约 31.3B | 68.99 | 71.61 | 榜单 |
榜单行取自 [Decision Index 官方数据](https://huggingface.co/spaces/multimodalart/jev-decision-index/blob/main/data/index.json),更新于 2026-11-12。
各领域的公开套件 skill(DI 0.3,三者都以读两遍方式推理):
| 领域 | KnowLine-31B-Gen2 | KnowLine-26B-A4B-Gen2.5 | KnowLine-35B-A3B-Gen1.5 |
|---|---|---|---|
| 知识与推理 | 62.2 | 55.1 | 55.0 |
| 语言 | 74.1 | 71.2 | 72.9 |
| 检索与路由 | 74.8 | 70.9 | 75.4 |
| 工具与 Agent | 88.8 | 83.3 | 88.2 |
| 艺术与品味 | 65.7 | 61.4 | 64.2 |
## 版本记录
模型在自我演进的循环里训练,之后还会有新版本。
| 模型 | 版本日期 | DI 0.3 公开分 | 说明 |
|---|---|---|---|
| KnowLine-31B-Gen2(本模型) | 2026-11-13 | 73.00 | 31B 第二版 |
| [KnowLine-12B-Gen1](https://huggingface.co/PelaAI/KnowLine-12B-Gen1) | 2026-11-13 | 69.37 | 12B 第一版 |
| [KnowLine-9B-Gen2](https://huggingface.co/PelaAI/KnowLine-9B-Gen2) | 2026-11-13 | 69.00 | 9B 第二版 |
| [KnowLine-31B-Gen1.5](https://huggingface.co/PelaAI/KnowLine-31B-Gen1.5) | 2026-11-04 | 70.50 | Gen1 的权重;读两遍,长请求加问题列表 |
| [KnowLine-2B-Gen1](https://huggingface.co/PelaAI/KnowLine-2B-Gen1) | 2026-10-29 | 52.23 | 2B 第一版 |
| [KnowLine-0.8B-Gen1](https://huggingface.co/PelaAI/KnowLine-0.8B-Gen1) | 2026-10-29 | 44.51 | 0.8B 第一版 |
| [KnowLine-9B-Gen1](https://huggingface.co/PelaAI/KnowLine-9B-Gen1) | 2026-10-25 | 65.67 | 9B 第一版 |
| [KnowLine-31B-Gen1](https://huggingface.co/PelaAI/KnowLine-31B-Gen1) | 2026-10-24 | 70.13 | 31B 第一版 |
| [KnowLine-26B-A4B-Gen2.5](https://huggingface.co/PelaAI/KnowLine-26B-A4B-Gen2.5) | 2026-10-22 | 68.21 | Gen2 的权重,读两遍推理 |
| [KnowLine-35B-A3B-Gen1.5](https://huggingface.co/PelaAI/KnowLine-35B-A3B-Gen1.5) | 2026-10-22 | 70.72 | 35B-A3B Gen1 的权重,读两遍推理 |
| [KnowLine-4B-Gen5.5](https://huggingface.co/PelaAI/KnowLine-4B-Gen5.5) | 2026-10-22 | 66.75 | Gen5 的权重,读两遍推理 |
| [KnowLine-4B-Gen5](https://huggingface.co/PelaAI/KnowLine-4B-Gen5) | 2026-10-21 | 65.67 | 4B,第五版 |
| [KnowLine-26B-A4B-Gen2](https://huggingface.co/PelaAI/KnowLine-26B-A4B-Gen2) | 2026-10-19 | 66.94 | 26B-A4B,第二版 |
| [KnowLine-26B-A4B-Gen1](https://huggingface.co/PelaAI/KnowLine-26B-A4B-Gen1) | 2026-10-19 | 65.76 | 第一个基于 Gemma 4 的版本 |
| [KnowLine-35B-A3B-Gen1](https://huggingface.co/PelaAI/KnowLine-35B-A3B-Gen1) | 2026-10-12 | 69.49 | 35B-A3B 第一版 |
| [KnowLine-4B-Gen4](https://huggingface.co/PelaAI/KnowLine-4B-Gen4) | 2026-10-10 | 64.90 | 4B,第四版 |
| [KnowLine-4B-Gen3](https://huggingface.co/PelaAI/KnowLine-4B-Gen3) | 2026-10-09 | 63.11 | 4B,第三版 |
| [KnowLine-4B-Gen2](https://huggingface.co/PelaAI/KnowLine-4B-Gen2) | 2026-10-08 | 62.54 | 4B,第二版 |
| [KnowLine-4B-Gen1](https://huggingface.co/PelaAI/KnowLine-4B-Gen1) | 2026-10-07 | 60.47 | 4B,第一版 |
## 评测
以下结果均为自测,没有经过第三方核实。本模型的所有数字都通过它的发布前端测得(读两遍开启)。26B-A4B-Gen2.5 和 35B-A3B-Gen1.5 的数字来自它们发布时用同一前端做的评测。
### 图片输入(零样本)
- **没有图片训练:** 视觉塔是底座模型的,未做改动,训练中也没有见过图片。`knowline_server.py` 接受对话状态里 OpenAI 风格的 `image` / `image_url` 内容块并传给 SGLang;每道题仍然只做一次 prefill。带图片的请求只读一遍(读两遍只作用于纯文本请求)。
### 校准
在 0.3 公开套件上按 Decision Index 榜单描述的方法计算:每个字段判对错,置信度取所选选项的概率,各基准等权,分 10 个等宽区间。
| 指标 | 31B-Gen2 | 26B-A4B-Gen2.5 | 35B-A3B-Gen1.5 |
|---|---|---|---|
| ECE(越低越好) | 0.009–0.013 | 0.013-0.018 | 0.03-0.04 |
| Brier 分数(越低越好) | 0.208–0.231 | 0.24-0.27 | 0.24-0.26 |
| 置信度 ≥95% 却答错 | 0.8–0.9% | 0.9% | 1.5% |
| 平均置信度 / 准确率 | 0.84–0.85 / 0.83–0.85 | 0.82-0.83 / 0.80-0.82 | 0.85-0.86 / 0.81-0.83 |
- **权重里的温度:** 最后一层 norm 的权重和最终 logit 的软上限里折入了读出温度 T = 1.27,它是在读两遍推理方式下在留出数据上拟合出来的,所以每个最终 logit 在对选项标签做 softmax 之前都除以 1.27。排第一的选项不变。
- **打分题按温度 1.0 读出:** `serve_knowline.sh` 传入 `temperatures.json`(`{"score": 0.7874}`),前端把打分(细则)题的 logit 再除以 0.7874,即按等效温度 1.27 × 0.7874 = 1.0 读出;是/否题和选择题仍为 1.27。打分题常按量表上的期望值读出,温度越高,期望值越被拉向中间。这是推理设置,不是权重改动,之前的 KnowLine 版本已有使用;启动 `knowline_server.py` 时不传 `--temperatures`(或 `knowline_engine.py` 用 `--option temperatures=none`),则所有题都按 1.27 读出。
- **为什么给范围:** 榜单没有公布校准用的是哪些基准,所以和之前的版本一样,我们给出在各种可能的基准组合下的范围。
- **建议:** 如果你的用法依赖概率阈值,请在自己的数据上检查校准。
## 披露
- **去污染:** 本次训练数据组装时做了标准和严格两种去污染检查,组装阶段删除了 63,444 行。
- **教师模型标注的合成数据:** 我们的合成任务由 LLM 教师模型编写和标注。标签经过了过滤,但并非全部经过人工检查。
- **公开套件:** Decision Index 公开套件是公开的;榜单的私有测试分数可能更低。
## 局限
- **规模和速度:** bf16 权重约 62.5 GB,且是稠密模型,每个 token 都用到全部 31B 参数;本次服务使用 96 GB H20。单张 H20、一次一个请求,中位数 455.4 ms、平均 1032.6 ms(第 95 百分位 4,251.6 ms;本次发布冒烟 30 个请求),KnowLine-26B-A4B-Gen2.5 的历史记录为 66.3 ms 和 151 ms,见 [INFERENCE.md](INFERENCE.md)。
- **读两遍:** 不超过 3,000 token 的纯文本请求会写两遍,在 Decision Index 套件上 prompt token 约为 1.54 倍。如果延迟更重要,可以用 `--no-read-twice`;本模型卡里我们没有评测过不读两遍的情况。
- **植入的指令:** 本模型可能被输入里植入的指令带偏;请把不可信内容放在状态的数据字段里,不要放进指令,并清楚地隔开。
- **校准:** 概率在平均意义上是校准的,并非在每个领域都如此;请在自己的数据上检查校准。
- **图片:** 没有做过图片训练,请在自己的数据上检查图片用法。
- **其他攻击:** 其他提示注入手法仍可能奏效。
- **私有测试:** 榜单的私有测试分数可能低于公开套件。
## 引用
```bibtex
@misc{knowline31bgen2,
title = {KnowLine-31B-Gen2: a 31B decision model},
author = {PelaAI},
year = {2026},
url = {https://huggingface.co/PelaAI/KnowLine-31B-Gen2}
}
```
## 许可
- **权重:** Apache-2.0,与底座模型相同。
- **底座模型的许可:** google/gemma-4-31B-it 以 Apache-2.0 发布,见 Google 的许可页面 [ai.google.dev/gemma/docs/gemma_4_license](https://ai.google.dev/gemma/docs/gemma_4_license)。
- **代码:** `knowline_server.py`、`knowline_layout.py` 和 `knowline_engine.py` 为 MIT 许可(见文件开头)。
|