Text Classification
Transformers
Safetensors
English
Chinese
qwen3_5
image-text-to-text
decision-model
system-one
decision-index
lora-merged
Instructions to use PelaAI/KnowLine-4B-Gen5 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use PelaAI/KnowLine-4B-Gen5 with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-classification", model="PelaAI/KnowLine-4B-Gen5")# pip install -U transformers accelerate # Load model directly from transformers import AutoProcessor, AutoModelForMultimodalLM processor = AutoProcessor.from_pretrained("PelaAI/KnowLine-4B-Gen5") model = AutoModelForMultimodalLM.from_pretrained("PelaAI/KnowLine-4B-Gen5", device_map="auto") - Notebooks
- Google Colab
- Kaggle
|
Download README.zh.md from PelaAI/KnowLine-4B-Gen5: direct link, hf CLI and curl.
- Browser
- Download file 8.97 kB
-
https://huggingface.co/PelaAI/KnowLine-4B-Gen5/resolve/main/README.zh.md
- Command line
-
hf download hf://PelaAI/KnowLine-4B-Gen5/README.zh.md
-
curl -L -o README.zh.md https://huggingface.co/PelaAI/KnowLine-4B-Gen5/resolve/main/README.zh.md
8.97 kB
| # KnowLine-4B-Gen5 | |
| **PelaAI 4B System One 决策模型的第五版。** | |
| [推理说明](INFERENCE.md) · [English](README.md) · 权重 Apache-2.0 · 上一版:[KnowLine-4B-Gen4](https://huggingface.co/PelaAI/KnowLine-4B-Gen4) | |
| 亮点: | |
| - **Decision Index 0.3 公开套件:65.67**(自测;Gen4 为 64.90)。榜单的总分来自维护者的私有测试,见[横向对比](#横向对比)。 | |
| - **概率经过校准**:权重里已折入一个温度。按榜单的方法计算,ECE 约 0.04-0.05,Brier 分数约 0.28-0.31,见[校准](#校准)。 | |
| - **速度快**:单请求串行,在一张 H20 上中位数 31.6 ms(见 [INFERENCE.md](INFERENCE.md))。 | |
| - **没有做过图片训练,也能处理图片**:视觉部分是底座原装的,图片输入为零样本。 | |
| KnowLine 是独立开发的模型,与 TypeSafe 或 Jev 没有隶属关系,未获其背书,也不是基于 TypeSafe 或 Jev 开发的。 | |
| ## 它做什么 | |
| 你发送一段状态(文本或对话)和最多 64 道带类型的问题:是/否、k 选一、按细则打分。模型对每道题给出各选项的概率分布: | |
| - 每道题只做一次前向计算,不生成文本; | |
| - 生成的是各选项标签 token 的概率; | |
| - 现有 Jev 客户端只需修改 base URL 即可接入;之前版本的用户换模型名即可,接口和推理设置都不变。 | |
| | | | | |
| |---|---| | |
| | 底座模型 | [Qwen/Qwen3.5-4B](https://huggingface.co/Qwen/Qwen3.5-4B)(Apache-2.0) | | |
| | 训练方式 | LoRA 监督微调(rank 32,alpha 64,只训语言模型部分),合并为 bf16 权重(见[这一版的制作方式](#这一版的制作方式)) | | |
| | 发布格式 | bf16 权重;最后一层 norm 的权重里已折入读出温度 T = 1.50(见[校准](#校准))。视觉部分和 MTP 头与底座相同;config、分词器和对话模板与 Gen1-Gen4 完全一致 | | |
| | 语言 | 英文、简体中文、繁体中文 | | |
| ## 快速开始 | |
| ```bash | |
| pip install "sglang==0.5.21" "transformers==5.12.1" requests | |
| bash serve_knowline.sh PelaAI/KnowLine-4B-Gen5 0 8080 # SGLang(加载时转 FP8)监听 :9080,/v1/systemone 监听 :8080 | |
| curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -d '{ | |
| "model": "m", | |
| "state": "Customer: my order arrived broken, I want my money back.", | |
| "questions": {"refund": {"type": "noul", "instructions": "Should the agent offer a refund?"}, | |
| "tone": {"type": "choice", "instructions": "Customer tone?", | |
| "criteria": {"angry": "Angry", "neutral": "Neutral", "happy": "Happy"}}}}' | |
| ``` | |
| - **前端**:`knowline_server.py` 是单个文件,只依赖 transformers 和 requests,与 Gen4 是同一个文件。 | |
| - **完整设置**:我们跑 Decision Index 时的完整设置见 [INFERENCE.md](INFERENCE.md)。 | |
| ## 这一版的制作方式 | |
| - **底座模型:** [Qwen/Qwen3.5-4B](https://huggingface.co/Qwen/Qwen3.5-4B)。 | |
| - **训练:** LoRA 监督微调,一个 epoch(rank 32,alpha 64,只训语言模型部分),合并为 bf16 权重。训练样本包含由 LLM 教师模型编写并标注的决策任务。 | |
| - **读出温度:** T = 1.50,在留出数据上拟合,折入最后一层 norm 的权重。温度只改变概率的大小,不改变哪个选项排第一。 | |
| 训练数据不包含在本仓库中。 | |
| ## 横向对比 | |
| 下表为 Decision Index 的分数。自 Decision Index 0.4(2026-10-19)起,榜单总分 = 60% 同技能私有测试 + 40% 新领域私有任务;公开套件仍会显示,但不再计入总分。这个模型的总分暂时还没有。 | |
| | 模型 | 规模 | DI 0.3 公开分 | DI 0.4 总分 | 来源 | | |
| |---|---|---|---|---| | |
| | **KnowLine-4B-Gen5** | 4B | **65.67** | 暂无 | 自测,官方工具 | | |
| | KnowLine-4B-Gen4 | 4B | 64.90 | 暂无 | 自测,官方工具 | | |
| | StartLux-Decision v1.1 4B | 4.7B | 67.81 | 56.35 | 榜单 | | |
| | Perplexity Decider Flash v1.2 | 4.5B | 60.06 | 55.39 | 榜单 | | |
| | vLLM-SR d3-mini | 4.5B | 54.90 | 51.25 | 榜单 | | |
| | OneJev 1.6 | 4.5B | 61.95 | 49.54 | 榜单 | | |
| | Jev 1.14 | (API) | 60.70 | 62.22 | 榜单 | | |
| | KnowLine-35B-A3B-Gen1 | 35B-A3B | 69.49 | 62.28 | 榜单 | | |
| 榜单数据截至榜单最近一次更新(Decision Index 0.4)。 | |
| 各领域的公开套件分数(DI 0.3): | |
| | 领域 | KnowLine-4B-Gen5 | KnowLine-4B-Gen4 | | |
| |---|---|---| | |
| | 知识与推理 | 45.0 | 44.6 | | |
| | 语言理解 | 66.8 | 65.5 | | |
| | 检索与路由 | 73.3 | 72.5 | | |
| | 工具与智能体 | 87.4 | 87.6 | | |
| | 艺术与品味 | 61.2 | 59.2 | | |
| ## 版本 | |
| 模型在自我演进的循环中训练,后续会继续发布新版本。 | |
| | 模型 | 日期 | DI 0.3 公开分 | 备注 | | |
| |---|---|---|---| | |
| | KnowLine-4B-Gen5(本模型) | 2026-10-21 | 65.67 | 第五版 | | |
| | [KnowLine-4B-Gen4](https://huggingface.co/PelaAI/KnowLine-4B-Gen4) | 2026-10-10 | 64.90 | 第四版 | | |
| | [KnowLine-4B-Gen3](https://huggingface.co/PelaAI/KnowLine-4B-Gen3) | 2026-10-09 | 63.11 | 第三版 | | |
| | [KnowLine-4B-Gen2](https://huggingface.co/PelaAI/KnowLine-4B-Gen2) | 2026-10-08 | 62.54 | 第二版 | | |
| | [KnowLine-4B-Gen1](https://huggingface.co/PelaAI/KnowLine-4B-Gen1) | 2026-10-07 | 60.47 | 第一版 | | |
| ## 评测 | |
| 以下结果均为自测,未经第三方验证。 | |
| ### 其他公开基准 | |
| | 评测 | Gen5 | Gen4 | | |
| |---|---|---| | |
| | C-Eval(4 个大类,宏平均) | 79.2 | 78.7 | | |
| | JevBench / JevBench 难题集 | 83.1 / 66.7 | 86.1 / 72.1 | | |
| ### 网页操作(Mind2Web 官方测试集,仅用于评测) | |
| | 划分 | Gen5 选元素 | Gen5 选操作(平衡计分) | Gen4 选元素 | Gen4 选操作(平衡计分) | | |
| |---|---|---|---|---| | |
| | test_task (Cross-Task) | 92.6 | 97.1 | 92.9 | 97.0 | | |
| | test_website (Cross-Website) | 90.9 | 96.9 | 91.9 | 95.7 | | |
| | test_domain (Cross-Domain) | 91.8 | 98.4 | 91.7 | 97.2 | | |
| - 与 Gen4 基本相同,差别在噪声范围内。 | |
| - 任务是从目标元素和页面上随机抽取的最多 5 个其他候选里选出目标,比 Mind2Web 原始评测简单,因此请勿与其排行榜比较。 | |
| ### 图片输入(零样本) | |
| - **没有图片训练**:Gen5 保留了底座原装、未经改动的视觉部分,训练中没有用过任何图片。`knowline_server.py` 支持在对话状态里放 OpenAI 格式的 `image` / `image_url` 内容并转给 SGLang,每道题仍只做一次前向计算。 | |
| ### 校准 | |
| 按 Decision Index 榜单描述的方法在 0.3 公开套件上计算:每个字段按对错计分,置信度是所选选项的概率,各基准等权,10 个等宽分箱。 | |
| | 指标 | Gen5 | Gen4 | | |
| |---|---|---| | |
| | ECE(越低越好) | 0.04-0.05 | 0.04-0.05 | | |
| | Brier 分数(越低越好) | 0.28-0.31 | 0.29-0.31 | | |
| | 置信度 ≥95% 却答错 | 1.5-1.6% | 1.6-1.8% | | |
| | 平均置信度 / 准确率 | 0.82-0.83 / 0.78-0.80 | 0.82 / 0.77 | | |
| - **温度在权重里**:最后一层 norm 的权重里折入了读出温度 T = 1.50,因此每个 logit 在对选项标签做 softmax 之前都除以 1.50。排第一的选项不变,只是概率没那么极端。T 是在留出数据上拟合的。 | |
| - **为什么给区间**:榜单没有公布它用的是哪 32 个基准,所以和之前的版本一样,我们给出可能的基准组合下的区间。 | |
| - **建议**:如果你的用法依赖概率阈值,请在自己的数据上检查校准情况。 | |
| ## 披露 | |
| - **去污染**:全部训练数据都对照 Decision Index 0.3 的全部题目和我们报告的公开基准(Intern-Decision、S1MB、JevBench、MMDM)做了检查。约 2.2 万行被删除:与基准题几乎重复、重复了基准题的问题或论断、或包含基准题完整状态的数据;在更严格的第二轮检查中,还删除了大部分与基准题共用来源段落的数据。 | |
| - **教师模型标注的合成数据**:我们的合成任务由大模型教师编写和标注。标签经过筛选,但并非全部经过人工检查。 | |
| - **公开套件**:Decision Index 公开套件是公开的;榜单的私有测试分数可能更低。 | |
| ## 局限 | |
| - **知识密集的推理**:弱于更大的模型。知识领域得分 45.0(DI 0.3);4B 模型在这方面有局限,榜单的新领域部分也偏向更大的模型。 | |
| - **JevBench 难题集**:66.7,Gen4 为 72.1;下降不显著,但如果你的用法接近 JevBench 难题集,请自行检查。 | |
| - **新领域**:榜单的新领域私有任务偏向更大的模型;请在自己的领域上检查模型。 | |
| - **提示注入**:状态里植入的指令可能改变答案。请把不可信的文本明确分隔开。 | |
| - **图片**:没有做过图片训练,图片使用为零样本,用于图片场景前请在自己的数据上检查。 | |
| ## 引用 | |
| ```bibtex | |
| @misc{knowline4bgen5, | |
| title = {KnowLine-4B-Gen5: a 4B decision model}, | |
| author = {PelaAI}, | |
| year = {2026}, | |
| url = {https://huggingface.co/PelaAI/KnowLine-4B-Gen5} | |
| } | |
| ``` | |
| ## 许可证 | |
| - **权重**:Apache-2.0,与底座模型相同。 | |
| - **代码**:`knowline_server.py` 为 MIT 许可(见文件开头)。 | |