| # KnowLine-4B-Gen1 |
|
|
| **PelaAI 推出的 4B System One 决策模型，在单台一体机上，由 Agent 驱动的数据迭代循环训练出来。** |
|
|
| [推理说明](INFERENCE.md) · [English](README.md) · 权重 Apache-2.0 |
|
|
| > **新版本**：[KnowLine-4B-Gen3](https://huggingface.co/PelaAI/KnowLine-4B-Gen3)（DI 0.3 公开分 63.11）和 [KnowLine-4B-Gen2](https://huggingface.co/PelaAI/KnowLine-4B-Gen2)（62.54）已发布，自建留出集、C-Eval、Open-Jev 和提示注入评测都不低于本模型。 |
|
|
| 亮点： |
|
|
| - **Decision Index 0.3 公开套件：60.47**（自测）。作为对照：Jev 1.13 为 57.96（榜单）；榜单上 ≤5B 模型的最高公开分为 50.82，见[横向对比](#横向对比)。 |
| - 整个迭代循环由 AI Agent 端到端执行，包括分析模型在哪些领域效果不佳、提出针对性的数据组、构建数据并去污染，并针对其进行训练和评测，最终根据证据决定保留还是否决这次改动 |
| - **拳皇 '98 评测：对 Jev 1.13 为 17 胜 0 负 1 平**（单回合同角色镜像循环赛），打法特点见[游戏评测](#游戏评测拳皇-98)。 |
|
|
| KnowLine 是独立开发的模型，与 TypeSafe 或 Jev 没有隶属关系，未获其背书，也不是基于它们开发的。 |
|
|
| ## 它做什么 |
|
|
| 你发送一段状态（文本或对话）和最多 64 道带类型的问题：是/否、k 选一、按细则打分。模型对每道题给出各选项的概率分布： |
|
|
| - 每道题只做一次前向计算，不生成文本； |
| - 生成的是各选项标签 token 的概率； |
| - 现有 Jev 客户端只需修改 base URL 即可接入。 |
|
|
| | | | |
| | ---- | ----------------------------------------------------------------------------------------------- | |
| | 底座模型 | [Qwen/Qwen3.5-4B](https://huggingface.co/Qwen/Qwen3.5-4B)（Apache-2.0） | |
| | 训练方式 | 在语言模型部分做 LoRA 监督微调（rank 32，alpha 64），在约 71.3 万行数据上训练 1 轮。本次发布的是第 5,650 步（共 5,655 步），验证 loss 最低。 | |
| | 发布格式 | LoRA 已合并进底座，bf16 权重；视觉部分和 MTP 头不变 | |
| | 语言 | 英文、简体中文、繁体中文 | |
|
|
|
|
| ## 快速开始 |
|
|
| ```bash |
| pip install "sglang==0.5.21" "transformers==5.12.1" requests |
| bash serve_knowline.sh PelaAI/KnowLine-4B-Gen1 0 8080 # SGLang（加载时转 FP8）监听 :9080，/v1/systemone 监听 :8080 |
| curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -d '{ |
| "model": "m", |
| "state": "Customer: my order arrived broken, I want my money back.", |
| "questions": {"refund": {"type": "noul", "instructions": "Should the agent offer a refund?"}, |
| "tone": {"type": "choice", "instructions": "Customer tone?", |
| "criteria": {"angry": "Angry", "neutral": "Neutral", "happy": "Happy"}}}}' |
| ``` |
|
|
| - **不用 SGLang**：`python knowline_server.py --model PelaAI/KnowLine-4B-Gen1 --backend hf --port 8080` 只依赖 transformers，速度较慢，精度为 bf16。 |
| - **前端**：`knowline_server.py` 是单个文件，只依赖 transformers 和 requests。 |
| - **完整设置**：我们跑 Decision Index 时的完整设置见 [INFERENCE.md](INFERENCE.md)。 |
|
|
| ## 横向对比 |
|
|
| 下表为 Decision Index 0.3 公开套件的分数。0.3 的总分还要加上只由维护者运行的私有测试（同技能 0.5、新领域 0.3），我们的总分暂时还没有。 |
|
|
| | 模型 | 规模 | DI 0.3 公开分 | DI 0.3 总分 | 来源 | |
| | -------------------- | ----- | ---------- | --------- | -------- | |
| | **KnowLine-4B-Gen1** | 4B | **60.47** | 尚未评测 | 自测，官方工具包 | |
| | Clef | 27B | 61.71 | 53.08 | 榜单 | |
| | Jev 1.13 | （API） | 57.96 | 60.11 | 榜单 | |
| | RSI-Jev v6.1-VL | 4B | 50.98 | 未上榜 | 自报 | |
| | ezjev 4B s2 | 4B | 50.82 | 46.95 | 榜单 | |
| | jiwo 4B | 4B | 45.76 | 42.86 | 榜单 | |
| | Nox 4B | 4B | 44.21 | 44.95 | 榜单 | |
|
|
| 我们的模型在各子领域的公开套件评分如下： |
|
|
| | 领域 | KnowLine-4B-Gen1（0.3 公开） | Jev 1.13（0.2.1） | |
| | --------- | ------------------------ | --------------- | |
| | 知识与推理 | 37.7 | 51.4 | |
| | 语言 | 60.8 | 62.0 | |
| | 检索与路由 | 70.9 | 55.4 | |
| | 工具与 Agent | 86.8 | 75.1 | |
| | 艺术与品味 | 49.5 | 37.7 | |
|
|
|
|
| ## 版本 |
|
|
| 本模型使用自进化的模式进行训练，将持续产生新版本 |
|
|
|
|
| | 模型 | 日期 | DI 0.3 公开 | DI 0.2.1 | 黄金集留出（英 / 简 / 繁） | 说明 | |
| | --------------------- | ---------- | --------- | -------- | ------------------ | ---------------------------- | |
| | [KnowLine-4B-Gen4](https://huggingface.co/PelaAI/KnowLine-4B-Gen4) | 2026-10-10 | 64.90 | — | 69.7 / 70.1 / 65.1 | 第四版 | |
| | [KnowLine-4B-Gen3](https://huggingface.co/PelaAI/KnowLine-4B-Gen3) | 2026-10-09 | 63.11 | — | 69.4 / 70.8 / 65.0 | 第三版 | |
| | [KnowLine-4B-Gen2](https://huggingface.co/PelaAI/KnowLine-4B-Gen2) | 2026-10-08 | 62.54 | — | 69.7 / 71.2 / 64.8 | 本模型占 0.5，mix F 第 4,500、5,000 步各占 0.25，权重平均 | |
| | KnowLine-4B-Gen1（本模型） | 2026-10-07 | 60.47 | 60.92 | 68.7 / 69.9 / 64.1 | 首次发布（内部运行 "mix E"，第 5,650 步） | |
|
|
|
|
| ## 评测 |
|
|
| 以下结果均为自测，未经第三方复核。 |
|
|
| ### 留出评测与中文评测 |
|
|
|
|
| | 测试集 | 准确率 | |
| | --------------------- | ----------- | |
| | 自建评测数据集（英文部分） | 68.7 | |
| | 自建评测数据集（简体中文部分） | 69.9 | |
| | 自建评测数据集（繁体中文部分） | 64.1 | |
| | C-Eval（4 大类宏平均） | 77.9 | |
| | Open-Jev 1.1 测试 / OOD | 87.4 / 86.6 | |
|
|
|
|
| ### 网页操作（Mind2Web 官方测试集，仅用于评测） |
|
|
|
|
| | 划分 | 选元素 | 选操作（三类平均） | |
| | ------------------------ | ---- | --------- | |
| | test\_task（训练中见过的网站、新任务） | 93.1 | 96.6 | |
| | test\_website（新网站） | 90.7 | 96.5 | |
| | test\_domain（新领域） | 91.5 | 98.5 | |
| |
| |
| - 目前仅用于探索该模型在 RPA 自动化等领域的情况，并验证存在一定的泛化性 |
| - 任务是从目标元素和页面上随机抽取的最多 5 个其他候选里选出目标，比 Mind2Web 原始评测简单，因此请勿与其排行榜比较 |
| |
| ### 游戏评测（拳皇 '98） |
| |
| - **赛制**：单回合同角色镜像循环赛，11 方参赛，每组 18 局（共 990 局），每步选概率最高的动作。 |
| - **结果**：胜率 0.883 [0.83, 0.92]，Elo 1910，与另一个内部检查点并列第一。 |
| - **对战成绩**：对 Jev 1.13 为 17 胜 0 负 1 平，对 StartLux-Decision-4B 为 15 胜 3 负，对 Clef-Flash 为 18 胜 0 负。 |
| - **说明**：策略高度依赖一招，即 623C 对空升龙，使用率约 55%。这是在该评测环境中的实测结果，不代表具备全面的格斗游戏能力。 |
| |
| ## 披露 |
| |
| - **Decision Index 训练集**：约 25% 的数据是 Decision Index 的格式，即按基准请求格式编写的合成题。不含任何测试题。 |
| - **去污染**： |
| - 每个文本片段（状态、题干、选项文本）都与所有 Decision Index 题目以及我们全部评测集做了比对。 |
| - 完全相同或存在任意连续 50 个字符相同的行都已删除。 |
| - **游戏数据**：标签来自模拟器推演或引擎，随机种子和起始局面都与评测局面不重叠。 |
| - **不用模型输出作标签**：从未把 Jev 或其他任何决策模型的输出用作训练标签。 |
| - **教师模型标注的合成数据**：合成任务由大语言模型教师编写和标注。标签经过筛选，但并非全部经过人工核对。 |
| |
| ## 局限 |
| |
| - **知识密集型推理**：弱于更大的模型。知识领域 37.7（0.3），MMLU-Pro、GPQA、HLE 接近底座水平。 |
| - **数学**：没有推理过程，0.3 重建版 GSM8K 为 29.5。 |
| - **提示注入**：在我们的注入测试集上，状态里植入的指令约有 9% 的概率改变答案。请把不可信文本清楚地隔开。 |
| - **校准**：选择题和是/否题的 ECE 约为 0.05-0.06，打分题约为 0.12。打分题建议用自己的数据拟合温度。 |
| 在 Decision Index 0.3 公开套件上按榜单的方法计算，ECE 约 0.08-0.09，置信度 ≥95% 但答错的约占 3.3%（榜单中位数 1.3%），整体偏自信。 |
| - **私有测试**：我们在公开套件上的优势有一部分来自对题目格式的适应，0.3 私有测试的分数可能更低。 |
| |
| ## 引用 |
| |
| ```bibtex |
| @misc{knowline4bgen1, |
| title = {KnowLine-4B-Gen1: a 4B decision model}, |
| author = {PelaAI}, |
| year = {2026}, |
| url = {https://huggingface.co/PelaAI/KnowLine-4B-Gen1} |
| } |
| ``` |
| |
| ## 许可证 |
| |
| - **权重**：Apache-2.0，与底座模型相同。 |
| - **代码**：`knowline_server.py` 为 MIT 许可（见文件开头）。 |
