Text Classification
Transformers
Safetensors
English
Chinese
gemma4_unified
image-text-to-text
decision-model
system-one
decision-index
lora-merged
Instructions to use PelaAI/KnowLine-12B-Gen1 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use PelaAI/KnowLine-12B-Gen1 with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-classification", model="PelaAI/KnowLine-12B-Gen1")# pip install -U transformers accelerate # Load model directly from transformers import AutoProcessor, AutoModelForMultimodalLM processor = AutoProcessor.from_pretrained("PelaAI/KnowLine-12B-Gen1") model = AutoModelForMultimodalLM.from_pretrained("PelaAI/KnowLine-12B-Gen1", device_map="auto") - Notebooks
- Google Colab
- Kaggle
|
Download README.zh.md from PelaAI/KnowLine-12B-Gen1: direct link, hf CLI and curl.
- Browser
- Download file 12.8 kB
-
https://huggingface.co/PelaAI/KnowLine-12B-Gen1/resolve/main/README.zh.md
- Command line
-
hf download hf://PelaAI/KnowLine-12B-Gen1/README.zh.md
-
curl -L -o README.zh.md https://huggingface.co/PelaAI/KnowLine-12B-Gen1/resolve/main/README.zh.md
12.8 kB
| # KnowLine-12B-Gen1 | |
| **PelaAI System One 决策模型的 12B Gen1 版本:12B 参数,与 KnowLine 系列其他模型一样,在一台一体机上,由同一个 Agent 驱动的数据迭代与研究循环训练出来。以"读两遍"方式推理。** | |
| [推理说明](INFERENCE.md) · [English](README.md) · 权重 Apache-2.0 · 同系列:[KnowLine-26B-A4B-Gen2.5](https://huggingface.co/PelaAI/KnowLine-26B-A4B-Gen2.5)、[KnowLine-35B-A3B-Gen1.5](https://huggingface.co/PelaAI/KnowLine-35B-A3B-Gen1.5) · 同系列:[KnowLine-31B-Gen1.5](https://huggingface.co/PelaAI/KnowLine-31B-Gen1.5) | |
| 亮点: | |
| - **Decision Index 0.3 公开套件:69.37**(自测)。KnowLine-35B-A3B-Gen1.5 和 KnowLine-26B-A4B-Gen2.5 在同一套件、同样的推理方式下分别为 70.72 和 68.21,见[横向对比](#横向对比)。 | |
| - **校准过的概率:** 权重里折入了一个温度(在留出数据上拟合)。按榜单的方法在公开套件上计算,ECE 约 0.005–0.009,Brier 分数约 0.243–0.264(KnowLine-26B-A4B-Gen2.5 为 0.013-0.018 和 0.24-0.27),见[校准](#校准)。 | |
| KnowLine 是独立开发的模型,与 TypeSafe、Jev 或 Google 没有隶属关系,未获其背书,也不是基于 TypeSafe 或 Jev 开发的。 | |
| ## 它做什么 | |
| 你发送一段状态(文本或对话)和最多 64 道带类型的问题:是/否、k 选一、按细则打分。模型对每道题给出各选项的概率分布: | |
| - 每道题只做一次前向计算,不生成文本; | |
| - 生成的是各选项标签 token 的概率; | |
| - 现有 Jev 客户端只需修改 base URL 即可接入;其他 KnowLine 模型的用户换模型名即可,接口不变。 | |
| | | | | |
| | ---- | ---- | | |
| | 底座模型 | [google/gemma-4-12B-it](https://huggingface.co/google/gemma-4-12B-it)(Apache-2.0):稠密模型,约 12B 参数 | | |
| | 训练 | LoRA 监督微调,训练语言模型部分,合并为 bf16 权重(见[Gen1 是怎么做出来的](#gen1-是怎么做出来的)) | | |
| | 发布格式 | bf16 权重(约 23.9 GB),最后一层 norm 的权重和最终 logit 的软上限里折入了读出温度 T = 1.47(见[校准](#校准));前端按等效温度 1.0 读出打分题(`temperatures.json`)。视觉相关嵌入张量与底座模型相同;分词器是 Gemma 4。 | | |
| | 推理 | `serve_knowline.sh`:和 26B-A4B 一样,SGLang 以 bf16 运行;`knowline_server.py` 把较短的请求读两遍,与 KnowLine-26B-A4B-Gen2.5 和 KnowLine-35B-A3B-Gen1.5 相同(默认开启;`--no-read-twice` 则每个请求只读一遍)。SGLang 默认占用 GPU 显存的 85%(MEM),权重约 23.9 GB。本次 DI 评测使用 H20 96G。 | | |
| | 语言 | 英文、简体中文、繁体中文 | | |
| ## 快速开始 | |
| ```bash | |
| pip install "sglang==0.5.21" "transformers==5.12.1" requests | |
| bash serve_knowline.sh PelaAI/KnowLine-12B-Gen1 0 8080 # SGLang(bf16)监听 :9080,/v1/systemone 监听 :8080 | |
| curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -d '{ | |
| "model": "m", | |
| "state": "Customer: my order arrived broken, I want my money back.", | |
| "questions": {"refund": {"type": "noul", "instructions": "Should the agent offer a refund?"}, | |
| "tone": {"type": "choice", "instructions": "Customer tone?", | |
| "criteria": {"angry": "Angry", "neutral": "Neutral", "happy": "Happy"}}}}' | |
| ``` | |
| - **前端:** `knowline_server.py`,旁边放 `knowline_layout.py`;两者只依赖 transformers 和 requests。文本请求的渲染与 KnowLine-26B-A4B-Gen2.5 的前端逐条 prompt 相同。 | |
| - **完整设置:** 我们跑 Decision Index 时的完整设置见 [INFERENCE.md](INFERENCE.md)。 | |
| ## Gen1 是怎么做出来的 | |
| - **底座模型:** [google/gemma-4-12B-it](https://huggingface.co/google/gemma-4-12B-it)(Apache-2.0),稠密模型。 | |
| - **训练:** 用 LoRA 适配器训练语言模型部分(rank 32,alpha 64,只训语言模型部分,一个 epoch),合并为 bf16 权重。训练样本包括由 LLM 教师模型编写和标注的决策任务,按 Gemma 的对话模板渲染。 | |
| - **推理方式和温度:** 与 KnowLine-26B-A4B-Gen2.5 和 KnowLine-35B-A3B-Gen1.5 一样以读两遍方式推理。在这种推理方式下,在留出数据上拟合出一个读出温度 T = 1.47,折入权重。它改变概率的大小,不改变排第一的选项。 | |
| 训练数据不包含在本仓库中。 | |
| ## 横向对比 | |
| 下表为 Decision Index 的分数。从 Decision Index 0.4 起,榜单总分由同技能私有测试(60%)和新领域私有任务(40%)组成;公开套件分数仍然显示,但不再计入总分。本模型目前还没有榜单条目。 | |
| | 模型 | 规模 | DI 0.3 公开分 | DI 0.4.1 总分 | 来源 | | |
| |---|---|---|---|---| | |
| | **KnowLine-12B-Gen1** | 12B | **69.37** | 尚未评分 | 自测,官方工具 | | |
| | karpo-decision-31B | 约 31.3B | 75.05 | 73.86 | 榜单 | | |
| | GLiDE 27B | 约 26.1B | 72.49 | 73.37 | 榜单 | | |
| | REAX 1.3 | 约 57.4B | 73.71 | 72.64 | 榜单 | | |
| | Logits Sigma-1 Duo | 约 57.4B | 72.93 | 72.28 | 榜单 | | |
| | Copernicus-31B | 约 31.3B | 70.37 | 72.11 | 榜单 | | |
| | KnowLine 31B Gen1.5 | 约 31.3B | 70.50 | 71.91 | 榜单 | | |
| | Copernicus-57B | 约 57.4B | 75.34 | 71.80 | 榜单 | | |
| | FlexDM-LoRA 2.1 · Gemma-4-31B | 约 31.3B | 68.99 | 71.61 | 榜单 | | |
| 榜单行取自 [Decision Index 官方数据](https://huggingface.co/spaces/multimodalart/jev-decision-index/blob/main/data/index.json),更新于 2026-11-12。 | |
| 各领域的公开套件 skill(DI 0.3,三者都以读两遍方式推理): | |
| | 领域 | KnowLine-12B-Gen1 | KnowLine-26B-A4B-Gen2.5 | KnowLine-35B-A3B-Gen1.5 | | |
| |---|---|---|---| | |
| | 知识与推理 | 54.1 | 55.1 | 55.0 | | |
| | 语言 | 69.9 | 71.2 | 72.9 | | |
| | 检索与路由 | 74.6 | 70.9 | 75.4 | | |
| | 工具与 Agent | 87.9 | 83.3 | 88.2 | | |
| | 艺术与品味 | 63.0 | 61.4 | 64.2 | | |
| ## 版本记录 | |
| 模型在自我演进的循环里训练,之后还会有新版本。 | |
| | 模型 | 版本日期 | DI 0.3 公开分 | 说明 | | |
| |---|---|---|---| | |
| | [KnowLine-31B-Gen2](https://huggingface.co/PelaAI/KnowLine-31B-Gen2) | 2026-11-13 | 73.00 | 31B 第二版 | | |
| | KnowLine-12B-Gen1(本模型) | 2026-11-13 | 69.37 | 12B 第一版 | | |
| | [KnowLine-9B-Gen2](https://huggingface.co/PelaAI/KnowLine-9B-Gen2) | 2026-11-13 | 69.00 | 9B 第二版 | | |
| | [KnowLine-31B-Gen1.5](https://huggingface.co/PelaAI/KnowLine-31B-Gen1.5) | 2026-11-04 | 70.50 | Gen1 的权重;读两遍,长请求加问题列表 | | |
| | [KnowLine-2B-Gen1](https://huggingface.co/PelaAI/KnowLine-2B-Gen1) | 2026-10-29 | 52.23 | 2B 第一版 | | |
| | [KnowLine-0.8B-Gen1](https://huggingface.co/PelaAI/KnowLine-0.8B-Gen1) | 2026-10-29 | 44.51 | 0.8B 第一版 | | |
| | [KnowLine-9B-Gen1](https://huggingface.co/PelaAI/KnowLine-9B-Gen1) | 2026-10-25 | 65.67 | 9B 第一版 | | |
| | [KnowLine-31B-Gen1](https://huggingface.co/PelaAI/KnowLine-31B-Gen1) | 2026-10-24 | 70.13 | 31B 第一版 | | |
| | [KnowLine-26B-A4B-Gen2.5](https://huggingface.co/PelaAI/KnowLine-26B-A4B-Gen2.5) | 2026-10-22 | 68.21 | Gen2 的权重,读两遍推理 | | |
| | [KnowLine-35B-A3B-Gen1.5](https://huggingface.co/PelaAI/KnowLine-35B-A3B-Gen1.5) | 2026-10-22 | 70.72 | 35B-A3B Gen1 的权重,读两遍推理 | | |
| | [KnowLine-4B-Gen5.5](https://huggingface.co/PelaAI/KnowLine-4B-Gen5.5) | 2026-10-22 | 66.75 | Gen5 的权重,读两遍推理 | | |
| | [KnowLine-4B-Gen5](https://huggingface.co/PelaAI/KnowLine-4B-Gen5) | 2026-10-21 | 65.67 | 4B,第五版 | | |
| | [KnowLine-26B-A4B-Gen2](https://huggingface.co/PelaAI/KnowLine-26B-A4B-Gen2) | 2026-10-19 | 66.94 | 26B-A4B,第二版 | | |
| | [KnowLine-26B-A4B-Gen1](https://huggingface.co/PelaAI/KnowLine-26B-A4B-Gen1) | 2026-10-19 | 65.76 | 第一个基于 Gemma 4 的版本 | | |
| | [KnowLine-35B-A3B-Gen1](https://huggingface.co/PelaAI/KnowLine-35B-A3B-Gen1) | 2026-10-12 | 69.49 | 35B-A3B 第一版 | | |
| | [KnowLine-4B-Gen4](https://huggingface.co/PelaAI/KnowLine-4B-Gen4) | 2026-10-10 | 64.90 | 4B,第四版 | | |
| | [KnowLine-4B-Gen3](https://huggingface.co/PelaAI/KnowLine-4B-Gen3) | 2026-10-09 | 63.11 | 4B,第三版 | | |
| | [KnowLine-4B-Gen2](https://huggingface.co/PelaAI/KnowLine-4B-Gen2) | 2026-10-08 | 62.54 | 4B,第二版 | | |
| | [KnowLine-4B-Gen1](https://huggingface.co/PelaAI/KnowLine-4B-Gen1) | 2026-10-07 | 60.47 | 4B,第一版 | | |
| ## 评测 | |
| 以下结果均为自测,没有经过第三方核实。本模型的所有数字都通过它的发布前端测得(读两遍开启)。26B-A4B-Gen2.5 和 35B-A3B-Gen1.5 的数字来自它们发布时用同一前端做的评测。 | |
| ### 图片输入(零样本) | |
| - **没有图片训练:** 视觉相关嵌入张量是底座模型的,未做改动,训练中也没有见过图片。`knowline_server.py` 接受对话状态里 OpenAI 风格的 `image` / `image_url` 内容块并传给 SGLang;每道题仍然只做一次 prefill。带图片的请求只读一遍(读两遍只作用于纯文本请求)。 | |
| ### 校准 | |
| 在 0.3 公开套件上按 Decision Index 榜单描述的方法计算:每个字段判对错,置信度取所选选项的概率,各基准等权,分 10 个等宽区间。 | |
| | 指标 | 12B-Gen1 | 26B-A4B-Gen2.5 | 35B-A3B-Gen1.5 | | |
| |---|---|---|---| | |
| | ECE(越低越好) | 0.005–0.009 | 0.013-0.018 | 0.03-0.04 | | |
| | Brier 分数(越低越好) | 0.243–0.264 | 0.24-0.27 | 0.24-0.26 | | |
| | 置信度 ≥95% 却答错 | 0.7% | 0.9% | 1.5% | | |
| | 平均置信度 / 准确率 | 0.80–0.81 / 0.80–0.82 | 0.82-0.83 / 0.80-0.82 | 0.85-0.86 / 0.81-0.83 | | |
| - **权重里的温度:** 最后一层 norm 的权重和最终 logit 的软上限里折入了读出温度 T = 1.47,它是在读两遍推理方式下在留出数据上拟合出来的,所以每个最终 logit 在对选项标签做 softmax 之前都除以 1.47。排第一的选项不变。 | |
| - **打分题按温度 1.0 读出:** `serve_knowline.sh` 传入 `temperatures.json`(`{"score": 0.6803}`),前端把打分(细则)题的 logit 再除以 0.6803,即按等效温度 1.47 × 0.6803 = 1.0 读出;是/否题和选择题仍为 1.47。打分题常按量表上的期望值读出,温度越高,期望值越被拉向中间。这是推理设置,不是权重改动,之前的 KnowLine 版本已有使用;启动 `knowline_server.py` 时不传 `--temperatures`(或 `knowline_engine.py` 用 `--option temperatures=none`),则所有题都按 1.47 读出。 | |
| - **为什么给范围:** 榜单没有公布校准用的是哪些基准,所以和之前的版本一样,我们给出在各种可能的基准组合下的范围。 | |
| - **建议:** 如果你的用法依赖概率阈值,请在自己的数据上检查校准。 | |
| ## 披露 | |
| - **去污染:** 本次训练数据组装时做了标准和严格两种去污染检查,组装阶段删除了 63,444 行。 | |
| - **教师模型标注的合成数据:** 我们的合成任务由 LLM 教师模型编写和标注。标签经过了过滤,但并非全部经过人工检查。 | |
| - **公开套件:** Decision Index 公开套件是公开的;榜单的私有测试分数可能更低。 | |
| ## 局限 | |
| - **规模和速度:** bf16 权重约 23.9 GB,且是稠密模型,每个 token 都用到全部 12B 参数;本次服务使用 96 GB H20。单张 H20、一次一个请求,中位数 178.2 ms、平均 404.2 ms(第 95 百分位 1,631.5 ms;本次发布冒烟 30 个请求),KnowLine-26B-A4B-Gen2.5 的历史记录为 66.3 ms 和 151 ms,见 [INFERENCE.md](INFERENCE.md)。 | |
| - **读两遍:** 不超过 3,000 token 的纯文本请求会写两遍,在 Decision Index 套件上 prompt token 约为 1.54 倍。如果延迟更重要,可以用 `--no-read-twice`;本模型卡里我们没有评测过不读两遍的情况。 | |
| - **植入的指令:** 本模型可能被输入里植入的指令带偏;请把不可信内容放在状态的数据字段里,不要放进指令,并清楚地隔开。 | |
| - **校准:** 概率在平均意义上是校准的,并非在每个领域都如此;请在自己的数据上检查校准。 | |
| - **图片:** 没有做过图片训练,请在自己的数据上检查图片用法。 | |
| - **其他攻击:** 其他提示注入手法仍可能奏效。 | |
| - **私有测试:** 榜单的私有测试分数可能低于公开套件。 | |
| ## 引用 | |
| ```bibtex | |
| @misc{knowline12bgen1, | |
| title = {KnowLine-12B-Gen1: a 12B decision model}, | |
| author = {PelaAI}, | |
| year = {2026}, | |
| url = {https://huggingface.co/PelaAI/KnowLine-12B-Gen1} | |
| } | |
| ``` | |
| ## 许可 | |
| - **权重:** Apache-2.0,与底座模型相同。 | |
| - **底座模型的许可:** google/gemma-4-12B-it 以 Apache-2.0 发布,见 Google 的许可页面 [ai.google.dev/gemma/docs/gemma_4_license](https://ai.google.dev/gemma/docs/gemma_4_license)。 | |
| - **代码:** `knowline_server.py`、`knowline_layout.py` 和 `knowline_engine.py` 为 MIT 许可(见文件开头)。 | |