Text Classification
Transformers
Safetensors
English
Chinese
qwen3_5
image-text-to-text
decision-model
system-one
decision-index
lora-merged
Instructions to use PelaAI/KnowLine-4B-Gen4 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use PelaAI/KnowLine-4B-Gen4 with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-classification", model="PelaAI/KnowLine-4B-Gen4")# pip install -U transformers accelerate # Load model directly from transformers import AutoProcessor, AutoModelForMultimodalLM processor = AutoProcessor.from_pretrained("PelaAI/KnowLine-4B-Gen4") model = AutoModelForMultimodalLM.from_pretrained("PelaAI/KnowLine-4B-Gen4", device_map="auto") - Notebooks
- Google Colab
- Kaggle
README.zh.md: add zero-shot image results
Browse files- README.zh.md +28 -0
README.zh.md
CHANGED
|
@@ -10,6 +10,7 @@
|
|
| 10 |
- **更不容易被植入的指令带偏**:状态里植入的指令改变答案的比例从 Gen3 的 3.4% 降到 1.6%;换成训练里没见过的注入模板,从 10.2% 降到 6.2%。
|
| 11 |
- **概率经过校准**:权重里已折入一个温度。按榜单的方法计算,ECE 约 0.04-0.05(榜单中位数 0.084),Brier 分数约 0.29-0.31,在榜单 114 个模型里约排第 2-3,见[校准](#校准)。
|
| 12 |
- **其他评测与 Gen3 持平**:JevBench / JevBench 难题集 86.1 / 72.1(Gen3 为 86.6 / 72.1),Open-Jev 1.1 测试 / OOD 88.4 / 87.1(88.4 / 87.2),C-Eval 78.7(79.2)。
|
|
|
|
| 13 |
- **拳皇 '98 评测:对 Jev 1.13 为 14 胜 3 负 1 平,对 StartLux-Decision-4B 为 10 胜 4 负 4 平**(单回合同角色镜像对战),打法见[游戏评测](#游戏评测拳皇-98)。
|
| 14 |
- 整个迭代循环由 AI Agent 端到端执行:分析模型在哪些领域效果不佳,提出针对性的数据组,构建数据并去污染,训练、评测,最后根据证据决定保留还是否决这次改动。这一版具体做了什么见[本版做了什么](#本版做了什么)。
|
| 15 |
|
|
@@ -144,6 +145,32 @@ curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -
|
|
| 144 |
- 目前仅用于探索该模型在 RPA 自动化等领域的情况,并验证存在一定的泛化性。
|
| 145 |
- 任务是从目标元素和页面上随机抽取的最多 5 个其他候选里选出目标,比 Mind2Web 原始评测简单,因此请勿与其排行榜比较。
|
| 146 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 147 |
### 游戏评测(拳皇 '98)
|
| 148 |
|
| 149 |
- **赛制**:单回合同角色镜像对战,每组 18 局,每步选概率最高的动作,设置与 Gen1-Gen3 相同。
|
|
@@ -191,6 +218,7 @@ curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -
|
|
| 191 |
- **数学**:没有推理过程。0.3 重建版 GSM8K 为 61.6,与 Gen3 基本持平,分数来自 GSM8K 训练集按同样格式改写后的训练。
|
| 192 |
- **新领域**:在我们自建的、训练里没有的领域的任务上,Gen4 与 Gen3 基本持平(49.3 对 49.5)。这一版的进步在稳健性和校准,不在新领域能力。
|
| 193 |
- **提示注入**:在我们的注入测试集上,状态里植入的指令约有 2% 的概率改变答案;换成训练里没见过的模板约为 6%。请把不可信文本清楚地隔开。
|
|
|
|
| 194 |
- **私有测试**:公开套件上比 Gen3 多出的分数,大部分来自训练数据里有同类任务的基准,0.3 私有测试的涨幅可能小得多,��至更低。
|
| 195 |
|
| 196 |
## 引用
|
|
|
|
| 10 |
- **更不容易被植入的指令带偏**:状态里植入的指令改变答案的比例从 Gen3 的 3.4% 降到 1.6%;换成训练里没见过的注入模板,从 10.2% 降到 6.2%。
|
| 11 |
- **概率经过校准**:权重里已折入一个温度。按榜单的方法计算,ECE 约 0.04-0.05(榜单中位数 0.084),Brier 分数约 0.29-0.31,在榜单 114 个模型里约排第 2-3,见[校准](#校准)。
|
| 12 |
- **其他评测与 Gen3 持平**:JevBench / JevBench 难题集 86.1 / 72.1(Gen3 为 86.6 / 72.1),Open-Jev 1.1 测试 / OOD 88.4 / 87.1(88.4 / 87.2),C-Eval 78.7(79.2)。
|
| 13 |
+
- **没有做过图片训练,也能处理图片**:Gen4 只用文本训练,但推理接口支持图片输入,决策能力能迁移到图片上。在我们按 Decision Index 0.3.1 视觉榜公开套件复现的评测上得分 66.4,同一套评测下原版 Qwen3.5-4B 为 59.4(自测),见[图片输入](#图片输入零样本)。
|
| 14 |
- **拳皇 '98 评测:对 Jev 1.13 为 14 胜 3 负 1 平,对 StartLux-Decision-4B 为 10 胜 4 负 4 平**(单回合同角色镜像对战),打法见[游戏评测](#游戏评测拳皇-98)。
|
| 15 |
- 整个迭代循环由 AI Agent 端到端执行:分析模型在哪些领域效果不佳,提出针对性的数据组,构建数据并去污染,训练、评测,最后根据证据决定保留还是否决这次改动。这一版具体做了什么见[本版做了什么](#本版做了什么)。
|
| 16 |
|
|
|
|
| 145 |
- 目前仅用于探索该模型在 RPA 自动化等领域的情况,并验证存在一定的泛化性。
|
| 146 |
- 任务是从目标元素和页面上随机抽取的最多 5 个其他候选里选出目标,比 Mind2Web 原始评测简单,因此请勿与其排行榜比较。
|
| 147 |
|
| 148 |
+
### 图片输入(零样本)
|
| 149 |
+
|
| 150 |
+
- **没有图片训练**:Gen4 保留了底座原装、未经改动的视觉部分,训练中没有用过任何图片。`knowline_server.py` 支持在对话状态里放 OpenAI 格式的 `image` / `image_url` 内容并转给 SGLang,每道题仍只做一次前向计算。
|
| 151 |
+
- **评测方法**:我们按榜单公布的说明,尽量还原了 Decision Index 0.3.1 视觉榜的公开套件:11 个基准,能对上的都按榜单题量,图片上限 1.6 MP,按扣除随机水平的 skill 计分,按榜单权重加权。用发布的服务端跑了一遍,共 12,192 个请求,0 失败。
|
| 152 |
+
|
| 153 |
+
|
| 154 |
+
| 基准 | Gen4 | 原版 Qwen3.5-4B(同一前端) |
|
| 155 |
+
| -------------------------- | -------- | ------------------- |
|
| 156 |
+
| CV-Bench | 75.7 | 72.1 |
|
| 157 |
+
| BLINK | 58.1 | 59.9 |
|
| 158 |
+
| RealWorldQA | 64.7 | 59.7 |
|
| 159 |
+
| CharXiv | 66.3 | 52.4 |
|
| 160 |
+
| InfographicVQA | 86.3 | 73.2 |
|
| 161 |
+
| Mind2Web | 77.4 | 65.3 |
|
| 162 |
+
| Winoground | 80.5 | 73.5 |
|
| 163 |
+
| KIE(CORD+FUNSD) | 95.5 | 95.7 |
|
| 164 |
+
| 内容审核(Hateful Memes) | 27.1 | 18.4 |
|
| 165 |
+
| R-Bench-M | 14.6 | 6.3 |
|
| 166 |
+
| MMMU-Pro vision | 31.9 | 21.4 |
|
| 167 |
+
| **加权公开分** | **66.4** | 59.4 |
|
| 168 |
+
|
| 169 |
+
|
| 170 |
+
- **决策能力能泛化到图片**:Gen4 比原版高 7.0,提升最多的是图表、信息图、网页截图和试卷类题目,而训练中没有任何图片数据。
|
| 171 |
+
- **仅供参考**:以上是我们在自行复现的题集上的自测结果,不是榜单的官方题目。我们的 CharXiv 干扰项偏向数值题,Mind2Web 的标注框和 KIE 题目由我们自行构造。
|
| 172 |
+
- **较弱的部分**:Hateful Memes、R-Bench-M 和 MMMU-Pro 的专业题,以及 BLINK(多图感知)。
|
| 173 |
+
|
| 174 |
### 游戏评测(拳皇 '98)
|
| 175 |
|
| 176 |
- **赛制**:单回合同角色镜像对战,每组 18 局,每步选概率最高的动作,设置与 Gen1-Gen3 相同。
|
|
|
|
| 218 |
- **数学**:没有推理过程。0.3 重建版 GSM8K 为 61.6,与 Gen3 基本持平,分数来自 GSM8K 训练集按同样格式改写后的训练。
|
| 219 |
- **新领域**:在我们自建的、训练里没有的领域的任务上,Gen4 与 Gen3 基本持平(49.3 对 49.5)。这一版的进步在稳健性和校准,不在新领域能力。
|
| 220 |
- **提示注入**:在我们的注入测试集上,状态里植入的指令约有 2% 的概率改变答案;换成训练里没见过的模板约为 6%。请把不可信文本清楚地隔开。
|
| 221 |
+
- **图片**:没有针对图片做过训练。上面的图片分数是零样本、在我们自建题集上的自测结果,正式使用前请在自己的数据上再核对。
|
| 222 |
- **私有测试**:公开套件上比 Gen3 多出的分数,大部分来自训练数据里有同类任务的基准,0.3 私有测试的涨幅可能小得多,��至更低。
|
| 223 |
|
| 224 |
## 引用
|