PEScn commited on
Commit
3db342a
·
verified ·
1 Parent(s): 3bbb9cd

README.zh.md: add zero-shot image results

Browse files
Files changed (1) hide show
  1. README.zh.md +28 -0
README.zh.md CHANGED
@@ -10,6 +10,7 @@
10
  - **更不容易被植入的指令带偏**:状态里植入的指令改变答案的比例从 Gen3 的 3.4% 降到 1.6%;换成训练里没见过的注入模板,从 10.2% 降到 6.2%。
11
  - **概率经过校准**:权重里已折入一个温度。按榜单的方法计算,ECE 约 0.04-0.05(榜单中位数 0.084),Brier 分数约 0.29-0.31,在榜单 114 个模型里约排第 2-3,见[校准](#校准)。
12
  - **其他评测与 Gen3 持平**:JevBench / JevBench 难题集 86.1 / 72.1(Gen3 为 86.6 / 72.1),Open-Jev 1.1 测试 / OOD 88.4 / 87.1(88.4 / 87.2),C-Eval 78.7(79.2)。
 
13
  - **拳皇 '98 评测:对 Jev 1.13 为 14 胜 3 负 1 平,对 StartLux-Decision-4B 为 10 胜 4 负 4 平**(单回合同角色镜像对战),打法见[游戏评测](#游戏评测拳皇-98)。
14
  - 整个迭代循环由 AI Agent 端到端执行:分析模型在哪些领域效果不佳,提出针对性的数据组,构建数据并去污染,训练、评测,最后根据证据决定保留还是否决这次改动。这一版具体做了什么见[本版做了什么](#本版做了什么)。
15
 
@@ -144,6 +145,32 @@ curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -
144
  - 目前仅用于探索该模型在 RPA 自动化等领域的情况,并验证存在一定的泛化性。
145
  - 任务是从目标元素和页面上随机抽取的最多 5 个其他候选里选出目标,比 Mind2Web 原始评测简单,因此请勿与其排行榜比较。
146
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
147
  ### 游戏评测(拳皇 '98)
148
 
149
  - **赛制**:单回合同角色镜像对战,每组 18 局,每步选概率最高的动作,设置与 Gen1-Gen3 相同。
@@ -191,6 +218,7 @@ curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -
191
  - **数学**:没有推理过程。0.3 重建版 GSM8K 为 61.6,与 Gen3 基本持平,分数来自 GSM8K 训练集按同样格式改写后的训练。
192
  - **新领域**:在我们自建的、训练里没有的领域的任务上,Gen4 与 Gen3 基本持平(49.3 对 49.5)。这一版的进步在稳健性和校准,不在新领域能力。
193
  - **提示注入**:在我们的注入测试集上,状态里植入的指令约有 2% 的概率改变答案;换成训练里没见过的模板约为 6%。请把不可信文本清楚地隔开。
 
194
  - **私有测试**:公开套件上比 Gen3 多出的分数,大部分来自训练数据里有同类任务的基准,0.3 私有测试的涨幅可能小得多,��至更低。
195
 
196
  ## 引用
 
10
  - **更不容易被植入的指令带偏**:状态里植入的指令改变答案的比例从 Gen3 的 3.4% 降到 1.6%;换成训练里没见过的注入模板,从 10.2% 降到 6.2%。
11
  - **概率经过校准**:权重里已折入一个温度。按榜单的方法计算,ECE 约 0.04-0.05(榜单中位数 0.084),Brier 分数约 0.29-0.31,在榜单 114 个模型里约排第 2-3,见[校准](#校准)。
12
  - **其他评测与 Gen3 持平**:JevBench / JevBench 难题集 86.1 / 72.1(Gen3 为 86.6 / 72.1),Open-Jev 1.1 测试 / OOD 88.4 / 87.1(88.4 / 87.2),C-Eval 78.7(79.2)。
13
+ - **没有做过图片训练,也能处理图片**:Gen4 只用文本训练,但推理接口支持图片输入,决策能力能迁移到图片上。在我们按 Decision Index 0.3.1 视觉榜公开套件复现的评测上得分 66.4,同一套评测下原版 Qwen3.5-4B 为 59.4(自测),见[图片输入](#图片输入零样本)。
14
  - **拳皇 '98 评测:对 Jev 1.13 为 14 胜 3 负 1 平,对 StartLux-Decision-4B 为 10 胜 4 负 4 平**(单回合同角色镜像对战),打法见[游戏评测](#游戏评测拳皇-98)。
15
  - 整个迭代循环由 AI Agent 端到端执行:分析模型在哪些领域效果不佳,提出针对性的数据组,构建数据并去污染,训练、评测,最后根据证据决定保留还是否决这次改动。这一版具体做了什么见[本版做了什么](#本版做了什么)。
16
 
 
145
  - 目前仅用于探索该模型在 RPA 自动化等领域的情况,并验证存在一定的泛化性。
146
  - 任务是从目标元素和页面上随机抽取的最多 5 个其他候选里选出目标,比 Mind2Web 原始评测简单,因此请勿与其排行榜比较。
147
 
148
+ ### 图片输入(零样本)
149
+
150
+ - **没有图片训练**:Gen4 保留了底座原装、未经改动的视觉部分,训练中没有用过任何图片。`knowline_server.py` 支持在对话状态里放 OpenAI 格式的 `image` / `image_url` 内容并转给 SGLang,每道题仍只做一次前向计算。
151
+ - **评测方法**:我们按榜单公布的说明,尽量还原了 Decision Index 0.3.1 视觉榜的公开套件:11 个基准,能对上的都按榜单题量,图片上限 1.6 MP,按扣除随机水平的 skill 计分,按榜单权重加权。用发布的服务端跑了一遍,共 12,192 个请求,0 失败。
152
+
153
+
154
+ | 基准 | Gen4 | 原版 Qwen3.5-4B(同一前端) |
155
+ | -------------------------- | -------- | ------------------- |
156
+ | CV-Bench | 75.7 | 72.1 |
157
+ | BLINK | 58.1 | 59.9 |
158
+ | RealWorldQA | 64.7 | 59.7 |
159
+ | CharXiv | 66.3 | 52.4 |
160
+ | InfographicVQA | 86.3 | 73.2 |
161
+ | Mind2Web | 77.4 | 65.3 |
162
+ | Winoground | 80.5 | 73.5 |
163
+ | KIE(CORD+FUNSD) | 95.5 | 95.7 |
164
+ | 内容审核(Hateful Memes) | 27.1 | 18.4 |
165
+ | R-Bench-M | 14.6 | 6.3 |
166
+ | MMMU-Pro vision | 31.9 | 21.4 |
167
+ | **加权公开分** | **66.4** | 59.4 |
168
+
169
+
170
+ - **决策能力能泛化到图片**:Gen4 比原版高 7.0,提升最多的是图表、信息图、网页截图和试卷类题目,而训练中没有任何图片数据。
171
+ - **仅供参考**:以上是我们在自行复现的题集上的自测结果,不是榜单的官方题目。我们的 CharXiv 干扰项偏向数值题,Mind2Web 的标注框和 KIE 题目由我们自行构造。
172
+ - **较弱的部分**:Hateful Memes、R-Bench-M 和 MMMU-Pro 的专业题,以及 BLINK(多图感知)。
173
+
174
  ### 游戏评测(拳皇 '98)
175
 
176
  - **赛制**:单回合同角色镜像对战,每组 18 局,每步选概率最高的动作,设置与 Gen1-Gen3 相同。
 
218
  - **数学**:没有推理过程。0.3 重建版 GSM8K 为 61.6,与 Gen3 基本持平,分数来自 GSM8K 训练集按同样格式改写后的训练。
219
  - **新领域**:在我们自建的、训练里没有的领域的任务上,Gen4 与 Gen3 基本持平(49.3 对 49.5)。这一版的进步在稳健性和校准,不在新领域能力。
220
  - **提示注入**:在我们的注入测试集上,状态里植入的指令约有 2% 的概率改变答案;换成训练里没见过的模板约为 6%。请把不可信文本清楚地隔开。
221
+ - **图片**:没有针对图片做过训练。上面的图片分数是零样本、在我们自建题集上的自测结果,正式使用前请在自己的数据上再核对。
222
  - **私有测试**:公开套件上比 Gen3 多出的分数,大部分来自训练数据里有同类任务的基准,0.3 私有测试的涨幅可能小得多,��至更低。
223
 
224
  ## 引用