PelaAI
/

KnowLine-4B-Gen2

@@ -9,6 +9,7 @@
 - **Decision Index 0.3 公开套件：62.54**（自测），比 Gen1（60.47）高 2.07。作为对照：Jev 1.13 为 57.96（榜单）；榜单上 ≤5B 模型的最高公开分为 50.82，见[横向对比](#横向对比)。
 - **自测评测全部不低于 Gen1**：自建评测集留出部分（英 / 简 / 繁）69.7 / 71.2 / 64.8（Gen1 为 68.7 / 69.9 / 64.1），C-Eval 78.6（77.9）；状态里植入的指令改变答案的比例从 8.9% 降到 4.0%。
 - **校准更好**：按榜单的方法计算，ECE 约 0.06-0.07（Gen1 约 0.08-0.09，榜单中位数 0.084）；Brier 分数约 0.31-0.33，在榜单 113 个模型里约排第 3，见[校准](#校准)。
 - 整个迭代循环由 AI Agent 端到端执行：分析模型在哪些领域效果不佳，提出针对性的数据组，构建数据并去污染，训练、评测，最后根据证据决定保留还是否决这次改动。这一版具体做了什么见[本版做了什么](#本版做了什么)。
 KnowLine 是独立开发的模型，与 TypeSafe 或 Jev 没有隶属关系，未获其背书，也不是基于它们开发的。
@@ -110,9 +111,27 @@ curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -
 | Open-Jev 1.1 测试 / OOD | 87.4 / 86.6 | 87.4 / 86.6 |
 | 提示注入改变答案的比例（越低越好）     | 4.0%        | 8.9%        |
-### 网页操作与游戏
-Mind2Web 和拳皇 '98 评测尚未在 Gen2 上重测，Gen1 的结果见[其模型卡](https://huggingface.co/PelaAI/KnowLine-4B-Gen1)。
 ### 校准

 - **Decision Index 0.3 公开套件：62.54**（自测），比 Gen1（60.47）高 2.07。作为对照：Jev 1.13 为 57.96（榜单）；榜单上 ≤5B 模型的最高公开分为 50.82，见[横向对比](#横向对比)。
 - **自测评测全部不低于 Gen1**：自建评测集留出部分（英 / 简 / 繁）69.7 / 71.2 / 64.8（Gen1 为 68.7 / 69.9 / 64.1），C-Eval 78.6（77.9）；状态里植入的指令改变答案的比例从 8.9% 降到 4.0%。
 - **校准更好**：按榜单的方法计算，ECE 约 0.06-0.07（Gen1 约 0.08-0.09，榜单中位数 0.084）；Brier 分数约 0.31-0.33，在榜单 113 个模型里约排第 3，见[校准](#校准)。
+- **拳皇 '98 评测：对 Jev 1.13 为 14 胜 3 负 1 平，对 Gen1 为 13 胜 5 负**（单回合同角色镜像对战），打法见[游戏评测](#游戏评测拳皇-98)。
 - 整个迭代循环由 AI Agent 端到端执行：分析模型在哪些领域效果不佳，提出针对性的数据组，构建数据并去污染，训练、评测，最后根据证据决定保留还是否决这次改动。这一版具体做了什么见[本版做了什么](#本版做了什么)。
 KnowLine 是独立开发的模型，与 TypeSafe 或 Jev 没有隶属关系，未获其背书，也不是基于它们开发的。
 | Open-Jev 1.1 测试 / OOD | 87.4 / 86.6 | 87.4 / 86.6 |
 | 提示注入改变答案的比例（越低越好）     | 4.0%        | 8.9%        |
+### 网页操作（Mind2Web 官方测试集，仅用于评测）
+| 划分                       | Gen2 选元素 | Gen2 选操作（三类平均） | Gen1 选元素 | Gen1 选操作（三类平均） |
+| ------------------------ | -------- | ------------- | -------- | ------------- |
+| test\_task（训练中见过的网站、新任务） | 92.9     | 97.0          | 93.1     | 96.6          |
+| test\_website（新网站）       | 90.8     | 97.3          | 90.7     | 96.5          |
+| test\_domain（新领域）        | 91.7     | 97.4          | 91.5     | 98.5          |
+- 与 Gen1 基本持平，差别在误差范围内。
+- 目前仅用于探索该模型在 RPA 自动化等领域的情况，并验证存在一定的泛化性。
+- 任务是从目标元素和页面上随机抽取的最多 5 个其他候选里选出目标，比 Mind2Web 原始评测简单，因此请勿与其排行榜比较。
+### 游戏评测（拳皇 '98）
+- **赛制**：单回合同角色镜像对战，每组 18 局，每步选概率最高的动作，设置与 Gen1 的循环赛相同。
+- **结果**：对 Jev 1.13 为 14 胜 3 负 1 平，对 Gen1 为 13 胜 5 负，对 StartLux-Decision-4B 为 11 胜 7 负；合计 38 胜 15 负 1 平，得分率 0.713 [0.58, 0.82]。
+- **打法**：对 623C 对空升龙的依赖明显降低，使用率 24%（Gen1 在循环赛中约 55%），招式分布也更分散。会按距离选招：近身多用升龙和重拳，中距离多用必杀技 special_2 和重踢，远距离几乎都用 special_2。
+- **说明**：
+  - 每组只有 18 局，置信区间较宽。Gen1 在循环赛中对 Jev 为 17 胜 0 负 1 平，与 Gen2 的 14 胜 3 负 1 平差异不显著。
+  - 54 局中有 36 局以时间到结束，多数胜局按剩余血量判定，不是 K.O.。
+  - 这是在该评测环境中的实测结果，不代表具备全面的格斗游戏能力。
 ### 校准