PEScn commited on
Commit
2360ac1
·
verified ·
1 Parent(s): 230724f

README.zh.md: release date, table formatting

Browse files
Files changed (1) hide show
  1. README.zh.md +7 -7
README.zh.md CHANGED
@@ -90,7 +90,7 @@ curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -
90
 
91
  | 模型 | 日期 | DI 0.3 公开 | DI 0.2.1 | 黄金集留出(英 / 简 / 繁) | 说明 |
92
  | --------------------- | ---------- | --------- | -------- | ------------------ | ---------------------------- |
93
- | KnowLine-4B-Gen2(本模型) | 2026-10-07 | 62.54 | — | 69.7 / 71.2 / 64.8 | Gen1 占 0.5,mix F 第 4,500、5,000 步各占 0.25,权重平均 |
94
  | [KnowLine-4B-Gen1](https://huggingface.co/PelaAI/KnowLine-4B-Gen1) | 2026-10-07 | 60.47 | 60.92 | 68.7 / 69.9 / 64.1 | 首次发布(内部运行 "mix E",第 5,650 步) |
95
 
96
  从 Gen2 起只跑 Decision Index 0.3,不再跑 0.2.1。
@@ -118,12 +118,12 @@ Mind2Web 和拳皇 '98 评测尚未在 Gen2 上重测,Gen1 的结果见[其模
118
 
119
  按 Decision Index 榜单说明的方法,在 0.3 公开套件上计算:逐字段判断对错,置信度取所选选项的概率,各基准等权,10 个等宽分箱。
120
 
121
- | 指标 | Gen2 | Gen1 | 榜单中位数(112 个模型) | Jev 1.13 |
122
- | --- | --- | --- | --- | --- |
123
- | ECE(越低越好) | 0.06-0.07 | 0.08-0.09 | 0.084 | 0.074 |
124
- | Brier 分数(越低越好) | 0.31-0.33 | 0.34-0.36 | 0.49 | 0.36 |
125
- | 置信度 ≥95% 但答错的比例 | 2.2% | 3.3% | 1.3% | 2.1% |
126
- | 平均置信度 / 准确率 | 0.83 / 0.76 | 0.84 / 0.74 | | 0.81 / 0.74 |
127
 
128
  - **为什么是区间**:榜单没有公布具体用了哪 32 个基准。我们用三个公开了结果的榜单模型核对,自算的 ECE 与榜单值最多相差约 0.015,所以按几种可能的基准组合给出区间。
129
  - **整体仍偏自信**:平均置信度比准确率高约 7 个点。偏差集中在难推理题(HLE、CRUXEval)、幽默判断(Humicroedit)和颜色判断(cfcolor)。
 
90
 
91
  | 模型 | 日期 | DI 0.3 公开 | DI 0.2.1 | 黄金集留出(英 / 简 / 繁) | 说明 |
92
  | --------------------- | ---------- | --------- | -------- | ------------------ | ---------------------------- |
93
+ | KnowLine-4B-Gen2(本模型) | 2026-10-08 | 62.54 | — | 69.7 / 71.2 / 64.8 | Gen1 占 0.5,mix F 第 4,500、5,000 步各占 0.25,权重平均 |
94
  | [KnowLine-4B-Gen1](https://huggingface.co/PelaAI/KnowLine-4B-Gen1) | 2026-10-07 | 60.47 | 60.92 | 68.7 / 69.9 / 64.1 | 首次发布(内部运行 "mix E",第 5,650 步) |
95
 
96
  从 Gen2 起只跑 Decision Index 0.3,不再跑 0.2.1。
 
118
 
119
  按 Decision Index 榜单说明的方法,在 0.3 公开套件上计算:逐字段判断对错,置信度取所选选项的概率,各基准等权,10 个等宽分箱。
120
 
121
+ | 指标 | Gen2 | Gen1 | 榜单中位数(112 个模型) | Jev 1.13 |
122
+ | --------------- | ----------- | ----------- | -------------- | ----------- |
123
+ | ECE(越低越好) | 0.06-0.07 | 0.08-0.09 | 0.084 | 0.074 |
124
+ | Brier 分数(越低越好) | 0.31-0.33 | 0.34-0.36 | 0.49 | 0.36 |
125
+ | 置信度 ≥95% 但答错的比例 | 2.2% | 3.3% | 1.3% | 2.1% |
126
+ | 平均置信度 / 准确率 | 0.83 / 0.76 | 0.84 / 0.74 | | 0.81 / 0.74 |
127
 
128
  - **为什么是区间**:榜单没有公布具体用了哪 32 个基准。我们用三个公开了结果的榜单模型核对,自算的 ECE 与榜单值最多相差约 0.015,所以按几种可能的基准组合给出区间。
129
  - **整体仍偏自信**:平均置信度比准确率高约 7 个点。偏差集中在难推理题(HLE、CRUXEval)、幽默判断(Humicroedit)和颜色判断(cfcolor)。