| # r5B 可集成终版宣言 (Integration Declaration r5b-2) |
|
|
| 宣布 **round5-B (ckpt_2b_r5b)** 为 Ponder-动态MoE 2B 线的**可集成终版**, 自本宣言起冻结。 |
|
|
| ## 判据 (90 条 zh_cot, 口径: use_cache=False / bs=2 / fp16) |
|
|
| | bucket | CE (live 参考) | CE (合并发布包) | Δ(合并舍入) | steps (live) | steps (发布包) | |
| |---|---|---|---|---|---| |
| | easy | 3.2643 | 3.2645 | +0.0002 | 2.43 | 2.43 | |
| | medium | 3.5550 | 3.5552 | +0.0001 | 2.60 | 2.60 | |
| | hard | 3.3185 | 3.3181 | -0.0004 | 2.87 | 2.87 | |
|
|
| - hard − easy steps 分化 **+0.067 → +0.433 (×6.5)**, 三桶严格单调 (对分探针 A 配置与 |
| eval_2b_r5b.json 小数点后四位复现); 合并发布包分化 +0.33, 单调性保持 |
| - CE 全桶回落 −0.70 ~ −0.93 (相对 round7 基线 4.02-4.23); 合并舍入代价 ≤0.065 CE |
| - per-step CE (方向②, weight=0.5) 一轮命中判据, hard 桶"多想"倾向成立 |
| - 合并完整性: LoRA 并入后 L36 q_proj 位移 0.0131; head(fp32) bias −3.9785; |
| Router std 0.0202; 对分探针 D 配置确认 LoRA 贡献 CE −1.3 ~ −1.7 |
| |
| ## 冻结项 |
| |
| 1. 结构三参数: start=34 / K=8 / W=1; MoE: 8 同构专家 τ=0.125; MTP D=2 (推理旁路) |
| 2. 推理语义: 见 serve_contract.json (r5b-2); **评估/推理口径冻结为 use_cache=False** |
| (KV-cache 路径的 ponder 窗口重算与 commit pass 语义与参考评估不一致, 禁用于对拍) |
| 3. 权重: 发布包 model.safetensors = 基座 + r5B(LoRA 合并 + halting 头 + Router/MTP) 全量固化 |
| |
| ## 集成产物 |
| |
| - 仓: **tchbcb/samai-pnet-dmoe-2b** (用户指定名 tchbcn/ 因 token 属主为 tchbcb 落于 |
| tchbcb/, 用户已确认; 仓内容与命名意图一致) |
| - 形态: 单 safetensors (5.09GB) + 自洽 modeling_samai_pnet.py, `trust_remote_code=True` 拉取即跑 |
| |
| ## 后续 |
| |
| - Terminal-Bench 2.0 式协议测评 (round7 基线 / 原始基座 / r5B 终版 三方对比) |
| - 方向② 权重敏感性扫描 (0.5 未扫) 与方向① MLP-256 halt 头叠加留档待排 |
| |
