r5B 可集成终版宣言 (Integration Declaration r5b-2)
宣布 round5-B (ckpt_2b_r5b) 为 Ponder-动态MoE 2B 线的可集成终版, 自本宣言起冻结。
判据 (90 条 zh_cot, 口径: use_cache=False / bs=2 / fp16)
| bucket | CE (live 参考) | CE (合并发布包) | Δ(合并舍入) | steps (live) | steps (发布包) |
|---|---|---|---|---|---|
| easy | 3.2643 | 3.2645 | +0.0002 | 2.43 | 2.43 |
| medium | 3.5550 | 3.5552 | +0.0001 | 2.60 | 2.60 |
| hard | 3.3185 | 3.3181 | -0.0004 | 2.87 | 2.87 |
- hard − easy steps 分化 +0.067 → +0.433 (×6.5), 三桶严格单调 (对分探针 A 配置与 eval_2b_r5b.json 小数点后四位复现); 合并发布包分化 +0.33, 单调性保持
- CE 全桶回落 −0.70 ~ −0.93 (相对 round7 基线 4.02-4.23); 合并舍入代价 ≤0.065 CE
- per-step CE (方向②, weight=0.5) 一轮命中判据, hard 桶"多想"倾向成立
- 合并完整性: LoRA 并入后 L36 q_proj 位移 0.0131; head(fp32) bias −3.9785; Router std 0.0202; 对分探针 D 配置确认 LoRA 贡献 CE −1.3 ~ −1.7
冻结项
- 结构三参数: start=34 / K=8 / W=1; MoE: 8 同构专家 τ=0.125; MTP D=2 (推理旁路)
- 推理语义: 见 serve_contract.json (r5b-2); 评估/推理口径冻结为 use_cache=False (KV-cache 路径的 ponder 窗口重算与 commit pass 语义与参考评估不一致, 禁用于对拍)
- 权重: 发布包 model.safetensors = 基座 + r5B(LoRA 合并 + halting 头 + Router/MTP) 全量固化
集成产物
- 仓: tchbcb/samai-pnet-dmoe-2b (用户指定名 tchbcn/ 因 token 属主为 tchbcb 落于 tchbcb/, 用户已确认; 仓内容与命名意图一致)
- 形态: 单 safetensors (5.09GB) + 自洽 modeling_samai_pnet.py,
trust_remote_code=True拉取即跑
后续
- Terminal-Bench 2.0 式协议测评 (round7 基线 / 原始基座 / r5B 终版 三方对比)
- 方向② 权重敏感性扫描 (0.5 未扫) 与方向① MLP-256 halt 头叠加留档待排