v62.2 → v62.3 的过渡说明

checkpoints/v62.2/README.md

@@ -1,19 +1,26 @@
-# v62.2 — 当前版本
+# v62 / v62.1 / v62.2 — 均已被 v62.3 取代
 
-| 文件 | 内容 |
-|---|---|
-| `heteromoe_projspace_v2.pt` | `proj_space`（2.76M）+ `fusion`（50.34M）的权重，**不含**三个骨干 |
-| `report.json` | 训练报告（1500 步，按类别分层 80/20） |
+这几个版本的 checkpoint 与报告已移除，原因分两层：
 
-根目录的 `model.safetensors` 是这份 ckpt 与三个骨干合并后的完整模型，
-端到端推理请用根目录。
+**一、v62.1 / v62.2 的槽门控结论无效。**
+它们的 `proj_space.router` 是 lazy 创建的（`__init__` 里 `s.router=None`，首次 forward 才建），
+后果三连：
+  ① `load_state_dict` 时 `proj_space.router.weight` 被判为 unexpected，权重根本加载不上；
+  ② `trainable` / optimizer 在 router 存在之前就取好，**router 从未被优化**；
+  ③ 熵正则的梯度流向 router，却不在 optimizer 里，被丢弃。
 
-## 关键读数
+⇒ 槽门控完全由一个**随机初始化**的 router 决定。
+「四槽激活率 100%」「槽熵 0.6928」都不成立。
 
-```
-held-out acc   0.9101   (随机 0.25)
-槽门控         [1.0, 1.0, 1.0, 1.0]   熵 0.6928   均衡 1.000
-专家负载       [0.360, 0.731, 0.538, 0.371]   熵 0.476   均衡 0.492
-```
+**专家选择不受影响** —— `fusion.W_router` 是 `nn.Parameter`，从 `__init__` 起就在 `trainable` 里。
 
-⚠️ 专家均为随机初始化、未从真实 FFN 抽取；专家已解冻（偏离 v33 原设定）。
+**二、本目录曾被后续版本覆盖。**
+`train_v2.py` 里的 `CKPT_DIR` 曾硬编码为 `checkpoints/v62.2`，于是每次重训都写进同一个目录，
+出现过「目录名是 v62.2、内容却是 v62.3/v62.4」的错位。
+现已改为 `checkpoints/v{VER}`，两者永远一致。
+（实测 v62.4 与 v62.3 的权重**逐位相同**，故内容无损失。）
+
+## 当前版本
+
+**[`../v62.3/`](../v62.3/)** —— router 改为 eager 创建，权重能加载、也进 optimizer。
+v62.4 起训练脚本直接 import 仓库里的 `projspace.py`（不再内联副本），训练结果与 v62.3 逐位相同。