experiments/ablation.md

ZeroPoint 消融实验（仿论文表 3；历史存档：原名 ZeroMem）

每行只改一处，其余和 base 相同。2000 步，lr 0.003，种子 [0, 1, 2]，其余训练设置同 compare.md。 注意：本表所有行固定 lr 0.003；compare.md 用的是每个模型选出的最佳 lr 0.006（base loss 1.5500 vs 1.5214）。两张表只在各自内部可比，不能混用。 参数量和 base 差超过 1% 的变体，自动调整 MLP 宽度对齐参数量。 Δ = 该行验证 loss 均值 − base 均值（正数表示变差）。

判断标准：每行的阈值 = 2 × max(base 种子间标准差 0.0073, 该行标准差)；例如 λ 固定行 0.0194、8 头行 0.0146。|Δ| 小于阈值的差别不能算数。

	改动	参数量	验证 loss	Δ	结论
base	ZeroPoint：4 头 × 16 槽，写强度门，写入竞争，分层初始化，λ 可学，可学初始状态，无位置编码	115,240	1.5500 ± 0.0073	—	—
(A)	1 个头（每头 64 维）（MLP 宽度调为 306 以对齐参数）	115,366	1.5776 ± 0.0036	+0.0276	变差：这个部件有用
(A)	8 个头（每头 8 维）（MLP 宽度调为 189 以对齐参数）	115,210	1.5673 ± 0.0067	+0.0173	变差：这个部件有用
(B)	每头 4 个槽（MLP 宽度调为 311 以对齐参数）	115,318	1.5466 ± 0.0087	-0.0034	差别不显著
(B)	每头 32 个槽（MLP 宽度调为 183 以对齐参数）	115,222	1.5624 ± 0.0055	+0.0124	差别不显著
(C)	去掉写强度门	114,720	1.5522 ± 0.0072	+0.0022	差别不显著
(D)	写入不竞争：softmax 换成每槽独立的 sigmoid	115,240	1.5487 ± 0.0066	-0.0013	差别不显著
(E)	不分层：所有槽初始半衰期相同（约 9.8 个字）	115,240	1.6010 ± 0.0079	+0.0510	变差：这个部件有用
(F)	λ 固定在初始值，不学习	115,112	1.5784 ± 0.0097	+0.0284	变差：这个部件有用
(G)	加上论文 §3.5 的正弦位置编码	115,240	1.6106 ± 0.0078	+0.0606	变差：这个部件有用