hetero-moe-projspace — 维度投影空间分析产物（v48–v62 汇总）

本仓库是分析产物的汇聚点。 已合并 hetero-moe-dimspace、hetero-moe-align， 并接收了原 HeteroMoE-v1（v33 结构，已删除）的基准输出证据。

目录（本仓库已合并）

路径	原来在	内容

| dimspace/ | hetero-moe-dimspace | D_shared 扫描与对照（v48–v57） | | align/ | hetero-moe-align | raw/orth/one/per 四种对齐对照（v48 前后） | | v33_reference/ | HeteroMoE-v1（已删） | v33 结构的基准输出证据 | | 根目录 | 本仓库原有 | 算子权重 + 秩扫描 + Q/O 诊断 |

根目录文件：

文件	大小	内容
projspace_equalwidth.pt	2.13 MB	等维版算子权重
projspace_op.pt	1.14 MB	早期版算子权重
projspace_report.json	—	算子规格与自测
rank_sweep.json	—	秩扫描：CKA 与保真度随维度
rank_shared.json	—	共享对齐后各槽的秩变化
qo_diagnose.json	—	Q/O 逐对诊断（关键）
README_equalwidth.json	—	等维版说明

读数一：秩扫描

CKA 从 rank=8 到 768 全程 0.998（与维度无关）；保真度才是维度的函数：

rank	8	24	128	256	384+
CKA	0.998	0.998	0.998	0.998	0.998
保真度	0.060	0.165	0.712	0.9998	1.0000

⇒ 等维对齐无损，压维丢信息（24 维丢 83%），升维无收益。

读数二：Q/O 诊断

槽	两两	三模型同时
Q	0.9893 / 0.9883 / 0.9879	0.6767
O	0.9898 / 0.9890 / 0.9876	0.7168

去 Qwen 后回到 0.9879 / 0.9876。

推翻了一个旧判断：原先以为「Q/O 跨架构对不齐所以要路由」， 实际是一个变换对 3 个模型过定。真正变量是模型数量，不是功能类型。

读数三：四种对齐（align/）

Q 槽 layer1（n=3）：raw 0.3068 / orth 0.3068 / one 0.5624 / per 0.99999

• 正交化与 raw 逐位相同（0.14563487594 vs 0.14563489457）—— 完全没改善
• 单一共享变换只到 0.56
• 成对变换到 0.99999 ← v62 选成对可复合对齐的直接依据

读数四：D_shared 扫描（dimspace/）

「D_shared 该多大」没有答案。 一个固定的数不可能同时适配秩 3 和秩 30 的数据。 v57 把维度从超参改成被观测的状态，v62 改成按功能槽张成的一组子空间。

读数五：v33 为什么错（v33_reference/）

原 HeteroMoE-v1（2.4 GB，v33 结构打包）已删除。原因是三件事同时成立：

1. 零代码引用 —— grep -r "HeteroMoE-v1" --include="*.py" 全仓库为空
2. 不可加载 —— architectures: null，无 auto_map，无建模代码
3. 结论是错的 —— v50/v52/v53 三代审计推翻

第三条的具体读数：

• v50：融合输出对源专家身份的可解码性 1.000，对目标类别只有 0.279 （随机 0.125）→ 该空间里路由的任务是平凡的「认出这是哪个底座的」
• v52：冻结随机臂下 A/B/D 三臂 held-out 逐位相同，fuse 7.18 vs 平凡基线 0.125 → 模型输出与目标无关，它根本没在做这个任务
• v53：三套独立实现同向确认

v33_reference/ 只保留了四个证据文件（1.7 MB）：基准输入 / 输出 / 路由权重 / 3076 参数微调记录。不要把 expected_y.npy 当正确答案 —— 它是那个错误结构的实际输出。

v33_reference/train_report.json 记录了路由塌缩的直接读数：微调 3076 个参数后， Qwen 的专家负载从 [0.04, 0.67, 0.50, 0.79] 变成 [0.0, 1.0, 0.04, 0.0]， 熵从 0.482 掉到 ≈ 0。更集中，不是更均衡。

名字提示

仓库	大小	是什么
hetero-moe-projspace（本仓）	3.5 MB	分析产物
HeteroMoEProjSpace-v2	2.8 GB	完整可加载模型 ← 要用这个

算子源码：GitHub projspace.py