tianxuan / PROGRESS.md
masterofthestars's picture
Tianxuan: full project + data (checkpoints, world_model, data without raw) with correct directory structure
db7bc06
|
Raw History Blame Contribute Delete
23.1 kB

天玄项目 — 进展日志

2026-10-09 — 外部审核 P0/P1 修复落地 (audit-2026-10-08)

审核背景

外部四线并行审核 (工作站/引擎、数值内核、证据门槛、沙箱+群星+文档) 产出 sandbox/audit-2026-10-08/REPORT.md, 8 条 P0 + 10 条 P1。本报告修复 P0 全部 + P1-H/K。

P0 修复 (全部落地 + 编译全绿)

  • P0-A L0 真接: engine.generate 采用 res.output 作为 L0 命中步输出字 (旧实现 res.output 全仓从未被读取, L0 命中步仍跑 peekLogits(4) 深链, 审计记 depth=0/零算力而真实输出是深链结果)。 新增 sandbox/p0a-invariant.ts 不变量测试 (白盒启用 titans + 强制 recallAt + maxLen=1 隔离): L0 命中步 char===注入字 + depth=0 + units=[] PASS ✅。
  • P0-B L0 命中门绑上下文指纹: mem:<ctxFp> (FNV-1a 稳定哈希) 替代 mem:m${i}, 不同上下文的残留键天然失效 (服务器常驻进程不再用上一请求残留键制造假命中)。
  • P0-F 置信度可证伪 + 推理侧拒载: confidence() / logitsToProbs() 非有限 logits → NaN (旧实现全 Inf 塌均匀分布 → 退化模型恒 conf=1.0); Engine.load 落盘前扫描, 任一非有限参数 → 拒载 (ck-full-multi 86% 污染现被拒 ✅, ck-zh-full 正常 ✅); executor 非有限置信度不刷新健康 监控 (不伪造降级假健康), 审计记 nan-output。
  • P0-E MoE 三处 weights[ei]→weights[idx]: 专家聚合/梯度恒 0 不可自愈 → 修复后 moe-gradcheck.js 验证 weights[idx] 非 0 + topK 归一 Σ=1.0 + 32 步后 frac 非全 0 (负载均衡可激活) ✅; 负载均衡梯度真正接入 gateW2/gateB2 (旧 g.g[i] += lbW*0.001*g.p[i] 无调用方, 现经 getFrac() 计算 ∂lbLoss/∂score_k 施负梯度促进均衡), 主训练 + 重放采样双路。
  • P0-D 训练/推理协议统一: CharMultiNeuro.step 末尾回写 state (h1/h2/hist/ids = s4 最终态), 旧实现只读快照不回写 → forwardSeq/生成路径序列上下文被切断 (训练 top-1 34.3% vs 生成 52.0% 来自不同协议根因)。现 state 引用回写, 前后协议同构。

P1 修复

  • P1-K 点火探针 forward 后读取: executor 在 forward 之后读 z:act:<unitId> (旧在 forward 前 读到上一任务陈旧值/占位 0, 首样本恒 0)。非有限置信度不触发提前停止/扩深。
  • P1-H structural 白名单化: assertGate 短路豁免 → 白名单校验 (①evidence.status!=="fail" ②note 含 checkpoint 证据物 ③零参数数值核 vision/speech 移除 structural)。titans/mamba (fail 证据) 不得豁免 → enabled=false; world-model (pending+checkpoint 证据物) 可豁免但保持 enabled=false; vision/speech/cnn (pass 证据) 移除 structural 直接过门槛。daily-check.sh:97 反向要求 ("源码必须出现 structural: true") 改正向白名单校验。

验证

  • tsc exit 0 ✅ | generate 冒烟 ✅ | P0-A 不变量 PASS ✅ | P0-F 拒载 ✅ (ck-full-multi 拒 / ck-zh-full 收)
  • 4 个 gradcheck (cnn 0.0000 / mamba 3.65e-10 / snn 0.0000 / transformer 全过) ✅
  • MoE 专项 gradcheck ✅ | 世界模型 gradcheck ✅ | imagination 探针 0.2857 ≥0.2 ✅
  • L0 探针重测 (健康检查点 ck-zh-full): 命中率 3.1% / 一致性 0.0% — registry titans 数字已从 污染检查点产物 (77.1%/33.8%) 更正为健康检查点实测, 保持 fail/shelf。

待办 (P1 其余)

  • P1-I 成本改实测 (FLOP/墙钟), savingsPct 与实际前向次数并报, cnn:layer4 不可达修 (零成本单元不占预算)
  • P1-N /api/health 暴露 station 健康 + generate 串行化
  • P1-O 沙箱纪律 (ingest.ts/snn/train.ts/validate-online-learning.ts/scripts 接 resolveOutDir)
  • P1-Q stellaris 2×2 消融非真消融 (四组共用一次 run_closed_loop, 数字相同)
  • 建 git 仓库 + 最小 CI (tsc --noEmit + gradcheck + 冒烟门禁)
  • ck-zh-full 续训 5000+ batch → 重跑 imagination/L0 探针 → registry 回填

2026-10-08 — 第一性审核 v4-v7 + 防污染设计落地

世界模型动作因果分离度四次修订 (0.0311 → 0.0635 → 0.1962 → 0.2857)

  • v1 0.0311 (batch 2051, ck-full-multi): 旧转移函数 newState = σ(W_dyn·[memory, action]) ⊙ memory + (1-σ)·obsHidden·tanh(acc) — obsHidden 被 tanh 双压缩到 ≪ memory 量级, 动作敏感度低。
  • v2 0.0635 (256 维量级修复): 去掉 *tanh(acc), obsPropose 与 memory 同量级 — 量级修复有效但天花板仍被 gate 稀释 (动作只经 one-hot gate 一条通路, 被 64 维状态 + tanh 压缩淹没)。
  • v3-v6 0.058→0.083→0.196 (动作独立通路 + 合成轨迹 + 动作效应幅度): 转移改为 newState = tanh(W_dyn·[memory; obsProj; action] + b), action 段 8 列独立 (不经 gate); 完整链式反向 (梯度穿过 outW→decW→dynW 三段→encW 观测列+动作列); 冷启动数据从语料字符序列改为动作驱动合成轨迹 o' = 0.9·o + actEffect[a] (确定性, 动作直接决定下一观测); 动作效应幅度 0.05→0.5 + 密集 sin 编码全 256 维 (旧 32 维块正交被观测/记忆通路压制)。
  • v7 0.2857 (2000 步冷启动): 动作效应 0.5 密集编码 + 完整链式反向 + 2000 步训练 → 0.2857 ≥ 0.2 门槛达成 ✅, 末步重建 0.0410 (<0.5), 相干 0.9545 (世界稳定)。
  • 梯度检查 (wm-gradcheck.js): 数值 vs 解析, dynW action 段 / encW obs 段 / outW / decW / dynB 全通过 (相对误差 <1e-8) ✅。
  • 主模型污染判废: ck-full-multi 86% 参数非有限 (5,137,678/5,989,911), 本次 0.2857 仅作世界模型机制验证, 不回填 enabled — 防线 1-4 已拒载该检查点。

防污染设计 (4 层防线, 全部编译落地)

  • 防线 1 批内源止损 (multineuro.ts Phase 2): 批首 consecutiveBadSteps 计数, 5 批连续参数非有限 → 抛错自毁; Phase 2 哨兵 h1ok 检查跳过 NaN 序列 (不累积 loss, 不回传)。
  • 防线 2 写门 (train.ts saveCheckpoint + world_model.ts save): 落盘前扫描 paramsOut / WM 参数 / meta 载荷 (Titans h1 + Replay 状态), 非有限即拒存。
  • 防线 3 读门 (train.ts resume): 载入前扫描检查点家族 (model.json + world_model.json + meta 载荷), 任一非有限 → process.exit(2) 拒载。
  • 防线 4 恢复 (checkpoint-doctor): 沙箱诊断脚本扫检查点目录, 报告非有限占比 + 首坏位置; imagination-probe 内置健康自检, 主模型污染时提示"仅作机制验证, 非生产结论"。
  • Adam 动量清零修订 (gru.ts + multineuro.ts Phase 6): 非有限批同步清零 Adam 动量 m/v 并跳过本批 Adam — 旧实现只 zeroGrad 仍执行 g.adam(), 非有限二阶矩残留在 v 里永久污染参数 (事故根因之一)。

世界模型 256 维冷启动 (wm-coldstart.js)

  • 零主模型依赖: 动作驱动合成轨迹 32 条 × 64 步, 观测 L2×0.05 (半径 ~0.8), 与探针观测尺度一致。
  • 动作效应 0.5 密集 sin 编码全 256 维 (旧 32 维块正交被观测/记忆通路压制, 敏感度卡 0.05)。
  • 2000 步全有限 ✅, 末次 avgRecon=0.0249 (完整链式反向激活后重建真正收敛)。

行动

  • 主模型 ck-full-multi 判废 (86% 污染), ck-zh-full (batch 1151, 0 污染) 为已知完好基线。
  • 继续训练 ck-zh-full → 5000+ batch → 重跑 imagination-probe → 0.2857 数字在健康检查点上复现 → 回填 registry imagination enabled。
  • stellaris 子项目 (P2) 推迟到 L4 证据回填后再介入 (用户"a+b先a后b")。

2026-10-08 — 每日第一性审核 (午间: 审核 + 处置)

P0 发现 (已处置)

  • 语料快照被污染: 07:34 ck-full-multi 判废进程 (pre-防线二进制) 覆盖了共享快照 sandbox/data/corpus.txt (mtime 04:36, 5M 合成语料)。若直接 resume ck-zh-full, 会触发「语料差异 1,000,000 > 5000, 拒绝续训」卡死。 处置: 新增 scripts/restore-corpus-snapshot.js — 按 train.ts 相同路径 确定性重建 (loadRealFiles → 过滤合成 → join → slice(corpusTokens))。 三重校验通过: 长度=4,000,000 ✓ / 词表 379/379 逐位一致 ✓ / UNK 槽末位 ✓。 sha256=c60fcc39…96a3f, 原子写回完成。
  • ck-full-multi 判废确认: model.json 85.8% 参数非有限 (5,137,678/5,989,911), 防线 1-4 编译在位。07:3x 三次 resume 尝试全部在坏检查点上启动 → 防线 1 批内自毁, 无二次污染。已知完好基线: ck-zh-full (batch 1151, 0 污染, 4M 真实语料)。

P1 发现 (记录, 待办)

  • MoE 路由塌缩: ck-zh-full 批 1191 日志 MoE entropy=0.0000, 专家0=100%; ck-full-multi 末跑 专家0=100%, 专家1=100%, lbLoss=99。topK=2 下专家 0 垄断全部 slot, MoE 退化为固定单专家 + 49 死专家 (~3M 参数空转)。registry moe=pending (未 enabled, 正确), 但需「MoE vs 等参数量无 MoE」消融才可用 (宪章第 7 条)。
  • loss 轨迹跨检查点不可比: ck-zh-full (4M 真实) 批 1191 loss=8.52; ck-full-multi (5M 合成) 批 2281 loss=20-27。语料/进程/路径不同, 数字不可直接对照; 续训后第一批 val loss 出数即可裁决。
  • bootstrap-resume.sh 硬编码 ck-full-multi (判废检查点): ~/.profile 已不含该钩子 (10-04 起只剩 env 加载), 无自动拉起风险, 脚本待统一或删除。
  • .train-paused 不存在, 无训练进程 — ck-zh-full 随时可拉起续训。

沙箱纪律核对 (daily-check 42/42 全绿)

  • 生产 data/ 近 7 天零写入 (10 部 raw + corpus.txt 均 ≤ 10-05) ✓
  • data/checkpoints/ 停留在 9-16, 未动 ✓
  • sandbox/dist 09:45 重建, 含 v4 完整链式反向 + 防线 1-4 ✓
  • 执行顺序「先多神经 → 后预训练」: ✅ L4 机制先落地, 语料期重训进行中 ✓

待办 (按优先级)

  1. ⬜ 拉起 ck-zh-full 续训 (快照已修复, 词表已校验): rm -f sandbox/logs/.train-paused && bash scripts/resume-corpus-zh.sh
  2. ⬜ meta.json 加语料 sha256 + resume 长度硬门禁 (P0 加固, 防快照再次被覆盖)
  3. ⬜ data/raw/.红楼梦.part 完整性已验 (CJK 724,631, END footer ✓) → 改名 红楼梦.txt, 语料扩 11 部
  4. ⬜ 训完: l0-probe-check + Mamba 多种子消融 (真实语料) + imagination-probe 在健康检查点复查
  5. ⬜ MoE 路由塌缩消融 (等参数量对照); STATUS.md 更新 (当前停留在 08-30)

天玄项目 — 进展日志

2026-10-08 — 第一性审核 v4 + 防污染设计落地

世界模型动作因果分离度三次修订 (0.0311 → 0.0635 → 0.2149)

  • v1 0.0311 (batch 2051, ck-full-multi): 旧转移函数 newState = σ(W_dyn·[memory, action]) ⊙ memory + (1-σ)·obsHidden·tanh(acc) — obsHidden 被 tanh 双压缩到 ≪ memory 量级, 动作敏感度低。
  • v2 0.0635 (256 维量级修复): 去掉 *tanh(acc), obsPropose 与 memory 同量级 — 量级修复有效但天花板仍被 gate 稀释 (动作只经 one-hot gate 一条通路, 被 64 维状态 + tanh 压缩淹没)。
  • v3 0.0501 (动作独立通路): 转移改为 newState = tanh(W_dyn·[memory; obsProj; action] + b), action 段 8 列独立 (不经 gate) — 但简化反向只更新 decW/outW, 转移权重 dynW (含动作 8 列) 永远收不到梯度, 动作敏感度 = 随机初值 0.05 固定, 卡死 0.05。
  • v4 0.2149 (完整链式反向 + 合成轨迹冷启动): 反向升级为 outW → decW → dynW (三段: memory/obs/action) → encW (观测列 + 动作列), 梯度穿过整条通路; 冷启动数据从语料字符序列改为动作驱动合成轨迹 (o' = o·decay + actEffect[a] + 噪声, 动作直接决定下一观测) — 世界模型必须学出转移函数 p(o'|o,a) 才能重建, 动作因果敏感度真正可学习。0.2149 ≥ 0.2 门槛, 末步重建误差 0.0184 (<0.5 自推不崩解), 相干性 0.82 (世界稳定)。
  • 主模型污染判废: ck-full-multi 86% 参数非有限 (5,137,678/5,989,911), 本次 0.2149 仅作世界模型机制验证, 不回填 enabled — 防线 1-4 已拒载该检查点。

防污染设计 (4 层防线, 全部编译落地)

  • 防线 1 批内源止损 (multineuro.ts Phase 2): 批首 consecutiveBadSteps 计数, 5 批连续参数非有限 → 抛错自毁; Phase 2 哨兵 h1ok 检查跳过 NaN 序列 (不累积 loss, 不回传)。
  • 防线 2 写门 (train.ts saveCheckpoint + world_model.ts save): 落盘前扫描 paramsOut / WM 参数 / meta 载荷 (Titans h1 + Replay 状态), 非有限即拒存。
  • 防线 3 读门 (train.ts resume): 载入前扫描检查点家族 (model.json + world_model.json + meta 载荷), 任一非有限 → process.exit(2) 拒载。
  • 防线 4 恢复 (checkpoint-doctor): 沙箱诊断脚本扫检查点目录, 报告非有限占比 + 首坏位置; imagination-probe 内置健康自检, 主模型污染时提示"仅作机制验证, 非生产结论"。
  • Adam 动量清零修订 (gru.ts + multineuro.ts Phase 6): 非有限批同步清零 Adam 动量 m/v 并跳过本批 Adam — 旧实现只 zeroGrad 仍执行 g.adam(), 非有限二阶矩残留在 v 里永久污染参数 (事故根因之一)。

世界模型 256 维冷启动 (wm-coldstart.js)

  • 零主模型依赖: 动作驱动合成轨迹 32 条 × 64 步, 观测 L2×0.05 (半径 ~0.8), 与探针观测尺度一致。
  • 500 步全有限 ✅, 末次 avgRecon=0.0734 (完整链式反向激活后重建不再恒 0 — 世界模型真正学到转移)。

行动

  • 主模型 ck-full-multi 判废 (86% 污染), ck-zh-full (batch 1151, 0 污染) 为已知完好基线。
  • 继续训练 ck-zh-full → 5000+ batch → 重跑 imagination-probe → 0.2149 数字在健康检查点上复现 → 回填 registry imagination enabled。
  • stellaris 子项目 (P2) 推迟到 L4 证据回填后再介入 (用户"a+b先a后b")。

2026-10-06 — 语料期重训启动 (10 部真实小说 4M 纯语料, 绑定 L0/Mamba 重测)

背景

2026-10-05 判定: 小合成语料上 Mamba 多种子 Δ=+0.4pt < +1.0 门槛 → fail 降级, 与「语料期重训 (真实语料)」绑定重测。今日执行该重训。

语料补齐 (data/raw/, Project Gutenberg 公版)

  • 10 部小说合计 4,004,053 真实汉字 (每部取 ≤600k): 三国志演义/水浒传/红楼梦(缺)/ 西游记/儒林外史/聊斋志异/史记/东周列国志/隋唐演义/封神演义/世说新语
  • 红楼梦 pg24264 未拉到: gutenberg 对该编号反复 connection reset (10 次 curl 重试全败, 含 schannel close_notify 异常); 先以 10 部启动, 拉到后下轮加回
  • 清理 data/raw/庲椦奜巎.txt (乱码命名, 内容为截断的儒林外史副本, 与 儒林外史.txt 重复 → 已删)

落地

  1. scripts/train-corpus-zh.sh (新): 语料期重训入口 — --realcorpus 1 --realTokens 4000000 (≤ 实际字数 4004053, 纯真实语料不掺合成兜底), 架构与 ck-full-multi 一致 (attn+mamba+cnn+snn+moe+titans, 5,989,911 参数), 产物 sandbox/ck-zh-full
  2. 日志上限 100MB (用户拍板): train.ts 默认 logMaxBytes 10MB→100MB, logger.ts LogRotator/TrainLogger 默认值同步 100MB (脚本另显式传 --logmaxbytes 100000000)
  3. 踩坑修复: train-full.sh/start-train.sh 均以 cd sandbox 方式跑, 但 train.ts 的 loadRealFiles("data/raw") 相对 cwd 解析 → sandbox/data/raw 不存在 → **静默落合成语料 (词表 55, 无真实小说)**。本次两次启动 (PID 2016/210) 均中招已杀掉, 脚本补 --rawdir <绝对路径 data/raw> 显式指定, 验证快照 sandbox/data/corpus.txt 头部为「第一回:宴桃園豪傑三結義…」三国志演义原文
  4. 看门狗指对日志 (新发现): watchdog.ts 默认读 train-full.log, 语料期重训写 train-zh-full.log → 巡检读旧日志 mtime 误判「冻结」杀掉活训练 (同日 08:16 踩坑)。 补 TIANXUAN_LOG / TIANXUAN_CK 环境变量, 巡检须指对日志。脚本末行提示同步更新
  5. 重训中 (PID 6056, 真实语料快照头「第一回:宴桃園豪傑三結義」): 7196 批/epoch × 2, 0.1 批/秒 → 预计 ~1-2 天; 看门狗 TIANXUAN_LOG=logs/train-zh-full.log 巡检

训完动作 (绑定项, 依宪章第 7/8 条数字说话)

  • ⬜ sandbox/l0-probe-check.js 在 ck-zh-full 上复查 L0 一致性 (上轮 33.8% < 0.5, 深链 p=1.0 单点化需大语料复查)
  • ⬜ Mamba 多种子消融 (3/7/11) 改真实语料重跑, Δ ≥ +1.0pt 过门槛则回填 registry evidence 升 enabled
  • ⬜ 红楼梦拉取成功后, 语料扩至 11 部再跑一轮

残留待办

  • ⬜ Mamba 消融脚本 ablation-mamba-multiseed.sh 加 --realcorpus 1 --rawdir 真实语料分支
  • ⬜ gutenberg pg24264 (红楼梦) 重试, 可考虑改走 gutenberg.org 主站 / 镜像

下午: 双 sandbox 路径 bug 修复 (engine.ts dataRoot)

  • 现象: scripts/train-smoke.sh 跑 generate, 日志 Bigram 统计未找到 sandbox\data\bigrams.json 实际去找 C:\...\tianxuan\sandbox\sandbox\data\bigrams.json (双 sandbox), 世界模型/向量库同缺 → 生成裸跑, 路由全 L2, 平均置信 0.00, 输出乱码 (gen-smoke.log「小明。美刚阿小…」无参考价值)
  • 根因: engine.ts 旧逻辑 dataRoot = checkpointDir.includes("sandbox") ? "sandbox/data" : "data" 是相对 cwd 的字符串; 脚本 cd sandbox 后跑 generate 就拼成 sandbox/sandbox/data
  • 修复 (engine.ts 构造器 + load()):
    1. 数据根锚定到 checkpoint 绝对路径: 找 sandbox/data 段推出项目根 → dataRoot = <根>/sandbox/data (沙箱语料快照), prodRoot = <根>/data (生产统计资源, 只读)
    2. 逐资源 pick(): 优先沙箱根, 缺则回退生产根 — 守宪章第 9/10 条 (生产 data/ 永不写), 又让 bigram/世界模型/向量库正常加载
    3. 子目录 checkpoint (checkpoints-mamba/mamba-base 等) 也解析对 (旧逻辑会拼出 sandbox/checkpoints-mamba/data 错层)
  • 验证 (cwd=sandbox 跑 generate ck-zh-full): CN 语义库 4686 块 / 世界模型 31112 参数 / Bigram 9,829,606 条全部命中; 路由统计置信 0.00→0.08。生成仍乱 = 预期 (epoch 1 批 1151, loss 8.85)
  • 观察: 生产 data/bigrams.json 只有 60 unique chars (旧合成语料统计), 词表 380 字覆盖窄; 训完若 bigram 层仍限生成质量, 从 10 部真实小说重建 bigram 统计 (产物归属按宪章 9/10 条定)

傍晚: 关机冻结 (epoch 1 批 1151/7196, 进度 16%)

  • 用户电脑不能 24h 不关机 → 冻结当前训练:
    • 杀 PID 6056 (checkpoint 自动落盘: ck-zh-full meta.epochs=1, lastBatch=1151, 每 50 批周期存点)
    • 建 sandbox/logs/.train-paused 暂停标志 → 开机钩子 bootstrap-resume.sh 不会误拉起 (bootstrap-resume.sh 本身硬编码 ck-full-multi/train-full.log, 未覆盖 ck-zh-full, 待后续统一)
  • 新增 scripts/resume-corpus-zh.sh (断点续训): 读 ck-zh-full/meta.json 取断点, --resume 跑完剩 epoch 1 (批 1151→7196) + 整个 epoch 2; 续训参数全部从 meta 读不硬编码
  • 开机恢复 (两行):
    rm sandbox/logs/.train-paused && bash scripts/resume-corpus-zh.sh
    
  • 剩余 13,241 批 @ 0.1 步/秒 ≈ 37h (4 核 CPU, 单线程训练 — 速度瓶颈是 CPU 单核, 未做批并行)
  • 30 分钟巡检 cron 已取消 (会话内任务, 冻结后无意义); 续训后可重建

2026-10-08 — Titans 在线记忆落盘 bug 修复 + L4 想象滚动机制落地 (专而精)

Titans 在线学习 bug (发现 + 修复)

  • 现象: sandbox/ck-full-multi/meta.json 的 titansWriteLog 恒为 0 条, 续训日志「恢复 Titans 记忆 0 条记录」
  • 根因: multineuro.ts Phase 5 每批 titansWriteLog.push(...) 后同批末尾 this.titansWriteLog = [] 清空, 检查点保存读 getTitansWriteLog() 永远拿到空数组 → 在线记忆不落盘, 续训全丢
  • 修复: titansWriteLog 改滑动窗口保留最近 4096 条 (防内存爆炸), 不再每批清空
  • 验证: 5 batch 内存验证 titansWriteLog 累积 2560 条 (修复前恒 0); 重启训练后检查点 meta.titansWriteLog=4096, 续训日志「恢复 Titans 记忆 4096 条记录」→ bug 修复完全生效
  • 注: integrated_model.ts 的 titansWriteLog 从未被 push, 无同类 bug, 无需修

L4 想象滚动 (ImaginationRollout) — 工业级落地, 专而精不做大

  • 机制 (src/ml/imagination.ts 新): ImaginationRollout 复用已训 WorldModel 转移函数做 N 步自推 (Dreamer/Genie 无输入推进思路, 只借逻辑), 重建观测作为下一步输入; 输出多步重建误差 + 相干性 + 动作因果分离度
  • 专而精: 零新增参数 (完全复用 world_model.json 已训结构层), 滚动步数 N 由调用方给 (默认 8), 算力 O(N·hidden)
  • 探针 (src/ml/imagination-probe.ts 新): 沙箱验证, 主指标=动作因果分离度 (同起点不同动作序列 → 轨迹差异)
    • 观测用主模型真实 embedAvg (checkpoint model.json 前段直读 emb 矩阵, 绕开 CharMultiNeuro 全参数布局失配)
    • 指标勘误: 旧「语料 vs 噪声初始观测分离度差」恒≈0 — 世界模型转移函数不读观测嵌入 (仅走编码器丢弃), 指标选错
  • registry (src/station/registry.ts): 登记 imagination 条目, evidence.result=0.0311 (动作因果分离度, < 0.2 门槛), status=pending, 保持 shelf 不得 enabled (宪章第 7/8 条: 需世界模型训练量跟上后复查)

世界模型根因修复 (因果分离度 0.0311 的底层原因)

  • 维度不匹配: multineuro.ts Phase 5.5 训练喂 GRU h1 (hidden=256 维) 给世界模型, 但 WorldModel.embDim 旧值=cfg.emb=64 → 世界模型在 256 维观测上训练但只吃前 64 维, 后 192 维全丢
  • 观测丢弃: world_model.ts encode 里观测编码器输出 obsHidden 被算出却丢弃, 门控只读 [memory, action], 初始观测不传导到状态转移 → 世界模型对动作敏感度不足
  • 修复 (两处):
    1. multineuro.ts: 世界模型 embDim 对齐到 cfg.hidden (256), 与训练喂的 h1 维度一致
    2. world_model.ts encode: 门控融合观测驱动 — newState = σ(W_dyn·[memory,action]) ⊙ memory + (1-σ) ⊙ obsPropose, 观测经编码器提案状态, 动作经门控调节「保持旧记忆 vs 接受观测更新」
  • 兼容性: 旧检查点 world_model.json 是 64 维布局, 新代码 256 维 → loadWorldModelState 检测维度不匹配 时跳过载入 (世界模型用随机初值重训), 不破坏主模型参数
  • 重启训练: 杀掉旧进程 (修复前二进制), 用新二进制从 2201 batch 续训 (Titans 4096 条恢复), 世界模型重训中

待办 (B: 等世界模型跟上后重跑探针)

  • ⬜ 世界模型在 256 维正确观测空间上训练量充足后, 重跑 imagination-probe 复查动作因果分离度
  • ⬜ 分离度 ≥ 0.2 门槛才回填 registry imagination evidence 为 pass → 允许 enabled
  • ⬜ 当前 0.0311 记录在案 (宪章第 7/8 条: 证据说话, 不强行 enabled)