tianxuan / PROGRESS.md
masterofthestars's picture
Tianxuan: full project + data (checkpoints, world_model, data without raw) with correct directory structure
db7bc06
|
Raw History Blame Contribute Delete
23.1 kB
# 天玄项目 — 进展日志
## 2026-10-09 — 外部审核 P0/P1 修复落地 (audit-2026-10-08)
### 审核背景
外部四线并行审核 (工作站/引擎、数值内核、证据门槛、沙箱+群星+文档) 产出
`sandbox/audit-2026-10-08/REPORT.md`, 8 条 P0 + 10 条 P1。本报告修复 P0 全部 + P1-H/K。
### P0 修复 (全部落地 + 编译全绿)
- **P0-A L0 真接**: engine.generate 采用 `res.output` 作为 L0 命中步输出字 (旧实现 res.output
全仓从未被读取, L0 命中步仍跑 peekLogits(4) 深链, 审计记 depth=0/零算力而真实输出是深链结果)。
新增 `sandbox/p0a-invariant.ts` 不变量测试 (白盒启用 titans + 强制 recallAt + maxLen=1 隔离):
L0 命中步 char===注入字 + depth=0 + units=[] PASS ✅。
- **P0-B L0 命中门绑上下文指纹**: `mem:<ctxFp>` (FNV-1a 稳定哈希) 替代 `mem:m${i}`,
不同上下文的残留键天然失效 (服务器常驻进程不再用上一请求残留键制造假命中)。
- **P0-F 置信度可证伪 + 推理侧拒载**: `confidence()` / `logitsToProbs()` 非有限 logits → NaN
(旧实现全 Inf 塌均匀分布 → 退化模型恒 conf=1.0); `Engine.load` 落盘前扫描, 任一非有限参数 →
拒载 (ck-full-multi 86% 污染现被拒 ✅, ck-zh-full 正常 ✅); executor 非有限置信度不刷新健康
监控 (不伪造降级假健康), 审计记 nan-output。
- **P0-E MoE 三处 `weights[ei]→weights[idx]`**: 专家聚合/梯度恒 0 不可自愈 → 修复后
`moe-gradcheck.js` 验证 weights[idx] 非 0 + topK 归一 Σ=1.0 + 32 步后 frac 非全 0 (负载均衡可激活) ✅;
负载均衡梯度真正接入 gateW2/gateB2 (旧 `g.g[i] += lbW*0.001*g.p[i]` 无调用方, 现经 getFrac() 计算
∂lbLoss/∂score_k 施负梯度促进均衡), 主训练 + 重放采样双路。
- **P0-D 训练/推理协议统一**: `CharMultiNeuro.step` 末尾回写 state (h1/h2/hist/ids = s4 最终态),
旧实现只读快照不回写 → forwardSeq/生成路径序列上下文被切断 (训练 top-1 34.3% vs 生成 52.0%
来自不同协议根因)。现 state 引用回写, 前后协议同构。
### P1 修复
- **P1-K 点火探针 forward 后读取**: executor 在 forward 之后读 `z:act:<unitId>` (旧在 forward 前
读到上一任务陈旧值/占位 0, 首样本恒 0)。非有限置信度不触发提前停止/扩深。
- **P1-H structural 白名单化**: `assertGate` 短路豁免 → 白名单校验 (①evidence.status!=="fail"
②note 含 checkpoint 证据物 ③零参数数值核 vision/speech 移除 structural)。titans/mamba (fail 证据)
不得豁免 → enabled=false; world-model (pending+checkpoint 证据物) 可豁免但保持 enabled=false;
vision/speech/cnn (pass 证据) 移除 structural 直接过门槛。`daily-check.sh:97` 反向要求
("源码必须出现 structural: true") 改正向白名单校验。
### 验证
- tsc exit 0 ✅ | generate 冒烟 ✅ | P0-A 不变量 PASS ✅ | P0-F 拒载 ✅ (ck-full-multi 拒 / ck-zh-full 收)
- 4 个 gradcheck (cnn 0.0000 / mamba 3.65e-10 / snn 0.0000 / transformer 全过) ✅
- MoE 专项 gradcheck ✅ | 世界模型 gradcheck ✅ | imagination 探针 0.2857 ≥0.2 ✅
- L0 探针重测 (健康检查点 ck-zh-full): 命中率 3.1% / 一致性 0.0% — registry titans 数字已从
污染检查点产物 (77.1%/33.8%) 更正为健康检查点实测, 保持 fail/shelf。
### 待办 (P1 其余)
- P1-I 成本改实测 (FLOP/墙钟), savingsPct 与实际前向次数并报, cnn:layer4 不可达修 (零成本单元不占预算)
- P1-N /api/health 暴露 station 健康 + generate 串行化
- P1-O 沙箱纪律 (ingest.ts/snn/train.ts/validate-online-learning.ts/scripts 接 resolveOutDir)
- P1-Q stellaris 2×2 消融非真消融 (四组共用一次 run_closed_loop, 数字相同)
- 建 git 仓库 + 最小 CI (tsc --noEmit + gradcheck + 冒烟门禁)
- ck-zh-full 续训 5000+ batch → 重跑 imagination/L0 探针 → registry 回填
## 2026-10-08 — 第一性审核 v4-v7 + 防污染设计落地
### 世界模型动作因果分离度四次修订 (0.0311 → 0.0635 → 0.1962 → **0.2857**)
- **v1 0.0311** (batch 2051, ck-full-multi): 旧转移函数 `newState = σ(W_dyn·[memory, action]) ⊙ memory + (1-σ)·obsHidden·tanh(acc)` — obsHidden 被 tanh 双压缩到 ≪ memory 量级, 动作敏感度低。
- **v2 0.0635** (256 维量级修复): 去掉 `*tanh(acc)`, obsPropose 与 memory 同量级 — 量级修复有效但天花板仍被 gate 稀释 (动作只经 one-hot gate 一条通路, 被 64 维状态 + tanh 压缩淹没)。
- **v3-v6 0.058→0.083→0.196** (动作独立通路 + 合成轨迹 + 动作效应幅度): 转移改为 `newState = tanh(W_dyn·[memory; obsProj; action] + b)`, action 段 8 列独立 (不经 gate); 完整链式反向 (梯度穿过 outW→decW→dynW 三段→encW 观测列+动作列); 冷启动数据从语料字符序列改为**动作驱动合成轨迹** `o' = 0.9·o + actEffect[a]` (确定性, 动作直接决定下一观测); 动作效应幅度 0.05→0.5 + 密集 sin 编码全 256 维 (旧 32 维块正交被观测/记忆通路压制)。
- **v7 0.2857** (2000 步冷启动): 动作效应 0.5 密集编码 + 完整链式反向 + 2000 步训练 → **0.2857 ≥ 0.2 门槛达成** ✅, 末步重建 0.0410 (<0.5), 相干 0.9545 (世界稳定)。
- **梯度检查** (wm-gradcheck.js): 数值 vs 解析, dynW action 段 / encW obs 段 / outW / decW / dynB 全通过 (相对误差 <1e-8) ✅。
- **主模型污染判废**: ck-full-multi 86% 参数非有限 (5,137,678/5,989,911), 本次 0.2857 仅作世界模型机制验证, 不回填 enabled — 防线 1-4 已拒载该检查点。
### 防污染设计 (4 层防线, 全部编译落地)
- **防线 1 批内源止损** (multineuro.ts Phase 2): 批首 `consecutiveBadSteps` 计数, 5 批连续参数非有限 → 抛错自毁; Phase 2 哨兵 `h1ok` 检查跳过 NaN 序列 (不累积 loss, 不回传)。
- **防线 2 写门** (train.ts saveCheckpoint + world_model.ts save): 落盘前扫描 `paramsOut` / WM 参数 / meta 载荷 (Titans h1 + Replay 状态), 非有限即拒存。
- **防线 3 读门** (train.ts resume): 载入前扫描检查点家族 (model.json + world_model.json + meta 载荷), 任一非有限 → `process.exit(2)` 拒载。
- **防线 4 恢复** (checkpoint-doctor): 沙箱诊断脚本扫检查点目录, 报告非有限占比 + 首坏位置; imagination-probe 内置健康自检, 主模型污染时提示"仅作机制验证, 非生产结论"。
- **Adam 动量清零修订** (gru.ts + multineuro.ts Phase 6): 非有限批同步清零 Adam 动量 m/v 并跳过本批 Adam — 旧实现只 zeroGrad 仍执行 g.adam(), 非有限二阶矩残留在 v 里永久污染参数 (事故根因之一)。
### 世界模型 256 维冷启动 (wm-coldstart.js)
- 零主模型依赖: 动作驱动合成轨迹 32 条 × 64 步, 观测 L2×0.05 (半径 ~0.8), 与探针观测尺度一致。
- 动作效应 0.5 密集 sin 编码全 256 维 (旧 32 维块正交被观测/记忆通路压制, 敏感度卡 0.05)。
- 2000 步全有限 ✅, 末次 avgRecon=0.0249 (完整链式反向激活后重建真正收敛)。
### 行动
- 主模型 ck-full-multi 判废 (86% 污染), ck-zh-full (batch 1151, 0 污染) 为已知完好基线。
- 继续训练 ck-zh-full → 5000+ batch → 重跑 imagination-probe → 0.2857 数字在健康检查点上复现 → 回填 registry `imagination` enabled。
- stellaris 子项目 (P2) 推迟到 L4 证据回填后再介入 (用户"a+b先a后b")。
## 2026-10-08 — 每日第一性审核 (午间: 审核 + 处置)
### P0 发现 (已处置)
- **语料快照被污染**: 07:34 ck-full-multi 判废进程 (pre-防线二进制) 覆盖了共享快照
`sandbox/data/corpus.txt` (mtime 04:36, 5M 合成语料)。若直接 `resume ck-zh-full`,
会触发「语料差异 1,000,000 > 5000, 拒绝续训」卡死。
**处置**: 新增 `scripts/restore-corpus-snapshot.js` — 按 train.ts 相同路径
确定性重建 (loadRealFiles → 过滤合成 → join → slice(corpusTokens))。
三重校验通过: 长度=4,000,000 ✓ / 词表 379/379 逐位一致 ✓ / UNK 槽末位 ✓。
sha256=c60fcc39…96a3f, 原子写回完成。
- **ck-full-multi 判废确认**: `model.json` 85.8% 参数非有限 (5,137,678/5,989,911),
防线 1-4 编译在位。07:3x 三次 resume 尝试全部在坏检查点上启动 → 防线 1 批内自毁,
无二次污染。已知完好基线: **ck-zh-full** (batch 1151, 0 污染, 4M 真实语料)。
### P1 发现 (记录, 待办)
- **MoE 路由塌缩**: ck-zh-full 批 1191 日志 `MoE entropy=0.0000, 专家0=100%`;
ck-full-multi 末跑 `专家0=100%, 专家1=100%, lbLoss=99`。topK=2 下专家 0 垄断全部 slot,
MoE 退化为固定单专家 + 49 死专家 (~3M 参数空转)。registry moe=pending (未 enabled, 正确),
但需「MoE vs 等参数量无 MoE」消融才可用 (宪章第 7 条)。
- **loss 轨迹跨检查点不可比**: ck-zh-full (4M 真实) 批 1191 loss=8.52;
ck-full-multi (5M 合成) 批 2281 loss=20-27。语料/进程/路径不同, 数字不可直接对照;
续训后第一批 val loss 出数即可裁决。
- **bootstrap-resume.sh 硬编码 ck-full-multi** (判废检查点):
~/.profile 已不含该钩子 (10-04 起只剩 env 加载), 无自动拉起风险, 脚本待统一或删除。
- **`.train-paused` 不存在, 无训练进程** — ck-zh-full 随时可拉起续训。
### 沙箱纪律核对 (daily-check 42/42 全绿)
- 生产 `data/` 近 7 天零写入 (10 部 raw + corpus.txt 均 ≤ 10-05) ✓
- `data/checkpoints/` 停留在 9-16, 未动 ✓
- `sandbox/dist` 09:45 重建, 含 v4 完整链式反向 + 防线 1-4 ✓
- 执行顺序「先多神经 → 后预训练」: ✅ L4 机制先落地, 语料期重训进行中 ✓
### 待办 (按优先级)
1. ⬜ 拉起 ck-zh-full 续训 (快照已修复, 词表已校验): `rm -f sandbox/logs/.train-paused && bash scripts/resume-corpus-zh.sh`
2. ⬜ meta.json 加语料 sha256 + resume 长度硬门禁 (P0 加固, 防快照再次被覆盖)
3. ⬜ `data/raw/.红楼梦.part` 完整性已验 (CJK 724,631, END footer ✓) → 改名 `红楼梦.txt`, 语料扩 11 部
4. ⬜ 训完: l0-probe-check + Mamba 多种子消融 (真实语料) + imagination-probe 在健康检查点复查
5. ⬜ MoE 路由塌缩消融 (等参数量对照); STATUS.md 更新 (当前停留在 08-30)
---
# 天玄项目 — 进展日志
## 2026-10-08 — 第一性审核 v4 + 防污染设计落地
### 世界模型动作因果分离度三次修订 (0.0311 → 0.0635 → 0.2149)
- **v1 0.0311** (batch 2051, ck-full-multi): 旧转移函数 `newState = σ(W_dyn·[memory, action]) ⊙ memory + (1-σ)·obsHidden·tanh(acc)` — obsHidden 被 tanh 双压缩到 ≪ memory 量级, 动作敏感度低。
- **v2 0.0635** (256 维量级修复): 去掉 `*tanh(acc)`, obsPropose 与 memory 同量级 — 量级修复有效但天花板仍被 gate 稀释 (动作只经 one-hot gate 一条通路, 被 64 维状态 + tanh 压缩淹没)。
- **v3 0.0501** (动作独立通路): 转移改为 `newState = tanh(W_dyn·[memory; obsProj; action] + b)`, action 段 8 列独立 (不经 gate) — 但**简化反向只更新 decW/outW, 转移权重 dynW (含动作 8 列) 永远收不到梯度**, 动作敏感度 = 随机初值 0.05 固定, 卡死 0.05。
- **v4 0.2149** (完整链式反向 + 合成轨迹冷启动): 反向升级为 `outW → decW → dynW (三段: memory/obs/action) → encW (观测列 + 动作列)`, 梯度穿过整条通路; 冷启动数据从语料字符序列改为**动作驱动合成轨迹** (`o' = o·decay + actEffect[a] + 噪声`, 动作直接决定下一观测) — 世界模型必须学出转移函数 p(o'|o,a) 才能重建, 动作因果敏感度真正可学习。**0.2149 ≥ 0.2 门槛**, 末步重建误差 0.0184 (<0.5 自推不崩解), 相干性 0.82 (世界稳定)。
- **主模型污染判废**: ck-full-multi 86% 参数非有限 (5,137,678/5,989,911), 本次 0.2149 仅作世界模型机制验证, 不回填 enabled — 防线 1-4 已拒载该检查点。
### 防污染设计 (4 层防线, 全部编译落地)
- **防线 1 批内源止损** (multineuro.ts Phase 2): 批首 `consecutiveBadSteps` 计数, 5 批连续参数非有限 → 抛错自毁; Phase 2 哨兵 `h1ok` 检查跳过 NaN 序列 (不累积 loss, 不回传)。
- **防线 2 写门** (train.ts saveCheckpoint + world_model.ts save): 落盘前扫描 `paramsOut` / WM 参数 / meta 载荷 (Titans h1 + Replay 状态), 非有限即拒存。
- **防线 3 读门** (train.ts resume): 载入前扫描检查点家族 (model.json + world_model.json + meta 载荷), 任一非有限 → `process.exit(2)` 拒载。
- **防线 4 恢复** (checkpoint-doctor): 沙箱诊断脚本扫检查点目录, 报告非有限占比 + 首坏位置; imagination-probe 内置健康自检, 主模型污染时提示"仅作机制验证, 非生产结论"。
- **Adam 动量清零修订** (gru.ts + multineuro.ts Phase 6): 非有限批同步清零 Adam 动量 m/v 并跳过本批 Adam — 旧实现只 zeroGrad 仍执行 g.adam(), 非有限二阶矩残留在 v 里永久污染参数 (事故根因之一)。
### 世界模型 256 维冷启动 (wm-coldstart.js)
- 零主模型依赖: 动作驱动合成轨迹 32 条 × 64 步, 观测 L2×0.05 (半径 ~0.8), 与探针观测尺度一致。
- 500 步全有限 ✅, 末次 avgRecon=0.0734 (完整链式反向激活后重建不再恒 0 — 世界模型真正学到转移)。
### 行动
- 主模型 ck-full-multi 判废 (86% 污染), ck-zh-full (batch 1151, 0 污染) 为已知完好基线。
- 继续训练 ck-zh-full → 5000+ batch → 重跑 imagination-probe → 0.2149 数字在健康检查点上复现 → 回填 registry `imagination` enabled。
- stellaris 子项目 (P2) 推迟到 L4 证据回填后再介入 (用户"a+b先a后b")。
## 2026-10-06 — 语料期重训启动 (10 部真实小说 4M 纯语料, 绑定 L0/Mamba 重测)
### 背景
2026-10-05 判定: 小合成语料上 Mamba 多种子 Δ=+0.4pt < +1.0 门槛 → fail 降级,
与「语料期重训 (真实语料)」绑定重测。今日执行该重训。
### 语料补齐 (data/raw/, Project Gutenberg 公版)
- 10 部小说合计 **4,004,053 真实汉字** (每部取 ≤600k): 三国志演义/水浒传/红楼梦(缺)/
西游记/儒林外史/聊斋志异/史记/东周列国志/隋唐演义/封神演义/世说新语
- **红楼梦 pg24264 未拉到**: gutenberg 对该编号反复 connection reset (10 次 curl 重试全败,
含 schannel close_notify 异常); 先以 10 部启动, 拉到后下轮加回
- 清理 `data/raw/庲椦奜巎.txt` (乱码命名, 内容为截断的儒林外史副本, 与 儒林外史.txt 重复 → 已删)
### 落地
1. **`scripts/train-corpus-zh.sh`** (新): 语料期重训入口 — `--realcorpus 1 --realTokens 4000000`
(≤ 实际字数 4004053, **纯真实语料不掺合成兜底**), 架构与 ck-full-multi 一致
(attn+mamba+cnn+snn+moe+titans, 5,989,911 参数), 产物 `sandbox/ck-zh-full`
2. **日志上限 100MB** (用户拍板): `train.ts` 默认 logMaxBytes 10MB→100MB,
`logger.ts` LogRotator/TrainLogger 默认值同步 100MB (脚本另显式传 `--logmaxbytes 100000000`)
3. **踩坑修复**: `train-full.sh`/`start-train.sh` 均以 `cd sandbox` 方式跑, 但 train.ts 的
`loadRealFiles("data/raw")` 相对 **cwd** 解析 → `sandbox/data/raw` 不存在 →
**静默落合成语料 (词表 55, 无真实小说)**。本次两次启动 (PID 2016/210) 均中招已杀掉,
脚本补 `--rawdir <绝对路径 data/raw>` 显式指定, 验证快照 `sandbox/data/corpus.txt`
头部为「第一回:宴桃園豪傑三結義…」三国志演义原文
4. **看门狗指对日志 (新发现)**: `watchdog.ts` 默认读 `train-full.log`, 语料期重训写
`train-zh-full.log` → 巡检读旧日志 mtime 误判「冻结」杀掉活训练 (同日 08:16 踩坑)。
补 `TIANXUAN_LOG` / `TIANXUAN_CK` 环境变量, 巡检须指对日志。脚本末行提示同步更新
5. 重训中 (PID 6056, 真实语料快照头「第一回:宴桃園豪傑三結義」): 7196 批/epoch × 2,
0.1 批/秒 → 预计 ~1-2 天; 看门狗 `TIANXUAN_LOG=logs/train-zh-full.log` 巡检
### 训完动作 (绑定项, 依宪章第 7/8 条数字说话)
- ⬜ `sandbox/l0-probe-check.js` 在 ck-zh-full 上复查 L0 一致性 (上轮 33.8% < 0.5, 深链 p=1.0 单点化需大语料复查)
- ⬜ Mamba 多种子消融 (3/7/11) 改真实语料重跑, Δ ≥ +1.0pt 过门槛则回填 registry evidence 升 enabled
- ⬜ 红楼梦拉取成功后, 语料扩至 11 部再跑一轮
### 残留待办
- ⬜ Mamba 消融脚本 `ablation-mamba-multiseed.sh` 加 `--realcorpus 1 --rawdir` 真实语料分支
- ⬜ gutenberg pg24264 (红楼梦) 重试, 可考虑改走 gutenberg.org 主站 / 镜像
### 下午: 双 sandbox 路径 bug 修复 (engine.ts dataRoot)
- **现象**: `scripts/train-smoke.sh` 跑 generate, 日志 `Bigram 统计未找到 sandbox\data\bigrams.json`
实际去找 `C:\...\tianxuan\sandbox\sandbox\data\bigrams.json` (双 sandbox), 世界模型/向量库同缺
→ 生成裸跑, 路由全 L2, 平均置信 0.00, 输出乱码 (gen-smoke.log「小明。美刚阿小…」无参考价值)
- **根因**: `engine.ts` 旧逻辑 `dataRoot = checkpointDir.includes("sandbox") ? "sandbox/data" : "data"`
是**相对 cwd** 的字符串; 脚本 `cd sandbox` 后跑 generate 就拼成 `sandbox/sandbox/data`
- **修复** (engine.ts 构造器 + load()):
1. 数据根锚定到 **checkpoint 绝对路径**: 找 `sandbox`/`data` 段推出项目根 →
`dataRoot = <根>/sandbox/data` (沙箱语料快照), `prodRoot = <根>/data` (生产统计资源, 只读)
2. 逐资源 `pick()`: 优先沙箱根, 缺则回退生产根 — 守宪章第 9/10 条 (生产 data/ 永不写), 又让
bigram/世界模型/向量库正常加载
3. 子目录 checkpoint (checkpoints-mamba/mamba-base 等) 也解析对 (旧逻辑会拼出
`sandbox/checkpoints-mamba/data` 错层)
- **验证** (cwd=sandbox 跑 generate ck-zh-full): CN 语义库 4686 块 / 世界模型 31112 参数 /
Bigram 9,829,606 条全部命中; 路由统计置信 0.00→0.08。生成仍乱 = 预期 (epoch 1 批 1151, loss 8.85)
- **观察**: 生产 `data/bigrams.json` 只有 **60 unique chars** (旧合成语料统计), 词表 380 字覆盖窄;
训完若 bigram 层仍限生成质量, 从 10 部真实小说重建 bigram 统计 (产物归属按宪章 9/10 条定)
### 傍晚: 关机冻结 (epoch 1 批 1151/7196, 进度 16%)
- 用户电脑不能 24h 不关机 → 冻结当前训练:
- 杀 PID 6056 (checkpoint 自动落盘: `ck-zh-full` meta.epochs=1, lastBatch=1151, 每 50 批周期存点)
- 建 `sandbox/logs/.train-paused` 暂停标志 → 开机钩子 bootstrap-resume.sh **不会**误拉起
(bootstrap-resume.sh 本身硬编码 ck-full-multi/train-full.log, 未覆盖 ck-zh-full, 待后续统一)
- **新增 `scripts/resume-corpus-zh.sh`** (断点续训): 读 `ck-zh-full/meta.json` 取断点,
`--resume` 跑完剩 epoch 1 (批 1151→7196) + 整个 epoch 2; 续训参数全部从 meta 读不硬编码
- **开机恢复 (两行)**:
```bash
rm sandbox/logs/.train-paused && bash scripts/resume-corpus-zh.sh
```
- 剩余 13,241 批 @ 0.1 步/秒 ≈ 37h (4 核 CPU, 单线程训练 — 速度瓶颈是 CPU 单核, 未做批并行)
- 30 分钟巡检 cron 已取消 (会话内任务, 冻结后无意义); 续训后可重建
## 2026-10-08 — Titans 在线记忆落盘 bug 修复 + L4 想象滚动机制落地 (专而精)
### Titans 在线学习 bug (发现 + 修复)
- **现象**: `sandbox/ck-full-multi/meta.json` 的 `titansWriteLog` 恒为 0 条, 续训日志「恢复 Titans 记忆 0 条记录」
- **根因**: `multineuro.ts` Phase 5 每批 `titansWriteLog.push(...)` 后**同批末尾 `this.titansWriteLog = []` 清空**,
检查点保存读 `getTitansWriteLog()` 永远拿到空数组 → 在线记忆不落盘, 续训全丢
- **修复**: `titansWriteLog` 改滑动窗口保留最近 4096 条 (防内存爆炸), 不再每批清空
- **验证**: 5 batch 内存验证 `titansWriteLog` 累积 2560 条 (修复前恒 0); 重启训练后检查点
`meta.titansWriteLog=4096`, 续训日志「恢复 Titans 记忆 4096 条记录」→ bug 修复完全生效
- 注: `integrated_model.ts` 的 `titansWriteLog` 从未被 push, 无同类 bug, 无需修
### L4 想象滚动 (ImaginationRollout) — 工业级落地, 专而精不做大
- **机制** (`src/ml/imagination.ts` 新): `ImaginationRollout` 复用已训 `WorldModel` 转移函数做 N 步自推
(Dreamer/Genie 无输入推进思路, 只借逻辑), 重建观测作为下一步输入; 输出多步重建误差 + 相干性 + 动作因果分离度
- **专而精**: 零新增参数 (完全复用 world_model.json 已训结构层), 滚动步数 N 由调用方给 (默认 8), 算力 O(N·hidden)
- **探针** (`src/ml/imagination-probe.ts` 新): 沙箱验证, 主指标=动作因果分离度 (同起点不同动作序列 → 轨迹差异)
- 观测用主模型真实 `embedAvg` (checkpoint model.json 前段直读 emb 矩阵, 绕开 CharMultiNeuro 全参数布局失配)
- 指标勘误: 旧「语料 vs 噪声初始观测分离度差」恒≈0 — 世界模型转移函数不读观测嵌入 (仅走编码器丢弃), 指标选错
- **registry** (`src/station/registry.ts`): 登记 `imagination` 条目, `evidence.result=0.0311` (动作因果分离度, < 0.2 门槛),
`status=pending`, 保持 shelf 不得 enabled (宪章第 7/8 条: 需世界模型训练量跟上后复查)
### 世界模型根因修复 (因果分离度 0.0311 的底层原因)
- **维度不匹配**: `multineuro.ts` Phase 5.5 训练喂 GRU h1 (hidden=256 维) 给世界模型, 但
`WorldModel.embDim` 旧值=cfg.emb=64 → 世界模型在 256 维观测上训练但只吃前 64 维, 后 192 维全丢
- **观测丢弃**: `world_model.ts` `encode` 里观测编码器输出 `obsHidden` 被算出却丢弃, 门控只读 [memory, action],
初始观测不传导到状态转移 → 世界模型对动作敏感度不足
- **修复** (两处):
1. `multineuro.ts`: 世界模型 `embDim` 对齐到 `cfg.hidden` (256), 与训练喂的 h1 维度一致
2. `world_model.ts` `encode`: 门控融合观测驱动 — `newState = σ(W_dyn·[memory,action]) ⊙ memory + (1-σ) ⊙ obsPropose`,
观测经编码器提案状态, 动作经门控调节「保持旧记忆 vs 接受观测更新」
- **兼容性**: 旧检查点 world_model.json 是 64 维布局, 新代码 256 维 → `loadWorldModelState` 检测维度不匹配
时跳过载入 (世界模型用随机初值重训), 不破坏主模型参数
- **重启训练**: 杀掉旧进程 (修复前二进制), 用新二进制从 2201 batch 续训 (Titans 4096 条恢复), 世界模型重训中
### 待办 (B: 等世界模型跟上后重跑探针)
- ⬜ 世界模型在 256 维正确观测空间上训练量充足后, 重跑 `imagination-probe` 复查动作因果分离度
- ⬜ 分离度 ≥ 0.2 门槛才回填 registry `imagination` evidence 为 pass → 允许 enabled
- ⬜ 当前 0.0311 记录在案 (宪章第 7/8 条: 证据说话, 不强行 enabled)
---