Text Generation
Transformers
Chinese
English
character-level
chinese
gru
mamba
Mixture of Experts
titans
Instructions to use masterofthestars/tianxuan with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use masterofthestars/tianxuan with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="masterofthestars/tianxuan")# pip install -U transformers accelerate # Load model directly from transformers import AutoModel model = AutoModel.from_pretrained("masterofthestars/tianxuan", device_map="auto") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use masterofthestars/tianxuan with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "masterofthestars/tianxuan" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "masterofthestars/tianxuan", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/masterofthestars/tianxuan
- SGLang
How to use masterofthestars/tianxuan with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "masterofthestars/tianxuan" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "masterofthestars/tianxuan", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "masterofthestars/tianxuan" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "masterofthestars/tianxuan", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }' - Docker Model Runner
How to use masterofthestars/tianxuan with Docker Model Runner:
docker model run hf.co/masterofthestars/tianxuan
File size: 23,138 Bytes
db7bc06 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 | # 天玄项目 — 进展日志
## 2026-10-09 — 外部审核 P0/P1 修复落地 (audit-2026-10-08)
### 审核背景
外部四线并行审核 (工作站/引擎、数值内核、证据门槛、沙箱+群星+文档) 产出
`sandbox/audit-2026-10-08/REPORT.md`, 8 条 P0 + 10 条 P1。本报告修复 P0 全部 + P1-H/K。
### P0 修复 (全部落地 + 编译全绿)
- **P0-A L0 真接**: engine.generate 采用 `res.output` 作为 L0 命中步输出字 (旧实现 res.output
全仓从未被读取, L0 命中步仍跑 peekLogits(4) 深链, 审计记 depth=0/零算力而真实输出是深链结果)。
新增 `sandbox/p0a-invariant.ts` 不变量测试 (白盒启用 titans + 强制 recallAt + maxLen=1 隔离):
L0 命中步 char===注入字 + depth=0 + units=[] PASS ✅。
- **P0-B L0 命中门绑上下文指纹**: `mem:<ctxFp>` (FNV-1a 稳定哈希) 替代 `mem:m${i}`,
不同上下文的残留键天然失效 (服务器常驻进程不再用上一请求残留键制造假命中)。
- **P0-F 置信度可证伪 + 推理侧拒载**: `confidence()` / `logitsToProbs()` 非有限 logits → NaN
(旧实现全 Inf 塌均匀分布 → 退化模型恒 conf=1.0); `Engine.load` 落盘前扫描, 任一非有限参数 →
拒载 (ck-full-multi 86% 污染现被拒 ✅, ck-zh-full 正常 ✅); executor 非有限置信度不刷新健康
监控 (不伪造降级假健康), 审计记 nan-output。
- **P0-E MoE 三处 `weights[ei]→weights[idx]`**: 专家聚合/梯度恒 0 不可自愈 → 修复后
`moe-gradcheck.js` 验证 weights[idx] 非 0 + topK 归一 Σ=1.0 + 32 步后 frac 非全 0 (负载均衡可激活) ✅;
负载均衡梯度真正接入 gateW2/gateB2 (旧 `g.g[i] += lbW*0.001*g.p[i]` 无调用方, 现经 getFrac() 计算
∂lbLoss/∂score_k 施负梯度促进均衡), 主训练 + 重放采样双路。
- **P0-D 训练/推理协议统一**: `CharMultiNeuro.step` 末尾回写 state (h1/h2/hist/ids = s4 最终态),
旧实现只读快照不回写 → forwardSeq/生成路径序列上下文被切断 (训练 top-1 34.3% vs 生成 52.0%
来自不同协议根因)。现 state 引用回写, 前后协议同构。
### P1 修复
- **P1-K 点火探针 forward 后读取**: executor 在 forward 之后读 `z:act:<unitId>` (旧在 forward 前
读到上一任务陈旧值/占位 0, 首样本恒 0)。非有限置信度不触发提前停止/扩深。
- **P1-H structural 白名单化**: `assertGate` 短路豁免 → 白名单校验 (①evidence.status!=="fail"
②note 含 checkpoint 证据物 ③零参数数值核 vision/speech 移除 structural)。titans/mamba (fail 证据)
不得豁免 → enabled=false; world-model (pending+checkpoint 证据物) 可豁免但保持 enabled=false;
vision/speech/cnn (pass 证据) 移除 structural 直接过门槛。`daily-check.sh:97` 反向要求
("源码必须出现 structural: true") 改正向白名单校验。
### 验证
- tsc exit 0 ✅ | generate 冒烟 ✅ | P0-A 不变量 PASS ✅ | P0-F 拒载 ✅ (ck-full-multi 拒 / ck-zh-full 收)
- 4 个 gradcheck (cnn 0.0000 / mamba 3.65e-10 / snn 0.0000 / transformer 全过) ✅
- MoE 专项 gradcheck ✅ | 世界模型 gradcheck ✅ | imagination 探针 0.2857 ≥0.2 ✅
- L0 探针重测 (健康检查点 ck-zh-full): 命中率 3.1% / 一致性 0.0% — registry titans 数字已从
污染检查点产物 (77.1%/33.8%) 更正为健康检查点实测, 保持 fail/shelf。
### 待办 (P1 其余)
- P1-I 成本改实测 (FLOP/墙钟), savingsPct 与实际前向次数并报, cnn:layer4 不可达修 (零成本单元不占预算)
- P1-N /api/health 暴露 station 健康 + generate 串行化
- P1-O 沙箱纪律 (ingest.ts/snn/train.ts/validate-online-learning.ts/scripts 接 resolveOutDir)
- P1-Q stellaris 2×2 消融非真消融 (四组共用一次 run_closed_loop, 数字相同)
- 建 git 仓库 + 最小 CI (tsc --noEmit + gradcheck + 冒烟门禁)
- ck-zh-full 续训 5000+ batch → 重跑 imagination/L0 探针 → registry 回填
## 2026-10-08 — 第一性审核 v4-v7 + 防污染设计落地
### 世界模型动作因果分离度四次修订 (0.0311 → 0.0635 → 0.1962 → **0.2857**)
- **v1 0.0311** (batch 2051, ck-full-multi): 旧转移函数 `newState = σ(W_dyn·[memory, action]) ⊙ memory + (1-σ)·obsHidden·tanh(acc)` — obsHidden 被 tanh 双压缩到 ≪ memory 量级, 动作敏感度低。
- **v2 0.0635** (256 维量级修复): 去掉 `*tanh(acc)`, obsPropose 与 memory 同量级 — 量级修复有效但天花板仍被 gate 稀释 (动作只经 one-hot gate 一条通路, 被 64 维状态 + tanh 压缩淹没)。
- **v3-v6 0.058→0.083→0.196** (动作独立通路 + 合成轨迹 + 动作效应幅度): 转移改为 `newState = tanh(W_dyn·[memory; obsProj; action] + b)`, action 段 8 列独立 (不经 gate); 完整链式反向 (梯度穿过 outW→decW→dynW 三段→encW 观测列+动作列); 冷启动数据从语料字符序列改为**动作驱动合成轨迹** `o' = 0.9·o + actEffect[a]` (确定性, 动作直接决定下一观测); 动作效应幅度 0.05→0.5 + 密集 sin 编码全 256 维 (旧 32 维块正交被观测/记忆通路压制)。
- **v7 0.2857** (2000 步冷启动): 动作效应 0.5 密集编码 + 完整链式反向 + 2000 步训练 → **0.2857 ≥ 0.2 门槛达成** ✅, 末步重建 0.0410 (<0.5), 相干 0.9545 (世界稳定)。
- **梯度检查** (wm-gradcheck.js): 数值 vs 解析, dynW action 段 / encW obs 段 / outW / decW / dynB 全通过 (相对误差 <1e-8) ✅。
- **主模型污染判废**: ck-full-multi 86% 参数非有限 (5,137,678/5,989,911), 本次 0.2857 仅作世界模型机制验证, 不回填 enabled — 防线 1-4 已拒载该检查点。
### 防污染设计 (4 层防线, 全部编译落地)
- **防线 1 批内源止损** (multineuro.ts Phase 2): 批首 `consecutiveBadSteps` 计数, 5 批连续参数非有限 → 抛错自毁; Phase 2 哨兵 `h1ok` 检查跳过 NaN 序列 (不累积 loss, 不回传)。
- **防线 2 写门** (train.ts saveCheckpoint + world_model.ts save): 落盘前扫描 `paramsOut` / WM 参数 / meta 载荷 (Titans h1 + Replay 状态), 非有限即拒存。
- **防线 3 读门** (train.ts resume): 载入前扫描检查点家族 (model.json + world_model.json + meta 载荷), 任一非有限 → `process.exit(2)` 拒载。
- **防线 4 恢复** (checkpoint-doctor): 沙箱诊断脚本扫检查点目录, 报告非有限占比 + 首坏位置; imagination-probe 内置健康自检, 主模型污染时提示"仅作机制验证, 非生产结论"。
- **Adam 动量清零修订** (gru.ts + multineuro.ts Phase 6): 非有限批同步清零 Adam 动量 m/v 并跳过本批 Adam — 旧实现只 zeroGrad 仍执行 g.adam(), 非有限二阶矩残留在 v 里永久污染参数 (事故根因之一)。
### 世界模型 256 维冷启动 (wm-coldstart.js)
- 零主模型依赖: 动作驱动合成轨迹 32 条 × 64 步, 观测 L2×0.05 (半径 ~0.8), 与探针观测尺度一致。
- 动作效应 0.5 密集 sin 编码全 256 维 (旧 32 维块正交被观测/记忆通路压制, 敏感度卡 0.05)。
- 2000 步全有限 ✅, 末次 avgRecon=0.0249 (完整链式反向激活后重建真正收敛)。
### 行动
- 主模型 ck-full-multi 判废 (86% 污染), ck-zh-full (batch 1151, 0 污染) 为已知完好基线。
- 继续训练 ck-zh-full → 5000+ batch → 重跑 imagination-probe → 0.2857 数字在健康检查点上复现 → 回填 registry `imagination` enabled。
- stellaris 子项目 (P2) 推迟到 L4 证据回填后再介入 (用户"a+b先a后b")。
## 2026-10-08 — 每日第一性审核 (午间: 审核 + 处置)
### P0 发现 (已处置)
- **语料快照被污染**: 07:34 ck-full-multi 判废进程 (pre-防线二进制) 覆盖了共享快照
`sandbox/data/corpus.txt` (mtime 04:36, 5M 合成语料)。若直接 `resume ck-zh-full`,
会触发「语料差异 1,000,000 > 5000, 拒绝续训」卡死。
**处置**: 新增 `scripts/restore-corpus-snapshot.js` — 按 train.ts 相同路径
确定性重建 (loadRealFiles → 过滤合成 → join → slice(corpusTokens))。
三重校验通过: 长度=4,000,000 ✓ / 词表 379/379 逐位一致 ✓ / UNK 槽末位 ✓。
sha256=c60fcc39…96a3f, 原子写回完成。
- **ck-full-multi 判废确认**: `model.json` 85.8% 参数非有限 (5,137,678/5,989,911),
防线 1-4 编译在位。07:3x 三次 resume 尝试全部在坏检查点上启动 → 防线 1 批内自毁,
无二次污染。已知完好基线: **ck-zh-full** (batch 1151, 0 污染, 4M 真实语料)。
### P1 发现 (记录, 待办)
- **MoE 路由塌缩**: ck-zh-full 批 1191 日志 `MoE entropy=0.0000, 专家0=100%`;
ck-full-multi 末跑 `专家0=100%, 专家1=100%, lbLoss=99`。topK=2 下专家 0 垄断全部 slot,
MoE 退化为固定单专家 + 49 死专家 (~3M 参数空转)。registry moe=pending (未 enabled, 正确),
但需「MoE vs 等参数量无 MoE」消融才可用 (宪章第 7 条)。
- **loss 轨迹跨检查点不可比**: ck-zh-full (4M 真实) 批 1191 loss=8.52;
ck-full-multi (5M 合成) 批 2281 loss=20-27。语料/进程/路径不同, 数字不可直接对照;
续训后第一批 val loss 出数即可裁决。
- **bootstrap-resume.sh 硬编码 ck-full-multi** (判废检查点):
~/.profile 已不含该钩子 (10-04 起只剩 env 加载), 无自动拉起风险, 脚本待统一或删除。
- **`.train-paused` 不存在, 无训练进程** — ck-zh-full 随时可拉起续训。
### 沙箱纪律核对 (daily-check 42/42 全绿)
- 生产 `data/` 近 7 天零写入 (10 部 raw + corpus.txt 均 ≤ 10-05) ✓
- `data/checkpoints/` 停留在 9-16, 未动 ✓
- `sandbox/dist` 09:45 重建, 含 v4 完整链式反向 + 防线 1-4 ✓
- 执行顺序「先多神经 → 后预训练」: ✅ L4 机制先落地, 语料期重训进行中 ✓
### 待办 (按优先级)
1. ⬜ 拉起 ck-zh-full 续训 (快照已修复, 词表已校验): `rm -f sandbox/logs/.train-paused && bash scripts/resume-corpus-zh.sh`
2. ⬜ meta.json 加语料 sha256 + resume 长度硬门禁 (P0 加固, 防快照再次被覆盖)
3. ⬜ `data/raw/.红楼梦.part` 完整性已验 (CJK 724,631, END footer ✓) → 改名 `红楼梦.txt`, 语料扩 11 部
4. ⬜ 训完: l0-probe-check + Mamba 多种子消融 (真实语料) + imagination-probe 在健康检查点复查
5. ⬜ MoE 路由塌缩消融 (等参数量对照); STATUS.md 更新 (当前停留在 08-30)
---
# 天玄项目 — 进展日志
## 2026-10-08 — 第一性审核 v4 + 防污染设计落地
### 世界模型动作因果分离度三次修订 (0.0311 → 0.0635 → 0.2149)
- **v1 0.0311** (batch 2051, ck-full-multi): 旧转移函数 `newState = σ(W_dyn·[memory, action]) ⊙ memory + (1-σ)·obsHidden·tanh(acc)` — obsHidden 被 tanh 双压缩到 ≪ memory 量级, 动作敏感度低。
- **v2 0.0635** (256 维量级修复): 去掉 `*tanh(acc)`, obsPropose 与 memory 同量级 — 量级修复有效但天花板仍被 gate 稀释 (动作只经 one-hot gate 一条通路, 被 64 维状态 + tanh 压缩淹没)。
- **v3 0.0501** (动作独立通路): 转移改为 `newState = tanh(W_dyn·[memory; obsProj; action] + b)`, action 段 8 列独立 (不经 gate) — 但**简化反向只更新 decW/outW, 转移权重 dynW (含动作 8 列) 永远收不到梯度**, 动作敏感度 = 随机初值 0.05 固定, 卡死 0.05。
- **v4 0.2149** (完整链式反向 + 合成轨迹冷启动): 反向升级为 `outW → decW → dynW (三段: memory/obs/action) → encW (观测列 + 动作列)`, 梯度穿过整条通路; 冷启动数据从语料字符序列改为**动作驱动合成轨迹** (`o' = o·decay + actEffect[a] + 噪声`, 动作直接决定下一观测) — 世界模型必须学出转移函数 p(o'|o,a) 才能重建, 动作因果敏感度真正可学习。**0.2149 ≥ 0.2 门槛**, 末步重建误差 0.0184 (<0.5 自推不崩解), 相干性 0.82 (世界稳定)。
- **主模型污染判废**: ck-full-multi 86% 参数非有限 (5,137,678/5,989,911), 本次 0.2149 仅作世界模型机制验证, 不回填 enabled — 防线 1-4 已拒载该检查点。
### 防污染设计 (4 层防线, 全部编译落地)
- **防线 1 批内源止损** (multineuro.ts Phase 2): 批首 `consecutiveBadSteps` 计数, 5 批连续参数非有限 → 抛错自毁; Phase 2 哨兵 `h1ok` 检查跳过 NaN 序列 (不累积 loss, 不回传)。
- **防线 2 写门** (train.ts saveCheckpoint + world_model.ts save): 落盘前扫描 `paramsOut` / WM 参数 / meta 载荷 (Titans h1 + Replay 状态), 非有限即拒存。
- **防线 3 读门** (train.ts resume): 载入前扫描检查点家族 (model.json + world_model.json + meta 载荷), 任一非有限 → `process.exit(2)` 拒载。
- **防线 4 恢复** (checkpoint-doctor): 沙箱诊断脚本扫检查点目录, 报告非有限占比 + 首坏位置; imagination-probe 内置健康自检, 主模型污染时提示"仅作机制验证, 非生产结论"。
- **Adam 动量清零修订** (gru.ts + multineuro.ts Phase 6): 非有限批同步清零 Adam 动量 m/v 并跳过本批 Adam — 旧实现只 zeroGrad 仍执行 g.adam(), 非有限二阶矩残留在 v 里永久污染参数 (事故根因之一)。
### 世界模型 256 维冷启动 (wm-coldstart.js)
- 零主模型依赖: 动作驱动合成轨迹 32 条 × 64 步, 观测 L2×0.05 (半径 ~0.8), 与探针观测尺度一致。
- 500 步全有限 ✅, 末次 avgRecon=0.0734 (完整链式反向激活后重建不再恒 0 — 世界模型真正学到转移)。
### 行动
- 主模型 ck-full-multi 判废 (86% 污染), ck-zh-full (batch 1151, 0 污染) 为已知完好基线。
- 继续训练 ck-zh-full → 5000+ batch → 重跑 imagination-probe → 0.2149 数字在健康检查点上复现 → 回填 registry `imagination` enabled。
- stellaris 子项目 (P2) 推迟到 L4 证据回填后再介入 (用户"a+b先a后b")。
## 2026-10-06 — 语料期重训启动 (10 部真实小说 4M 纯语料, 绑定 L0/Mamba 重测)
### 背景
2026-10-05 判定: 小合成语料上 Mamba 多种子 Δ=+0.4pt < +1.0 门槛 → fail 降级,
与「语料期重训 (真实语料)」绑定重测。今日执行该重训。
### 语料补齐 (data/raw/, Project Gutenberg 公版)
- 10 部小说合计 **4,004,053 真实汉字** (每部取 ≤600k): 三国志演义/水浒传/红楼梦(缺)/
西游记/儒林外史/聊斋志异/史记/东周列国志/隋唐演义/封神演义/世说新语
- **红楼梦 pg24264 未拉到**: gutenberg 对该编号反复 connection reset (10 次 curl 重试全败,
含 schannel close_notify 异常); 先以 10 部启动, 拉到后下轮加回
- 清理 `data/raw/庲椦奜巎.txt` (乱码命名, 内容为截断的儒林外史副本, 与 儒林外史.txt 重复 → 已删)
### 落地
1. **`scripts/train-corpus-zh.sh`** (新): 语料期重训入口 — `--realcorpus 1 --realTokens 4000000`
(≤ 实际字数 4004053, **纯真实语料不掺合成兜底**), 架构与 ck-full-multi 一致
(attn+mamba+cnn+snn+moe+titans, 5,989,911 参数), 产物 `sandbox/ck-zh-full`
2. **日志上限 100MB** (用户拍板): `train.ts` 默认 logMaxBytes 10MB→100MB,
`logger.ts` LogRotator/TrainLogger 默认值同步 100MB (脚本另显式传 `--logmaxbytes 100000000`)
3. **踩坑修复**: `train-full.sh`/`start-train.sh` 均以 `cd sandbox` 方式跑, 但 train.ts 的
`loadRealFiles("data/raw")` 相对 **cwd** 解析 → `sandbox/data/raw` 不存在 →
**静默落合成语料 (词表 55, 无真实小说)**。本次两次启动 (PID 2016/210) 均中招已杀掉,
脚本补 `--rawdir <绝对路径 data/raw>` 显式指定, 验证快照 `sandbox/data/corpus.txt`
头部为「第一回:宴桃園豪傑三結義…」三国志演义原文
4. **看门狗指对日志 (新发现)**: `watchdog.ts` 默认读 `train-full.log`, 语料期重训写
`train-zh-full.log` → 巡检读旧日志 mtime 误判「冻结」杀掉活训练 (同日 08:16 踩坑)。
补 `TIANXUAN_LOG` / `TIANXUAN_CK` 环境变量, 巡检须指对日志。脚本末行提示同步更新
5. 重训中 (PID 6056, 真实语料快照头「第一回:宴桃園豪傑三結義」): 7196 批/epoch × 2,
0.1 批/秒 → 预计 ~1-2 天; 看门狗 `TIANXUAN_LOG=logs/train-zh-full.log` 巡检
### 训完动作 (绑定项, 依宪章第 7/8 条数字说话)
- ⬜ `sandbox/l0-probe-check.js` 在 ck-zh-full 上复查 L0 一致性 (上轮 33.8% < 0.5, 深链 p=1.0 单点化需大语料复查)
- ⬜ Mamba 多种子消融 (3/7/11) 改真实语料重跑, Δ ≥ +1.0pt 过门槛则回填 registry evidence 升 enabled
- ⬜ 红楼梦拉取成功后, 语料扩至 11 部再跑一轮
### 残留待办
- ⬜ Mamba 消融脚本 `ablation-mamba-multiseed.sh` 加 `--realcorpus 1 --rawdir` 真实语料分支
- ⬜ gutenberg pg24264 (红楼梦) 重试, 可考虑改走 gutenberg.org 主站 / 镜像
### 下午: 双 sandbox 路径 bug 修复 (engine.ts dataRoot)
- **现象**: `scripts/train-smoke.sh` 跑 generate, 日志 `Bigram 统计未找到 sandbox\data\bigrams.json`
实际去找 `C:\...\tianxuan\sandbox\sandbox\data\bigrams.json` (双 sandbox), 世界模型/向量库同缺
→ 生成裸跑, 路由全 L2, 平均置信 0.00, 输出乱码 (gen-smoke.log「小明。美刚阿小…」无参考价值)
- **根因**: `engine.ts` 旧逻辑 `dataRoot = checkpointDir.includes("sandbox") ? "sandbox/data" : "data"`
是**相对 cwd** 的字符串; 脚本 `cd sandbox` 后跑 generate 就拼成 `sandbox/sandbox/data`
- **修复** (engine.ts 构造器 + load()):
1. 数据根锚定到 **checkpoint 绝对路径**: 找 `sandbox`/`data` 段推出项目根 →
`dataRoot = <根>/sandbox/data` (沙箱语料快照), `prodRoot = <根>/data` (生产统计资源, 只读)
2. 逐资源 `pick()`: 优先沙箱根, 缺则回退生产根 — 守宪章第 9/10 条 (生产 data/ 永不写), 又让
bigram/世界模型/向量库正常加载
3. 子目录 checkpoint (checkpoints-mamba/mamba-base 等) 也解析对 (旧逻辑会拼出
`sandbox/checkpoints-mamba/data` 错层)
- **验证** (cwd=sandbox 跑 generate ck-zh-full): CN 语义库 4686 块 / 世界模型 31112 参数 /
Bigram 9,829,606 条全部命中; 路由统计置信 0.00→0.08。生成仍乱 = 预期 (epoch 1 批 1151, loss 8.85)
- **观察**: 生产 `data/bigrams.json` 只有 **60 unique chars** (旧合成语料统计), 词表 380 字覆盖窄;
训完若 bigram 层仍限生成质量, 从 10 部真实小说重建 bigram 统计 (产物归属按宪章 9/10 条定)
### 傍晚: 关机冻结 (epoch 1 批 1151/7196, 进度 16%)
- 用户电脑不能 24h 不关机 → 冻结当前训练:
- 杀 PID 6056 (checkpoint 自动落盘: `ck-zh-full` meta.epochs=1, lastBatch=1151, 每 50 批周期存点)
- 建 `sandbox/logs/.train-paused` 暂停标志 → 开机钩子 bootstrap-resume.sh **不会**误拉起
(bootstrap-resume.sh 本身硬编码 ck-full-multi/train-full.log, 未覆盖 ck-zh-full, 待后续统一)
- **新增 `scripts/resume-corpus-zh.sh`** (断点续训): 读 `ck-zh-full/meta.json` 取断点,
`--resume` 跑完剩 epoch 1 (批 1151→7196) + 整个 epoch 2; 续训参数全部从 meta 读不硬编码
- **开机恢复 (两行)**:
```bash
rm sandbox/logs/.train-paused && bash scripts/resume-corpus-zh.sh
```
- 剩余 13,241 批 @ 0.1 步/秒 ≈ 37h (4 核 CPU, 单线程训练 — 速度瓶颈是 CPU 单核, 未做批并行)
- 30 分钟巡检 cron 已取消 (会话内任务, 冻结后无意义); 续训后可重建
## 2026-10-08 — Titans 在线记忆落盘 bug 修复 + L4 想象滚动机制落地 (专而精)
### Titans 在线学习 bug (发现 + 修复)
- **现象**: `sandbox/ck-full-multi/meta.json` 的 `titansWriteLog` 恒为 0 条, 续训日志「恢复 Titans 记忆 0 条记录」
- **根因**: `multineuro.ts` Phase 5 每批 `titansWriteLog.push(...)` 后**同批末尾 `this.titansWriteLog = []` 清空**,
检查点保存读 `getTitansWriteLog()` 永远拿到空数组 → 在线记忆不落盘, 续训全丢
- **修复**: `titansWriteLog` 改滑动窗口保留最近 4096 条 (防内存爆炸), 不再每批清空
- **验证**: 5 batch 内存验证 `titansWriteLog` 累积 2560 条 (修复前恒 0); 重启训练后检查点
`meta.titansWriteLog=4096`, 续训日志「恢复 Titans 记忆 4096 条记录」→ bug 修复完全生效
- 注: `integrated_model.ts` 的 `titansWriteLog` 从未被 push, 无同类 bug, 无需修
### L4 想象滚动 (ImaginationRollout) — 工业级落地, 专而精不做大
- **机制** (`src/ml/imagination.ts` 新): `ImaginationRollout` 复用已训 `WorldModel` 转移函数做 N 步自推
(Dreamer/Genie 无输入推进思路, 只借逻辑), 重建观测作为下一步输入; 输出多步重建误差 + 相干性 + 动作因果分离度
- **专而精**: 零新增参数 (完全复用 world_model.json 已训结构层), 滚动步数 N 由调用方给 (默认 8), 算力 O(N·hidden)
- **探针** (`src/ml/imagination-probe.ts` 新): 沙箱验证, 主指标=动作因果分离度 (同起点不同动作序列 → 轨迹差异)
- 观测用主模型真实 `embedAvg` (checkpoint model.json 前段直读 emb 矩阵, 绕开 CharMultiNeuro 全参数布局失配)
- 指标勘误: 旧「语料 vs 噪声初始观测分离度差」恒≈0 — 世界模型转移函数不读观测嵌入 (仅走编码器丢弃), 指标选错
- **registry** (`src/station/registry.ts`): 登记 `imagination` 条目, `evidence.result=0.0311` (动作因果分离度, < 0.2 门槛),
`status=pending`, 保持 shelf 不得 enabled (宪章第 7/8 条: 需世界模型训练量跟上后复查)
### 世界模型根因修复 (因果分离度 0.0311 的底层原因)
- **维度不匹配**: `multineuro.ts` Phase 5.5 训练喂 GRU h1 (hidden=256 维) 给世界模型, 但
`WorldModel.embDim` 旧值=cfg.emb=64 → 世界模型在 256 维观测上训练但只吃前 64 维, 后 192 维全丢
- **观测丢弃**: `world_model.ts` `encode` 里观测编码器输出 `obsHidden` 被算出却丢弃, 门控只读 [memory, action],
初始观测不传导到状态转移 → 世界模型对动作敏感度不足
- **修复** (两处):
1. `multineuro.ts`: 世界模型 `embDim` 对齐到 `cfg.hidden` (256), 与训练喂的 h1 维度一致
2. `world_model.ts` `encode`: 门控融合观测驱动 — `newState = σ(W_dyn·[memory,action]) ⊙ memory + (1-σ) ⊙ obsPropose`,
观测经编码器提案状态, 动作经门控调节「保持旧记忆 vs 接受观测更新」
- **兼容性**: 旧检查点 world_model.json 是 64 维布局, 新代码 256 维 → `loadWorldModelState` 检测维度不匹配
时跳过载入 (世界模型用随机初值重训), 不破坏主模型参数
- **重启训练**: 杀掉旧进程 (修复前二进制), 用新二进制从 2201 batch 续训 (Titans 4096 条恢复), 世界模型重训中
### 待办 (B: 等世界模型跟上后重跑探针)
- ⬜ 世界模型在 256 维正确观测空间上训练量充足后, 重跑 `imagination-probe` 复查动作因果分离度
- ⬜ 分离度 ≥ 0.2 门槛才回填 registry `imagination` evidence 为 pass → 允许 enabled
- ⬜ 当前 0.0311 记录在案 (宪章第 7/8 条: 证据说话, 不强行 enabled)
---
|