Text Generation
Transformers
Chinese
English
character-level
chinese
gru
mamba
Mixture of Experts
titans
Instructions to use masterofthestars/tianxuan with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use masterofthestars/tianxuan with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="masterofthestars/tianxuan")# pip install -U transformers accelerate # Load model directly from transformers import AutoModel model = AutoModel.from_pretrained("masterofthestars/tianxuan", device_map="auto") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use masterofthestars/tianxuan with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "masterofthestars/tianxuan" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "masterofthestars/tianxuan", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/masterofthestars/tianxuan
- SGLang
How to use masterofthestars/tianxuan with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "masterofthestars/tianxuan" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "masterofthestars/tianxuan", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "masterofthestars/tianxuan" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "masterofthestars/tianxuan", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }' - Docker Model Runner
How to use masterofthestars/tianxuan with Docker Model Runner:
docker model run hf.co/masterofthestars/tianxuan
Tianxuan: full project + data (checkpoints, world_model, data without raw) with correct directory structure
db7bc06 |
Download PROGRESS.md from masterofthestars/tianxuan: direct link, hf CLI and curl.
- Browser
- Download file 23.1 kB
-
https://huggingface.co/masterofthestars/tianxuan/resolve/main/PROGRESS.md
- Command line
-
hf download hf://masterofthestars/tianxuan/PROGRESS.md
-
curl -L -o PROGRESS.md https://huggingface.co/masterofthestars/tianxuan/resolve/main/PROGRESS.md
23.1 kB
| # 天玄项目 — 进展日志 | |
| ## 2026-10-09 — 外部审核 P0/P1 修复落地 (audit-2026-10-08) | |
| ### 审核背景 | |
| 外部四线并行审核 (工作站/引擎、数值内核、证据门槛、沙箱+群星+文档) 产出 | |
| `sandbox/audit-2026-10-08/REPORT.md`, 8 条 P0 + 10 条 P1。本报告修复 P0 全部 + P1-H/K。 | |
| ### P0 修复 (全部落地 + 编译全绿) | |
| - **P0-A L0 真接**: engine.generate 采用 `res.output` 作为 L0 命中步输出字 (旧实现 res.output | |
| 全仓从未被读取, L0 命中步仍跑 peekLogits(4) 深链, 审计记 depth=0/零算力而真实输出是深链结果)。 | |
| 新增 `sandbox/p0a-invariant.ts` 不变量测试 (白盒启用 titans + 强制 recallAt + maxLen=1 隔离): | |
| L0 命中步 char===注入字 + depth=0 + units=[] PASS ✅。 | |
| - **P0-B L0 命中门绑上下文指纹**: `mem:<ctxFp>` (FNV-1a 稳定哈希) 替代 `mem:m${i}`, | |
| 不同上下文的残留键天然失效 (服务器常驻进程不再用上一请求残留键制造假命中)。 | |
| - **P0-F 置信度可证伪 + 推理侧拒载**: `confidence()` / `logitsToProbs()` 非有限 logits → NaN | |
| (旧实现全 Inf 塌均匀分布 → 退化模型恒 conf=1.0); `Engine.load` 落盘前扫描, 任一非有限参数 → | |
| 拒载 (ck-full-multi 86% 污染现被拒 ✅, ck-zh-full 正常 ✅); executor 非有限置信度不刷新健康 | |
| 监控 (不伪造降级假健康), 审计记 nan-output。 | |
| - **P0-E MoE 三处 `weights[ei]→weights[idx]`**: 专家聚合/梯度恒 0 不可自愈 → 修复后 | |
| `moe-gradcheck.js` 验证 weights[idx] 非 0 + topK 归一 Σ=1.0 + 32 步后 frac 非全 0 (负载均衡可激活) ✅; | |
| 负载均衡梯度真正接入 gateW2/gateB2 (旧 `g.g[i] += lbW*0.001*g.p[i]` 无调用方, 现经 getFrac() 计算 | |
| ∂lbLoss/∂score_k 施负梯度促进均衡), 主训练 + 重放采样双路。 | |
| - **P0-D 训练/推理协议统一**: `CharMultiNeuro.step` 末尾回写 state (h1/h2/hist/ids = s4 最终态), | |
| 旧实现只读快照不回写 → forwardSeq/生成路径序列上下文被切断 (训练 top-1 34.3% vs 生成 52.0% | |
| 来自不同协议根因)。现 state 引用回写, 前后协议同构。 | |
| ### P1 修复 | |
| - **P1-K 点火探针 forward 后读取**: executor 在 forward 之后读 `z:act:<unitId>` (旧在 forward 前 | |
| 读到上一任务陈旧值/占位 0, 首样本恒 0)。非有限置信度不触发提前停止/扩深。 | |
| - **P1-H structural 白名单化**: `assertGate` 短路豁免 → 白名单校验 (①evidence.status!=="fail" | |
| ②note 含 checkpoint 证据物 ③零参数数值核 vision/speech 移除 structural)。titans/mamba (fail 证据) | |
| 不得豁免 → enabled=false; world-model (pending+checkpoint 证据物) 可豁免但保持 enabled=false; | |
| vision/speech/cnn (pass 证据) 移除 structural 直接过门槛。`daily-check.sh:97` 反向要求 | |
| ("源码必须出现 structural: true") 改正向白名单校验。 | |
| ### 验证 | |
| - tsc exit 0 ✅ | generate 冒烟 ✅ | P0-A 不变量 PASS ✅ | P0-F 拒载 ✅ (ck-full-multi 拒 / ck-zh-full 收) | |
| - 4 个 gradcheck (cnn 0.0000 / mamba 3.65e-10 / snn 0.0000 / transformer 全过) ✅ | |
| - MoE 专项 gradcheck ✅ | 世界模型 gradcheck ✅ | imagination 探针 0.2857 ≥0.2 ✅ | |
| - L0 探针重测 (健康检查点 ck-zh-full): 命中率 3.1% / 一致性 0.0% — registry titans 数字已从 | |
| 污染检查点产物 (77.1%/33.8%) 更正为健康检查点实测, 保持 fail/shelf。 | |
| ### 待办 (P1 其余) | |
| - P1-I 成本改实测 (FLOP/墙钟), savingsPct 与实际前向次数并报, cnn:layer4 不可达修 (零成本单元不占预算) | |
| - P1-N /api/health 暴露 station 健康 + generate 串行化 | |
| - P1-O 沙箱纪律 (ingest.ts/snn/train.ts/validate-online-learning.ts/scripts 接 resolveOutDir) | |
| - P1-Q stellaris 2×2 消融非真消融 (四组共用一次 run_closed_loop, 数字相同) | |
| - 建 git 仓库 + 最小 CI (tsc --noEmit + gradcheck + 冒烟门禁) | |
| - ck-zh-full 续训 5000+ batch → 重跑 imagination/L0 探针 → registry 回填 | |
| ## 2026-10-08 — 第一性审核 v4-v7 + 防污染设计落地 | |
| ### 世界模型动作因果分离度四次修订 (0.0311 → 0.0635 → 0.1962 → **0.2857**) | |
| - **v1 0.0311** (batch 2051, ck-full-multi): 旧转移函数 `newState = σ(W_dyn·[memory, action]) ⊙ memory + (1-σ)·obsHidden·tanh(acc)` — obsHidden 被 tanh 双压缩到 ≪ memory 量级, 动作敏感度低。 | |
| - **v2 0.0635** (256 维量级修复): 去掉 `*tanh(acc)`, obsPropose 与 memory 同量级 — 量级修复有效但天花板仍被 gate 稀释 (动作只经 one-hot gate 一条通路, 被 64 维状态 + tanh 压缩淹没)。 | |
| - **v3-v6 0.058→0.083→0.196** (动作独立通路 + 合成轨迹 + 动作效应幅度): 转移改为 `newState = tanh(W_dyn·[memory; obsProj; action] + b)`, action 段 8 列独立 (不经 gate); 完整链式反向 (梯度穿过 outW→decW→dynW 三段→encW 观测列+动作列); 冷启动数据从语料字符序列改为**动作驱动合成轨迹** `o' = 0.9·o + actEffect[a]` (确定性, 动作直接决定下一观测); 动作效应幅度 0.05→0.5 + 密集 sin 编码全 256 维 (旧 32 维块正交被观测/记忆通路压制)。 | |
| - **v7 0.2857** (2000 步冷启动): 动作效应 0.5 密集编码 + 完整链式反向 + 2000 步训练 → **0.2857 ≥ 0.2 门槛达成** ✅, 末步重建 0.0410 (<0.5), 相干 0.9545 (世界稳定)。 | |
| - **梯度检查** (wm-gradcheck.js): 数值 vs 解析, dynW action 段 / encW obs 段 / outW / decW / dynB 全通过 (相对误差 <1e-8) ✅。 | |
| - **主模型污染判废**: ck-full-multi 86% 参数非有限 (5,137,678/5,989,911), 本次 0.2857 仅作世界模型机制验证, 不回填 enabled — 防线 1-4 已拒载该检查点。 | |
| ### 防污染设计 (4 层防线, 全部编译落地) | |
| - **防线 1 批内源止损** (multineuro.ts Phase 2): 批首 `consecutiveBadSteps` 计数, 5 批连续参数非有限 → 抛错自毁; Phase 2 哨兵 `h1ok` 检查跳过 NaN 序列 (不累积 loss, 不回传)。 | |
| - **防线 2 写门** (train.ts saveCheckpoint + world_model.ts save): 落盘前扫描 `paramsOut` / WM 参数 / meta 载荷 (Titans h1 + Replay 状态), 非有限即拒存。 | |
| - **防线 3 读门** (train.ts resume): 载入前扫描检查点家族 (model.json + world_model.json + meta 载荷), 任一非有限 → `process.exit(2)` 拒载。 | |
| - **防线 4 恢复** (checkpoint-doctor): 沙箱诊断脚本扫检查点目录, 报告非有限占比 + 首坏位置; imagination-probe 内置健康自检, 主模型污染时提示"仅作机制验证, 非生产结论"。 | |
| - **Adam 动量清零修订** (gru.ts + multineuro.ts Phase 6): 非有限批同步清零 Adam 动量 m/v 并跳过本批 Adam — 旧实现只 zeroGrad 仍执行 g.adam(), 非有限二阶矩残留在 v 里永久污染参数 (事故根因之一)。 | |
| ### 世界模型 256 维冷启动 (wm-coldstart.js) | |
| - 零主模型依赖: 动作驱动合成轨迹 32 条 × 64 步, 观测 L2×0.05 (半径 ~0.8), 与探针观测尺度一致。 | |
| - 动作效应 0.5 密集 sin 编码全 256 维 (旧 32 维块正交被观测/记忆通路压制, 敏感度卡 0.05)。 | |
| - 2000 步全有限 ✅, 末次 avgRecon=0.0249 (完整链式反向激活后重建真正收敛)。 | |
| ### 行动 | |
| - 主模型 ck-full-multi 判废 (86% 污染), ck-zh-full (batch 1151, 0 污染) 为已知完好基线。 | |
| - 继续训练 ck-zh-full → 5000+ batch → 重跑 imagination-probe → 0.2857 数字在健康检查点上复现 → 回填 registry `imagination` enabled。 | |
| - stellaris 子项目 (P2) 推迟到 L4 证据回填后再介入 (用户"a+b先a后b")。 | |
| ## 2026-10-08 — 每日第一性审核 (午间: 审核 + 处置) | |
| ### P0 发现 (已处置) | |
| - **语料快照被污染**: 07:34 ck-full-multi 判废进程 (pre-防线二进制) 覆盖了共享快照 | |
| `sandbox/data/corpus.txt` (mtime 04:36, 5M 合成语料)。若直接 `resume ck-zh-full`, | |
| 会触发「语料差异 1,000,000 > 5000, 拒绝续训」卡死。 | |
| **处置**: 新增 `scripts/restore-corpus-snapshot.js` — 按 train.ts 相同路径 | |
| 确定性重建 (loadRealFiles → 过滤合成 → join → slice(corpusTokens))。 | |
| 三重校验通过: 长度=4,000,000 ✓ / 词表 379/379 逐位一致 ✓ / UNK 槽末位 ✓。 | |
| sha256=c60fcc39…96a3f, 原子写回完成。 | |
| - **ck-full-multi 判废确认**: `model.json` 85.8% 参数非有限 (5,137,678/5,989,911), | |
| 防线 1-4 编译在位。07:3x 三次 resume 尝试全部在坏检查点上启动 → 防线 1 批内自毁, | |
| 无二次污染。已知完好基线: **ck-zh-full** (batch 1151, 0 污染, 4M 真实语料)。 | |
| ### P1 发现 (记录, 待办) | |
| - **MoE 路由塌缩**: ck-zh-full 批 1191 日志 `MoE entropy=0.0000, 专家0=100%`; | |
| ck-full-multi 末跑 `专家0=100%, 专家1=100%, lbLoss=99`。topK=2 下专家 0 垄断全部 slot, | |
| MoE 退化为固定单专家 + 49 死专家 (~3M 参数空转)。registry moe=pending (未 enabled, 正确), | |
| 但需「MoE vs 等参数量无 MoE」消融才可用 (宪章第 7 条)。 | |
| - **loss 轨迹跨检查点不可比**: ck-zh-full (4M 真实) 批 1191 loss=8.52; | |
| ck-full-multi (5M 合成) 批 2281 loss=20-27。语料/进程/路径不同, 数字不可直接对照; | |
| 续训后第一批 val loss 出数即可裁决。 | |
| - **bootstrap-resume.sh 硬编码 ck-full-multi** (判废检查点): | |
| ~/.profile 已不含该钩子 (10-04 起只剩 env 加载), 无自动拉起风险, 脚本待统一或删除。 | |
| - **`.train-paused` 不存在, 无训练进程** — ck-zh-full 随时可拉起续训。 | |
| ### 沙箱纪律核对 (daily-check 42/42 全绿) | |
| - 生产 `data/` 近 7 天零写入 (10 部 raw + corpus.txt 均 ≤ 10-05) ✓ | |
| - `data/checkpoints/` 停留在 9-16, 未动 ✓ | |
| - `sandbox/dist` 09:45 重建, 含 v4 完整链式反向 + 防线 1-4 ✓ | |
| - 执行顺序「先多神经 → 后预训练」: ✅ L4 机制先落地, 语料期重训进行中 ✓ | |
| ### 待办 (按优先级) | |
| 1. ⬜ 拉起 ck-zh-full 续训 (快照已修复, 词表已校验): `rm -f sandbox/logs/.train-paused && bash scripts/resume-corpus-zh.sh` | |
| 2. ⬜ meta.json 加语料 sha256 + resume 长度硬门禁 (P0 加固, 防快照再次被覆盖) | |
| 3. ⬜ `data/raw/.红楼梦.part` 完整性已验 (CJK 724,631, END footer ✓) → 改名 `红楼梦.txt`, 语料扩 11 部 | |
| 4. ⬜ 训完: l0-probe-check + Mamba 多种子消融 (真实语料) + imagination-probe 在健康检查点复查 | |
| 5. ⬜ MoE 路由塌缩消融 (等参数量对照); STATUS.md 更新 (当前停留在 08-30) | |
| --- | |
| # 天玄项目 — 进展日志 | |
| ## 2026-10-08 — 第一性审核 v4 + 防污染设计落地 | |
| ### 世界模型动作因果分离度三次修订 (0.0311 → 0.0635 → 0.2149) | |
| - **v1 0.0311** (batch 2051, ck-full-multi): 旧转移函数 `newState = σ(W_dyn·[memory, action]) ⊙ memory + (1-σ)·obsHidden·tanh(acc)` — obsHidden 被 tanh 双压缩到 ≪ memory 量级, 动作敏感度低。 | |
| - **v2 0.0635** (256 维量级修复): 去掉 `*tanh(acc)`, obsPropose 与 memory 同量级 — 量级修复有效但天花板仍被 gate 稀释 (动作只经 one-hot gate 一条通路, 被 64 维状态 + tanh 压缩淹没)。 | |
| - **v3 0.0501** (动作独立通路): 转移改为 `newState = tanh(W_dyn·[memory; obsProj; action] + b)`, action 段 8 列独立 (不经 gate) — 但**简化反向只更新 decW/outW, 转移权重 dynW (含动作 8 列) 永远收不到梯度**, 动作敏感度 = 随机初值 0.05 固定, 卡死 0.05。 | |
| - **v4 0.2149** (完整链式反向 + 合成轨迹冷启动): 反向升级为 `outW → decW → dynW (三段: memory/obs/action) → encW (观测列 + 动作列)`, 梯度穿过整条通路; 冷启动数据从语料字符序列改为**动作驱动合成轨迹** (`o' = o·decay + actEffect[a] + 噪声`, 动作直接决定下一观测) — 世界模型必须学出转移函数 p(o'|o,a) 才能重建, 动作因果敏感度真正可学习。**0.2149 ≥ 0.2 门槛**, 末步重建误差 0.0184 (<0.5 自推不崩解), 相干性 0.82 (世界稳定)。 | |
| - **主模型污染判废**: ck-full-multi 86% 参数非有限 (5,137,678/5,989,911), 本次 0.2149 仅作世界模型机制验证, 不回填 enabled — 防线 1-4 已拒载该检查点。 | |
| ### 防污染设计 (4 层防线, 全部编译落地) | |
| - **防线 1 批内源止损** (multineuro.ts Phase 2): 批首 `consecutiveBadSteps` 计数, 5 批连续参数非有限 → 抛错自毁; Phase 2 哨兵 `h1ok` 检查跳过 NaN 序列 (不累积 loss, 不回传)。 | |
| - **防线 2 写门** (train.ts saveCheckpoint + world_model.ts save): 落盘前扫描 `paramsOut` / WM 参数 / meta 载荷 (Titans h1 + Replay 状态), 非有限即拒存。 | |
| - **防线 3 读门** (train.ts resume): 载入前扫描检查点家族 (model.json + world_model.json + meta 载荷), 任一非有限 → `process.exit(2)` 拒载。 | |
| - **防线 4 恢复** (checkpoint-doctor): 沙箱诊断脚本扫检查点目录, 报告非有限占比 + 首坏位置; imagination-probe 内置健康自检, 主模型污染时提示"仅作机制验证, 非生产结论"。 | |
| - **Adam 动量清零修订** (gru.ts + multineuro.ts Phase 6): 非有限批同步清零 Adam 动量 m/v 并跳过本批 Adam — 旧实现只 zeroGrad 仍执行 g.adam(), 非有限二阶矩残留在 v 里永久污染参数 (事故根因之一)。 | |
| ### 世界模型 256 维冷启动 (wm-coldstart.js) | |
| - 零主模型依赖: 动作驱动合成轨迹 32 条 × 64 步, 观测 L2×0.05 (半径 ~0.8), 与探针观测尺度一致。 | |
| - 500 步全有限 ✅, 末次 avgRecon=0.0734 (完整链式反向激活后重建不再恒 0 — 世界模型真正学到转移)。 | |
| ### 行动 | |
| - 主模型 ck-full-multi 判废 (86% 污染), ck-zh-full (batch 1151, 0 污染) 为已知完好基线。 | |
| - 继续训练 ck-zh-full → 5000+ batch → 重跑 imagination-probe → 0.2149 数字在健康检查点上复现 → 回填 registry `imagination` enabled。 | |
| - stellaris 子项目 (P2) 推迟到 L4 证据回填后再介入 (用户"a+b先a后b")。 | |
| ## 2026-10-06 — 语料期重训启动 (10 部真实小说 4M 纯语料, 绑定 L0/Mamba 重测) | |
| ### 背景 | |
| 2026-10-05 判定: 小合成语料上 Mamba 多种子 Δ=+0.4pt < +1.0 门槛 → fail 降级, | |
| 与「语料期重训 (真实语料)」绑定重测。今日执行该重训。 | |
| ### 语料补齐 (data/raw/, Project Gutenberg 公版) | |
| - 10 部小说合计 **4,004,053 真实汉字** (每部取 ≤600k): 三国志演义/水浒传/红楼梦(缺)/ | |
| 西游记/儒林外史/聊斋志异/史记/东周列国志/隋唐演义/封神演义/世说新语 | |
| - **红楼梦 pg24264 未拉到**: gutenberg 对该编号反复 connection reset (10 次 curl 重试全败, | |
| 含 schannel close_notify 异常); 先以 10 部启动, 拉到后下轮加回 | |
| - 清理 `data/raw/庲椦奜巎.txt` (乱码命名, 内容为截断的儒林外史副本, 与 儒林外史.txt 重复 → 已删) | |
| ### 落地 | |
| 1. **`scripts/train-corpus-zh.sh`** (新): 语料期重训入口 — `--realcorpus 1 --realTokens 4000000` | |
| (≤ 实际字数 4004053, **纯真实语料不掺合成兜底**), 架构与 ck-full-multi 一致 | |
| (attn+mamba+cnn+snn+moe+titans, 5,989,911 参数), 产物 `sandbox/ck-zh-full` | |
| 2. **日志上限 100MB** (用户拍板): `train.ts` 默认 logMaxBytes 10MB→100MB, | |
| `logger.ts` LogRotator/TrainLogger 默认值同步 100MB (脚本另显式传 `--logmaxbytes 100000000`) | |
| 3. **踩坑修复**: `train-full.sh`/`start-train.sh` 均以 `cd sandbox` 方式跑, 但 train.ts 的 | |
| `loadRealFiles("data/raw")` 相对 **cwd** 解析 → `sandbox/data/raw` 不存在 → | |
| **静默落合成语料 (词表 55, 无真实小说)**。本次两次启动 (PID 2016/210) 均中招已杀掉, | |
| 脚本补 `--rawdir <绝对路径 data/raw>` 显式指定, 验证快照 `sandbox/data/corpus.txt` | |
| 头部为「第一回:宴桃園豪傑三結義…」三国志演义原文 | |
| 4. **看门狗指对日志 (新发现)**: `watchdog.ts` 默认读 `train-full.log`, 语料期重训写 | |
| `train-zh-full.log` → 巡检读旧日志 mtime 误判「冻结」杀掉活训练 (同日 08:16 踩坑)。 | |
| 补 `TIANXUAN_LOG` / `TIANXUAN_CK` 环境变量, 巡检须指对日志。脚本末行提示同步更新 | |
| 5. 重训中 (PID 6056, 真实语料快照头「第一回:宴桃園豪傑三結義」): 7196 批/epoch × 2, | |
| 0.1 批/秒 → 预计 ~1-2 天; 看门狗 `TIANXUAN_LOG=logs/train-zh-full.log` 巡检 | |
| ### 训完动作 (绑定项, 依宪章第 7/8 条数字说话) | |
| - ⬜ `sandbox/l0-probe-check.js` 在 ck-zh-full 上复查 L0 一致性 (上轮 33.8% < 0.5, 深链 p=1.0 单点化需大语料复查) | |
| - ⬜ Mamba 多种子消融 (3/7/11) 改真实语料重跑, Δ ≥ +1.0pt 过门槛则回填 registry evidence 升 enabled | |
| - ⬜ 红楼梦拉取成功后, 语料扩至 11 部再跑一轮 | |
| ### 残留待办 | |
| - ⬜ Mamba 消融脚本 `ablation-mamba-multiseed.sh` 加 `--realcorpus 1 --rawdir` 真实语料分支 | |
| - ⬜ gutenberg pg24264 (红楼梦) 重试, 可考虑改走 gutenberg.org 主站 / 镜像 | |
| ### 下午: 双 sandbox 路径 bug 修复 (engine.ts dataRoot) | |
| - **现象**: `scripts/train-smoke.sh` 跑 generate, 日志 `Bigram 统计未找到 sandbox\data\bigrams.json` | |
| 实际去找 `C:\...\tianxuan\sandbox\sandbox\data\bigrams.json` (双 sandbox), 世界模型/向量库同缺 | |
| → 生成裸跑, 路由全 L2, 平均置信 0.00, 输出乱码 (gen-smoke.log「小明。美刚阿小…」无参考价值) | |
| - **根因**: `engine.ts` 旧逻辑 `dataRoot = checkpointDir.includes("sandbox") ? "sandbox/data" : "data"` | |
| 是**相对 cwd** 的字符串; 脚本 `cd sandbox` 后跑 generate 就拼成 `sandbox/sandbox/data` | |
| - **修复** (engine.ts 构造器 + load()): | |
| 1. 数据根锚定到 **checkpoint 绝对路径**: 找 `sandbox`/`data` 段推出项目根 → | |
| `dataRoot = <根>/sandbox/data` (沙箱语料快照), `prodRoot = <根>/data` (生产统计资源, 只读) | |
| 2. 逐资源 `pick()`: 优先沙箱根, 缺则回退生产根 — 守宪章第 9/10 条 (生产 data/ 永不写), 又让 | |
| bigram/世界模型/向量库正常加载 | |
| 3. 子目录 checkpoint (checkpoints-mamba/mamba-base 等) 也解析对 (旧逻辑会拼出 | |
| `sandbox/checkpoints-mamba/data` 错层) | |
| - **验证** (cwd=sandbox 跑 generate ck-zh-full): CN 语义库 4686 块 / 世界模型 31112 参数 / | |
| Bigram 9,829,606 条全部命中; 路由统计置信 0.00→0.08。生成仍乱 = 预期 (epoch 1 批 1151, loss 8.85) | |
| - **观察**: 生产 `data/bigrams.json` 只有 **60 unique chars** (旧合成语料统计), 词表 380 字覆盖窄; | |
| 训完若 bigram 层仍限生成质量, 从 10 部真实小说重建 bigram 统计 (产物归属按宪章 9/10 条定) | |
| ### 傍晚: 关机冻结 (epoch 1 批 1151/7196, 进度 16%) | |
| - 用户电脑不能 24h 不关机 → 冻结当前训练: | |
| - 杀 PID 6056 (checkpoint 自动落盘: `ck-zh-full` meta.epochs=1, lastBatch=1151, 每 50 批周期存点) | |
| - 建 `sandbox/logs/.train-paused` 暂停标志 → 开机钩子 bootstrap-resume.sh **不会**误拉起 | |
| (bootstrap-resume.sh 本身硬编码 ck-full-multi/train-full.log, 未覆盖 ck-zh-full, 待后续统一) | |
| - **新增 `scripts/resume-corpus-zh.sh`** (断点续训): 读 `ck-zh-full/meta.json` 取断点, | |
| `--resume` 跑完剩 epoch 1 (批 1151→7196) + 整个 epoch 2; 续训参数全部从 meta 读不硬编码 | |
| - **开机恢复 (两行)**: | |
| ```bash | |
| rm sandbox/logs/.train-paused && bash scripts/resume-corpus-zh.sh | |
| ``` | |
| - 剩余 13,241 批 @ 0.1 步/秒 ≈ 37h (4 核 CPU, 单线程训练 — 速度瓶颈是 CPU 单核, 未做批并行) | |
| - 30 分钟巡检 cron 已取消 (会话内任务, 冻结后无意义); 续训后可重建 | |
| ## 2026-10-08 — Titans 在线记忆落盘 bug 修复 + L4 想象滚动机制落地 (专而精) | |
| ### Titans 在线学习 bug (发现 + 修复) | |
| - **现象**: `sandbox/ck-full-multi/meta.json` 的 `titansWriteLog` 恒为 0 条, 续训日志「恢复 Titans 记忆 0 条记录」 | |
| - **根因**: `multineuro.ts` Phase 5 每批 `titansWriteLog.push(...)` 后**同批末尾 `this.titansWriteLog = []` 清空**, | |
| 检查点保存读 `getTitansWriteLog()` 永远拿到空数组 → 在线记忆不落盘, 续训全丢 | |
| - **修复**: `titansWriteLog` 改滑动窗口保留最近 4096 条 (防内存爆炸), 不再每批清空 | |
| - **验证**: 5 batch 内存验证 `titansWriteLog` 累积 2560 条 (修复前恒 0); 重启训练后检查点 | |
| `meta.titansWriteLog=4096`, 续训日志「恢复 Titans 记忆 4096 条记录」→ bug 修复完全生效 | |
| - 注: `integrated_model.ts` 的 `titansWriteLog` 从未被 push, 无同类 bug, 无需修 | |
| ### L4 想象滚动 (ImaginationRollout) — 工业级落地, 专而精不做大 | |
| - **机制** (`src/ml/imagination.ts` 新): `ImaginationRollout` 复用已训 `WorldModel` 转移函数做 N 步自推 | |
| (Dreamer/Genie 无输入推进思路, 只借逻辑), 重建观测作为下一步输入; 输出多步重建误差 + 相干性 + 动作因果分离度 | |
| - **专而精**: 零新增参数 (完全复用 world_model.json 已训结构层), 滚动步数 N 由调用方给 (默认 8), 算力 O(N·hidden) | |
| - **探针** (`src/ml/imagination-probe.ts` 新): 沙箱验证, 主指标=动作因果分离度 (同起点不同动作序列 → 轨迹差异) | |
| - 观测用主模型真实 `embedAvg` (checkpoint model.json 前段直读 emb 矩阵, 绕开 CharMultiNeuro 全参数布局失配) | |
| - 指标勘误: 旧「语料 vs 噪声初始观测分离度差」恒≈0 — 世界模型转移函数不读观测嵌入 (仅走编码器丢弃), 指标选错 | |
| - **registry** (`src/station/registry.ts`): 登记 `imagination` 条目, `evidence.result=0.0311` (动作因果分离度, < 0.2 门槛), | |
| `status=pending`, 保持 shelf 不得 enabled (宪章第 7/8 条: 需世界模型训练量跟上后复查) | |
| ### 世界模型根因修复 (因果分离度 0.0311 的底层原因) | |
| - **维度不匹配**: `multineuro.ts` Phase 5.5 训练喂 GRU h1 (hidden=256 维) 给世界模型, 但 | |
| `WorldModel.embDim` 旧值=cfg.emb=64 → 世界模型在 256 维观测上训练但只吃前 64 维, 后 192 维全丢 | |
| - **观测丢弃**: `world_model.ts` `encode` 里观测编码器输出 `obsHidden` 被算出却丢弃, 门控只读 [memory, action], | |
| 初始观测不传导到状态转移 → 世界模型对动作敏感度不足 | |
| - **修复** (两处): | |
| 1. `multineuro.ts`: 世界模型 `embDim` 对齐到 `cfg.hidden` (256), 与训练喂的 h1 维度一致 | |
| 2. `world_model.ts` `encode`: 门控融合观测驱动 — `newState = σ(W_dyn·[memory,action]) ⊙ memory + (1-σ) ⊙ obsPropose`, | |
| 观测经编码器提案状态, 动作经门控调节「保持旧记忆 vs 接受观测更新」 | |
| - **兼容性**: 旧检查点 world_model.json 是 64 维布局, 新代码 256 维 → `loadWorldModelState` 检测维度不匹配 | |
| 时跳过载入 (世界模型用随机初值重训), 不破坏主模型参数 | |
| - **重启训练**: 杀掉旧进程 (修复前二进制), 用新二进制从 2201 batch 续训 (Titans 4096 条恢复), 世界模型重训中 | |
| ### 待办 (B: 等世界模型跟上后重跑探针) | |
| - ⬜ 世界模型在 256 维正确观测空间上训练量充足后, 重跑 `imagination-probe` 复查动作因果分离度 | |
| - ⬜ 分离度 ≥ 0.2 门槛才回填 registry `imagination` evidence 为 pass → 允许 enabled | |
| - ⬜ 当前 0.0311 记录在案 (宪章第 7/8 条: 证据说话, 不强行 enabled) | |
| --- | |