Text Generation
Transformers
Chinese
English
character-level
chinese
gru
mamba
Mixture of Experts
titans
Instructions to use masterofthestars/tianxuan with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use masterofthestars/tianxuan with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="masterofthestars/tianxuan")# pip install -U transformers accelerate # Load model directly from transformers import AutoModel model = AutoModel.from_pretrained("masterofthestars/tianxuan", device_map="auto") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use masterofthestars/tianxuan with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "masterofthestars/tianxuan" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "masterofthestars/tianxuan", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/masterofthestars/tianxuan
- SGLang
How to use masterofthestars/tianxuan with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "masterofthestars/tianxuan" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "masterofthestars/tianxuan", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "masterofthestars/tianxuan" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "masterofthestars/tianxuan", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }' - Docker Model Runner
How to use masterofthestars/tianxuan with Docker Model Runner:
docker model run hf.co/masterofthestars/tianxuan
Tianxuan: full project + data (checkpoints, world_model, data without raw) with correct directory structure
db7bc06 |
Download PROGRESS.md from masterofthestars/tianxuan: direct link, hf CLI and curl.
- Browser
- Download file 23.1 kB
-
https://huggingface.co/masterofthestars/tianxuan/resolve/main/PROGRESS.md
- Command line
-
hf download hf://masterofthestars/tianxuan/PROGRESS.md
-
curl -L -o PROGRESS.md https://huggingface.co/masterofthestars/tianxuan/resolve/main/PROGRESS.md
23.1 kB
天玄项目 — 进展日志
2026-10-09 — 外部审核 P0/P1 修复落地 (audit-2026-10-08)
审核背景
外部四线并行审核 (工作站/引擎、数值内核、证据门槛、沙箱+群星+文档) 产出
sandbox/audit-2026-10-08/REPORT.md, 8 条 P0 + 10 条 P1。本报告修复 P0 全部 + P1-H/K。
P0 修复 (全部落地 + 编译全绿)
- P0-A L0 真接: engine.generate 采用
res.output作为 L0 命中步输出字 (旧实现 res.output 全仓从未被读取, L0 命中步仍跑 peekLogits(4) 深链, 审计记 depth=0/零算力而真实输出是深链结果)。 新增sandbox/p0a-invariant.ts不变量测试 (白盒启用 titans + 强制 recallAt + maxLen=1 隔离): L0 命中步 char===注入字 + depth=0 + units=[] PASS ✅。 - P0-B L0 命中门绑上下文指纹:
mem:<ctxFp>(FNV-1a 稳定哈希) 替代mem:m${i}, 不同上下文的残留键天然失效 (服务器常驻进程不再用上一请求残留键制造假命中)。 - P0-F 置信度可证伪 + 推理侧拒载:
confidence()/logitsToProbs()非有限 logits → NaN (旧实现全 Inf 塌均匀分布 → 退化模型恒 conf=1.0);Engine.load落盘前扫描, 任一非有限参数 → 拒载 (ck-full-multi 86% 污染现被拒 ✅, ck-zh-full 正常 ✅); executor 非有限置信度不刷新健康 监控 (不伪造降级假健康), 审计记 nan-output。 - P0-E MoE 三处
weights[ei]→weights[idx]: 专家聚合/梯度恒 0 不可自愈 → 修复后moe-gradcheck.js验证 weights[idx] 非 0 + topK 归一 Σ=1.0 + 32 步后 frac 非全 0 (负载均衡可激活) ✅; 负载均衡梯度真正接入 gateW2/gateB2 (旧g.g[i] += lbW*0.001*g.p[i]无调用方, 现经 getFrac() 计算 ∂lbLoss/∂score_k 施负梯度促进均衡), 主训练 + 重放采样双路。 - P0-D 训练/推理协议统一:
CharMultiNeuro.step末尾回写 state (h1/h2/hist/ids = s4 最终态), 旧实现只读快照不回写 → forwardSeq/生成路径序列上下文被切断 (训练 top-1 34.3% vs 生成 52.0% 来自不同协议根因)。现 state 引用回写, 前后协议同构。
P1 修复
- P1-K 点火探针 forward 后读取: executor 在 forward 之后读
z:act:<unitId>(旧在 forward 前 读到上一任务陈旧值/占位 0, 首样本恒 0)。非有限置信度不触发提前停止/扩深。 - P1-H structural 白名单化:
assertGate短路豁免 → 白名单校验 (①evidence.status!=="fail" ②note 含 checkpoint 证据物 ③零参数数值核 vision/speech 移除 structural)。titans/mamba (fail 证据) 不得豁免 → enabled=false; world-model (pending+checkpoint 证据物) 可豁免但保持 enabled=false; vision/speech/cnn (pass 证据) 移除 structural 直接过门槛。daily-check.sh:97反向要求 ("源码必须出现 structural: true") 改正向白名单校验。
验证
- tsc exit 0 ✅ | generate 冒烟 ✅ | P0-A 不变量 PASS ✅ | P0-F 拒载 ✅ (ck-full-multi 拒 / ck-zh-full 收)
- 4 个 gradcheck (cnn 0.0000 / mamba 3.65e-10 / snn 0.0000 / transformer 全过) ✅
- MoE 专项 gradcheck ✅ | 世界模型 gradcheck ✅ | imagination 探针 0.2857 ≥0.2 ✅
- L0 探针重测 (健康检查点 ck-zh-full): 命中率 3.1% / 一致性 0.0% — registry titans 数字已从 污染检查点产物 (77.1%/33.8%) 更正为健康检查点实测, 保持 fail/shelf。
待办 (P1 其余)
- P1-I 成本改实测 (FLOP/墙钟), savingsPct 与实际前向次数并报, cnn:layer4 不可达修 (零成本单元不占预算)
- P1-N /api/health 暴露 station 健康 + generate 串行化
- P1-O 沙箱纪律 (ingest.ts/snn/train.ts/validate-online-learning.ts/scripts 接 resolveOutDir)
- P1-Q stellaris 2×2 消融非真消融 (四组共用一次 run_closed_loop, 数字相同)
- 建 git 仓库 + 最小 CI (tsc --noEmit + gradcheck + 冒烟门禁)
- ck-zh-full 续训 5000+ batch → 重跑 imagination/L0 探针 → registry 回填
2026-10-08 — 第一性审核 v4-v7 + 防污染设计落地
世界模型动作因果分离度四次修订 (0.0311 → 0.0635 → 0.1962 → 0.2857)
- v1 0.0311 (batch 2051, ck-full-multi): 旧转移函数
newState = σ(W_dyn·[memory, action]) ⊙ memory + (1-σ)·obsHidden·tanh(acc)— obsHidden 被 tanh 双压缩到 ≪ memory 量级, 动作敏感度低。 - v2 0.0635 (256 维量级修复): 去掉
*tanh(acc), obsPropose 与 memory 同量级 — 量级修复有效但天花板仍被 gate 稀释 (动作只经 one-hot gate 一条通路, 被 64 维状态 + tanh 压缩淹没)。 - v3-v6 0.058→0.083→0.196 (动作独立通路 + 合成轨迹 + 动作效应幅度): 转移改为
newState = tanh(W_dyn·[memory; obsProj; action] + b), action 段 8 列独立 (不经 gate); 完整链式反向 (梯度穿过 outW→decW→dynW 三段→encW 观测列+动作列); 冷启动数据从语料字符序列改为动作驱动合成轨迹o' = 0.9·o + actEffect[a](确定性, 动作直接决定下一观测); 动作效应幅度 0.05→0.5 + 密集 sin 编码全 256 维 (旧 32 维块正交被观测/记忆通路压制)。 - v7 0.2857 (2000 步冷启动): 动作效应 0.5 密集编码 + 完整链式反向 + 2000 步训练 → 0.2857 ≥ 0.2 门槛达成 ✅, 末步重建 0.0410 (<0.5), 相干 0.9545 (世界稳定)。
- 梯度检查 (wm-gradcheck.js): 数值 vs 解析, dynW action 段 / encW obs 段 / outW / decW / dynB 全通过 (相对误差 <1e-8) ✅。
- 主模型污染判废: ck-full-multi 86% 参数非有限 (5,137,678/5,989,911), 本次 0.2857 仅作世界模型机制验证, 不回填 enabled — 防线 1-4 已拒载该检查点。
防污染设计 (4 层防线, 全部编译落地)
- 防线 1 批内源止损 (multineuro.ts Phase 2): 批首
consecutiveBadSteps计数, 5 批连续参数非有限 → 抛错自毁; Phase 2 哨兵h1ok检查跳过 NaN 序列 (不累积 loss, 不回传)。 - 防线 2 写门 (train.ts saveCheckpoint + world_model.ts save): 落盘前扫描
paramsOut/ WM 参数 / meta 载荷 (Titans h1 + Replay 状态), 非有限即拒存。 - 防线 3 读门 (train.ts resume): 载入前扫描检查点家族 (model.json + world_model.json + meta 载荷), 任一非有限 →
process.exit(2)拒载。 - 防线 4 恢复 (checkpoint-doctor): 沙箱诊断脚本扫检查点目录, 报告非有限占比 + 首坏位置; imagination-probe 内置健康自检, 主模型污染时提示"仅作机制验证, 非生产结论"。
- Adam 动量清零修订 (gru.ts + multineuro.ts Phase 6): 非有限批同步清零 Adam 动量 m/v 并跳过本批 Adam — 旧实现只 zeroGrad 仍执行 g.adam(), 非有限二阶矩残留在 v 里永久污染参数 (事故根因之一)。
世界模型 256 维冷启动 (wm-coldstart.js)
- 零主模型依赖: 动作驱动合成轨迹 32 条 × 64 步, 观测 L2×0.05 (半径 ~0.8), 与探针观测尺度一致。
- 动作效应 0.5 密集 sin 编码全 256 维 (旧 32 维块正交被观测/记忆通路压制, 敏感度卡 0.05)。
- 2000 步全有限 ✅, 末次 avgRecon=0.0249 (完整链式反向激活后重建真正收敛)。
行动
- 主模型 ck-full-multi 判废 (86% 污染), ck-zh-full (batch 1151, 0 污染) 为已知完好基线。
- 继续训练 ck-zh-full → 5000+ batch → 重跑 imagination-probe → 0.2857 数字在健康检查点上复现 → 回填 registry
imaginationenabled。 - stellaris 子项目 (P2) 推迟到 L4 证据回填后再介入 (用户"a+b先a后b")。
2026-10-08 — 每日第一性审核 (午间: 审核 + 处置)
P0 发现 (已处置)
- 语料快照被污染: 07:34 ck-full-multi 判废进程 (pre-防线二进制) 覆盖了共享快照
sandbox/data/corpus.txt(mtime 04:36, 5M 合成语料)。若直接resume ck-zh-full, 会触发「语料差异 1,000,000 > 5000, 拒绝续训」卡死。 处置: 新增scripts/restore-corpus-snapshot.js— 按 train.ts 相同路径 确定性重建 (loadRealFiles → 过滤合成 → join → slice(corpusTokens))。 三重校验通过: 长度=4,000,000 ✓ / 词表 379/379 逐位一致 ✓ / UNK 槽末位 ✓。 sha256=c60fcc39…96a3f, 原子写回完成。 - ck-full-multi 判废确认:
model.json85.8% 参数非有限 (5,137,678/5,989,911), 防线 1-4 编译在位。07:3x 三次 resume 尝试全部在坏检查点上启动 → 防线 1 批内自毁, 无二次污染。已知完好基线: ck-zh-full (batch 1151, 0 污染, 4M 真实语料)。
P1 发现 (记录, 待办)
- MoE 路由塌缩: ck-zh-full 批 1191 日志
MoE entropy=0.0000, 专家0=100%; ck-full-multi 末跑专家0=100%, 专家1=100%, lbLoss=99。topK=2 下专家 0 垄断全部 slot, MoE 退化为固定单专家 + 49 死专家 (~3M 参数空转)。registry moe=pending (未 enabled, 正确), 但需「MoE vs 等参数量无 MoE」消融才可用 (宪章第 7 条)。 - loss 轨迹跨检查点不可比: ck-zh-full (4M 真实) 批 1191 loss=8.52; ck-full-multi (5M 合成) 批 2281 loss=20-27。语料/进程/路径不同, 数字不可直接对照; 续训后第一批 val loss 出数即可裁决。
- bootstrap-resume.sh 硬编码 ck-full-multi (判废检查点): ~/.profile 已不含该钩子 (10-04 起只剩 env 加载), 无自动拉起风险, 脚本待统一或删除。
.train-paused不存在, 无训练进程 — ck-zh-full 随时可拉起续训。
沙箱纪律核对 (daily-check 42/42 全绿)
- 生产
data/近 7 天零写入 (10 部 raw + corpus.txt 均 ≤ 10-05) ✓ data/checkpoints/停留在 9-16, 未动 ✓sandbox/dist09:45 重建, 含 v4 完整链式反向 + 防线 1-4 ✓- 执行顺序「先多神经 → 后预训练」: ✅ L4 机制先落地, 语料期重训进行中 ✓
待办 (按优先级)
- ⬜ 拉起 ck-zh-full 续训 (快照已修复, 词表已校验):
rm -f sandbox/logs/.train-paused && bash scripts/resume-corpus-zh.sh - ⬜ meta.json 加语料 sha256 + resume 长度硬门禁 (P0 加固, 防快照再次被覆盖)
- ⬜
data/raw/.红楼梦.part完整性已验 (CJK 724,631, END footer ✓) → 改名红楼梦.txt, 语料扩 11 部 - ⬜ 训完: l0-probe-check + Mamba 多种子消融 (真实语料) + imagination-probe 在健康检查点复查
- ⬜ MoE 路由塌缩消融 (等参数量对照); STATUS.md 更新 (当前停留在 08-30)
天玄项目 — 进展日志
2026-10-08 — 第一性审核 v4 + 防污染设计落地
世界模型动作因果分离度三次修订 (0.0311 → 0.0635 → 0.2149)
- v1 0.0311 (batch 2051, ck-full-multi): 旧转移函数
newState = σ(W_dyn·[memory, action]) ⊙ memory + (1-σ)·obsHidden·tanh(acc)— obsHidden 被 tanh 双压缩到 ≪ memory 量级, 动作敏感度低。 - v2 0.0635 (256 维量级修复): 去掉
*tanh(acc), obsPropose 与 memory 同量级 — 量级修复有效但天花板仍被 gate 稀释 (动作只经 one-hot gate 一条通路, 被 64 维状态 + tanh 压缩淹没)。 - v3 0.0501 (动作独立通路): 转移改为
newState = tanh(W_dyn·[memory; obsProj; action] + b), action 段 8 列独立 (不经 gate) — 但简化反向只更新 decW/outW, 转移权重 dynW (含动作 8 列) 永远收不到梯度, 动作敏感度 = 随机初值 0.05 固定, 卡死 0.05。 - v4 0.2149 (完整链式反向 + 合成轨迹冷启动): 反向升级为
outW → decW → dynW (三段: memory/obs/action) → encW (观测列 + 动作列), 梯度穿过整条通路; 冷启动数据从语料字符序列改为动作驱动合成轨迹 (o' = o·decay + actEffect[a] + 噪声, 动作直接决定下一观测) — 世界模型必须学出转移函数 p(o'|o,a) 才能重建, 动作因果敏感度真正可学习。0.2149 ≥ 0.2 门槛, 末步重建误差 0.0184 (<0.5 自推不崩解), 相干性 0.82 (世界稳定)。 - 主模型污染判废: ck-full-multi 86% 参数非有限 (5,137,678/5,989,911), 本次 0.2149 仅作世界模型机制验证, 不回填 enabled — 防线 1-4 已拒载该检查点。
防污染设计 (4 层防线, 全部编译落地)
- 防线 1 批内源止损 (multineuro.ts Phase 2): 批首
consecutiveBadSteps计数, 5 批连续参数非有限 → 抛错自毁; Phase 2 哨兵h1ok检查跳过 NaN 序列 (不累积 loss, 不回传)。 - 防线 2 写门 (train.ts saveCheckpoint + world_model.ts save): 落盘前扫描
paramsOut/ WM 参数 / meta 载荷 (Titans h1 + Replay 状态), 非有限即拒存。 - 防线 3 读门 (train.ts resume): 载入前扫描检查点家族 (model.json + world_model.json + meta 载荷), 任一非有限 →
process.exit(2)拒载。 - 防线 4 恢复 (checkpoint-doctor): 沙箱诊断脚本扫检查点目录, 报告非有限占比 + 首坏位置; imagination-probe 内置健康自检, 主模型污染时提示"仅作机制验证, 非生产结论"。
- Adam 动量清零修订 (gru.ts + multineuro.ts Phase 6): 非有限批同步清零 Adam 动量 m/v 并跳过本批 Adam — 旧实现只 zeroGrad 仍执行 g.adam(), 非有限二阶矩残留在 v 里永久污染参数 (事故根因之一)。
世界模型 256 维冷启动 (wm-coldstart.js)
- 零主模型依赖: 动作驱动合成轨迹 32 条 × 64 步, 观测 L2×0.05 (半径 ~0.8), 与探针观测尺度一致。
- 500 步全有限 ✅, 末次 avgRecon=0.0734 (完整链式反向激活后重建不再恒 0 — 世界模型真正学到转移)。
行动
- 主模型 ck-full-multi 判废 (86% 污染), ck-zh-full (batch 1151, 0 污染) 为已知完好基线。
- 继续训练 ck-zh-full → 5000+ batch → 重跑 imagination-probe → 0.2149 数字在健康检查点上复现 → 回填 registry
imaginationenabled。 - stellaris 子项目 (P2) 推迟到 L4 证据回填后再介入 (用户"a+b先a后b")。
2026-10-06 — 语料期重训启动 (10 部真实小说 4M 纯语料, 绑定 L0/Mamba 重测)
背景
2026-10-05 判定: 小合成语料上 Mamba 多种子 Δ=+0.4pt < +1.0 门槛 → fail 降级, 与「语料期重训 (真实语料)」绑定重测。今日执行该重训。
语料补齐 (data/raw/, Project Gutenberg 公版)
- 10 部小说合计 4,004,053 真实汉字 (每部取 ≤600k): 三国志演义/水浒传/红楼梦(缺)/ 西游记/儒林外史/聊斋志异/史记/东周列国志/隋唐演义/封神演义/世说新语
- 红楼梦 pg24264 未拉到: gutenberg 对该编号反复 connection reset (10 次 curl 重试全败, 含 schannel close_notify 异常); 先以 10 部启动, 拉到后下轮加回
- 清理
data/raw/庲椦奜巎.txt(乱码命名, 内容为截断的儒林外史副本, 与 儒林外史.txt 重复 → 已删)
落地
scripts/train-corpus-zh.sh(新): 语料期重训入口 —--realcorpus 1 --realTokens 4000000(≤ 实际字数 4004053, 纯真实语料不掺合成兜底), 架构与 ck-full-multi 一致 (attn+mamba+cnn+snn+moe+titans, 5,989,911 参数), 产物sandbox/ck-zh-full- 日志上限 100MB (用户拍板):
train.ts默认 logMaxBytes 10MB→100MB,logger.tsLogRotator/TrainLogger 默认值同步 100MB (脚本另显式传--logmaxbytes 100000000) - 踩坑修复:
train-full.sh/start-train.sh均以cd sandbox方式跑, 但 train.ts 的loadRealFiles("data/raw")相对 cwd 解析 →sandbox/data/raw不存在 → **静默落合成语料 (词表 55, 无真实小说)**。本次两次启动 (PID 2016/210) 均中招已杀掉, 脚本补--rawdir <绝对路径 data/raw>显式指定, 验证快照sandbox/data/corpus.txt头部为「第一回:宴桃園豪傑三結義…」三国志演义原文 - 看门狗指对日志 (新发现):
watchdog.ts默认读train-full.log, 语料期重训写train-zh-full.log→ 巡检读旧日志 mtime 误判「冻结」杀掉活训练 (同日 08:16 踩坑)。 补TIANXUAN_LOG/TIANXUAN_CK环境变量, 巡检须指对日志。脚本末行提示同步更新 - 重训中 (PID 6056, 真实语料快照头「第一回:宴桃園豪傑三結義」): 7196 批/epoch × 2,
0.1 批/秒 → 预计 ~1-2 天; 看门狗
TIANXUAN_LOG=logs/train-zh-full.log巡检
训完动作 (绑定项, 依宪章第 7/8 条数字说话)
- ⬜
sandbox/l0-probe-check.js在 ck-zh-full 上复查 L0 一致性 (上轮 33.8% < 0.5, 深链 p=1.0 单点化需大语料复查) - ⬜ Mamba 多种子消融 (3/7/11) 改真实语料重跑, Δ ≥ +1.0pt 过门槛则回填 registry evidence 升 enabled
- ⬜ 红楼梦拉取成功后, 语料扩至 11 部再跑一轮
残留待办
- ⬜ Mamba 消融脚本
ablation-mamba-multiseed.sh加--realcorpus 1 --rawdir真实语料分支 - ⬜ gutenberg pg24264 (红楼梦) 重试, 可考虑改走 gutenberg.org 主站 / 镜像
下午: 双 sandbox 路径 bug 修复 (engine.ts dataRoot)
- 现象:
scripts/train-smoke.sh跑 generate, 日志Bigram 统计未找到 sandbox\data\bigrams.json实际去找C:\...\tianxuan\sandbox\sandbox\data\bigrams.json(双 sandbox), 世界模型/向量库同缺 → 生成裸跑, 路由全 L2, 平均置信 0.00, 输出乱码 (gen-smoke.log「小明。美刚阿小…」无参考价值) - 根因:
engine.ts旧逻辑dataRoot = checkpointDir.includes("sandbox") ? "sandbox/data" : "data"是相对 cwd 的字符串; 脚本cd sandbox后跑 generate 就拼成sandbox/sandbox/data - 修复 (engine.ts 构造器 + load()):
- 数据根锚定到 checkpoint 绝对路径: 找
sandbox/data段推出项目根 →dataRoot = <根>/sandbox/data(沙箱语料快照),prodRoot = <根>/data(生产统计资源, 只读) - 逐资源
pick(): 优先沙箱根, 缺则回退生产根 — 守宪章第 9/10 条 (生产 data/ 永不写), 又让 bigram/世界模型/向量库正常加载 - 子目录 checkpoint (checkpoints-mamba/mamba-base 等) 也解析对 (旧逻辑会拼出
sandbox/checkpoints-mamba/data错层)
- 数据根锚定到 checkpoint 绝对路径: 找
- 验证 (cwd=sandbox 跑 generate ck-zh-full): CN 语义库 4686 块 / 世界模型 31112 参数 / Bigram 9,829,606 条全部命中; 路由统计置信 0.00→0.08。生成仍乱 = 预期 (epoch 1 批 1151, loss 8.85)
- 观察: 生产
data/bigrams.json只有 60 unique chars (旧合成语料统计), 词表 380 字覆盖窄; 训完若 bigram 层仍限生成质量, 从 10 部真实小说重建 bigram 统计 (产物归属按宪章 9/10 条定)
傍晚: 关机冻结 (epoch 1 批 1151/7196, 进度 16%)
- 用户电脑不能 24h 不关机 → 冻结当前训练:
- 杀 PID 6056 (checkpoint 自动落盘:
ck-zh-fullmeta.epochs=1, lastBatch=1151, 每 50 批周期存点) - 建
sandbox/logs/.train-paused暂停标志 → 开机钩子 bootstrap-resume.sh 不会误拉起 (bootstrap-resume.sh 本身硬编码 ck-full-multi/train-full.log, 未覆盖 ck-zh-full, 待后续统一)
- 杀 PID 6056 (checkpoint 自动落盘:
- 新增
scripts/resume-corpus-zh.sh(断点续训): 读ck-zh-full/meta.json取断点,--resume跑完剩 epoch 1 (批 1151→7196) + 整个 epoch 2; 续训参数全部从 meta 读不硬编码 - 开机恢复 (两行):
rm sandbox/logs/.train-paused && bash scripts/resume-corpus-zh.sh - 剩余 13,241 批 @ 0.1 步/秒 ≈ 37h (4 核 CPU, 单线程训练 — 速度瓶颈是 CPU 单核, 未做批并行)
- 30 分钟巡检 cron 已取消 (会话内任务, 冻结后无意义); 续训后可重建
2026-10-08 — Titans 在线记忆落盘 bug 修复 + L4 想象滚动机制落地 (专而精)
Titans 在线学习 bug (发现 + 修复)
- 现象:
sandbox/ck-full-multi/meta.json的titansWriteLog恒为 0 条, 续训日志「恢复 Titans 记忆 0 条记录」 - 根因:
multineuro.tsPhase 5 每批titansWriteLog.push(...)后同批末尾this.titansWriteLog = []清空, 检查点保存读getTitansWriteLog()永远拿到空数组 → 在线记忆不落盘, 续训全丢 - 修复:
titansWriteLog改滑动窗口保留最近 4096 条 (防内存爆炸), 不再每批清空 - 验证: 5 batch 内存验证
titansWriteLog累积 2560 条 (修复前恒 0); 重启训练后检查点meta.titansWriteLog=4096, 续训日志「恢复 Titans 记忆 4096 条记录」→ bug 修复完全生效 - 注:
integrated_model.ts的titansWriteLog从未被 push, 无同类 bug, 无需修
L4 想象滚动 (ImaginationRollout) — 工业级落地, 专而精不做大
- 机制 (
src/ml/imagination.ts新):ImaginationRollout复用已训WorldModel转移函数做 N 步自推 (Dreamer/Genie 无输入推进思路, 只借逻辑), 重建观测作为下一步输入; 输出多步重建误差 + 相干性 + 动作因果分离度 - 专而精: 零新增参数 (完全复用 world_model.json 已训结构层), 滚动步数 N 由调用方给 (默认 8), 算力 O(N·hidden)
- 探针 (
src/ml/imagination-probe.ts新): 沙箱验证, 主指标=动作因果分离度 (同起点不同动作序列 → 轨迹差异)- 观测用主模型真实
embedAvg(checkpoint model.json 前段直读 emb 矩阵, 绕开 CharMultiNeuro 全参数布局失配) - 指标勘误: 旧「语料 vs 噪声初始观测分离度差」恒≈0 — 世界模型转移函数不读观测嵌入 (仅走编码器丢弃), 指标选错
- 观测用主模型真实
- registry (
src/station/registry.ts): 登记imagination条目,evidence.result=0.0311(动作因果分离度, < 0.2 门槛),status=pending, 保持 shelf 不得 enabled (宪章第 7/8 条: 需世界模型训练量跟上后复查)
世界模型根因修复 (因果分离度 0.0311 的底层原因)
- 维度不匹配:
multineuro.tsPhase 5.5 训练喂 GRU h1 (hidden=256 维) 给世界模型, 但WorldModel.embDim旧值=cfg.emb=64 → 世界模型在 256 维观测上训练但只吃前 64 维, 后 192 维全丢 - 观测丢弃:
world_model.tsencode里观测编码器输出obsHidden被算出却丢弃, 门控只读 [memory, action], 初始观测不传导到状态转移 → 世界模型对动作敏感度不足 - 修复 (两处):
multineuro.ts: 世界模型embDim对齐到cfg.hidden(256), 与训练喂的 h1 维度一致world_model.tsencode: 门控融合观测驱动 —newState = σ(W_dyn·[memory,action]) ⊙ memory + (1-σ) ⊙ obsPropose, 观测经编码器提案状态, 动作经门控调节「保持旧记忆 vs 接受观测更新」
- 兼容性: 旧检查点 world_model.json 是 64 维布局, 新代码 256 维 →
loadWorldModelState检测维度不匹配 时跳过载入 (世界模型用随机初值重训), 不破坏主模型参数 - 重启训练: 杀掉旧进程 (修复前二进制), 用新二进制从 2201 batch 续训 (Titans 4096 条恢复), 世界模型重训中
待办 (B: 等世界模型跟上后重跑探针)
- ⬜ 世界模型在 256 维正确观测空间上训练量充足后, 重跑
imagination-probe复查动作因果分离度 - ⬜ 分离度 ≥ 0.2 门槛才回填 registry
imaginationevidence 为 pass → 允许 enabled - ⬜ 当前 0.0311 记录在案 (宪章第 7/8 条: 证据说话, 不强行 enabled)