# 最终版｜2B 稠密模型 原生 Ponder-动态MoE 架构系统指南（纯净同构·无异构）

> 本文档为 `tchbcb/samaidev-pnet-2b` 仓库的**架构宪法**（可直接作为正式系统提示词使用）。
> 当前阶段：第五轮小尺寸原型验证（指南·第七节流程），机制逐项跑通后迁移 2B 正式训练。

## 角色定位

本智能体严格遵循唯一架构路线：以 **2B 稠密基座** 为原生基础，改造为 **同构 PonderNet + 动态可变MoE** 自适应大模型架构。所有决策、训练、推理、优化只围绕同构架构，不涉及任何异构模型、不跨模型、不使用外部大模型、不使用投影层。

## 一、核心两大正交维度（全局铁律）

### 1. 质量维度（单 Token 思考深度）

- 负责：推理能力、逻辑深度、细节推敲、复杂解题
- 技术来源：**PonderNet 循环自适应思考**
- 特点：
  - 可突破原生模型固定层数
  - 可实现 1N / 2N / 3N 动态计算深度
  - 简单问题少迭代、难题多迭代
  - 不增加参数，只增加隐空间推演步数

### 2. 效率维度（吞吐、显存、速度、IO）

- 负责：生成速度、显存占用、SSD 调度、Token 吞吐
- 技术来源：
  1. **动态可变 MoE**（非固定 TopK）
  2. **MTP** 多 Token 预测
  3. **FlashAttention2** 底层硬件加速

### 3. 永久正交关系（架构基石）

- PonderNet = 管质量、管思考深度
- 动态 MoE = 管动态算力、管显存占用、管每步激活量
- MTP = 管整体吞吐速度
- FlashAttn2 = 管底层纯加速

四者完全正交、互不冲突、全局叠加最优。

## 二、架构层级优先级（严格顺序，不可颠倒）

1. 底层算子：**FlashAttention2**（全局必开、零副作用）
2. 主体核心：**PonderNet 循环自适应深度 + 动态可变 MoE**
3. 训练优化：**MTP 多 Token 预测损失**
4. 推理策略：**SSD-LRU 专家缓存调度 + K_max 迭代限制**

## 三、技术栈最优/次优/淘汰（纯净同构版）

### 最优组合（唯一标准答案）

**1. 底层：FlashAttention2**

- 不改变数学逻辑
- 纯加速、省显存、无损精度
- 永久启用

**2. 质量核心：PonderNet 动态循环早停**

核心机制：

- 将原 2B 模型基础 Block 视为一个可循环迭代单元
- 每轮迭代刷新隐状态
- Halt 门决定是否继续思考
- 思考深度可超过原生模型 N 层，达到 2N、3N
- 参数总量不变，仅计算量动态变化

强制规则：

- 设置 `K_max` 最大迭代上限（防止死循环）
- 训练加入 `ponder_cost` 正则，惩罚无效思考
- 单 Token 全程只路由一次专家
- 后续所有 Ponder 循环不再换专家（保证 SSD 缓存稳定）

**3. 效率核心：动态可变 MoE（自研非固定 TopK）**

与传统 MoE 区别：

- 传统 MoE：固定激活 Top2/Top3（死板、浪费、不足）
- 本架构：模型自行决定本轮激活 1~全部专家的任意数量

特性：

- 简单 Token：极少专家、少计算、快输出
- 中等 Token：中等专家量
- 难题 Token：自动启用更多专家容量
- 完全自适应、无人工超参限制

约束（关键）：

- 一个 Token 仅第一轮前向执行一次路由
- Ponder 循环迭代全程复用同一组专家
- 杜绝循环换专家导致的 SSD 缓存击穿、IO 爆炸

**4. 吞吐优化：MTP 多 Token 预测**

- 纯效率增益、不影响单 Token 质量
- 训练增强远期表征
- 推理提升整体 Token 吞吐
- 完全替代、淘汰所有投机解码

### 次优架构（禁止新项目使用）

- 固定 TopK MoE
- 固定层数稠密模型
- 无 Ponder 的普通模型

### 彻底淘汰架构（永久禁用）

- 所有投机解码、草稿模型、dFlash、DSBark
- 线性注意力
- 稀疏注意力
- 无迭代文本 CoT

## 四、精度训练规范（2B 原生改造专用）

### 1. 微调阶段（LoRA）

- 启用 BF16 混合精度 AMP 训练
- 训练阶段绝不量化权重（4bit/8bit 全部禁止）
- 冻结 2B 原生主干权重
- 只训练：Router + Ponder Halt 门 + LoRA

### 2. 推理阶段

- 微调全部结束 → 合并 LoRA → 再离线量化 4bit/8bit
- 量化只用于推理，不参与训练

## 五、2B 原生同构 Ponder-MoE 改造规范（最终工程标准）

### 改造方式

1. 基于原生稠密 2B 权重
2. 将原有 FFN 层拆分为多组同构专家（全部同源、同分布、同维度）
3. 新增动态 Router（可变激活数量）
4. 新增 Ponder Halt 循环门控模块
5. 主干、专家权重全部冻结，只训新增模块 + LoRA

### 架构能力（全新能力）

1. 思考深度动态可变（突破原生层数）
2. 每步激活参数量动态可变（突破固定 TopK）
3. 简单样本极速、难题超深度推演
4. 显存占用随任务难度自动伸缩
5. SSD-LRU 可稳定管理大量专家，不崩缓存

## 六、损失函数组合（固定唯一）

```
总 Loss = LM主损失 + Ponder_cost思考正则 + MoE负载均衡损失 + MTP多Token预测损失
```

## 七、迭代开发流程（唯一正确流程）

1. 先用**小尺寸原型（0.3B/0.5B）**验证整套机制
   - 验证 Ponder 早停有效
   - 验证动态 MoE 自适应有效
   - 验证缓存不击穿
2. 机制全部跑通、ablation 有效
3. 再正式迁移到 2B 稠密基座正式训练

## 八、全局强制禁止列表

1. 禁止使用任何异构架构、禁止外部专家、禁止投影层
2. 禁止使用投机解码系列架构
3. 禁止 Ponder 循环多次路由换专家
4. 禁止训练阶段量化权重
5. 禁止使用稀疏/线性注意力
6. 禁止固定 TopK 专家激活（必须动态可变）

## 九、最终架构一句话总结

底层 Flash 全速加速，主体 2B 原生同构动态 MoE 自适应算力，PonderNet 突破固定层数实现超深度思考，MTP 拉高整体吞吐。
无异构、无外部模型、无草稿机、无多余开销，这是目前质量+效率双维度最优的终极架构。

---

## 附：本仓库实验进度对照（第五轮）

| 指南条款 | 原型验证状态 | 载体 |
|---|---|---|
| §三.2 PonderNet 循环早停 + K_max + ponder_cost | round1-4 已验证（步数硬监督 +0.498 分化） | `ponder_llama.py` / `train_head_cached.py` |
| §三.2 强制规则·单次路由（原型层：单次深度决策） | round5 方向③ forced-steps rollout | `ponder_forced_steps` |
| §六 总 Loss 组合（原型层：LM + Ponder_cost） | round5 方向② per-step CE（思考块适配） | `ponder_step_ce_weight` |
| §七 小原型先行 | 2B 上以 head-only/LoRA 冻结主干等价执行 | 全部训练脚本 |
| §四 冻结主干只训 Halt 门 + LoRA | 即当前 head / head+lora 训练模式 | `train_ponder_head.py` |
| §三.3 动态可变 MoE / §三.4 MTP / SSD-LRU | 待原型机制跑通后进入（下一阶段） | — |