Upload README.md with huggingface_hub
Browse files
README.md
ADDED
|
@@ -0,0 +1,28 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
# NGRL Checkpoints 备份
|
| 2 |
+
|
| 3 |
+
NGRL 项目(neuron-guided RL post-training,NGFT 范式向 RL/OPD 迁移)训练 checkpoint 的异地备份,自 HPC 集群 `/data/icto/yc47493/NGRL/e2_grpo/output/` 上传后本地已清理。base 模型为 `Qwen/Qwen3-1.7B-Base`,GRPO 臂由 verl fork 的 masked-PPO 训出,SFT 臂由 FSDP SFT trainer 训出;各目录即标准 HF 格式(config + safetensors + tokenizer),可直接 `from_pretrained` 加载。
|
| 4 |
+
|
| 5 |
+
## 目录与实验臂对照(MATH500 Pass@1,greedy 确定性评测)
|
| 6 |
+
|
| 7 |
+
| repo 路径 | 实验臂 | 全局步 | MATH500 | 评测口径 |
|
| 8 |
+
|---|---|---|---|---|
|
| 9 |
+
| `d2a_full/global_step_{50..250}` | E2 血统 full 臂 0-250 分段 | 50/100/150/200/250 | 0.474 / 0.538 / 0.600 / 0.586 / 0.582 | h100 统一口径(d2f_eval,base=0.256) |
|
| 10 |
+
| `d2e_full/global_step_{50..250}` | full 臂续训段(全局 300-500) | 300/350/400/450/500 | 0.604 / 0.590 / 0.588 / 0.590 / 0.598 | h100 统一口径(d2e_eval,base=0.258) |
|
| 11 |
+
| `d2e_static/global_step_{50..250}` | static 掩码臂续训段(全局 300-500) | 300/350/400/450/500 | 0.554 / 0.552 / 0.554 / 0.578 / 0.566 | h100 统一口径(d2e_eval) |
|
| 12 |
+
| `d2a_static/global_step_250` | D2a 静态掩码臂终点 | 250 | 0.580 | h100 统一口径(d2f_eval) |
|
| 13 |
+
| `d2a_roll/global_step_250` | D2a 滚动掩码臂终点 | 250 | 0.558 | h100 统一口径(d2f_eval) |
|
| 14 |
+
| `e2_posthoc_d{05,10,20,30}/global_step_100` | E2 posthoc 掩码密度扫描臂 | 100 | 0.382 / 0.452 / 0.402 / 0.458 | l40s 旧口径(e2_eval,base=0.266,full100=0.546) |
|
| 15 |
+
| `e2_random_d10/global_step_100` | E2 随机掩码对照臂 | 100 | 0.322 | l40s 旧口径(e2_eval) |
|
| 16 |
+
| `d2c_sft_{full,masked,random}/global_step_50` | D2c SFT 阳性对照三臂 | 50 | 见 output/d2c_eval* 结果 | l40s 旧口径 |
|
| 17 |
+
|
| 18 |
+
## 判读要点
|
| 19 |
+
|
| 20 |
+
- full 臂约 150 步即达 ~0.60 平台,300-500 延伸窗走平(0.59±0.01):增益在前 150 步兑现完毕,长尾为平台噪声(H1 窗口未收敛解释被压缩)。
|
| 21 |
+
- static 延伸窗稳定落后 full 约 2-3pt;滚动掩码 roll 未跑赢 static(0.558 vs 0.580),滚动掩码升级方法贡献不成立。
|
| 22 |
+
- l40s 与 h100 两种评测口径同 ckpt 差 ±2.6pt 内(vLLM 跑间噪声),引用曲线必须统一口径,禁止拼接。
|
| 23 |
+
|
| 24 |
+
## 相关资产(未含在本 repo)
|
| 25 |
+
|
| 26 |
+
- 掩码与 schedule:`e2_grpo/masks/`(posthoc.npz、actstat.npz、d2a_schedule.json、d2a_seg*.npz、密度系列 npz)
|
| 27 |
+
- 评测脚本:`e2_grpo/scripts/eval_math500.py`(math_dapo 判分器,greedy)
|
| 28 |
+
- base 模型 Qwen3-1.7B-Base 等为 HF 公开模型,不在备份内。
|