| --- |
| license: apache-2.0 |
| tags: [evaluation, rollouts, rlve, aime, hmmt, sciworld] |
| --- |
| |
| # data-dq — 评测 rollout 与训练数据归档 |
|
|
| ## `evalout/` — 逐条评测记录 |
|
|
| 281 个 8 月的目录, **每条样本的完整生成文本都在**。这是做 per-problem 配对分析的唯一来源 —— |
| Olmo-7B ROSE 那条的诊断(变好 8 题 / 变差 7 题 / 题7 从 16/16 掉到 11/16 / |
| pass@16 涨的那 1 题只靠 1/16 个样本撑着)全靠它。 |
|
|
| 格式(见 `aime_eval.py`): |
| ```json |
| {"id": "0", "problem": "...", "gt": 70, "hits": 16, |
| "samples": [{"pred": 70, "ok": true, "finish": "stop", "len": 3832, "text": "..."}]} |
| ``` |
|
|
| ⚠ 部分早期 AIME 文件的逐条记录**被 summary 覆盖了**: `--out` 不带 `.jsonl` 后缀时, |
| `aime_eval.py:211` 的 `a.out.replace(".jsonl","_summary.json")` 是空操作, 两者写同一路径。 |
| 受影响的是 4B 那两条(`aime_rose_dapo_4b32b_s30`、`aime_qwen3_4b_base_think`); |
| Olmo / Qwen3-32B / 全部 HMMT 的都完好(各约 25MB)。 |
|
|
| ## `sciworld_sft/` — 32B 教师采的 SciWorld 轨迹 |
| |
| `messages` + `loss_mask` 格式(只有 assistant turn 是 1), 按 score 分档: |
|
|
| | 文件 | 轨迹 | |
| |---|---| |
| | `sciworld_sft_teacher32b_all.jsonl` | 3592 | |
| | `..._s050.jsonl` (score>=0.5) | 2050 | |
| | `..._s080.jsonl` (score>=0.8) | 913 | |
| | `..._s100.jsonl` (score=1.0) | 786 | |
|
|
| 另有一批只成功 158/3592 的残缺采集(48 并发下 fd 上限 1024 耗尽), 见 |
| [sciworld-teacher32b-sft-partial](https://huggingface.co/datasets/SeanWang0027/sciworld-teacher32b-sft-partial)。 |
|
|
| ## `datasets/` |
|
|
| AIME25(30 题)、HMMT25(`MathArena/hmmt_feb_2025` 转成同格式, 30 题)、 |
| DAPO-Math-17k english、RLVE train/test。 |
|
|
| HMMT25 的答案 30 题里只有 14 题是纯整数, 其余是 LaTeX 表达式 |
| (`\frac{1}{576}`、`\frac{9\sqrt{23}}{23}`、`1-\frac{2}{\pi}`), 按 `int()` 比会把 |
| 16 题全判错、上限只有 14/30 —— 所以 `hmmt_eval.py` 改用 `math_verify` 做符号等价判定 |
| (自检: 标准答案 30/30 判对, 错答案 0/30 误判, `\frac{2}{4}`≡`\frac{1}{2}` 认)。 |
|
|
| ## `iter_data_keep/` — 迭代式 ROSE 的中间数据 |
|
|
