---
license: apache-2.0
tags: [evaluation, rollouts, rlve, aime, hmmt, sciworld]
---

# data-dq — 评测 rollout 与训练数据归档

## `evalout/` — 逐条评测记录

281 个 8 月的目录, **每条样本的完整生成文本都在**。这是做 per-problem 配对分析的唯一来源 ——
Olmo-7B ROSE 那条的诊断(变好 8 题 / 变差 7 题 / 题7 从 16/16 掉到 11/16 /
pass@16 涨的那 1 题只靠 1/16 个样本撑着)全靠它。

格式(见 `aime_eval.py`):
```json
{"id": "0", "problem": "...", "gt": 70, "hits": 16,
 "samples": [{"pred": 70, "ok": true, "finish": "stop", "len": 3832, "text": "..."}]}
```

⚠ 部分早期 AIME 文件的逐条记录**被 summary 覆盖了**: `--out` 不带 `.jsonl` 后缀时,
`aime_eval.py:211` 的 `a.out.replace(".jsonl","_summary.json")` 是空操作, 两者写同一路径。
受影响的是 4B 那两条(`aime_rose_dapo_4b32b_s30`、`aime_qwen3_4b_base_think`);
Olmo / Qwen3-32B / 全部 HMMT 的都完好(各约 25MB)。

## `sciworld_sft/` — 32B 教师采的 SciWorld 轨迹

`messages` + `loss_mask` 格式(只有 assistant turn 是 1), 按 score 分档:

| 文件 | 轨迹 |
|---|---|
| `sciworld_sft_teacher32b_all.jsonl` | 3592 |
| `..._s050.jsonl` (score>=0.5) | 2050 |
| `..._s080.jsonl` (score>=0.8) | 913 |
| `..._s100.jsonl` (score=1.0) | 786 |

另有一批只成功 158/3592 的残缺采集(48 并发下 fd 上限 1024 耗尽), 见
[sciworld-teacher32b-sft-partial](https://huggingface.co/datasets/SeanWang0027/sciworld-teacher32b-sft-partial)。

## `datasets/`

AIME25(30 题)、HMMT25(`MathArena/hmmt_feb_2025` 转成同格式, 30 题)、
DAPO-Math-17k english、RLVE train/test。

HMMT25 的答案 30 题里只有 14 题是纯整数, 其余是 LaTeX 表达式
(`\frac{1}{576}`、`\frac{9\sqrt{23}}{23}`、`1-\frac{2}{\pi}`), 按 `int()` 比会把
16 题全判错、上限只有 14/30 —— 所以 `hmmt_eval.py` 改用 `math_verify` 做符号等价判定
(自检: 标准答案 30/30 判对, 错答案 0/30 误判, `\frac{2}{4}`≡`\frac{1}{2}` 认)。

## `iter_data_keep/` — 迭代式 ROSE 的中间数据