Haidass:初期训练数据源对比
本仓库整理 0721-ultra-en、0721-multi、0721-qa 三个实验的最终权重、历史 benchmark 分数及曲线,用于分析初期训练数据源的选择。
三个实验最终 checkpoint 均为 38146 step,19.999490048B tokens。分数来自已有 model-test 评测,本次整理未重新评测。
下载完整 HTML 报告 · 最终分数 JSON · 曲线数据 CSV
结论与适用范围
这组实验支持初期优先以网页数据进行训练:在相同训练预算下,网页数据配方在 HellaSwag、ARC-Easy 等通用指标和四任务等权均值上已有优势。它不能证明所有合成数据都不适合初期训练,也不能确定最优引入时点。
Ultra-en 已选用 v1.0 原始纯网页版本。 权重来源为 0721-ultra-en/v1.0/iter_0038146;内部数据路径仅包含 UltraFineWeb-en。历史 model-test/configs/compare_resumed.yaml 明确指定 eval_results 为 original、eval_results_resumed 为 resumed。本仓库采用原始版的权重和历史曲线,不包含外层续训权重或 resumed 分数。
L3 multi 与 QA 的数据路径分别为 ultrafineweb-en-l3、ultrafineweb-en-l3-qa。历史配置注释对 L3 的描述不完全一致;仅凭实验目录不能断言所有样本均为合成内容,因此这里使用“L3 multi/QA 数据配方”的名称。
最终 checkpoint 分数
每格为 acc / acc_norm(%),两种口径分别展示。
| Benchmark | Ultra-en v1.0 | L3 multi | L3 QA |
|---|---|---|---|
| arc_easy | 56.82 / 49.71 | 50.93 / 45.54 | 50.67 / 45.54 |
| arc_challenge | 24.49 / 24.74 | 23.29 / 26.11 | 23.46 / 26.28 |
| hellaswag | 31.16 / 36.05 | 28.74 / 30.99 | 30.13 / 32.76 |
| piqa | 64.58 / 65.29 | 62.73 / 63.11 | 64.69 / 63.71 |
| 四任务等权宏平均 | 44.26 / 43.95 | 41.42 / 41.44 | 42.24 / 42.07 |
保留指标上的例外:L3 multi/QA 的 ARC-Challenge acc_norm 高于 Ultra-en;QA 的 PIQA acc 略高于 Ultra-en。宏平均仅包含上面四项共同任务,不复用历史 JSON 中定义不同的 average,也不混入 WikiText 的 PPL/BPB。部分实验另有 ArithMark、WikiText2 结果,见完整分数 JSON;缺失结果不补零。
共同 checkpoint 的对比
选取三组均有评测的 10000、20000、30000 step。下表为四任务 acc_norm 等权均值。
| Step | Tokens(B) | Ultra-en v1.0 | L3 multi | L3 QA |
|---|---|---|---|---|
| 10000 | 5.243 | 40.87% | 39.67% | 39.31% |
| 20000 | 10.486 | 42.30% | 40.29% | 40.68% |
| 30000 | 15.729 | 43.46% | 40.73% | 40.69% |
分数曲线
曲线直接采用历史离散评测点,不做平滑或补造分数。三个实验的 checkpoint 保存间隔不同。Ultra-en 使用原始版历史曲线,不混入续训批次。
acc_norm
acc
最终模型权重与原始结果
权重是实际复制的 MindSpeed 原生 checkpoint,不是软链接;不包含单独的分布式优化器状态。本仓库未转换成 Transformers 格式,需用对应 MindSpeed 模型配置及 tokenizer 加载。
| 实验 | 最终权重 | 原始曲线数据 | 原始曲线及评测日志 |
|---|---|---|---|
| 0721-ultra-en | model_optim_rng.pt | JSON | 目录 |
| 0721-multi | model_optim_rng.pt | JSON | 目录 |
| 0721-qa | model_optim_rng.pt | JSON | 目录 |
实验设置与历史版本
- 共同模型:Qwen3 143M,30 层,hidden size 576。
- 共同训练参数:sequence length 4096、global batch size 128、LR 3e-4、min LR 3e-5、seed 42;配置记录为 fresh + WSD,Ultra-en 采用原始 v1.0 版本。
- 三组使用同一
tokenizer_sp_v3_64k;tokenizer 文件不在此结果包内。 - 评测为 0-shot;现有配置中 multi/Ultra-en 的 batch size 为 32,QA 为 16。
- 最终表格已核对主
eval_results的原始日志,与同名曲线 JSON 的四项共同任务分数一致。 - 原始版与续训版的评测目录映射依据
compare_resumed.yaml和0721-ultra-en-resumed.yaml的显式说明。 - 历史日志没有记录权重 SHA256,不能仅凭路径确认每批评测的权重身份完全一致。这些是历史实验结果,不是本次对归档权重重新测出的分数。
- 只有单个 seed,且数据配方与评测 batch size 存在差异,不声称统计显著性。严格的因果归因仍需固定权重、统一评测并开展控制实验。
可用于论文的表述
在匹配模型规模和训练预算的初期数据源对比中,网页数据配方在若干通用能力指标上优于 L3 multi/QA 配方,且在多个相同训练步数上已观察到总体优势。因此,我们优先以网页数据进行初期训练。该结果是针对本实验配方的经验依据,而非对合成数据普遍无效的判断;其机制以及最优引入时机仍需独立控制实验验证。
“合成数据形式更集中,可能限制初期覆盖面”可作为待验证解释,不能写成这些曲线直接证明的因果结论。

