0721:初期训练数据源对比

三个实验最终 checkpoint:38146 step / 19.999490048B tokens。复用现有 model-test 历史评测,未重新评测。

这组结果能说明什么

在这组 143M、约 20B tokens 的实验中,网页优先组在 HellaSwag 和 ARC-Easy 上表现更好。它支持把网页数据作为初期训练主体的选择;不能据此推断所有合成数据都不适合初期训练,也不能证明最佳加入时点。

版本已确认:本报告采用 0721-ultra-en/v1.0/iter_0038146 的原始纯网页 20B 权重。权重内部数据路径仅包含 UltraFineWeb-en。历史配置 model-test/configs/compare_resumed.yaml 明确指定 eval_results 为 original,eval_results_resumed 为 resumed;本包使用 original 曲线,不包含外层续训权重和 resumed 分数。

multi 与 QA checkpoint 的数据路径分别为 ultrafineweb-en-l3 和 ultrafineweb-en-l3-qa。现有配置注释对 L3 的描述并不一致(有“过滤级别”和“QA 增强”等描述),单凭这些实验目录不能确认每一条样本均为合成内容;下文将其称为 L3 multi/QA 数据配方。

最终 checkpoint 分数

每格为 acc / acc_norm(%),保留两种口径,不把归一化分数当成原始准确率。

任务0721-ultra-en0721-multi0721-qa
arc_easy56.82 / 49.7150.93 / 45.5450.67 / 45.54
arc_challenge24.49 / 24.7423.29 / 26.1123.46 / 26.28
hellaswag31.16 / 36.0528.74 / 30.9930.13 / 32.76
piqa64.58 / 65.2962.73 / 63.1164.69 / 63.71
四任务等权宏平均44.26 / 43.9541.42 / 41.4442.24 / 42.07

例外同样保留:L3 multi/QA 的 ARC-Challenge acc_norm 高于 Ultra-en;QA 的 PIQA acc 略高于 Ultra-en。宏平均只对四个共同任务等权计算,不复用历史 JSON 中定义不同的 average,也不混入 WikiText 的 PPL/BPB。

完整最终分数(包含仅部分实验有结果的 ArithMark、WikiText2;缺失结果不补零)。

共同 checkpoint:用于讨论初期数据选择

选取三组均有评测的 10000、20000、30000 step。表中使用四任务 acc_norm 等权均值;单任务变化见曲线。

Step / tokens0721-ultra-en0721-multi0721-qa
10000(5.243B)40.87%39.67%39.31%
20000(10.486B)42.30%40.29%40.68%
30000(15.729B)43.46%40.73%40.69%

可用于论文的表述

在匹配模型规模和训练预算的初期数据源对比中,网页数据配方在若干通用能力指标上优于 L3 multi/QA 配方,且在多个相同训练步数上已观察到总体优势。因此,我们优先以网页数据进行初期训练。该结果是针对本实验配方的经验依据,而非对合成数据普遍无效的判断;其机制以及最优引入时机仍需独立控制实验验证。

“合成数据形式更集中、可能限制初期覆盖面”可以作为待验证解释,不能写成这些曲线直接证明的因果结论。实验仅有一个 seed,评测 batch size 也不完全一致,不声称统计显著性。

分数曲线

使用各实验同名 *_results.json 的四个共同任务重新叠图;保留原始离散点、不平滑、不补造 checkpoint 分数。Ultra-en 曲线采用原始版历史评测,不混入续训批次。

acc_norm

acc_norm 分数曲线下载 PDF

acc

acc 分数曲线下载 PDF

曲线数据 CSV

三个最终权重与原始 model-test 曲线

权重为实际复制的 MindSpeed 模型文件,非软链接;未复制单独的分布式优化器状态。三个目录都保留了原始曲线 JSON、model-test 生成的 PNG 和已有最终评测日志。

0721-ultra-en

最终模型权重 · 原始曲线数据

0721-ultra-en_all.png

0721-ultra-en_subplots.png

权重来源和 SHA256

/mnt/models/00_TRAIN_RES/0721-ultra-en/v1.0/iter_0038146/mp_rank_00/model_optim_rng.pt

0f9ccdb53a372c0911a46b98b144db213248fab1588b87696a36952dc16c3fe4

0721-multi

最终模型权重 · 原始曲线数据

0721-multi_all.png

0721-multi_subplots.png

权重来源和 SHA256

/mnt/models/00_TRAIN_RES/0721-multi/iter_0038146/mp_rank_00/model_optim_rng.pt

b88bca9600d708640a58ff1eead99db8f6f9169ff5342631f30045c70bc55d43

0721-qa

最终模型权重 · 原始曲线数据

0721-qa_all.png

0721-qa_subplots.png

权重来源和 SHA256

/mnt/models/00_TRAIN_RES/0721-qa/iter_0038146/mp_rank_00/model_optim_rng.pt

100282c52212256f1469689dec9847381fde441ad1e555eb0aae18f384d03c6a

结果口径与版本说明

共同配置:30 层、hidden 576、Qwen3 143M,seq 4096、GBS 128、LR 3e-4、min LR 3e-5、seed 42,同一 tokenizer_sp_v3_64k;配置记录为 fresh + WSD。评测为 0-shot;当前配置中 multi/Ultra-en batch size 32,QA 为 16。

最终表格已逐项核对 original eval_results 的最终原始日志,与同名曲线 JSON 中的共同任务分数一致。Ultra-en 原始版与续训版的对应关系依据 compare_resumed.yaml 和 0721-ultra-en-resumed.yaml 的显式说明。历史日志未记录权重 SHA256;本次未重新评测,不把历史分数称为此次对归档权重重测的结果。严格因果归因仍需统一评测设置、多 seed 控制实验。