三个实验最终 checkpoint:38146 step / 19.999490048B tokens。复用现有 model-test 历史评测,未重新评测。
在这组 143M、约 20B tokens 的实验中,网页优先组在 HellaSwag 和 ARC-Easy 上表现更好。它支持把网页数据作为初期训练主体的选择;不能据此推断所有合成数据都不适合初期训练,也不能证明最佳加入时点。
版本已确认:本报告采用 0721-ultra-en/v1.0/iter_0038146 的原始纯网页 20B 权重。权重内部数据路径仅包含 UltraFineWeb-en。历史配置 model-test/configs/compare_resumed.yaml 明确指定 eval_results 为 original,eval_results_resumed 为 resumed;本包使用 original 曲线,不包含外层续训权重和 resumed 分数。
multi 与 QA checkpoint 的数据路径分别为 ultrafineweb-en-l3 和 ultrafineweb-en-l3-qa。现有配置注释对 L3 的描述并不一致(有“过滤级别”和“QA 增强”等描述),单凭这些实验目录不能确认每一条样本均为合成内容;下文将其称为 L3 multi/QA 数据配方。
每格为 acc / acc_norm(%),保留两种口径,不把归一化分数当成原始准确率。
| 任务 | 0721-ultra-en | 0721-multi | 0721-qa |
|---|---|---|---|
| arc_easy | 56.82 / 49.71 | 50.93 / 45.54 | 50.67 / 45.54 |
| arc_challenge | 24.49 / 24.74 | 23.29 / 26.11 | 23.46 / 26.28 |
| hellaswag | 31.16 / 36.05 | 28.74 / 30.99 | 30.13 / 32.76 |
| piqa | 64.58 / 65.29 | 62.73 / 63.11 | 64.69 / 63.71 |
| 四任务等权宏平均 | 44.26 / 43.95 | 41.42 / 41.44 | 42.24 / 42.07 |
例外同样保留:L3 multi/QA 的 ARC-Challenge acc_norm 高于 Ultra-en;QA 的 PIQA acc 略高于 Ultra-en。宏平均只对四个共同任务等权计算,不复用历史 JSON 中定义不同的 average,也不混入 WikiText 的 PPL/BPB。
完整最终分数(包含仅部分实验有结果的 ArithMark、WikiText2;缺失结果不补零)。
选取三组均有评测的 10000、20000、30000 step。表中使用四任务 acc_norm 等权均值;单任务变化见曲线。
| Step / tokens | 0721-ultra-en | 0721-multi | 0721-qa |
|---|---|---|---|
| 10000(5.243B) | 40.87% | 39.67% | 39.31% |
| 20000(10.486B) | 42.30% | 40.29% | 40.68% |
| 30000(15.729B) | 43.46% | 40.73% | 40.69% |
在匹配模型规模和训练预算的初期数据源对比中,网页数据配方在若干通用能力指标上优于 L3 multi/QA 配方,且在多个相同训练步数上已观察到总体优势。因此,我们优先以网页数据进行初期训练。该结果是针对本实验配方的经验依据,而非对合成数据普遍无效的判断;其机制以及最优引入时机仍需独立控制实验验证。
“合成数据形式更集中、可能限制初期覆盖面”可以作为待验证解释,不能写成这些曲线直接证明的因果结论。实验仅有一个 seed,评测 batch size 也不完全一致,不声称统计显著性。
使用各实验同名 *_results.json 的四个共同任务重新叠图;保留原始离散点、不平滑、不补造 checkpoint 分数。Ultra-en 曲线采用原始版历史评测,不混入续训批次。
下载 PDF
下载 PDF权重为实际复制的 MindSpeed 模型文件,非软链接;未复制单独的分布式优化器状态。三个目录都保留了原始曲线 JSON、model-test 生成的 PNG 和已有最终评测日志。
/mnt/models/00_TRAIN_RES/0721-ultra-en/v1.0/iter_0038146/mp_rank_00/model_optim_rng.pt
0f9ccdb53a372c0911a46b98b144db213248fab1588b87696a36952dc16c3fe4/mnt/models/00_TRAIN_RES/0721-multi/iter_0038146/mp_rank_00/model_optim_rng.pt
b88bca9600d708640a58ff1eead99db8f6f9169ff5342631f30045c70bc55d43/mnt/models/00_TRAIN_RES/0721-qa/iter_0038146/mp_rank_00/model_optim_rng.pt
100282c52212256f1469689dec9847381fde441ad1e555eb0aae18f384d03c6a共同配置:30 层、hidden 576、Qwen3 143M,seq 4096、GBS 128、LR 3e-4、min LR 3e-5、seed 42,同一 tokenizer_sp_v3_64k;配置记录为 fresh + WSD。评测为 0-shot;当前配置中 multi/Ultra-en batch size 32,QA 为 16。
最终表格已逐项核对 original eval_results 的最终原始日志,与同名曲线 JSON 中的共同任务分数一致。Ultra-en 原始版与续训版的对应关系依据 compare_resumed.yaml 和 0721-ultra-en-resumed.yaml 的显式说明。历史日志未记录权重 SHA256;本次未重新评测,不把历史分数称为此次对归档权重重测的结果。严格因果归因仍需统一评测设置、多 seed 控制实验。