Haidass:初期训练数据源对比

本仓库整理 0721-ultra-en、0721-multi、0721-qa 三个实验的最终权重、历史 benchmark 分数及曲线,用于分析初期训练数据源的选择。

三个实验最终 checkpoint 均为 38146 step,19.999490048B tokens。分数来自已有 model-test 评测,本次整理未重新评测。

下载完整 HTML 报告 · 最终分数 JSON · 曲线数据 CSV

结论与适用范围

这组实验支持初期优先以网页数据进行训练:在相同训练预算下,网页数据配方在 HellaSwag、ARC-Easy 等通用指标和四任务等权均值上已有优势。它不能证明所有合成数据都不适合初期训练,也不能确定最优引入时点。

Ultra-en 已选用 v1.0 原始纯网页版本。 权重来源为 0721-ultra-en/v1.0/iter_0038146;内部数据路径仅包含 UltraFineWeb-en。历史 model-test/configs/compare_resumed.yaml 明确指定 eval_results 为 original、eval_results_resumed 为 resumed。本仓库采用原始版的权重和历史曲线,不包含外层续训权重或 resumed 分数。

L3 multi 与 QA 的数据路径分别为 ultrafineweb-en-l3、ultrafineweb-en-l3-qa。历史配置注释对 L3 的描述不完全一致;仅凭实验目录不能断言所有样本均为合成内容,因此这里使用“L3 multi/QA 数据配方”的名称。

最终 checkpoint 分数

每格为 acc / acc_norm(%),两种口径分别展示。

Benchmark Ultra-en v1.0 L3 multi L3 QA
arc_easy 56.82 / 49.71 50.93 / 45.54 50.67 / 45.54
arc_challenge 24.49 / 24.74 23.29 / 26.11 23.46 / 26.28
hellaswag 31.16 / 36.05 28.74 / 30.99 30.13 / 32.76
piqa 64.58 / 65.29 62.73 / 63.11 64.69 / 63.71
四任务等权宏平均 44.26 / 43.95 41.42 / 41.44 42.24 / 42.07

保留指标上的例外:L3 multi/QA 的 ARC-Challenge acc_norm 高于 Ultra-en;QA 的 PIQA acc 略高于 Ultra-en。宏平均仅包含上面四项共同任务,不复用历史 JSON 中定义不同的 average,也不混入 WikiText 的 PPL/BPB。部分实验另有 ArithMark、WikiText2 结果,见完整分数 JSON;缺失结果不补零。

共同 checkpoint 的对比

选取三组均有评测的 10000、20000、30000 step。下表为四任务 acc_norm 等权均值。

Step Tokens(B) Ultra-en v1.0 L3 multi L3 QA
10000 5.243 40.87% 39.67% 39.31%
20000 10.486 42.30% 40.29% 40.68%
30000 15.729 43.46% 40.73% 40.69%

分数曲线

曲线直接采用历史离散评测点,不做平滑或补造分数。三个实验的 checkpoint 保存间隔不同。Ultra-en 使用原始版历史曲线,不混入续训批次。

acc_norm

acc_norm 分数曲线

下载 PDF

acc

acc 分数曲线

下载 PDF

最终模型权重与原始结果

权重是实际复制的 MindSpeed 原生 checkpoint,不是软链接;不包含单独的分布式优化器状态。本仓库未转换成 Transformers 格式,需用对应 MindSpeed 模型配置及 tokenizer 加载。

实验 最终权重 原始曲线数据 原始曲线及评测日志
0721-ultra-en model_optim_rng.pt JSON 目录
0721-multi model_optim_rng.pt JSON 目录
0721-qa model_optim_rng.pt JSON 目录

实验设置与历史版本

  • 共同模型:Qwen3 143M,30 层,hidden size 576。
  • 共同训练参数:sequence length 4096、global batch size 128、LR 3e-4、min LR 3e-5、seed 42;配置记录为 fresh + WSD,Ultra-en 采用原始 v1.0 版本。
  • 三组使用同一 tokenizer_sp_v3_64k;tokenizer 文件不在此结果包内。
  • 评测为 0-shot;现有配置中 multi/Ultra-en 的 batch size 为 32,QA 为 16。
  • 最终表格已核对主 eval_results 的原始日志,与同名曲线 JSON 的四项共同任务分数一致。
  • 原始版与续训版的评测目录映射依据 compare_resumed.yaml 和 0721-ultra-en-resumed.yaml 的显式说明。
  • 历史日志没有记录权重 SHA256,不能仅凭路径确认每批评测的权重身份完全一致。这些是历史实验结果,不是本次对归档权重重新测出的分数。
  • 只有单个 seed,且数据配方与评测 batch size 存在差异,不声称统计显著性。严格的因果归因仍需固定权重、统一评测并开展控制实验。

可用于论文的表述

在匹配模型规模和训练预算的初期数据源对比中,网页数据配方在若干通用能力指标上优于 L3 multi/QA 配方,且在多个相同训练步数上已观察到总体优势。因此,我们优先以网页数据进行初期训练。该结果是针对本实验配方的经验依据,而非对合成数据普遍无效的判断;其机制以及最优引入时机仍需独立控制实验验证。

“合成数据形式更集中,可能限制初期覆盖面”可作为待验证解释,不能写成这些曲线直接证明的因果结论。

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support