Download index.html from Chillilly88/Haidass-exps-data: direct link, hf CLI and curl.
- Browser
- Download file 7.86 kB
-
https://huggingface.co/Chillilly88/Haidass-exps-data/resolve/main/index.html
- Command line
-
hf download hf://Chillilly88/Haidass-exps-data/index.html
-
curl -L -o index.html https://huggingface.co/Chillilly88/Haidass-exps-data/resolve/main/index.html
7.86 kB
| <html lang="zh-CN"><meta charset="utf-8"><meta name="viewport" content="width=device-width,initial-scale=1"><title>0721 初期数据源对比</title><style>body{max-width:1200px;margin:auto;padding:32px;background:#f5f7fa;color:#203040;font:16px/1.7 system-ui}section{padding:24px;margin:24px 0;background:white;border:1px solid #dde3ea;border-radius:12px}table{border-collapse:collapse;width:100%;font-size:14px}th,td{border-bottom:1px solid #dde3ea;padding:9px;text-align:right}th:first-child,td:first-child{text-align:left}img{width:100%}a{color:#1767a3}.note{color:#59697a}code{overflow-wrap:anywhere}.scroll{overflow:auto}</style><h1>0721:初期训练数据源对比</h1><p>三个实验最终 checkpoint:38146 step / 19.999490048B tokens。复用现有 model-test 历史评测,未重新评测。</p><section><h2>这组结果能说明什么</h2><p>在这组 143M、约 20B tokens 的实验中,网页优先组在 HellaSwag 和 ARC-Easy 上表现更好。它支持把网页数据作为初期训练主体的选择;不能据此推断所有合成数据都不适合初期训练,也不能证明最佳加入时点。</p><p><b>版本已确认:</b>本报告采用 <code>0721-ultra-en/v1.0/iter_0038146</code> 的原始纯网页 20B 权重。权重内部数据路径仅包含 UltraFineWeb-en。历史配置 <code>model-test/configs/compare_resumed.yaml</code> 明确指定 <code>eval_results</code> 为 original,<code>eval_results_resumed</code> 为 resumed;本包使用 original 曲线,不包含外层续训权重和 resumed 分数。</p><p>multi 与 QA checkpoint 的数据路径分别为 ultrafineweb-en-l3 和 ultrafineweb-en-l3-qa。现有配置注释对 L3 的描述并不一致(有“过滤级别”和“QA 增强”等描述),单凭这些实验目录不能确认每一条样本均为合成内容;下文将其称为 L3 multi/QA 数据配方。</p></section><section><h2>最终 checkpoint 分数</h2><p>每格为 acc / acc_norm(%),保留两种口径,不把归一化分数当成原始准确率。</p><div class="scroll"><table><thead><tr><th>任务</th><th>0721-ultra-en</th><th>0721-multi</th><th>0721-qa</th></tr></thead><tbody><tr><td>arc_easy</td><td>56.82 / 49.71</td><td>50.93 / 45.54</td><td>50.67 / 45.54</td></tr><tr><td>arc_challenge</td><td>24.49 / 24.74</td><td>23.29 / 26.11</td><td>23.46 / 26.28</td></tr><tr><td>hellaswag</td><td>31.16 / 36.05</td><td>28.74 / 30.99</td><td>30.13 / 32.76</td></tr><tr><td>piqa</td><td>64.58 / 65.29</td><td>62.73 / 63.11</td><td>64.69 / 63.71</td></tr><tr><td>四任务等权宏平均</td><td>44.26 / 43.95</td><td>41.42 / 41.44</td><td>42.24 / 42.07</td></tr></tbody></table></div><p>例外同样保留:L3 multi/QA 的 ARC-Challenge acc_norm 高于 Ultra-en;QA 的 PIQA acc 略高于 Ultra-en。宏平均只对四个共同任务等权计算,不复用历史 JSON 中定义不同的 average,也不混入 WikiText 的 PPL/BPB。</p><p><a href="scores/final_scores.json">完整最终分数</a>(包含仅部分实验有结果的 ArithMark、WikiText2;缺失结果不补零)。</p></section><section><h2>共同 checkpoint:用于讨论初期数据选择</h2><p>选取三组均有评测的 10000、20000、30000 step。表中使用四任务 acc_norm 等权均值;单任务变化见曲线。</p><div class="scroll"><table><thead><tr><th>Step / tokens</th><th>0721-ultra-en</th><th>0721-multi</th><th>0721-qa</th></tr></thead><tbody><tr><td>10000(5.243B)</td><td>40.87%</td><td>39.67%</td><td>39.31%</td></tr><tr><td>20000(10.486B)</td><td>42.30%</td><td>40.29%</td><td>40.68%</td></tr><tr><td>30000(15.729B)</td><td>43.46%</td><td>40.73%</td><td>40.69%</td></tr></tbody></table></div><h3>可用于论文的表述</h3><blockquote>在匹配模型规模和训练预算的初期数据源对比中,网页数据配方在若干通用能力指标上优于 L3 multi/QA 配方,且在多个相同训练步数上已观察到总体优势。因此,我们优先以网页数据进行初期训练。该结果是针对本实验配方的经验依据,而非对合成数据普遍无效的判断;其机制以及最优引入时机仍需独立控制实验验证。</blockquote><p class="note">“合成数据形式更集中、可能限制初期覆盖面”可以作为待验证解释,不能写成这些曲线直接证明的因果结论。实验仅有一个 seed,评测 batch size 也不完全一致,不声称统计显著性。</p></section><section><h2>分数曲线</h2><p>使用各实验同名 *_results.json 的四个共同任务重新叠图;保留原始离散点、不平滑、不补造 checkpoint 分数。Ultra-en 曲线采用原始版历史评测,不混入续训批次。</p><h3>acc_norm</h3><img src="curves/comparison_acc_norm.png" alt="acc_norm 分数曲线"><a href="curves/comparison_acc_norm.pdf">下载 PDF</a><h3>acc</h3><img src="curves/comparison_acc.png" alt="acc 分数曲线"><a href="curves/comparison_acc.pdf">下载 PDF</a><p><a href="scores/comparison_curve_data.csv">曲线数据 CSV</a></p></section><section><h2>三个最终权重与原始 model-test 曲线</h2><p>权重为实际复制的 MindSpeed 模型文件,非软链接;未复制单独的分布式优化器状态。三个目录都保留了原始曲线 JSON、model-test 生成的 PNG 和已有最终评测日志。</p><h3>0721-ultra-en</h3><p><a href="0721-ultra-en/weights/iter_0038146/mp_rank_00/model_optim_rng.pt">最终模型权重</a> · <a href="0721-ultra-en/scores/curve_data.json">原始曲线数据</a></p><p><a href="0721-ultra-en/scores/0721-ultra-en_all.png">0721-ultra-en_all.png</a></p><p><a href="0721-ultra-en/scores/0721-ultra-en_subplots.png">0721-ultra-en_subplots.png</a></p><details><summary>权重来源和 SHA256</summary><p><code>/mnt/models/00_TRAIN_RES/0721-ultra-en/v1.0/iter_0038146/mp_rank_00/model_optim_rng.pt</code></p><code>0f9ccdb53a372c0911a46b98b144db213248fab1588b87696a36952dc16c3fe4</code></details><h3>0721-multi</h3><p><a href="0721-multi/weights/iter_0038146/mp_rank_00/model_optim_rng.pt">最终模型权重</a> · <a href="0721-multi/scores/curve_data.json">原始曲线数据</a></p><p><a href="0721-multi/scores/0721-multi_all.png">0721-multi_all.png</a></p><p><a href="0721-multi/scores/0721-multi_subplots.png">0721-multi_subplots.png</a></p><details><summary>权重来源和 SHA256</summary><p><code>/mnt/models/00_TRAIN_RES/0721-multi/iter_0038146/mp_rank_00/model_optim_rng.pt</code></p><code>b88bca9600d708640a58ff1eead99db8f6f9169ff5342631f30045c70bc55d43</code></details><h3>0721-qa</h3><p><a href="0721-qa/weights/iter_0038146/mp_rank_00/model_optim_rng.pt">最终模型权重</a> · <a href="0721-qa/scores/curve_data.json">原始曲线数据</a></p><p><a href="0721-qa/scores/0721-qa_all.png">0721-qa_all.png</a></p><p><a href="0721-qa/scores/0721-qa_subplots.png">0721-qa_subplots.png</a></p><details><summary>权重来源和 SHA256</summary><p><code>/mnt/models/00_TRAIN_RES/0721-qa/iter_0038146/mp_rank_00/model_optim_rng.pt</code></p><code>100282c52212256f1469689dec9847381fde441ad1e555eb0aae18f384d03c6a</code></details></section><section><h2>结果口径与版本说明</h2><p>共同配置:30 层、hidden 576、Qwen3 143M,seq 4096、GBS 128、LR 3e-4、min LR 3e-5、seed 42,同一 tokenizer_sp_v3_64k;配置记录为 fresh + WSD。评测为 0-shot;当前配置中 multi/Ultra-en batch size 32,QA 为 16。</p><p>最终表格已逐项核对 original eval_results 的最终原始日志,与同名曲线 JSON 中的共同任务分数一致。Ultra-en 原始版与续训版的对应关系依据 compare_resumed.yaml 和 0721-ultra-en-resumed.yaml 的显式说明。历史日志未记录权重 SHA256;本次未重新评测,不把历史分数称为此次对归档权重重测的结果。严格因果归因仍需统一评测设置、多 seed 控制实验。</p></section></html> |