| # 02. 数据下载与预处理 | |
| ## 固定数据契约 | |
| | 数据集 | Hub revision | tokenizer | 长度 | split | | |
| |---|---|---|---:|---| | |
| | LM1B | `billion-word-benchmark/lm1b@35161838ea9e05371a25a8db037f94fcae4c2064` | `bert-base-uncased` | 128 | `train` 与 `test` | | |
| | OWT | `Skylion007/openwebtext@79d93d786212f7344586290adb811d4ae6a1762c` | `gpt2` | 1024 | 最后 100,000 篇为 validation | | |
| LM1B 的 parquet revision、tokenizer revision、词表大小和文件校验均在 `artifacts/data.yaml`。OWT 约 8,013,769 篇文档，开始前需要至少 55 GiB 可用空间；只有明确使用 `--allow-low-disk` 才会绕过预检，并在 manifest 中留下证据。 | |
| ## 下载、预处理和校验 | |
| 以下命令只在服务器执行： | |
| ```bash | |
| python scripts/fetch_data.py --root "$DLB_ROOT" | |
| python scripts/preprocess_data.py --root "$DLB_ROOT" --dataset all | |
| python scripts/verify_data.py --root "$DLB_ROOT" --dataset all | |
| ``` | |
| 下载使用固定 Hub revision 和服务器本地 `data/raw/huggingface/` cache，可中断后重跑。预处理结果位于： | |
| ```text | |
| data/processed/lm1b-bert-128/ | |
| data/processed/owt-gpt2-1024/ | |
| data/manifests/downloads.json | |
| data/manifests/lm1b.json | |
| data/manifests/owt.json | |
| ``` | |
| 预处理会添加对应 tokenizer 的 BOS/EOS 语义并保证每个 packed sequence 长度严格一致。不要手动改 split、长度、tokenizer 或 OWT validation 边界；否则训练 recipe 和指标不再可比。 | |
| ## 失败恢复 | |
| 若 `verify_data.py` 报错，保留 `data/manifests/` 和日志，先检查磁盘、Hub cache 和 revision，再重新执行对应阶段。不要把不完整的 `data/processed/*` 改名为完成目录。 | |