02. 数据下载与预处理
固定数据契约
| 数据集 | Hub revision | tokenizer | 长度 | split |
|---|---|---|---|---|
| LM1B | billion-word-benchmark/lm1b@35161838ea9e05371a25a8db037f94fcae4c2064 |
bert-base-uncased |
128 | train 与 test |
| OWT | Skylion007/openwebtext@79d93d786212f7344586290adb811d4ae6a1762c |
gpt2 |
1024 | 最后 100,000 篇为 validation |
LM1B 的 parquet revision、tokenizer revision、词表大小和文件校验均在 artifacts/data.yaml。OWT 约 8,013,769 篇文档，开始前需要至少 55 GiB 可用空间；只有明确使用 --allow-low-disk 才会绕过预检，并在 manifest 中留下证据。
下载、预处理和校验
以下命令只在服务器执行：
python scripts/fetch_data.py --root "$DLB_ROOT"
python scripts/preprocess_data.py --root "$DLB_ROOT" --dataset all
python scripts/verify_data.py --root "$DLB_ROOT" --dataset all
下载使用固定 Hub revision 和服务器本地 data/raw/huggingface/ cache，可中断后重跑。预处理结果位于：
data/processed/lm1b-bert-128/
data/processed/owt-gpt2-1024/
data/manifests/downloads.json
data/manifests/lm1b.json
data/manifests/owt.json
预处理会添加对应 tokenizer 的 BOS/EOS 语义并保证每个 packed sequence 长度严格一致。不要手动改 split、长度、tokenizer 或 OWT validation 边界；否则训练 recipe 和指标不再可比。
失败恢复
若 verify_data.py 报错，保留 data/manifests/ 和日志，先检查磁盘、Hub cache 和 revision，再重新执行对应阶段。不要把不完整的 data/processed/* 改名为完成目录。