| # 09. 4-GPU 本地并行运行 |
|
|
| 本路径适用于单机服务器直接用 Bash/Conda 跑实验，不依赖 Slurm。默认只使用 |
| GPU `0,1,2,3`，并且最多同时运行 4 个 matrix task。 |
|
|
| ## 默认资源策略 |
|
|
| - 生成、smoke 和 benchmark：每个 task 绑定 1 张 GPU。 |
| - 评测：每个 task 绑定 1 张 GPU，GPT-2 Large PPL 在该 GPU 上计算。 |
| - 绑定方式：对子进程设置 `CUDA_VISIBLE_DEVICES=<gpu_id>`。子进程内看到的设备通常是 `cuda:0`。 |
| - 默认并发：`DLB_MAX_JOBS=4`。 |
|
|
| 可以覆盖 GPU 列表或并发数： |
|
|
| ```bash |
| DLB_GPUS=0,1,2,3 DLB_MAX_JOBS=4 bash scripts/run_4gpu.sh |
| DLB_GPUS=0,1 DLB_MAX_JOBS=2 bash scripts/run_4gpu.sh |
| ``` |
|
|
| ## 推荐顺序 |
|
|
| 先完成 README 中的源码、数据、checkpoint 和 Conda 环境准备。需要 |
| `reference_reproduction` 的 checkpoint 时，先按 `docs/05_training.md` 训练或蒸馏 |
| 对应产物。 |
|
|
| 然后执行： |
|
|
| ```bash |
| export DLB_GPUS=0,1,2,3 |
| export DLB_MAX_JOBS=4 |
| |
| bash scripts/smoke_4gpu.sh |
| bash scripts/run_4gpu.sh |
| bash scripts/evaluate_4gpu.sh |
| bash scripts/benchmark_4gpu.sh |
| "$DLB_PYTHON" scripts/aggregate_results.py --root "$DLB_ROOT" |
| ``` |
|
|
| ## 输出 |
|
|
| - smoke 样本：`results/smoke/samples/...` |
| - 正式样本：`results/samples/<dataset>/<model>/steps_<steps>/samples.jsonl` |
| - 指标：`results/metrics/<dataset>/<model>/steps_<steps>/metrics.json` |
| - timing：`results/timing/<dataset>/<model>/steps_<steps>/timing.json` |
| - 汇总表：`results/summary/results_wide.csv` 和 `results/summary/results_long.csv` |
|
|
| 每个 task 的 stdout/stderr 会写入： |
|
|
| ```text |
| results/logs/4gpu-<stage>-<task_id>.out |
| results/logs/4gpu-<stage>-<task_id>.err |
| ``` |
|
|
| 失败清单按阶段写入： |
|
|
| ```text |
| results/logs/smoke_4gpu_failures.tsv |
| results/logs/generation_4gpu_failures.tsv |
| results/logs/evaluation_4gpu_failures.tsv |
| results/logs/benchmark_4gpu_failures.tsv |
| ``` |
|
|
| 如果失败清单不存在，表示该阶段没有失败 task。 |
|
|
| ## Dry Run |
|
|
| 在真正占用 GPU 前可以检查调度计划： |
|
|
| ```bash |
| bash scripts/run_4gpu.sh --dry-run |
| bash scripts/evaluate_4gpu.sh --dry-run |
| bash scripts/benchmark_4gpu.sh --dry-run |
| ``` |
|
|
| dry-run 会输出每个 task 绑定的 GPU 和实际 argv，不启动模型。 |
|
|
