File size: 2,232 Bytes
08af434 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 | # 实验矩阵
## 任务展开
| 类别 | 逻辑方法 | 步数 | 数据集 cell | 任务数 |
|---|---|---|---:|---:|
| Many-step | FLM | 1,2,4,8,16,32,1024 | LM1B、OWT | 14 |
| Many-step | LangFlow | 1,2,4,8,16,32,1024 | LM1B、OWT | 14 |
| Many-step | Duo | 1,2,4,8,16,32,1024 | LM1B、OWT | 14 |
| Many-step | MDLM | 1,2,4,8,16,32,1024 | LM1B、OWT | 14 |
| Many-step | CANDI | 1,2,4,8,16,32,1024 | LM1B、OWT | 14 |
| Many-step | RDLM | 1000,1024 | LM1B | 2 |
| Few-step | FMLM | 1,2,4,8,16,32 | LM1B、OWT | 12 |
| Few-step | Duo+DCD | 1,2,4,8,16,32 | LM1B、OWT | 12 |
| Few-step | Duo+Di4C | 1,2,4,8,16,32 | LM1B、OWT | 12 |
| Few-step | MDLM+SDTT | 1,2,4,8,16,32 | LM1B、OWT | 12 |
| Few-step | MDLM+Di4C | 1,2,4,8,16,32 | LM1B、OWT | 12 |
| **合计** | | | | **132** |
RDLM/OWT 是注册表声明的 unsupported cell,只保留一条 reason,不展开为 steps。
RDLM/LM1B 也不展开 `1,2,4,8,16,32`:RDLM 原始 baseline 是官方 SDE sampler,默认约 1000 个数值积分步;少步网格不是论文方法,也不是训练过的蒸馏版本。服务器诊断显示这些低步 RDLM 行存在 retokenization、非规范上游 ID、低 entropy 与 PPL 非单调信号,因此主表只保留官方默认 `1000` 和与本项目旧网格对齐的 `1024`。
## 结果契约
每行任务对应:
```text
results/samples/<dataset>/<model>/steps_<N>/samples.jsonl
results/samples/<dataset>/<model>/steps_<N>/run_metadata.json
results/metrics/<dataset>/<model>/steps_<N>/metrics.json
results/timing/<dataset>/<model>/steps_<N>/timing.json
```
正式任务必须 `sample_count=1024`、`seed=42`,并通过 source/config/checkpoint/adapter/environment provenance 审计。质量指标使用 GPT-2 Large Generative PPL、平均 per-sample unigram entropy、Self-BLEU;延迟使用独立 timing 的 `seconds_per_sample`。
## 可执行矩阵文件
```bash
python -m dlb.matrix --root "$DLB_ROOT" \
--output "$DLB_ROOT/results/matrix/generation.tsv"
```
TSV 第一行是 `# schema=dlb-generation-matrix-v1`,第二行是固定字段名。解析使用 CSV/TSV reader,不使用 `eval`。不要手动重排或编辑任务行;如果 registry 改动,重新生成并审阅 unsupported inventory。
|