File size: 2,232 Bytes
08af434
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
# 实验矩阵

## 任务展开

| 类别 | 逻辑方法 | 步数 | 数据集 cell | 任务数 |
|---|---|---|---:|---:|
| Many-step | FLM | 1,2,4,8,16,32,1024 | LM1B、OWT | 14 |
| Many-step | LangFlow | 1,2,4,8,16,32,1024 | LM1B、OWT | 14 |
| Many-step | Duo | 1,2,4,8,16,32,1024 | LM1B、OWT | 14 |
| Many-step | MDLM | 1,2,4,8,16,32,1024 | LM1B、OWT | 14 |
| Many-step | CANDI | 1,2,4,8,16,32,1024 | LM1B、OWT | 14 |
| Many-step | RDLM | 1000,1024 | LM1B | 2 |
| Few-step | FMLM | 1,2,4,8,16,32 | LM1B、OWT | 12 |
| Few-step | Duo+DCD | 1,2,4,8,16,32 | LM1B、OWT | 12 |
| Few-step | Duo+Di4C | 1,2,4,8,16,32 | LM1B、OWT | 12 |
| Few-step | MDLM+SDTT | 1,2,4,8,16,32 | LM1B、OWT | 12 |
| Few-step | MDLM+Di4C | 1,2,4,8,16,32 | LM1B、OWT | 12 |
| **合计** |  |  |  | **132** |

RDLM/OWT 是注册表声明的 unsupported cell,只保留一条 reason,不展开为 steps。
RDLM/LM1B 也不展开 `1,2,4,8,16,32`:RDLM 原始 baseline 是官方 SDE sampler,默认约 1000 个数值积分步;少步网格不是论文方法,也不是训练过的蒸馏版本。服务器诊断显示这些低步 RDLM 行存在 retokenization、非规范上游 ID、低 entropy 与 PPL 非单调信号,因此主表只保留官方默认 `1000` 和与本项目旧网格对齐的 `1024`。

## 结果契约

每行任务对应:

```text
results/samples/<dataset>/<model>/steps_<N>/samples.jsonl
results/samples/<dataset>/<model>/steps_<N>/run_metadata.json
results/metrics/<dataset>/<model>/steps_<N>/metrics.json
results/timing/<dataset>/<model>/steps_<N>/timing.json
```

正式任务必须 `sample_count=1024`、`seed=42`,并通过 source/config/checkpoint/adapter/environment provenance 审计。质量指标使用 GPT-2 Large Generative PPL、平均 per-sample unigram entropy、Self-BLEU;延迟使用独立 timing 的 `seconds_per_sample`。

## 可执行矩阵文件

```bash
python -m dlb.matrix --root "$DLB_ROOT" \
  --output "$DLB_ROOT/results/matrix/generation.tsv"
```

TSV 第一行是 `# schema=dlb-generation-matrix-v1`,第二行是固定字段名。解析使用 CSV/TSV reader,不使用 `eval`。不要手动重排或编辑任务行;如果 registry 改动,重新生成并审阅 unsupported inventory。