|
Download docs/EXPERIMENT_MATRIX.md from jyliuAI/diffusion_baseline: direct link, hf CLI and curl.
- Browser
- Download file 2.23 kB
-
https://huggingface.co/jyliuAI/diffusion_baseline/resolve/main/docs/EXPERIMENT_MATRIX.md
- Command line
-
hf download hf://jyliuAI/diffusion_baseline/docs/EXPERIMENT_MATRIX.md
-
curl -L -o EXPERIMENT_MATRIX.md https://huggingface.co/jyliuAI/diffusion_baseline/resolve/main/docs/EXPERIMENT_MATRIX.md
2.23 kB
实验矩阵
任务展开
| 类别 | 逻辑方法 | 步数 | 数据集 cell | 任务数 |
|---|---|---|---|---|
| Many-step | FLM | 1,2,4,8,16,32,1024 | LM1B、OWT | 14 |
| Many-step | LangFlow | 1,2,4,8,16,32,1024 | LM1B、OWT | 14 |
| Many-step | Duo | 1,2,4,8,16,32,1024 | LM1B、OWT | 14 |
| Many-step | MDLM | 1,2,4,8,16,32,1024 | LM1B、OWT | 14 |
| Many-step | CANDI | 1,2,4,8,16,32,1024 | LM1B、OWT | 14 |
| Many-step | RDLM | 1000,1024 | LM1B | 2 |
| Few-step | FMLM | 1,2,4,8,16,32 | LM1B、OWT | 12 |
| Few-step | Duo+DCD | 1,2,4,8,16,32 | LM1B、OWT | 12 |
| Few-step | Duo+Di4C | 1,2,4,8,16,32 | LM1B、OWT | 12 |
| Few-step | MDLM+SDTT | 1,2,4,8,16,32 | LM1B、OWT | 12 |
| Few-step | MDLM+Di4C | 1,2,4,8,16,32 | LM1B、OWT | 12 |
| 合计 | 132 |
RDLM/OWT 是注册表声明的 unsupported cell,只保留一条 reason,不展开为 steps。
RDLM/LM1B 也不展开 1,2,4,8,16,32:RDLM 原始 baseline 是官方 SDE sampler,默认约 1000 个数值积分步;少步网格不是论文方法,也不是训练过的蒸馏版本。服务器诊断显示这些低步 RDLM 行存在 retokenization、非规范上游 ID、低 entropy 与 PPL 非单调信号,因此主表只保留官方默认 1000 和与本项目旧网格对齐的 1024。
结果契约
每行任务对应:
results/samples/<dataset>/<model>/steps_<N>/samples.jsonl
results/samples/<dataset>/<model>/steps_<N>/run_metadata.json
results/metrics/<dataset>/<model>/steps_<N>/metrics.json
results/timing/<dataset>/<model>/steps_<N>/timing.json
正式任务必须 sample_count=1024、seed=42,并通过 source/config/checkpoint/adapter/environment provenance 审计。质量指标使用 GPT-2 Large Generative PPL、平均 per-sample unigram entropy、Self-BLEU;延迟使用独立 timing 的 seconds_per_sample。
可执行矩阵文件
python -m dlb.matrix --root "$DLB_ROOT" \
--output "$DLB_ROOT/results/matrix/generation.tsv"
TSV 第一行是 # schema=dlb-generation-matrix-v1,第二行是固定字段名。解析使用 CSV/TSV reader,不使用 eval。不要手动重排或编辑任务行;如果 registry 改动,重新生成并审阅 unsupported inventory。