diffusion_baseline / docs /EXPERIMENT_MATRIX.md
jyliuAI's picture
Add files using upload-large-folder tool
08af434 verified
|
Raw History Blame Contribute Delete
2.23 kB

实验矩阵

任务展开

类别 逻辑方法 步数 数据集 cell 任务数
Many-step FLM 1,2,4,8,16,32,1024 LM1B、OWT 14
Many-step LangFlow 1,2,4,8,16,32,1024 LM1B、OWT 14
Many-step Duo 1,2,4,8,16,32,1024 LM1B、OWT 14
Many-step MDLM 1,2,4,8,16,32,1024 LM1B、OWT 14
Many-step CANDI 1,2,4,8,16,32,1024 LM1B、OWT 14
Many-step RDLM 1000,1024 LM1B 2
Few-step FMLM 1,2,4,8,16,32 LM1B、OWT 12
Few-step Duo+DCD 1,2,4,8,16,32 LM1B、OWT 12
Few-step Duo+Di4C 1,2,4,8,16,32 LM1B、OWT 12
Few-step MDLM+SDTT 1,2,4,8,16,32 LM1B、OWT 12
Few-step MDLM+Di4C 1,2,4,8,16,32 LM1B、OWT 12
合计 132

RDLM/OWT 是注册表声明的 unsupported cell,只保留一条 reason,不展开为 steps。 RDLM/LM1B 也不展开 1,2,4,8,16,32:RDLM 原始 baseline 是官方 SDE sampler,默认约 1000 个数值积分步;少步网格不是论文方法,也不是训练过的蒸馏版本。服务器诊断显示这些低步 RDLM 行存在 retokenization、非规范上游 ID、低 entropy 与 PPL 非单调信号,因此主表只保留官方默认 1000 和与本项目旧网格对齐的 1024。

结果契约

每行任务对应:

results/samples/<dataset>/<model>/steps_<N>/samples.jsonl
results/samples/<dataset>/<model>/steps_<N>/run_metadata.json
results/metrics/<dataset>/<model>/steps_<N>/metrics.json
results/timing/<dataset>/<model>/steps_<N>/timing.json

正式任务必须 sample_count=1024、seed=42,并通过 source/config/checkpoint/adapter/environment provenance 审计。质量指标使用 GPT-2 Large Generative PPL、平均 per-sample unigram entropy、Self-BLEU;延迟使用独立 timing 的 seconds_per_sample。

可执行矩阵文件

python -m dlb.matrix --root "$DLB_ROOT" \
  --output "$DLB_ROOT/results/matrix/generation.tsv"

TSV 第一行是 # schema=dlb-generation-matrix-v1,第二行是固定字段名。解析使用 CSV/TSV reader,不使用 eval。不要手动重排或编辑任务行;如果 registry 改动,重新生成并审阅 unsupported inventory。