Add Chinese rebuttal experiment plan
Browse files- REBUTTAL_EXPERIMENT_PLAN.md +40 -0
REBUTTAL_EXPERIMENT_PLAN.md
ADDED
|
@@ -0,0 +1,40 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
# ReTime / OPTR Rebuttal 补充实验计划
|
| 2 |
+
|
| 3 |
+
本文档记录与师兄 meeting 后确定的补充实验方向。后续执行时以服务器上的真实代码、配置、完整 checkpoint 和日志为准;所有方法比较必须共享数据、训练预算、训练种子和评测协议,除目标变量外不得改变其他条件。
|
| 4 |
+
|
| 5 |
+
## 1. 周期性刷新 proposal 的成本—性能曲线
|
| 6 |
+
|
| 7 |
+
从同一个完整 common-start checkpoint 出发,每继续训练 500 steps 后重新计算并刷新一次 residual proposal,再继续训练下一段 500 steps。重复多个阶段,并在每个阶段保存 checkpoint、执行固定协议评测。
|
| 8 |
+
|
| 9 |
+
记录 proposal 生成耗时、每段训练耗时、累计墙钟时间、严格成功率以及相对 Uniform 和一次性 proposal 的收益,绘制 time-cost–success-rate 曲线。优先考虑 Qwen–Bridge 或 Florence–Bridge,最终选择以现有资产完整性和运行成本为依据。
|
| 10 |
+
|
| 11 |
+
## 2. 跨 GPU 平台的配对复现实验
|
| 12 |
+
|
| 13 |
+
以 Florence–Bridge 为主设置,从同一个完整 common-start checkpoint 出发,使用完全相同的 continuation training seed、数据顺序、proposal、超参数和 +500-step 预算,分别在 A40 与师兄的 GPU 上训练;再使用完全相同的固定评测 seeds 和任务集合评测。
|
| 14 |
+
|
| 15 |
+
## 3. Residual 候选密度:K=32 与 K=full
|
| 16 |
+
|
| 17 |
+
在 Florence–Bridge 上重新生成 `K=32` 和 `K=full` residual proposal。两组实验共享主实验的 common start、continuation seed、alpha、epsilon、p/q correction、训练预算、global batch 和固定评测 seeds,比较 proposal 成本、训练成本和成功率。
|
| 18 |
+
|
| 19 |
+
## 4. 独立随机 proposal 对照
|
| 20 |
+
|
| 21 |
+
新增真正独立的 Random baseline:不读取 residual 数值,也不置换 residual proposal,而是用冻结随机种子直接生成随机 score / proposal。明确区分:Matched-Random / Shuffle 保留 residual 概率 multiset 并打乱对应关系;Independent Random 的 proposal 数值本身来自独立随机数。
|
| 22 |
+
|
| 23 |
+
## 5. 真机评测与完整流程展示
|
| 24 |
+
|
| 25 |
+
补充真机实验,完整展示观测输入、模型推理、动作输出、机器人执行和成功判定。保留任务定义、硬件与控制设置、每种方法的试验次数和成功数、失败类型、完整视频及安全停止规则,避免只展示成功案例。
|
| 26 |
+
|
| 27 |
+
## 6. 扩展到 pi0.5-fast
|
| 28 |
+
|
| 29 |
+
补充 pi0.5-fast,以同时回答 PI 系列策略适用性和方法是否局限于当前 Flow-Matching action head 的问题。接入时只改变训练样本 encounter frequency,并在需要时使用相应 importance correction,不改变 pi0.5-fast 的原始训练目标或推理流程。
|
| 30 |
+
|
| 31 |
+
## 统一实验纪律
|
| 32 |
+
|
| 33 |
+
- 所有比较从同一个完整 common-start state 出发,完整恢复 model、optimizer、scheduler、RNG、data order 和 update counter。
|
| 34 |
+
- 除目标变量外,训练预算、training seed、batch、global batch、world size、学习率与评测 seeds 必须一致。
|
| 35 |
+
- 区分 training seed、proposal/permutation seed 和 evaluation policy seed。
|
| 36 |
+
- 保留逐 episode 原始结果,aggregate 必须可以独立重算。
|
| 37 |
+
- 记录 proposal、训练、保存和评测的真实墙钟时间。
|
| 38 |
+
- 不使用路径、代码或 manifest SHA 作为启动门;保留 dataset、episode、anchor、support 和 sampling probability 的语义检查。
|
| 39 |
+
- 不覆盖已有 checkpoint、proposal、日志或正式结果。
|
| 40 |
+
|