mmmmmcyaaa commited on
Commit
6c91934
·
verified ·
1 Parent(s): 678a938

Add Chinese rebuttal experiment plan

Browse files
Files changed (1) hide show
  1. REBUTTAL_EXPERIMENT_PLAN.md +40 -0
REBUTTAL_EXPERIMENT_PLAN.md ADDED
@@ -0,0 +1,40 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ # ReTime / OPTR Rebuttal 补充实验计划
2
+
3
+ 本文档记录与师兄 meeting 后确定的补充实验方向。后续执行时以服务器上的真实代码、配置、完整 checkpoint 和日志为准;所有方法比较必须共享数据、训练预算、训练种子和评测协议,除目标变量外不得改变其他条件。
4
+
5
+ ## 1. 周期性刷新 proposal 的成本—性能曲线
6
+
7
+ 从同一个完整 common-start checkpoint 出发,每继续训练 500 steps 后重新计算并刷新一次 residual proposal,再继续训练下一段 500 steps。重复多个阶段,并在每个阶段保存 checkpoint、执行固定协议评测。
8
+
9
+ 记录 proposal 生成耗时、每段训练耗时、累计墙钟时间、严格成功率以及相对 Uniform 和一次性 proposal 的收益,绘制 time-cost–success-rate 曲线。优先考虑 Qwen–Bridge 或 Florence–Bridge,最终选择以现有资产完整性和运行成本为依据。
10
+
11
+ ## 2. 跨 GPU 平台的配对复现实验
12
+
13
+ 以 Florence–Bridge 为主设置,从同一个完整 common-start checkpoint 出发,使用完全相同的 continuation training seed、数据顺序、proposal、超参数和 +500-step 预算,分别在 A40 与师兄的 GPU 上训练;再使用完全相同的固定评测 seeds 和任务集合评测。
14
+
15
+ ## 3. Residual 候选密度:K=32 与 K=full
16
+
17
+ 在 Florence–Bridge 上重新生成 `K=32` 和 `K=full` residual proposal。两组实验共享主实验的 common start、continuation seed、alpha、epsilon、p/q correction、训练预算、global batch 和固定评测 seeds,比较 proposal 成本、训练成本和成功率。
18
+
19
+ ## 4. 独立随机 proposal 对照
20
+
21
+ 新增真正独立的 Random baseline:不读取 residual 数值,也不置换 residual proposal,而是用冻结随机种子直接生成随机 score / proposal。明确区分:Matched-Random / Shuffle 保留 residual 概率 multiset 并打乱对应关系;Independent Random 的 proposal 数值本身来自独立随机数。
22
+
23
+ ## 5. 真机评测与完整流程展示
24
+
25
+ 补充真机实验,完整展示观测输入、模型推理、动作输出、机器人执行和成功判定。保留任务定义、硬件与控制设置、每种方法的试验次数和成功数、失败类型、完整视频及安全停止规则,避免只展示成功案例。
26
+
27
+ ## 6. 扩展到 pi0.5-fast
28
+
29
+ 补充 pi0.5-fast,以同时回答 PI 系列策略适用性和方法是否局限于当前 Flow-Matching action head 的问题。接入时只改变训练样本 encounter frequency,并在需要时使用相应 importance correction,不改变 pi0.5-fast 的原始训练目标或推理流程。
30
+
31
+ ## 统一实验纪律
32
+
33
+ - 所有比较从同一个完整 common-start state 出发,完整恢复 model、optimizer、scheduler、RNG、data order 和 update counter。
34
+ - 除目标变量外,训练预算、training seed、batch、global batch、world size、学习率与评测 seeds 必须一致。
35
+ - 区分 training seed、proposal/permutation seed 和 evaluation policy seed。
36
+ - 保留逐 episode 原始结果,aggregate 必须可以独立重算。
37
+ - 记录 proposal、训练、保存和评测的真实墙钟时间。
38
+ - 不使用路径、代码或 manifest SHA 作为启动门;保留 dataset、episode、anchor、support 和 sampling probability 的语义检查。
39
+ - 不覆盖已有 checkpoint、proposal、日志或正式结果。
40
+