SimWAM FlowGRPO, NAVSIM, step 20000
LoRA 已合并的 action-expert 权重。从官方监督权重 SimWAM.pt 出发,在 NAVSIM hard navtrain 子集上做 FlowGRPO,训练 20000 step 后保存。step_020000.pt 可以直接被 SimWAM 的评测脚本加载,不需要再走 LoRA 代码路径。
这是一次 4×AMD Instinct MI350X 上的复现实验,不是论文里 170000 step 的官方 RL 权重。
Benchmark
协议与 SimWAM README 的 NAVSIM v1 navtest 表一致:单目前视 384×672,action-only 推理(不生成未来视频),10 步 flow 采样,官方 PDM 打分。权重为 progress 5、TTC 5、comfort 2。navtest 全集 12146 条全部打分,没有缺 cache,也没有打分失败。
| 指标 | 本权重 step 20000 | 官网 SimWAM + RL |
|---|---|---|
| NC | 98.40 | 98.5 |
| DAC | 98.53 | 99.1 |
| EP | 86.01 | 86.5 |
| TTC | 95.20 | 96.1 |
| C | 100.00 | 99.8 |
| PDMS | 91.10 | 91.9 |
同一批评测还记录了相对真值轨迹的开环误差(不是排行榜指标):ADE 0.765 m,FDE 1.573 m,heading MAE 0.025 rad。四卡推理耗时 2272 秒。
官网 RL 配方是 hard 子集上 170000 step。这次只训了 20000 step,而且 17389 条 hard token 里只有相机帧齐全的 2784 条参与训练。PDMS 低 0.8,主要差在 DAC、TTC 和 EP。
没有跑 NAVSIM v2(EPDMS)、Waymo RFS 或 FVD。
评测软件栈
| 层 | 实际使用 |
|---|---|
| GPU | 4× AMD Instinct MI350X(gfx950) |
| 镜像 | zhangdanyangamd/lumen-rl:embodied-MI350X |
| Python | 3.12.3 |
| PyTorch | 2.12.0+rocm7.14.1(HIP 7.14.60850) |
| 并行 | torchrun,4 进程数据并行。评测不用 DeepSpeed |
| 精度 | bf16 |
| Lumen | ZhangDanyang-AMD/Lumen dev/world-model-rl,commit 55987be,外加本地 attention patch |
| Lumen 开关 | hf_attn_patch,lumen_linear,aiter_conv |
| aiter | ROCm/aiter commit 882bd6207 |
| 其它 | transformers 5.21.0,accelerate 1.15.0,hydra-core 1.3.8,numpy 2.5.2 |
算子落点:
- 线性层和 MLP:aiter bf16 GEMM(
lumen_linear) - Conv2d / Conv3d(含 VAE):
aiter_conv,不支持的形状回退 PyTorch - Attention 前向:Lumen。head dim 大于 256 的 VAE attention 被 CK 拒绝后走 Triton
- 带 mask 且需要反传的 attention:PyTorch SDPA。这次评测是
torch.no_grad(),所以 masked attention 的前向仍走 Lumen - RoPE:apex 选了 aiter fused RoPE
训练时另外用了 DeepSpeed ZeRO-1、Accelerate、bf16。评测只加载合并后的权重做推理和 PDM 打分。
推理设置
- 任务配置:
navsim_grpo_action_pdm_384x672_flowgrpo_lora - 输入:当前帧前视相机,384×672。
video_frame_mode=current_only,num_frames=1 infer_mode=action_only,num_inference_steps=10- 轨迹:8 个位姿,间隔 0.5 s,ego 坐标系下的 x、y、heading
- 打分:NAVSIM
pdm_score,metric cache 按官方navtestscene filter 生成
文件
| 文件 | 内容 |
|---|---|
step_020000.pt |
合并后的权重,payload 含 mot、proprio_encoder,step=20000,lora_merged=true |
config.yaml |
这次训练的 Hydra 配置 |
navtest_pdms_summary.json |
上表的原始分数 |
- Downloads last month
- -