You need to agree to share your Hugging Face information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

Log in or Sign Up to review the conditions and access this model content.

SimWAM FlowGRPO, NAVSIM, step 20000

LoRA 已合并的 action-expert 权重。从官方监督权重 SimWAM.pt 出发,在 NAVSIM hard navtrain 子集上做 FlowGRPO,训练 20000 step 后保存。step_020000.pt 可以直接被 SimWAM 的评测脚本加载,不需要再走 LoRA 代码路径。

这是一次 4×AMD Instinct MI350X 上的复现实验,不是论文里 170000 step 的官方 RL 权重。

Benchmark

协议与 SimWAM README 的 NAVSIM v1 navtest 表一致:单目前视 384×672,action-only 推理(不生成未来视频),10 步 flow 采样,官方 PDM 打分。权重为 progress 5、TTC 5、comfort 2。navtest 全集 12146 条全部打分,没有缺 cache,也没有打分失败。

指标 本权重 step 20000 官网 SimWAM + RL
NC 98.40 98.5
DAC 98.53 99.1
EP 86.01 86.5
TTC 95.20 96.1
C 100.00 99.8
PDMS 91.10 91.9

同一批评测还记录了相对真值轨迹的开环误差(不是排行榜指标):ADE 0.765 m,FDE 1.573 m,heading MAE 0.025 rad。四卡推理耗时 2272 秒。

官网 RL 配方是 hard 子集上 170000 step。这次只训了 20000 step,而且 17389 条 hard token 里只有相机帧齐全的 2784 条参与训练。PDMS 低 0.8,主要差在 DAC、TTC 和 EP。

没有跑 NAVSIM v2(EPDMS)、Waymo RFS 或 FVD。

评测软件栈

层 实际使用
GPU 4× AMD Instinct MI350X(gfx950)
镜像 zhangdanyangamd/lumen-rl:embodied-MI350X
Python 3.12.3
PyTorch 2.12.0+rocm7.14.1(HIP 7.14.60850)
并行 torchrun,4 进程数据并行。评测不用 DeepSpeed
精度 bf16
Lumen ZhangDanyang-AMD/Lumen dev/world-model-rl,commit 55987be,外加本地 attention patch
Lumen 开关 hf_attn_patch,lumen_linear,aiter_conv
aiter ROCm/aiter commit 882bd6207
其它 transformers 5.21.0,accelerate 1.15.0,hydra-core 1.3.8,numpy 2.5.2

算子落点:

  • 线性层和 MLP:aiter bf16 GEMM(lumen_linear)
  • Conv2d / Conv3d(含 VAE):aiter_conv,不支持的形状回退 PyTorch
  • Attention 前向:Lumen。head dim 大于 256 的 VAE attention 被 CK 拒绝后走 Triton
  • 带 mask 且需要反传的 attention:PyTorch SDPA。这次评测是 torch.no_grad(),所以 masked attention 的前向仍走 Lumen
  • RoPE:apex 选了 aiter fused RoPE

训练时另外用了 DeepSpeed ZeRO-1、Accelerate、bf16。评测只加载合并后的权重做推理和 PDM 打分。

推理设置

  • 任务配置:navsim_grpo_action_pdm_384x672_flowgrpo_lora
  • 输入:当前帧前视相机,384×672。video_frame_mode=current_only,num_frames=1
  • infer_mode=action_only,num_inference_steps=10
  • 轨迹:8 个位姿,间隔 0.5 s,ego 坐标系下的 x、y、heading
  • 打分:NAVSIM pdm_score,metric cache 按官方 navtest scene filter 生成

文件

文件 内容
step_020000.pt 合并后的权重,payload 含 mot、proprio_encoder,step=20000,lora_merged=true
config.yaml 这次训练的 Hydra 配置
navtest_pdms_summary.json 上表的原始分数
Downloads last month
-
Video Preview
loading