ReCogDrive 官方 2B RL:权重、VLM 与可运行推理包
这是 jyh123cn 整理的官方权重镜像与推理包。RL checkpoint 和 VLM 权重保持原始字节,没有重新训练或替换成本地 FC 模型。 名称中的 905 对应本地 NAVSIM v1 完整 navtest 的 90.5070 PDMS,不是对任意环境/数据的成绩保证。
官方来源:ReCogDrive项目、2B RL规划头、2B VLM。许可证与第三方声明见 LICENSE、NOTICE。
文件
| 路径 | 内容 |
|---|---|
ReCogDrive_Diffusion_Planner_2B_RL.ckpt |
未改动的官方RL规划头,549,805,245字节;原文件内的old_policy/训练状态一并保留,推理只严格加载actor |
vlm/ |
完整VLM推理权重、配置、tokenizer和自定义模型代码;model.safetensors为4,178,048,344字节 |
inference.py |
图片+JSON,或缓存特征的单场景推理 |
input.schema.json、inference_config.json |
原始输入契约与准确推理参数 |
examples/synthetic/ |
合成图片、输入JSON、模型输入特征及CPU输出;仅验证调用流程 |
scripts/export_navsim_input.py |
从本地NAVSIM导出一个真实场景的全部模型输入 |
scripts/evaluate_navtest.py |
复用原90.5070评测入口,数据路径改为命令行参数;支持单卡或torchrun |
evaluation/ |
原完整navtest结果与本次推理包验证报告 |
navsim/ |
推理/评测所需的本地已验证NAVSIM与ReCogDrive源码快照 |
provenance/、bundle_manifest.json |
上游固定版本、原文件SHA-256、来源与整包校验清单 |
下载与安装
使用Python 3.10。以下版本来自实际工作环境;新机器需要先准备相应CUDA驱动。本次在现有工作环境验证推理,没有声称完成全新环境的从零安装测试。
python -m pip install huggingface-hub==0.25.2
python -c "from huggingface_hub import snapshot_download; snapshot_download('jyh123cn/recogdrive_origin_905', local_dir='recogdrive_origin_905')"
cd recogdrive_origin_905
python -m pip install 'setuptools<81'
python -m pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128
python -m pip install -r requirements.txt
python -m pip install --no-deps 'nuplan-devkit @ git+https://github.com/motional/nuplan-devkit.git@nuplan-devkit-v1.2'
python -m pip install --no-deps -e .
python scripts/verify_files.py
torch/transformers/diffusers/huggingface-hub使用已验证的2.8.0 / 4.37.2 / 0.26.3 / 0.25.2组合,NumPy=1.26.4。本协议显式使用eager attention,不需要安装flash-attn。权重全部在此仓库,运行推理时不再下载模型。
图片+JSON推理
python inference.py --input examples/synthetic/input.json --validate-only
python inference.py --input examples/synthetic/input.json --device cuda:0 \
--output prediction.json --save-features condition.safetensors
合成图片是灰色格式测试图,轨迹不具有驾驶性能含义。换成自己的前视图和匹配状态;输出8个[x,y,heading],时间为0.5、1.0、…、4.0秒。
JSON字段如下,图片的相对路径以JSON所在目录为基准:
{
"scene_token": "your-stable-scene-id",
"image": "front.png",
"history_trajectory": [[-7.5,0,0],[-5,0,0],[-2.5,0,0],[0,0,0]],
"driving_command": [0,1,0,0],
"ego_velocity": [5,0],
"ego_acceleration": [0,0]
}
- 图片:当前时刻的前视
cam_f0;官方预处理按448像素动态切图,最多12块,必要时加缩略图。 - 历史:4个按时间排序的位姿,采样间隔0.5秒;统一转换到当前车辆局部坐标系,最后一帧为
[0,0,0]。x向前、y向左,坐标单位米,heading单位弧度。 - 导航命令:4维。前三项依次左转/直行/右转,第4槽原样保留为0;原文本prompt不支持argmax=3,本入口会明确拒绝,避免误解命令。
- 当前速度/加速度:各2维,分别m/s与m/s²;对NAVSIM应直接使用其
ego_velocity、ego_acceleration,不要把全局位置或未来轨迹混入。 - 规划头
status_feature的8维顺序是[command(4), velocity(2), acceleration(2)],历史展平成12维。VLM特征为[1,L,1536],通常L=2800;必须保留原padding和长prompt长度。 - token用于固定随机流;复现某个NAVSIM场景时使用其真实token。
模型使用高层导航命令,但不生成CoT或文本答案。保留官方system prompt与图像prompt;system prompt中虽提到多相机,此协议实际输入为单前视图。
缓存特征推理
python inference.py --features condition.safetensors --device cuda:0 --output cached_prediction.json
# 仓库自带的合成输入特征也可以直接跑,只加载规划头:
python inference.py --features examples/synthetic/condition.safetensors --device cuda:0 --output example_cached.json
文件中有vl_features [1,L,1536]、his_traj [1,12]和status_feature [1,8],并在元数据保存scene_token;无token元数据时用--token指定。原始图片入口生成缓存后,两种入口使用同一个确定性采样器。--device cpu可做功能测试;CPU与CUDA随机流及算子数值不同,CPU样例输出不是CUDA评测逐值参考。
推理配置:5步DDIM,VLM BF16,规划头FP32,seed=42,场景seed=(int(sha256(token)[:8],16)+42)%2**32,推理std下限0.0001、噪声裁剪1。这些是评测参数;训练的std=0.04不搬到此推理入口。
导出真实NAVSIM输入
python scripts/export_navsim_input.py \
--logs /path/to/navsim/navsim_logs/test \
--sensors /path/to/navsim/sensor_blobs/test \
--token 0000548db87959c2 --output my_scene
python inference.py --input my_scene/input.json --device cuda:0 --output my_scene_prediction.json
导出器使用原FeatureBuilder,自动完成局部坐标变换、历史与状态拼接,并复制对应前视图。自行准备NAVSIM数据;推理本身不需要PDM metric cache,评分才需要。
原完整评测结果
| 场景数 | PDMS | NC | DAC | EP | TTC | Comfort | DDC |
|---|---|---|---|---|---|---|---|
| 12,146,失败0 | 90.5070 | 98.1599 | 97.6288 | 85.8385 | 95.1918 | 100.0000 | 96.7973 |
详细原始汇总:evaluation/navtest_summary.json。这是现有官方权重的本地全量成绩;本次为打包验证,没有重新跑全部12146场景。PDM权重为EP5/TTC5/Comfort2,DDC权重0。
export NUPLAN_MAPS_ROOT=/path/to/navsim/maps
export NUPLAN_MAP_VERSION=nuplan-maps-v1.0
python -m torch.distributed.run --standalone --nproc_per_node=8 scripts/evaluate_navtest.py \
--data-root /path/to/navsim --metric-cache /path/to/pdm_cache_navtest \
--output navtest_result
单卡可直接python scripts/evaluate_navtest.py ...;加--max-scenes 8先验证流程。全量复现需要完整logs/sensors/maps、预计算PDM metric cache及相同12146场景split。输出目录使用新目录。
权重来源与校验
- RL上游固定revision:
7346ede73f03ed577811024f1a5d16fb063a47b9 - RL SHA-256:
23fb949b10387efeff87e093703d5faf41b61b9e5ead16d4076661e3c7c08a20 - VLM上游固定revision:
16873acca08e3c04ab229b3d973f39aeba9db68d - VLM权重SHA-256:
79fb39297e322cd2d3dc68d4f23b86ff85806b336a4d5d0ed5db9b66e4034a3c
python scripts/verify_files.py --weights-only核验全部推理权重和tokenizer字节。原checkpoint中的冻结old_policy不是部署actor;入口过滤该前缀并严格匹配347个actor张量,避免误加载SFT教师。
Model tree for jyh123cn/recogdrive_origin_905
Base model
owl10/ReCogDrive-2B-RL