File size: 9,883 Bytes
6bcaf5c | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 | 【本次目标】
你要求我直接改代码,并且做到:
1) 能加载你当前 posttrain_v1 训练出来的 ckpt 做推理。
2) 当前是 delta 模式,输出两版结果:
- delta 版 CSV
- 还原后(绝对姿态)版 CSV
3) 尽量最小改动,并且跑到有实际输出结果。
【我实际改了哪些文件】
1) 修改:`/cpfs01/users/yetinghong/code/Psi0-yth/src/psi/models/psi0.py`
2) 新增:`/cpfs01/users/yetinghong/code/Psi0-yth/scripts/infer/seed_text_to_motion.py`
【详细改动说明】
====================
A. `psi0.py` 改动
====================
A1) 新增 Omni 相关 import + 默认 system prompt 常量
- 位置:`psi0.py` 顶部 import 区
- 新增:
- `Qwen2_5OmniThinkerForConditionalGeneration`
- `Qwen2_5OmniProcessor`
- 新增常量:`OMNI_DEFAULT_SYSTEM_PROMPT`(用于 text-only 时避免 Omni 警告刷屏)
A2) `from_pretrained(...)` 改成兼容 Omni + 分片 ckpt
- 位置:`psi0.py` 中 `Psi0Model.from_pretrained`
- 关键改动:
1. 原来只认 `model.safetensors`,现在支持两种:
- 单文件:`model.safetensors`
- 分片:`model.safetensors.index.json` + `model-0000x-of-0000y.safetensors`
2. 根据 `launch_config.model.model_name_or_path` 自动判断是否 Omni:
- Omni 用 `Qwen2_5OmniThinkerForConditionalGeneration.from_pretrained(...)`
- 非 Omni 保留 Qwen3 路径
3. attention 实现按设备自动选择:
- CUDA: `flash_attention_2`
- CPU: `sdpa`
4. `lm_head.weight` 改成鲁棒回填:
- 如果 ckpt 已有 `lm_head.weight` 就直接用
- 没有才从 `embed_tokens.weight` 补
5. processor 按模型分支加载:
- Omni: `Qwen2_5OmniProcessor.from_pretrained(...)`
- 非 Omni: `AutoProcessor.from_pretrained(...)`
6. 把配置挂到模型实例:
- `model.text_only`
- `model.use_delta_actions`
A3) `predict_action(...)` 增加 text-only 推理分支
- 位置:`psi0.py` 中 `Psi0Model.predict_action`
- 关键改动:
1. `observations` 改为可选(`Optional`)
2. 如果 `model.text_only=True`:
- 不走 `process_vision_info`
- 仅用文本构造输入(带默认 system prompt)
- 不再依赖 `pixel_values/image_grid_thw`
3. 如果不是 text-only,保持原视觉分支
4. autocast 改成设备自适应:
- CUDA 才用 `torch.autocast("cuda")`
- CPU 用 `nullcontext`
5. 修正 dtype:`vlm_hidden_states` 对齐到 `states.dtype`,避免 `bf16 vs fp32` 报错
A4) `predict_action_with_training_rtc_flow(...)` 同步做了同样的 text-only/设备兼容
- 位置:`psi0.py` 中 `Psi0Model.predict_action_with_training_rtc_flow`
- 目标是保持 RTC 推理链路也能走 text-only(最小同步改动)
==========================================
B. 新增离线推理导出脚本 `seed_text_to_motion.py`
==========================================
文件:`/cpfs01/users/yetinghong/code/Psi0-yth/scripts/infer/seed_text_to_motion.py`
功能:
1) 输入:`run_dir + ckpt_step + metadata`,按文本做离线推理。
2) 自动读取训练配置(`argv.txt` + `run_config.json`)。
3) 自动支持 `--ckpt-step latest`。
4) 输出每个样本两套结果:
- delta 序列
- restored(按累加还原)序列
5) 同时输出:
- `.npy`
- 三个 csv:`joint_pos / body_pos / body_quat`
脚本关键点:
- 文本构造逻辑和 dataset 保持一致(content_* 字段拼接)。
- restored 计算:
- `x[t] = x0 + sum_{i<=t}(delta[i])`
- `x0` 默认取对应样本真实首帧(可关)
- 对 restored 的四元数做了逐帧归一化。
【我已完成的实测(已真正产出文件)】
我跑通了 1 条样本离线导出(CPU smoke)。
运行命令:
```bash
cd /cpfs01/users/yetinghong/code/Psi0-yth
source .venv-psi/bin/activate
python scripts/infer/seed_text_to_motion.py \
--run-dir /cpfs01/users/yetinghong/envs/.psi-home/runs/posttrain_v1/posttrain.sg.flow1000.consta.lr1.0e-04.b64.gpus1.2604152353 \
--ckpt-step latest \
--output-dir /cpfs01/users/yetinghong/code/Psi0-yth/codex/seed_infer_smoke_cpu \
--num-samples 1 \
--start-index 0 \
--num-inference-steps 1 \
--device cpu
```
成功输出目录:
`/cpfs01/users/yetinghong/code/Psi0-yth/codex/seed_infer_smoke_cpu/sample_0000`
生成文件(两版都在):
- `motion_delta.npy`
- `motion_restored.npy`
- `joint_pos_delta.csv`
- `body_pos_delta.csv`
- `body_quat_delta.csv`
- `joint_pos_restored.csv`
- `body_pos_restored.csv`
- `body_quat_restored.csv`
- `meta.json`
- 上层还有 `manifest.json`
【为什么用 CPU smoke】
你当前机器上的 GPU 正在高负载训练(我检查到 GPU 占用 100%,显存占用很高),直接 CUDA 推理会报 `device busy/unavailable`。所以我用 CPU 完成了“端到端可出结果”的验证。
【你现在直接可用的正式命令(GPU)】
当 GPU 空出来后,直接跑:
```bash
cd /cpfs01/users/yetinghong/code/Psi0-yth
source .venv-psi/bin/activate
export CUDA_VISIBLE_DEVICES=0
python scripts/infer/seed_text_to_motion.py \
--run-dir /cpfs01/users/yetinghong/envs/.psi-home/runs/posttrain_v1/posttrain.sg.flow1000.consta.lr1.0e-04.b64.gpus1.2604152353 \
--ckpt-step latest \
--output-dir /cpfs01/users/yetinghong/envs/.psi-home/runs/posttrain_v1/infer_export \
--num-samples 100 \
--start-index 0 \
--num-inference-steps 10 \
--device cuda:0
```
【输出语义说明(你要的两版)】
1) delta 版(`*_delta.csv`)
- 含义:每一步预测的 36 维增量。
- 与你当前训练配置 `use_delta_actions=true` 一致。
2) restored 版(`*_restored.csv`)
- 含义:把 delta 序列累计还原后的绝对姿态序列。
- 还原公式:
- `x0` 取对应样本真实首帧(默认)
- `x[t] = x0 + cumsum(delta)[t]`
- 已做四元数归一化(最后4维)。
【补充】
你之前给的 `ckpt_9100` 路径在当前 run 下已经不存在(训练在继续并清理旧 ckpt),脚本支持 `latest` 自动解析当前最大 ckpt。
====================
【追加更新(按你这条新需求)】
====================
你这次提的 4 个点我已落实:
1) CSV 列名对齐 `csv_sonic` 现有格式。
2) “正常输出”不再带 restored 后缀,直接标准文件名。
3) delta 输出改为可选,默认不输出。
4) 新增三项速度 CSV,计算逻辑与
`/cpfs01/users/yetinghong/code/GR00T-WholeBodyControl/gear_sonic/scripts/convert_seed_to_reference_motion.py`
一致(其底层函数来自 `convert_gmr_pkl_to_reference_motion.py`)。
【本轮实际改动文件】
- 修改:`/cpfs01/users/yetinghong/code/Psi0-yth/scripts/infer/seed_text_to_motion.py`
说明:这轮没有再扩大改动推理主干(`psi0.py` 没有新增改动),仅在导出脚本层实现你要的格式和速度计算。
【输出目录结构与命名(已改)】
现在每个样本输出目录会复用 seed 原始层级,形如:
`<output_dir>/g1/csv_sonic/<日期>/<动作名>/`
默认输出(不带 delta 后缀,与你给的示例一致):
- `joint_pos.csv`(29列,列名 `joint_0..joint_28`)
- `joint_vel.csv`(29列,列名 `joint_vel_0..joint_vel_28`)
- `body_pos.csv`(3列,`body_0_x/body_0_y/body_0_z`)
- `body_quat.csv`(4列,`body_0_w/body_0_x/body_0_y/body_0_z`)
- `body_lin_vel.csv`(3列,`body_0_vel_x/body_0_vel_y/body_0_vel_z`)
- `body_ang_vel.csv`(3列,`body_0_angvel_x/body_0_angvel_y/body_0_angvel_z`)
- `motion.npy`
- `metadata.txt`
- `info.txt`
并且如果源目录存在:
- `info_source.txt`(复制自源 `info.txt`)
- `metadata_source.txt`(复制自源 `metadata.txt`)
【delta 输出开关(默认关闭)】
- 默认不输出 delta 文件。
- 传 `--export-delta` 时才输出:
- `joint_pos_delta.csv`
- `body_pos_delta.csv`
- `body_quat_delta.csv`
- `motion_delta.npy`
【速度计算与外部脚本一致性】
已按外部脚本同逻辑实现:
- `joint_vel = finite_difference(joint_pos, dt)`
- `body_lin_vel = finite_difference(body_pos, dt)`
- `body_ang_vel = quaternion_angular_velocity(body_quat, dt)`
- `dt = 1/50`
其中:
- `finite_difference` 使用 `np.gradient(..., edge_order=2 if T>2 else 1)`
- `quaternion_angular_velocity` 使用相邻帧四元数差:
- `dq = q_{t+1} * conj(q_t)`
- `angvel_t = rotvec(dq) / dt`
- 最后一帧速度 `angvel[-1] = angvel[-2]`
这部分与 `convert_gmr_pkl_to_reference_motion.py` 对齐实现。
【我已做的 CUDA 实测结果】
已在 GPU 上实际跑通(不是 CPU),命令:
```bash
cd /cpfs01/users/yetinghong/code/Psi0-yth
source .venv-psi/bin/activate
export CUDA_VISIBLE_DEVICES=0
python scripts/infer/seed_text_to_motion.py \
--run-dir /cpfs01/users/yetinghong/envs/.psi-home/runs/posttrain_v1/posttrain.sg.flow1000.consta.lr1.0e-04.b64.gpus1.2604152353 \
--ckpt-step latest \
--output-dir /cpfs01/users/yetinghong/code/Psi0-yth/codex/seed_infer_smoke_gpu \
--num-samples 1 \
--start-index 0 \
--num-inference-steps 2 \
--device cuda:0
```
成功样例目录:
`/cpfs01/users/yetinghong/code/Psi0-yth/codex/seed_infer_smoke_gpu/g1/csv_sonic/230125/idle_crouch_loop_001__A147`
并验证列名与 6 个主 CSV 文件均符合 `csv_sonic` 风格。
【你现在正式批量跑的命令】
(默认不导出 delta)
```bash
cd /cpfs01/users/yetinghong/code/Psi0-yth
source .venv-psi/bin/activate
export CUDA_VISIBLE_DEVICES=0
python scripts/infer/seed_text_to_motion.py \
--run-dir /cpfs01/users/yetinghong/envs/.psi-home/runs/posttrain_v1/posttrain.sg.flow1000.consta.lr1.0e-04.b64.gpus1.2604152353 \
--ckpt-step latest \
--output-dir /cpfs01/users/yetinghong/envs/.psi-home/runs/posttrain_v1/infer_export \
--num-samples 100 \
--start-index 0 \
--num-inference-steps 10 \
--device cuda:0
```
需要 delta 时,加:
`--export-delta`
|