File size: 4,489 Bytes
aa02c28 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 | # HFD — Humanoid Full-Duplex
HFD研究持续交互中的人形机器人全双工行为:接收语音与可选的图像/视频,连续生成动作,并在视觉问答时生成语音回答。
任务包括 **turn-taking、interruption(含stop)、backchannel、hesitation、pause**。视觉问答叠加到这些交互任务中,不另设独立的SWA任务。代码中保留的`swa`名称用于模块与历史配置兼容。
## 当前入口
```bash
# 正式训练:参数集中在脚本顶部;使用作业分配的GPU
bash posttrain-full-duplex-audio-command.sh
# 仅打印训练配置,不启动训练
bash posttrain-full-duplex-audio-command.sh --print-config
# 自动推理/渲染:可指定run目录;省略时选择兼容的最新run
bash infer_render_auto.sh /path/to/run
```
直接执行`bash infer_render_auto.sh`会选择兼容的最新run并持续监听。
该入口接替原`infer_render_auto_multiturn.sh`;任务集合、train/val样例、多卡队列、
checkpoint间隔和异步渲染逻辑不变。无需另起内部worker,也不要同时启动两份自动推理。
训练环境复用`.venv-psi`。依赖、模型和数据路径必须可用,启动器会检查;不要把配置打印成功当成完整训练验证。关键参数在训练脚本顶部,固定配置与环境变量映射在[当前配方](src/psi/config/hfd_current_recipe.py)。完整续训与WandB续接参数见训练脚本末尾说明。
历史数据工具已移入[`backup/`](backup/README.md),不是日常训推入口:
`backup/prepare_full_duplex_continuous_audio.sh`用于连续背景音数据重建(旧流程还会导出hidden),
`backup/prepare_omni_training_data.sh`及其调用的`backup/cache_video_omni_embeds.py`
用于历史数据重建/兼容。已有数据训练无需运行它们,
不要为清理目录而重新执行造数据。旧canonical-motion消融、旧OSS索引预构建、
早期hidden包装入口已退役,恢复方式见清理记录。
## 项目结构
| 位置 | 用途 |
|---|---|
| `posttrain-full-duplex-audio-command.sh` | 正式训练入口 |
| `infer_render_auto.sh` | 唯一自动推理入口:多任务、多卡、异步渲染 |
| `scripts/infer/run_audio_case.sh` | 调度器内部音频样例/渲染执行器,不需单独启动 |
| `src/psi/models/`、`src/psi/trainers/` | HFD模型和训练器;含仍在复用的Psi0基础实现 |
| `src/psi/data/seed/` | 音频/动作、视觉问答、流式session数据构造 |
| `src/psi/runtime/` | 推理运行时 |
| `scripts/data/` | 数据准备、质检、GT渲染和审核看板 |
| `scripts/infer/` | 推理、任务样例与异步渲染调度 |
| `assets/stats/` | 动作归一化等统计量,不能当作旧宣传素材删除 |
| `tests/` | 回归测试 |
| `doc/`、`experiments/` | 技术文档与历史实验报告 |
| `runs/` | 本机运行产物,不纳入Git |
HFD仍沿用`psi`包名、部分基础模型、数据变换和训练基类。**不能按文件名含`psi0`就删除**,也不要重命名包来“清理”:旧checkpoint和当前导入路径都依赖它。
## 数据与审核看板
- [当前数据盘点](doc/260928-data.md):数据量、存储与路径;是有日期的快照,实时准入情况以清单为准。
- [看板使用说明](scripts/data/review_dashboard/README.md):候选、已准入素材、人工备注和审核进度。
- 已有索引时启动网页:`.venv-psi/bin/python scripts/data/review_dashboard/server.py`。
- 网页默认监听本机8770,远程使用DSW/IDE端口代理;`/progress`显示审核进度。机器重启后,网页和审核后台需要分别恢复,普通tmux不提供开机自启。
- 数据位于项目外的`videogen/`等目录;审核运行记录在项目外`hfd_experiments/`。不要把机器审核pending清单当作正式可训练清单。
## 历史代码与来源
无关的Psi0 baseline、旧训练入口和SIMPLE示例已从当前目录移除,范围与可恢复备份见[合并工作留痕](doc/工作留痕.md)。共享基础代码、环境、数据、模型权重和历史实验文档未随之清理。
本项目复用[Psi0](https://github.com/physical-superintelligence-lab/Psi0)的基础实现;原版权声明和[LICENSE](LICENSE)保留。原上游README在Git历史及本次可恢复备份中保留,本页仅说明HFD当前入口。
历史变更见[CHANGELOG.md](CHANGELOG.md),对话决策见[DIALOG.md](DIALOG.md),更多技术文档见[doc/README.md](doc/README.md)。
|