# HFD — Humanoid Full-Duplex HFD研究持续交互中的人形机器人全双工行为:接收语音与可选的图像/视频,连续生成动作,并在视觉问答时生成语音回答。 任务包括 **turn-taking、interruption(含stop)、backchannel、hesitation、pause**。视觉问答叠加到这些交互任务中,不另设独立的SWA任务。代码中保留的`swa`名称用于模块与历史配置兼容。 ## 当前入口 ```bash # 正式训练:参数集中在脚本顶部;使用作业分配的GPU bash posttrain-full-duplex-audio-command.sh # 仅打印训练配置,不启动训练 bash posttrain-full-duplex-audio-command.sh --print-config # 自动推理/渲染:可指定run目录;省略时选择兼容的最新run bash infer_render_auto.sh /path/to/run ``` 直接执行`bash infer_render_auto.sh`会选择兼容的最新run并持续监听。 该入口接替原`infer_render_auto_multiturn.sh`;任务集合、train/val样例、多卡队列、 checkpoint间隔和异步渲染逻辑不变。无需另起内部worker,也不要同时启动两份自动推理。 训练环境复用`.venv-psi`。依赖、模型和数据路径必须可用,启动器会检查;不要把配置打印成功当成完整训练验证。关键参数在训练脚本顶部,固定配置与环境变量映射在[当前配方](src/psi/config/hfd_current_recipe.py)。完整续训与WandB续接参数见训练脚本末尾说明。 历史数据工具已移入[`backup/`](backup/README.md),不是日常训推入口: `backup/prepare_full_duplex_continuous_audio.sh`用于连续背景音数据重建(旧流程还会导出hidden), `backup/prepare_omni_training_data.sh`及其调用的`backup/cache_video_omni_embeds.py` 用于历史数据重建/兼容。已有数据训练无需运行它们, 不要为清理目录而重新执行造数据。旧canonical-motion消融、旧OSS索引预构建、 早期hidden包装入口已退役,恢复方式见清理记录。 ## 项目结构 | 位置 | 用途 | |---|---| | `posttrain-full-duplex-audio-command.sh` | 正式训练入口 | | `infer_render_auto.sh` | 唯一自动推理入口:多任务、多卡、异步渲染 | | `scripts/infer/run_audio_case.sh` | 调度器内部音频样例/渲染执行器,不需单独启动 | | `src/psi/models/`、`src/psi/trainers/` | HFD模型和训练器;含仍在复用的Psi0基础实现 | | `src/psi/data/seed/` | 音频/动作、视觉问答、流式session数据构造 | | `src/psi/runtime/` | 推理运行时 | | `scripts/data/` | 数据准备、质检、GT渲染和审核看板 | | `scripts/infer/` | 推理、任务样例与异步渲染调度 | | `assets/stats/` | 动作归一化等统计量,不能当作旧宣传素材删除 | | `tests/` | 回归测试 | | `doc/`、`experiments/` | 技术文档与历史实验报告 | | `runs/` | 本机运行产物,不纳入Git | HFD仍沿用`psi`包名、部分基础模型、数据变换和训练基类。**不能按文件名含`psi0`就删除**,也不要重命名包来“清理”:旧checkpoint和当前导入路径都依赖它。 ## 数据与审核看板 - [当前数据盘点](doc/260928-data.md):数据量、存储与路径;是有日期的快照,实时准入情况以清单为准。 - [看板使用说明](scripts/data/review_dashboard/README.md):候选、已准入素材、人工备注和审核进度。 - 已有索引时启动网页:`.venv-psi/bin/python scripts/data/review_dashboard/server.py`。 - 网页默认监听本机8770,远程使用DSW/IDE端口代理;`/progress`显示审核进度。机器重启后,网页和审核后台需要分别恢复,普通tmux不提供开机自启。 - 数据位于项目外的`videogen/`等目录;审核运行记录在项目外`hfd_experiments/`。不要把机器审核pending清单当作正式可训练清单。 ## 历史代码与来源 无关的Psi0 baseline、旧训练入口和SIMPLE示例已从当前目录移除,范围与可恢复备份见[合并工作留痕](doc/工作留痕.md)。共享基础代码、环境、数据、模型权重和历史实验文档未随之清理。 本项目复用[Psi0](https://github.com/physical-superintelligence-lab/Psi0)的基础实现;原版权声明和[LICENSE](LICENSE)保留。原上游README在Git历史及本次可恢复备份中保留,本页仅说明HFD当前入口。 历史变更见[CHANGELOG.md](CHANGELOG.md),对话决策见[DIALOG.md](DIALOG.md),更多技术文档见[doc/README.md](doc/README.md)。