Download posttrain-full-duplex-audio-command.sh from Tinghong-Ye22/code-HFD: direct link, hf CLI and curl.
- Browser
- Download file 4.94 kB
-
https://huggingface.co/Tinghong-Ye22/code-HFD/resolve/main/posttrain-full-duplex-audio-command.sh
- Command line
-
hf download hf://Tinghong-Ye22/code-HFD/posttrain-full-duplex-audio-command.sh
-
curl -L -o posttrain-full-duplex-audio-command.sh https://huggingface.co/Tinghong-Ye22/code-HFD/resolve/main/posttrain-full-duplex-audio-command.sh
4.94 kB
| # 正式联合训练:直接 bash 本脚本;打印配置(不占 GPU):bash 本脚本 --print-config | |
| # 提前离线准备索引(无需 GPU/WandB):bash 本脚本 --prepare-data;训练自动复用。 | |
| set -Eeuo pipefail | |
| # 新训练固定40维动作 + FP32输入小投影;其余网络保持 BF16 AMP。 | |
| PROJECT_ROOT=$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd) | |
| source "$PROJECT_ROOT/scripts/activate_psi_env.sh" | |
| if [[ -f "${HFD_ENV_FILE:-$PROJECT_ROOT/.env}" ]]; then | |
| set -a | |
| source "${HFD_ENV_FILE:-$PROJECT_ROOT/.env}" | |
| set +a | |
| fi | |
| export PYTHONPATH="$PROJECT_ROOT/src${PYTHONPATH:+:$PYTHONPATH}" | |
| # ── 新训练常调参数 ────────────────────────────────────────────── | |
| # 完整续训自动继承原 run 的参数,不用这里的新训练默认值覆盖旧配置。 | |
| # 外部设置的同名环境变量优先;不指定 GPU 时使用作业分配的全部卡。 | |
| if [[ "${HFD_RESUME_LOAD_FULL_STATE:-0}" != "1" ]]; then | |
| export HFD_TRAIN_BATCH_SIZE=${HFD_TRAIN_BATCH_SIZE:-16} # 每卡;统一AV的H200长KV压测配置 | |
| export HFD_MAX_TRAINING_STEPS=${HFD_MAX_TRAINING_STEPS:-1500000} | |
| export HFD_LEARNING_RATE=${HFD_LEARNING_RATE:-8e-5} # 动作头峰值 LR | |
| export HFD_QWEN_LR=${HFD_QWEN_LR:-2e-6} | |
| export HFD_WARMUP_STEPS=${HFD_WARMUP_STEPS:-$((HFD_MAX_TRAINING_STEPS / 100))} | |
| export HFD_CHECKPOINTING_STEPS=${HFD_CHECKPOINTING_STEPS:-5000} | |
| export HFD_VALIDATION_STEPS=${HFD_VALIDATION_STEPS:-20000} # 0 = 不验证 | |
| export HFD_VAL_BATCH_SIZE=${HFD_VAL_BATCH_SIZE:-8} | |
| export HFD_VAL_NUM_BATCHES=${HFD_VAL_NUM_BATCHES:-64} # 全卡合计验证 source 数 | |
| export HFD_NUM_WORKERS=${HFD_NUM_WORKERS:-16} # 每卡数据进程 | |
| export HFD_STATIONARY_LISTEN_HOLD=${HFD_STATIONARY_LISTEN_HOLD:-1} # 所有原任务:听时抬手保持,末姿态接动作 | |
| export HFD_SESSION_MIN_TURNS=${HFD_SESSION_MIN_TURNS:-1} # 1~4条;新动作打断仍至少2条。设2复用旧范围 | |
| # ── 音频任务配比:四类按合成 session 数,turn-taking 自动取剩余 ── | |
| # 默认 turn-taking 60% / interruption 15% / stop 10% / backchannel 15%。 | |
| # 以下三项之和必须 < 1;不是候选池 variants 数,更不是 loss 权重。 | |
| export HFD_INTERRUPTION_TASK_SESSION_RATIO=${HFD_INTERRUPTION_TASK_SESSION_RATIO:-0.15} | |
| export HFD_CONTROL_TASK_SESSION_RATIO=${HFD_CONTROL_TASK_SESSION_RATIO:-0.10} # stop | |
| export HFD_BACKCHANNEL_TASK_SESSION_RATIO=${HFD_BACKCHANNEL_TASK_SESSION_RATIO:-0.15} | |
| # 下两类按音频窗口数额外配比,与上面的 session 百分比不是同一分母。 | |
| export HFD_HESITATION_TASK_WINDOW_RATIO=${HFD_HESITATION_TASK_WINDOW_RATIO:-0.12} | |
| export HFD_PAUSE_TASK_WINDOW_RATIO=${HFD_PAUSE_TASK_WINDOW_RATIO:-0.08} | |
| # third-party:额外追加审核通过的26737条训练session;不删旧任务、不重复采样。 | |
| # 复用已混合音频,动作由当前listen保持/40维管线生成;路径在current_recipe。 | |
| # ── 各原任务统一叠加视觉问答,不再另设 SWA 任务 ───────────────── | |
| # 默认统一包 hfd_visual_dataset/images + videos;均为八音色,同一 session 固定同音色。 | |
| export HFD_OVERLAY_QA_RATIO=${HFD_OVERLAY_QA_RATIO:-0.75} | |
| export HFD_OVERLAY_VISUAL_ONLY_RATIO=${HFD_OVERLAY_VISUAL_ONLY_RATIO:-0.10} | |
| export HFD_VISUAL_INPUT_MODE=${HFD_VISUAL_INPUT_MODE:-cached} # cached=读特征;raw=原图/视频在线编码 | |
| # 剩余15%纯音频;上面是抽样概率,安全时间段不足时回落纯音频。 | |
| # 可选 HFD_OVERLAY_MANIFESTS='["/path/to/hfd_visual_dataset"]';兼容旧 JSON 清单。 | |
| # enabled / disabled;disabled 为原纯音频模式。 | |
| export HFD_SWA_DATA_MODE=${HFD_SWA_DATA_MODE:-enabled} | |
| # 新训练不加载旧实验权重:原始预训练 Qwen + 新动作头 / 新问答 LoRA。 | |
| # A1:共享前28层、独立后8层+cross;C:语义锚定状态token延迟写入下一packet。 | |
| # 两分支独立KV,QA loss不修改身体Qwen。 | |
| # 默认只用已审核发布清单;不在启动时重新合成数据。 | |
| fi | |
| # ── 日志与续训 ────────────────────────────────────────────────── | |
| export HFD_REPORT_TO=${HFD_REPORT_TO:-wandb} # wandb / None | |
| export HFD_WANDB_RESUME=${HFD_WANDB_RESUME:-never} # 默认新曲线 | |
| # 完整续训:HFD_RESUME_FROM_CHECKPOINT=/path/to/ckpt_N | |
| # HFD_RESUME_LOAD_FULL_STATE=1 | |
| # 接原曲线再设置:HFD_WANDB_RESUME=must HFD_WANDB_ID=原曲线ID | |
| # CUDA_VISIBLE_DEVICES / HFD_NPROC_PER_NODE 可选;DLC 默认不管理占卡程序。 | |
| # 固定算法、路径和进阶参数:src/psi/config/hfd_current_recipe.py | |
| exec python "$PROJECT_ROOT/scripts/launch_hfd_training.py" "$@" | |