code-HFD / posttrain-full-duplex-audio-command.sh
Tinghong-Ye22's picture
Add files using upload-large-folder tool
aa02c28 verified
Raw History Blame Contribute Delete
4.94 kB
#!/usr/bin/env bash
# 正式联合训练:直接 bash 本脚本;打印配置(不占 GPU):bash 本脚本 --print-config
# 提前离线准备索引(无需 GPU/WandB):bash 本脚本 --prepare-data;训练自动复用。
set -Eeuo pipefail
# 新训练固定40维动作 + FP32输入小投影;其余网络保持 BF16 AMP。
PROJECT_ROOT=$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)
source "$PROJECT_ROOT/scripts/activate_psi_env.sh"
if [[ -f "${HFD_ENV_FILE:-$PROJECT_ROOT/.env}" ]]; then
set -a
source "${HFD_ENV_FILE:-$PROJECT_ROOT/.env}"
set +a
fi
export PYTHONPATH="$PROJECT_ROOT/src${PYTHONPATH:+:$PYTHONPATH}"
# ── 新训练常调参数 ──────────────────────────────────────────────
# 完整续训自动继承原 run 的参数,不用这里的新训练默认值覆盖旧配置。
# 外部设置的同名环境变量优先;不指定 GPU 时使用作业分配的全部卡。
if [[ "${HFD_RESUME_LOAD_FULL_STATE:-0}" != "1" ]]; then
export HFD_TRAIN_BATCH_SIZE=${HFD_TRAIN_BATCH_SIZE:-16} # 每卡;统一AV的H200长KV压测配置
export HFD_MAX_TRAINING_STEPS=${HFD_MAX_TRAINING_STEPS:-1500000}
export HFD_LEARNING_RATE=${HFD_LEARNING_RATE:-8e-5} # 动作头峰值 LR
export HFD_QWEN_LR=${HFD_QWEN_LR:-2e-6}
export HFD_WARMUP_STEPS=${HFD_WARMUP_STEPS:-$((HFD_MAX_TRAINING_STEPS / 100))}
export HFD_CHECKPOINTING_STEPS=${HFD_CHECKPOINTING_STEPS:-5000}
export HFD_VALIDATION_STEPS=${HFD_VALIDATION_STEPS:-20000} # 0 = 不验证
export HFD_VAL_BATCH_SIZE=${HFD_VAL_BATCH_SIZE:-8}
export HFD_VAL_NUM_BATCHES=${HFD_VAL_NUM_BATCHES:-64} # 全卡合计验证 source 数
export HFD_NUM_WORKERS=${HFD_NUM_WORKERS:-16} # 每卡数据进程
export HFD_STATIONARY_LISTEN_HOLD=${HFD_STATIONARY_LISTEN_HOLD:-1} # 所有原任务:听时抬手保持,末姿态接动作
export HFD_SESSION_MIN_TURNS=${HFD_SESSION_MIN_TURNS:-1} # 1~4条;新动作打断仍至少2条。设2复用旧范围
# ── 音频任务配比:四类按合成 session 数,turn-taking 自动取剩余 ──
# 默认 turn-taking 60% / interruption 15% / stop 10% / backchannel 15%。
# 以下三项之和必须 < 1;不是候选池 variants 数,更不是 loss 权重。
export HFD_INTERRUPTION_TASK_SESSION_RATIO=${HFD_INTERRUPTION_TASK_SESSION_RATIO:-0.15}
export HFD_CONTROL_TASK_SESSION_RATIO=${HFD_CONTROL_TASK_SESSION_RATIO:-0.10} # stop
export HFD_BACKCHANNEL_TASK_SESSION_RATIO=${HFD_BACKCHANNEL_TASK_SESSION_RATIO:-0.15}
# 下两类按音频窗口数额外配比,与上面的 session 百分比不是同一分母。
export HFD_HESITATION_TASK_WINDOW_RATIO=${HFD_HESITATION_TASK_WINDOW_RATIO:-0.12}
export HFD_PAUSE_TASK_WINDOW_RATIO=${HFD_PAUSE_TASK_WINDOW_RATIO:-0.08}
# third-party:额外追加审核通过的26737条训练session;不删旧任务、不重复采样。
# 复用已混合音频,动作由当前listen保持/40维管线生成;路径在current_recipe。
# ── 各原任务统一叠加视觉问答,不再另设 SWA 任务 ─────────────────
# 默认统一包 hfd_visual_dataset/images + videos;均为八音色,同一 session 固定同音色。
export HFD_OVERLAY_QA_RATIO=${HFD_OVERLAY_QA_RATIO:-0.75}
export HFD_OVERLAY_VISUAL_ONLY_RATIO=${HFD_OVERLAY_VISUAL_ONLY_RATIO:-0.10}
export HFD_VISUAL_INPUT_MODE=${HFD_VISUAL_INPUT_MODE:-cached} # cached=读特征;raw=原图/视频在线编码
# 剩余15%纯音频;上面是抽样概率,安全时间段不足时回落纯音频。
# 可选 HFD_OVERLAY_MANIFESTS='["/path/to/hfd_visual_dataset"]';兼容旧 JSON 清单。
# enabled / disabled;disabled 为原纯音频模式。
export HFD_SWA_DATA_MODE=${HFD_SWA_DATA_MODE:-enabled}
# 新训练不加载旧实验权重:原始预训练 Qwen + 新动作头 / 新问答 LoRA。
# A1:共享前28层、独立后8层+cross;C:语义锚定状态token延迟写入下一packet。
# 两分支独立KV,QA loss不修改身体Qwen。
# 默认只用已审核发布清单;不在启动时重新合成数据。
fi
# ── 日志与续训 ──────────────────────────────────────────────────
export HFD_REPORT_TO=${HFD_REPORT_TO:-wandb} # wandb / None
export HFD_WANDB_RESUME=${HFD_WANDB_RESUME:-never} # 默认新曲线
# 完整续训:HFD_RESUME_FROM_CHECKPOINT=/path/to/ckpt_N
# HFD_RESUME_LOAD_FULL_STATE=1
# 接原曲线再设置:HFD_WANDB_RESUME=must HFD_WANDB_ID=原曲线ID
# CUDA_VISIBLE_DEVICES / HFD_NPROC_PER_NODE 可选;DLC 默认不管理占卡程序。
# 固定算法、路径和进阶参数:src/psi/config/hfd_current_recipe.py
exec python "$PROJECT_ROOT/scripts/launch_hfd_training.py" "$@"