File size: 4,936 Bytes
aa02c28
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
#!/usr/bin/env bash
# 正式联合训练:直接 bash 本脚本;打印配置(不占 GPU):bash 本脚本 --print-config
# 提前离线准备索引(无需 GPU/WandB):bash 本脚本 --prepare-data;训练自动复用。
set -Eeuo pipefail
# 新训练固定40维动作 + FP32输入小投影;其余网络保持 BF16 AMP。
PROJECT_ROOT=$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)
source "$PROJECT_ROOT/scripts/activate_psi_env.sh"
if [[ -f "${HFD_ENV_FILE:-$PROJECT_ROOT/.env}" ]]; then
  set -a
  source "${HFD_ENV_FILE:-$PROJECT_ROOT/.env}"
  set +a
fi
export PYTHONPATH="$PROJECT_ROOT/src${PYTHONPATH:+:$PYTHONPATH}"

# ── 新训练常调参数 ──────────────────────────────────────────────
# 完整续训自动继承原 run 的参数,不用这里的新训练默认值覆盖旧配置。
# 外部设置的同名环境变量优先;不指定 GPU 时使用作业分配的全部卡。
if [[ "${HFD_RESUME_LOAD_FULL_STATE:-0}" != "1" ]]; then
  export HFD_TRAIN_BATCH_SIZE=${HFD_TRAIN_BATCH_SIZE:-16}       # 每卡;统一AV的H200长KV压测配置
  export HFD_MAX_TRAINING_STEPS=${HFD_MAX_TRAINING_STEPS:-1500000}
  export HFD_LEARNING_RATE=${HFD_LEARNING_RATE:-8e-5}           # 动作头峰值 LR
  export HFD_QWEN_LR=${HFD_QWEN_LR:-2e-6}
  export HFD_WARMUP_STEPS=${HFD_WARMUP_STEPS:-$((HFD_MAX_TRAINING_STEPS / 100))}
  export HFD_CHECKPOINTING_STEPS=${HFD_CHECKPOINTING_STEPS:-5000}
  export HFD_VALIDATION_STEPS=${HFD_VALIDATION_STEPS:-20000}    # 0 = 不验证
  export HFD_VAL_BATCH_SIZE=${HFD_VAL_BATCH_SIZE:-8}
  export HFD_VAL_NUM_BATCHES=${HFD_VAL_NUM_BATCHES:-64}         # 全卡合计验证 source 数
  export HFD_NUM_WORKERS=${HFD_NUM_WORKERS:-16}                # 每卡数据进程
  export HFD_STATIONARY_LISTEN_HOLD=${HFD_STATIONARY_LISTEN_HOLD:-1} # 所有原任务:听时抬手保持,末姿态接动作
  export HFD_SESSION_MIN_TURNS=${HFD_SESSION_MIN_TURNS:-1}     # 1~4条;新动作打断仍至少2条。设2复用旧范围

  # ── 音频任务配比:四类按合成 session 数,turn-taking 自动取剩余 ──
  # 默认 turn-taking 60% / interruption 15% / stop 10% / backchannel 15%。
  # 以下三项之和必须 < 1;不是候选池 variants 数,更不是 loss 权重。
  export HFD_INTERRUPTION_TASK_SESSION_RATIO=${HFD_INTERRUPTION_TASK_SESSION_RATIO:-0.15}
  export HFD_CONTROL_TASK_SESSION_RATIO=${HFD_CONTROL_TASK_SESSION_RATIO:-0.10} # stop
  export HFD_BACKCHANNEL_TASK_SESSION_RATIO=${HFD_BACKCHANNEL_TASK_SESSION_RATIO:-0.15}
  # 下两类按音频窗口数额外配比,与上面的 session 百分比不是同一分母。
  export HFD_HESITATION_TASK_WINDOW_RATIO=${HFD_HESITATION_TASK_WINDOW_RATIO:-0.12}
  export HFD_PAUSE_TASK_WINDOW_RATIO=${HFD_PAUSE_TASK_WINDOW_RATIO:-0.08}
  # third-party:额外追加审核通过的26737条训练session;不删旧任务、不重复采样。
  # 复用已混合音频,动作由当前listen保持/40维管线生成;路径在current_recipe。

  # ── 各原任务统一叠加视觉问答,不再另设 SWA 任务 ─────────────────
  # 默认统一包 hfd_visual_dataset/images + videos;均为八音色,同一 session 固定同音色。
  export HFD_OVERLAY_QA_RATIO=${HFD_OVERLAY_QA_RATIO:-0.75}
  export HFD_OVERLAY_VISUAL_ONLY_RATIO=${HFD_OVERLAY_VISUAL_ONLY_RATIO:-0.10}
  export HFD_VISUAL_INPUT_MODE=${HFD_VISUAL_INPUT_MODE:-cached} # cached=读特征;raw=原图/视频在线编码
  # 剩余15%纯音频;上面是抽样概率,安全时间段不足时回落纯音频。
  # 可选 HFD_OVERLAY_MANIFESTS='["/path/to/hfd_visual_dataset"]';兼容旧 JSON 清单。
  # enabled / disabled;disabled 为原纯音频模式。
  export HFD_SWA_DATA_MODE=${HFD_SWA_DATA_MODE:-enabled}
  # 新训练不加载旧实验权重:原始预训练 Qwen + 新动作头 / 新问答 LoRA。
  # A1:共享前28层、独立后8层+cross;C:语义锚定状态token延迟写入下一packet。
  # 两分支独立KV,QA loss不修改身体Qwen。
  # 默认只用已审核发布清单;不在启动时重新合成数据。
fi

# ── 日志与续训 ──────────────────────────────────────────────────
export HFD_REPORT_TO=${HFD_REPORT_TO:-wandb}                   # wandb / None
export HFD_WANDB_RESUME=${HFD_WANDB_RESUME:-never}              # 默认新曲线
# 完整续训:HFD_RESUME_FROM_CHECKPOINT=/path/to/ckpt_N
#           HFD_RESUME_LOAD_FULL_STATE=1
# 接原曲线再设置:HFD_WANDB_RESUME=must HFD_WANDB_ID=原曲线ID
# CUDA_VISIBLE_DEVICES / HFD_NPROC_PER_NODE 可选;DLC 默认不管理占卡程序。
# 固定算法、路径和进阶参数:src/psi/config/hfd_current_recipe.py
exec python "$PROJECT_ROOT/scripts/launch_hfd_training.py" "$@"