code-HFD / doc /261001-data.md
Tinghong-Ye22's picture
Add files using upload-large-folder tool
5d9f970 verified
|
Raw History Blame Contribute Delete
6.3 kB

HFD 数据清单|2026-10-01

这是当前版本的清单;9月28日清单仅作历史记录,不再用其中体积计算当前总量。

先看结论

  • 动作底表142,220条、5,220种指令,不是14万种指令。合格动作与语音在取样时组合成1~4轮session,不提前存大量拼接副本。
  • 统一视觉包:42,316张图片+33,079段合格视频,共79,381组问答,全部配齐8音色问题语音。 视频按独立素材数占43.9%,并未达到70%。
  • 正式新训练默认已经切换统一包,默认读视觉特征;旧run续训仍继承旧配置。
  • 当前相关数据包合计949.98 GiB;若不保留视觉特征,约128.32 GiB。 差额821.66 GiB是视觉缓存,本次没有删除。

1. 路径缩写

U = /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong
D = U/videogen
M = U/code/Psi0/dataset/seed_all
A = /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/buwendong/user/code/qwen3-tts

2. 动作与声音:共52.19 GiB

数据 数量 / 用途 路径
机器人动作 底表142,220条;含任务动作及idle/listen素材,训练会再过滤 M/g1/csv_sonic/
动作描述与映射 连接动作文件、指令和描述 M/metadata/,主表seed_metadata_v004.csv
原始指令语音 5,220种指令的中英8音色来源;有效混音映射41,694条,并非每条指令都齐全 A/seed_audio/、A/metadata.jsonl
连续背景与混音 41,694条映射、10段背景;同session背景连续 D/hfd_audio_command_continuous_office_v1/
Stop / Hold语音 96条WAV:各48;Hold目前不训练 D/hfd_control_commands_v1/
Backchannel语音 120条WAV:train 96、val 24;8音色 D/hfd_backchannel_commands_v2_short/
Hesitation / Pause v2清单81,744条:指令片段81,664、犹豫词40、修正提示40;不是完整session数 D/hfd_hesitation_pause_v1/、D/hfd_hesitation_pause_v2/

v2仍引用v1素材,不能只留v2。 原声与背景混音也不是新增两套指令语义。上表基础数量沿用已核验底表;52.19 GiB为本次重新扫描这些目录后的总占用。

3. 图片与视频:只用一个统一包

总入口:D/hfd_visual_dataset/。图片、视频格式一致,分别在images/和videos/,不再把历史来源包相加。

项目 图片 images 视频 videos 合计
合格独立素材 42,316张 33,079段 75,395
合格问答 46,302组 33,079组 79,381组
合格问题语音(8音色) 370,416条 264,632条 635,048条
整包占用 93.10 GiB 804.69 GiB 897.79 GiB
其中视觉特征 72.65 GiB 749.02 GiB 821.66 GiB
不含视觉特征 20.45 GiB 55.68 GiB 76.13 GiB
  • 视频目录实际保留33,998条,其中919条被拒绝、0条待审;训练只读33,079条通过项。整包体积包含拒绝项,表内训练数量不包含。
  • 每种音色的问答划分:train 77,847组,val 1,534组(图片803+视频731),按素材隔离。
  • 8音色=中英两种语言,各2女声+2男声;同一session使用同一音色。
  • 八音色指输入的问题语音。回答GT是文本,不是另外8份回答录音。
  • 一张图片可有多个不同问答,所以46,302组问答不等于46,302张图片。

包内读取关系:

文件/目录 用途
manifest.jsonl、summary.json 样本索引、数量与审核状态
media/ 原图或原视频
seed_audio/ 八音色问题语音
features/ 冻结视觉编码器预先算好的向量,省训练计算
receipts/等审核材料 准入与追溯,不作为模型输入

合格视频时长

时长 段数
<10秒 4,179
10~<20秒 22,892
20~<30秒 5,213
30~<60秒 614
60~<120秒 91
≥120秒 90

中位数15.05秒、平均16.47秒、最短5.04秒、最长180.09秒。大部分仍是短视频,不能把它们都配成长session。 取样须满足视频覆盖时长及提问时点的审核约束,不能靠定格末帧补长度,也不能让回答依赖未来画面。

4. 当前训练怎么混

配方 默认比例 怎么理解
基础交互 turn-taking 60%、interruption 15%、stop 10%、backchannel 15% 按合成session数;stop归入interruption能力
Hesitation / Pause 12% / 8% 另按音频窗口口径配置,不能与上面百分比直接相加
视觉叠加 带问答75%、只看不答10%、纯音频15% 叠加在原任务上,不是独立SWA任务

这些是默认抽样目标,不是逐epoch实测比例。没有安全插入时间时会回退纯音频;图片/视频实际占比也受时长等约束。环境变量和旧run配置可覆盖默认值。

5. 存储与速度怎么选

选择 相关数据包总占用 代价
原生输入,不留视觉特征 128.32 GiB 训练时现场编码图片/视频
保留原素材+视觉特征(当前默认) 949.98 GiB 多存821.66 GiB,省重复编码

真实训练更新短测:每卡B16,缓存约67毫秒/step、原生约94毫秒;B32为81/136毫秒。包含前向、反向和参数更新,不含提前解码/构造、验证和存盘;不是完整八卡长训速度。详见双入口与测速。

6. 去重与统计口径

  • 存储是本次扫描的实际分配空间,按inode去重硬链接,不跟随软链接;GiB为1024进制。不含模型、环境、runs、旧实验、历史候选包及HF打包副本。
  • 统一包复用部分旧文件的硬链接,不能再把旧包体积叠加进来;删除一个链接也不一定释放对应空间。
  • 图片按解码像素去重,视频按文件SHA256去重;问答按同素材的规范化问答去重。已排除划分冲突,不等于所有裁剪、重编码和语义近似视频都已去重。
  • 949.98 GiB是当前这些数据包的整包占用,不是用户目录全部占用,也不是仅合格训练样本的最小导出体积。本次只写清单,没有删数据、改配方或启动训练。