code-HFD / doc /260928-data.md
Tinghong-Ye22's picture
Add files using upload-large-folder tool
5d9f970 verified
|
Raw History Blame Contribute Delete
8.47 kB

HFD 数据清单|2026-09-28

2026-09-29后续清理:已移除65,721个退役/未引用视觉缓存,释放53.975 GiB;下表为清理前历史体积,数量和发布清单未变。原图/视频、旧及八音色语音、现用特征均保留。详见合并工作留痕。本页描述旧版状态;当前数量与入口见10月1日数据清单。

口径:仓库默认配方,不含临时环境变量覆盖;当前跑的是数据审核,没有启动训练。

先看结论

  • 动作底表142,220条,对应5,220种指令;不是14万种不同指令。 动作与语音复用组合,训练时再拼1~4轮session。
  • 新八音色视觉包:46,592组问答、372,736条音色记录。 其中图片问答46,305组、视频问答287组;不是37万张图片/视频。
  • 另有36,046条八音色视频正在前三卡重审,尚未计入新包。 视频占比70%的目标还没达到。
  • 正式脚本尚未切换新统一包:默认图片仍是旧单音色清单。这里区分“脚本在读什么”和“新包已准备什么”,不混算。

任务仍是turn-taking、interruption(含stop)、backchannel、hesitation、pause;视觉问答叠加在这些任务上,不是独立SWA任务。默认75%问答、10%仅视觉、15%纯音频是抽样目标,缺少安全插入位置时会回退,不是实际视频占比。

路径缩写

U = /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong
D = U/videogen
M = U/code/Psi0/dataset/seed_all
A = /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/buwendong/user/code/qwen3-tts

下表是整包实际占用,包括审核记录、特征及部分候选,不是纯训练张量大小。GiB按1024进制;目录间硬链接去重,软链接不重复计算。动作目录另用并行扫描核对。模型环境、runs和旧实验不计入数据集总量。

1. 动作与声音

数据/类型 数量与作用 占用GiB 路径
BoneSeed机器人动作 底表142,220条;包含任务动作与idle/listen素材;训练还会过滤不合格记录 36.24 M/g1/csv_sonic/
动作描述与映射 同一底表142,220行;连接指令、动作文件和描述 0.14 M/metadata/seed_metadata_v004.csv(占用按metadata目录)
原始指令语音 5,220种指令的中英8音色来源;有效混音映射41,694条,非每条都齐全 6.37 A/seed_audio/;映射A/metadata.jsonl
连续背景与混音 41,694条混音映射;10段连续背景;同session保持背景连续 44.70 D/hfd_audio_command_continuous_office_v1/
Stop / Hold语音 96条WAV:stop 48、hold 48;当前hold权重为0 0.32 D/hfd_control_commands_v1/
Backchannel语音 120条WAV:train 96、val 24;8音色 0.39 D/hfd_backchannel_commands_v2_short/
Hesitation / Pause素材 v2清单81,744条:指令前后段81,664、犹豫词40、修正提示40;不是81,744条完整session 4.61 + 0.11 D/hfd_hesitation_pause_v1/ + hfd_hesitation_pause_v2/

v2仍引用v1语音,两个目录都要保留。 Stop、backchannel、hesitation、pause和普通指令的入口都是各包的manifest.jsonl。混音入口是manifests/source_background_assignments.jsonl,背景入口是manifests/background_sessions.jsonl。

2. 图片与视频问答

数据包 清单数量(问答 / 音色记录) 占用GiB 路径与用途
VQAv2原包 59,428 / 59,428;单音色 157.46 D/hfd_swa_vqav2_v1/:原图、视觉特征、旧问题音频、审核材料;正式默认仍读其清单
VQAv2八音色 43,480 / 347,840 16.88 D/hfd_vqav2_8voice_v1/:新增八音色问题;复用原包图片/特征
GQA原包 4,718 / 4,718;单音色 12.18 D/hfd_gqa_v1/:原图、特征、旧音频、审核材料;正式默认仍读其清单
GQA八音色 2,825 / 22,600 2.00 D/hfd_gqa_8voice_v1/:新增八音色问题;复用原包图片/特征
短视频原包 实存79,238条视频;旧整段审核问答41,185组 1,139.32 D/hfd_video_vqa_50k_v1/:原视频、特征、旧音频、审核和候选
短视频八音色 36,046 / 288,368 13.99 D/hfd_video_vqa_8voice_v1/:扣除约2.20GiB与原包共用的硬链接;单独du为16.19GiB。正在重审
长视频候选 实存6,003个MP4,30秒~3分钟分组;不能全算通过 72.01 D/hfd_long_video_candidates_v1/
新统一视觉包 46,592 / 372,736;包含287组已准入长视频问答 37.83 D/hfd_visual_qa/:统一索引、长视频特征/八音色和审核;其图片组件是软链接
早期实时视频试验 6 / 48;是上述短视频的子集 <0.001 D/hfd_video_vqa_live_v1/:小型清单,不额外增加6条视频

各包训练清单为overlay_assets.json;验收凭证是admission/acceptance.json。原始“已下载/已审核”计数不等于当前因果视频问答已准入。

问答包存的是图片/视频、问题WAV、回答文本、视觉特征及审核记录。视觉特征用于训练提速;审核记录不送入模型,但准入校验和断点重审要用,不能当垃圾。回答文本也不能计成另一个音频样本。

最大包hfd_video_vqa_50k_v1的主要占用:admission/features/ 1,035.06GiB,videos/ 100.20GiB,voices/ 2.50GiB。所以1.11TiB并不都是原视频。

新统一包的来源: GQA 2,825组 + VQAv2 43,480组 + 长视频287组。train 45,784组,val 808组;均为8音色。按内容哈希去重后是42,316张图片 + 287条视频(视频约0.67%)。VQAv2有39,493个图片路径、39,491种文件内容,别把路径数当独立图片数。

3. 哪里重合,哪些不能重复加

关系 人话说明
VQAv2/GQA旧包 → 八音色包 是旧问答的合格子集加音色,不是新增一批图片;八音色包仍依赖原图/特征目录,旧包不能整删
短视频79,238 → 41,185 → 36,046 下载库存 → 旧整段问答审核 → 八音色完成;层层包含,不能相加
视频八音色包的原英文语音 用硬链接复用原包文件,约2.20GiB;目录大小直接相加会重复计账
hfd_visual_qa/components/ 图片、旧视频和候选目录主要是软链接;统一入口不代表搬出了独立完整副本
287条长视频 来自6,003个候选文件,不是额外287个原视频副本
原始指令 → 混音 同一段人声的原声/加背景版本;增加文件不增加语义种类

GQA、VQAv2、长视频之间本轮未发现相同的文件SHA256;不等于已经排除所有近似画面/语义重复。所有数量按清单,不把动态组合出来的session冒充新增原始数据。

4. 审核进度与额外依赖

  • 使用GPU 0、1、2审核36,046条旧视频:允许使用提问前见过的历史画面,禁止未来画面;中英文分别核验。每条最多8个提问时点,保留确切通过时点,不跨失败区间凑连续范围。
  • 逐视频保存结果,复用原四卡结果;只生成pending清单,合并、loader和GT验收前不会自动替换训练入口。改为8题并行、一次解码和CPU预取;同8条视频140秒→58秒,剩余时间以连续运行看板为准。
  • 实时看板(远程需转发8770端口)。状态:U/hfd_experiments/causal_video_history_260928/speed_3gpu/live/status.json;详细结果在其shard0~2/。后台每30分钟记摘要,失败有限重试;占卡也限前三卡。
  • ASR核验模型:U/hfd_experiments/swa_260910/ego_selection/scaleup/asr_large_v3_turbo/,1.51GiB,是工具模型,不是训练数据。
  • 划分与防泄漏目录:U/hfd_experiments/overlay_260923/catalog_v1.json;审核人工记录:U/hfd_experiments/vqa_review_dashboard/。两者不能随旧实验一起删。

表内数据包合计约1,544.53GiB=1.51TiB(十进制1.66TB)。 包含候选和特征,不代表全部已经用于训练;其中6.37GiB原声在buwendong共享目录。ASR工具模型另占1.51GiB。实测数量与存储底表保存在U/hfd_experiments/data_inventory_260928/。

已删的旧SWA约550GiB不再计入。EMDB、RICH、interleaf等未被当前训练配方引用的目录也不计入。本次没有删除数据或切换训练配方。