Download doc/260928-data.md from Tinghong-Ye22/code-HFD: direct link, hf CLI and curl.
- Browser
- Download file 8.47 kB
-
https://huggingface.co/Tinghong-Ye22/code-HFD/resolve/main/doc/260928-data.md
- Command line
-
hf download hf://Tinghong-Ye22/code-HFD/doc/260928-data.md
-
curl -L -o 260928-data.md https://huggingface.co/Tinghong-Ye22/code-HFD/resolve/main/doc/260928-data.md
HFD 数据清单|2026-09-28
2026-09-29后续清理:已移除65,721个退役/未引用视觉缓存,释放53.975 GiB;下表为清理前历史体积,数量和发布清单未变。原图/视频、旧及八音色语音、现用特征均保留。详见合并工作留痕。本页描述旧版状态;当前数量与入口见10月1日数据清单。
口径:仓库默认配方,不含临时环境变量覆盖;当前跑的是数据审核,没有启动训练。
先看结论
- 动作底表142,220条,对应5,220种指令;不是14万种不同指令。 动作与语音复用组合,训练时再拼1~4轮session。
- 新八音色视觉包:46,592组问答、372,736条音色记录。 其中图片问答46,305组、视频问答287组;不是37万张图片/视频。
- 另有36,046条八音色视频正在前三卡重审,尚未计入新包。 视频占比70%的目标还没达到。
- 正式脚本尚未切换新统一包:默认图片仍是旧单音色清单。这里区分“脚本在读什么”和“新包已准备什么”,不混算。
任务仍是turn-taking、interruption(含stop)、backchannel、hesitation、pause;视觉问答叠加在这些任务上,不是独立SWA任务。默认75%问答、10%仅视觉、15%纯音频是抽样目标,缺少安全插入位置时会回退,不是实际视频占比。
路径缩写
U = /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong
D = U/videogen
M = U/code/Psi0/dataset/seed_all
A = /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/buwendong/user/code/qwen3-tts
下表是整包实际占用,包括审核记录、特征及部分候选,不是纯训练张量大小。GiB按1024进制;目录间硬链接去重,软链接不重复计算。动作目录另用并行扫描核对。模型环境、runs和旧实验不计入数据集总量。
1. 动作与声音
| 数据/类型 | 数量与作用 | 占用GiB | 路径 |
|---|---|---|---|
| BoneSeed机器人动作 | 底表142,220条;包含任务动作与idle/listen素材;训练还会过滤不合格记录 | 36.24 | M/g1/csv_sonic/ |
| 动作描述与映射 | 同一底表142,220行;连接指令、动作文件和描述 | 0.14 | M/metadata/seed_metadata_v004.csv(占用按metadata目录) |
| 原始指令语音 | 5,220种指令的中英8音色来源;有效混音映射41,694条,非每条都齐全 | 6.37 | A/seed_audio/;映射A/metadata.jsonl |
| 连续背景与混音 | 41,694条混音映射;10段连续背景;同session保持背景连续 | 44.70 | D/hfd_audio_command_continuous_office_v1/ |
| Stop / Hold语音 | 96条WAV:stop 48、hold 48;当前hold权重为0 | 0.32 | D/hfd_control_commands_v1/ |
| Backchannel语音 | 120条WAV:train 96、val 24;8音色 | 0.39 | D/hfd_backchannel_commands_v2_short/ |
| Hesitation / Pause素材 | v2清单81,744条:指令前后段81,664、犹豫词40、修正提示40;不是81,744条完整session | 4.61 + 0.11 | D/hfd_hesitation_pause_v1/ + hfd_hesitation_pause_v2/ |
v2仍引用v1语音,两个目录都要保留。 Stop、backchannel、hesitation、pause和普通指令的入口都是各包的manifest.jsonl。混音入口是manifests/source_background_assignments.jsonl,背景入口是manifests/background_sessions.jsonl。
2. 图片与视频问答
| 数据包 | 清单数量(问答 / 音色记录) | 占用GiB | 路径与用途 |
|---|---|---|---|
| VQAv2原包 | 59,428 / 59,428;单音色 | 157.46 | D/hfd_swa_vqav2_v1/:原图、视觉特征、旧问题音频、审核材料;正式默认仍读其清单 |
| VQAv2八音色 | 43,480 / 347,840 | 16.88 | D/hfd_vqav2_8voice_v1/:新增八音色问题;复用原包图片/特征 |
| GQA原包 | 4,718 / 4,718;单音色 | 12.18 | D/hfd_gqa_v1/:原图、特征、旧音频、审核材料;正式默认仍读其清单 |
| GQA八音色 | 2,825 / 22,600 | 2.00 | D/hfd_gqa_8voice_v1/:新增八音色问题;复用原包图片/特征 |
| 短视频原包 | 实存79,238条视频;旧整段审核问答41,185组 | 1,139.32 | D/hfd_video_vqa_50k_v1/:原视频、特征、旧音频、审核和候选 |
| 短视频八音色 | 36,046 / 288,368 | 13.99 | D/hfd_video_vqa_8voice_v1/:扣除约2.20GiB与原包共用的硬链接;单独du为16.19GiB。正在重审 |
| 长视频候选 | 实存6,003个MP4,30秒~3分钟分组;不能全算通过 | 72.01 | D/hfd_long_video_candidates_v1/ |
| 新统一视觉包 | 46,592 / 372,736;包含287组已准入长视频问答 | 37.83 | D/hfd_visual_qa/:统一索引、长视频特征/八音色和审核;其图片组件是软链接 |
| 早期实时视频试验 | 6 / 48;是上述短视频的子集 | <0.001 | D/hfd_video_vqa_live_v1/:小型清单,不额外增加6条视频 |
各包训练清单为overlay_assets.json;验收凭证是admission/acceptance.json。原始“已下载/已审核”计数不等于当前因果视频问答已准入。
问答包存的是图片/视频、问题WAV、回答文本、视觉特征及审核记录。视觉特征用于训练提速;审核记录不送入模型,但准入校验和断点重审要用,不能当垃圾。回答文本也不能计成另一个音频样本。
最大包hfd_video_vqa_50k_v1的主要占用:admission/features/ 1,035.06GiB,videos/ 100.20GiB,voices/ 2.50GiB。所以1.11TiB并不都是原视频。
新统一包的来源: GQA 2,825组 + VQAv2 43,480组 + 长视频287组。train 45,784组,val 808组;均为8音色。按内容哈希去重后是42,316张图片 + 287条视频(视频约0.67%)。VQAv2有39,493个图片路径、39,491种文件内容,别把路径数当独立图片数。
3. 哪里重合,哪些不能重复加
| 关系 | 人话说明 |
|---|---|
| VQAv2/GQA旧包 → 八音色包 | 是旧问答的合格子集加音色,不是新增一批图片;八音色包仍依赖原图/特征目录,旧包不能整删 |
| 短视频79,238 → 41,185 → 36,046 | 下载库存 → 旧整段问答审核 → 八音色完成;层层包含,不能相加 |
| 视频八音色包的原英文语音 | 用硬链接复用原包文件,约2.20GiB;目录大小直接相加会重复计账 |
hfd_visual_qa/components/ |
图片、旧视频和候选目录主要是软链接;统一入口不代表搬出了独立完整副本 |
| 287条长视频 | 来自6,003个候选文件,不是额外287个原视频副本 |
| 原始指令 → 混音 | 同一段人声的原声/加背景版本;增加文件不增加语义种类 |
GQA、VQAv2、长视频之间本轮未发现相同的文件SHA256;不等于已经排除所有近似画面/语义重复。所有数量按清单,不把动态组合出来的session冒充新增原始数据。
4. 审核进度与额外依赖
- 使用GPU 0、1、2审核36,046条旧视频:允许使用提问前见过的历史画面,禁止未来画面;中英文分别核验。每条最多8个提问时点,保留确切通过时点,不跨失败区间凑连续范围。
- 逐视频保存结果,复用原四卡结果;只生成pending清单,合并、loader和GT验收前不会自动替换训练入口。改为8题并行、一次解码和CPU预取;同8条视频140秒→58秒,剩余时间以连续运行看板为准。
- 实时看板(远程需转发8770端口)。状态:
U/hfd_experiments/causal_video_history_260928/speed_3gpu/live/status.json;详细结果在其shard0~2/。后台每30分钟记摘要,失败有限重试;占卡也限前三卡。 - ASR核验模型:
U/hfd_experiments/swa_260910/ego_selection/scaleup/asr_large_v3_turbo/,1.51GiB,是工具模型,不是训练数据。 - 划分与防泄漏目录:
U/hfd_experiments/overlay_260923/catalog_v1.json;审核人工记录:U/hfd_experiments/vqa_review_dashboard/。两者不能随旧实验一起删。
表内数据包合计约1,544.53GiB=1.51TiB(十进制1.66TB)。 包含候选和特征,不代表全部已经用于训练;其中6.37GiB原声在buwendong共享目录。ASR工具模型另占1.51GiB。实测数量与存储底表保存在U/hfd_experiments/data_inventory_260928/。
已删的旧SWA约550GiB不再计入。EMDB、RICH、interleaf等未被当前训练配方引用的目录也不计入。本次没有删除数据或切换训练配方。