# HFD 数据清单|2026-09-28 > 2026-09-29后续清理:已移除65,721个退役/未引用视觉缓存,释放53.975 GiB;下表为清理前历史体积,数量和发布清单未变。原图/视频、旧及八音色语音、现用特征均保留。详见[合并工作留痕](工作留痕.md)。本页描述旧版状态;当前数量与入口见[10月1日数据清单](261001-data.md)。 口径:仓库默认配方,不含临时环境变量覆盖;当前跑的是数据审核,没有启动训练。 ## 先看结论 - **动作底表142,220条,对应5,220种指令;不是14万种不同指令。** 动作与语音复用组合,训练时再拼1~4轮session。 - **新八音色视觉包:46,592组问答、372,736条音色记录。** 其中图片问答46,305组、视频问答287组;不是37万张图片/视频。 - **另有36,046条八音色视频正在前三卡重审,尚未计入新包。** 视频占比70%的目标还没达到。 - **正式脚本尚未切换新统一包**:默认图片仍是旧单音色清单。这里区分“脚本在读什么”和“新包已准备什么”,不混算。 任务仍是turn-taking、interruption(含stop)、backchannel、hesitation、pause;视觉问答叠加在这些任务上,不是独立SWA任务。默认75%问答、10%仅视觉、15%纯音频是抽样目标,缺少安全插入位置时会回退,**不是实际视频占比**。 ## 路径缩写 ```text U = /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong D = U/videogen M = U/code/Psi0/dataset/seed_all A = /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/buwendong/user/code/qwen3-tts ``` 下表是**整包实际占用**,包括审核记录、特征及部分候选,不是纯训练张量大小。GiB按1024进制;目录间硬链接去重,软链接不重复计算。动作目录另用并行扫描核对。模型环境、runs和旧实验不计入数据集总量。 ## 1. 动作与声音 | 数据/类型 | 数量与作用 | 占用GiB | 路径 | |---|---|---:|---| | BoneSeed机器人动作 | 底表142,220条;包含任务动作与idle/listen素材;训练还会过滤不合格记录 | 36.24 | `M/g1/csv_sonic/` | | 动作描述与映射 | 同一底表142,220行;连接指令、动作文件和描述 | 0.14 | `M/metadata/seed_metadata_v004.csv`(占用按metadata目录) | | 原始指令语音 | 5,220种指令的中英8音色来源;有效混音映射41,694条,非每条都齐全 | 6.37 | `A/seed_audio/`;映射`A/metadata.jsonl` | | 连续背景与混音 | 41,694条混音映射;10段连续背景;同session保持背景连续 | 44.70 | `D/hfd_audio_command_continuous_office_v1/` | | Stop / Hold语音 | 96条WAV:stop 48、hold 48;当前hold权重为0 | 0.32 | `D/hfd_control_commands_v1/` | | Backchannel语音 | 120条WAV:train 96、val 24;8音色 | 0.39 | `D/hfd_backchannel_commands_v2_short/` | | Hesitation / Pause素材 | v2清单81,744条:指令前后段81,664、犹豫词40、修正提示40;不是81,744条完整session | 4.61 + 0.11 | `D/hfd_hesitation_pause_v1/` + `hfd_hesitation_pause_v2/` | **v2仍引用v1语音,两个目录都要保留。** Stop、backchannel、hesitation、pause和普通指令的入口都是各包的`manifest.jsonl`。混音入口是`manifests/source_background_assignments.jsonl`,背景入口是`manifests/background_sessions.jsonl`。 ## 2. 图片与视频问答 | 数据包 | 清单数量(问答 / 音色记录) | 占用GiB | 路径与用途 | |---|---:|---:|---| | VQAv2原包 | 59,428 / 59,428;单音色 | 157.46 | `D/hfd_swa_vqav2_v1/`:原图、视觉特征、旧问题音频、审核材料;正式默认仍读其清单 | | VQAv2八音色 | 43,480 / 347,840 | 16.88 | `D/hfd_vqav2_8voice_v1/`:新增八音色问题;复用原包图片/特征 | | GQA原包 | 4,718 / 4,718;单音色 | 12.18 | `D/hfd_gqa_v1/`:原图、特征、旧音频、审核材料;正式默认仍读其清单 | | GQA八音色 | 2,825 / 22,600 | 2.00 | `D/hfd_gqa_8voice_v1/`:新增八音色问题;复用原包图片/特征 | | 短视频原包 | 实存79,238条视频;旧整段审核问答41,185组 | 1,139.32 | `D/hfd_video_vqa_50k_v1/`:原视频、特征、旧音频、审核和候选 | | 短视频八音色 | 36,046 / 288,368 | 13.99 | `D/hfd_video_vqa_8voice_v1/`:扣除约2.20GiB与原包共用的硬链接;单独du为16.19GiB。正在重审 | | 长视频候选 | 实存6,003个MP4,30秒~3分钟分组;不能全算通过 | 72.01 | `D/hfd_long_video_candidates_v1/` | | 新统一视觉包 | 46,592 / 372,736;包含287组已准入长视频问答 | 37.83 | `D/hfd_visual_qa/`:统一索引、长视频特征/八音色和审核;其图片组件是软链接 | | 早期实时视频试验 | 6 / 48;是上述短视频的子集 | <0.001 | `D/hfd_video_vqa_live_v1/`:小型清单,不额外增加6条视频 | 各包训练清单为`overlay_assets.json`;验收凭证是`admission/acceptance.json`。原始“已下载/已审核”计数不等于当前因果视频问答已准入。 问答包存的是**图片/视频、问题WAV、回答文本、视觉特征及审核记录**。视觉特征用于训练提速;审核记录不送入模型,但准入校验和断点重审要用,不能当垃圾。回答文本也不能计成另一个音频样本。 最大包`hfd_video_vqa_50k_v1`的主要占用:`admission/features/` **1,035.06GiB**,`videos/` **100.20GiB**,`voices/` **2.50GiB**。所以1.11TiB并不都是原视频。 **新统一包的来源:** GQA 2,825组 + VQAv2 43,480组 + 长视频287组。train 45,784组,val 808组;均为8音色。按内容哈希去重后是42,316张图片 + 287条视频(视频约0.67%)。VQAv2有39,493个图片路径、39,491种文件内容,别把路径数当独立图片数。 ## 3. 哪里重合,哪些不能重复加 | 关系 | 人话说明 | |---|---| | VQAv2/GQA旧包 → 八音色包 | 是旧问答的合格子集加音色,不是新增一批图片;八音色包仍依赖原图/特征目录,旧包不能整删 | | 短视频79,238 → 41,185 → 36,046 | 下载库存 → 旧整段问答审核 → 八音色完成;层层包含,不能相加 | | 视频八音色包的原英文语音 | 用硬链接复用原包文件,约2.20GiB;目录大小直接相加会重复计账 | | `hfd_visual_qa/components/` | 图片、旧视频和候选目录主要是软链接;统一入口不代表搬出了独立完整副本 | | 287条长视频 | 来自6,003个候选文件,不是额外287个原视频副本 | | 原始指令 → 混音 | 同一段人声的原声/加背景版本;增加文件不增加语义种类 | GQA、VQAv2、长视频之间本轮未发现相同的**文件SHA256**;不等于已经排除所有近似画面/语义重复。所有数量按清单,不把动态组合出来的session冒充新增原始数据。 ## 4. 审核进度与额外依赖 - 使用GPU 0、1、2审核36,046条旧视频:允许使用提问前见过的历史画面,禁止未来画面;中英文分别核验。每条最多8个提问时点,保留确切通过时点,不跨失败区间凑连续范围。 - 逐视频保存结果,复用原四卡结果;只生成pending清单,合并、loader和GT验收前不会自动替换训练入口。改为8题并行、一次解码和CPU预取;同8条视频140秒→58秒,剩余时间以连续运行看板为准。 - [实时看板](http://127.0.0.1:8770/progress)(远程需转发8770端口)。状态:`U/hfd_experiments/causal_video_history_260928/speed_3gpu/live/status.json`;详细结果在其`shard0~2/`。后台每30分钟记摘要,失败有限重试;占卡也限前三卡。 - ASR核验模型:`U/hfd_experiments/swa_260910/ego_selection/scaleup/asr_large_v3_turbo/`,1.51GiB,**是工具模型,不是训练数据**。 - 划分与防泄漏目录:`U/hfd_experiments/overlay_260923/catalog_v1.json`;审核人工记录:`U/hfd_experiments/vqa_review_dashboard/`。两者不能随旧实验一起删。 **表内数据包合计约1,544.53GiB=1.51TiB(十进制1.66TB)。** 包含候选和特征,不代表全部已经用于训练;其中6.37GiB原声在buwendong共享目录。ASR工具模型另占1.51GiB。实测数量与存储底表保存在`U/hfd_experiments/data_inventory_260928/`。 已删的旧SWA约550GiB不再计入。EMDB、RICH、interleaf等未被当前训练配方引用的目录也不计入。本次没有删除数据或切换训练配方。