code-HFD / doc /261001-data.md
Tinghong-Ye22's picture
Add files using upload-large-folder tool
5d9f970 verified
|
Raw History Blame Contribute Delete
6.3 kB
# HFD 数据清单|2026-10-01
这是当前版本的清单;[9月28日清单](260928-data.md)仅作历史记录,不再用其中体积计算当前总量。
## 先看结论
- **动作底表142,220条、5,220种指令**,不是14万种指令。合格动作与语音在取样时组合成1~4轮session,不提前存大量拼接副本。
- **统一视觉包:42,316张图片+33,079段合格视频,共79,381组问答,全部配齐8音色问题语音。** 视频按独立素材数占43.9%,并未达到70%。
- 正式新训练默认已经切换统一包,默认读视觉特征;旧run续训仍继承旧配置。
- **当前相关数据包合计949.98 GiB;若不保留视觉特征,约128.32 GiB。** 差额821.66 GiB是视觉缓存,本次没有删除。
## 1. 路径缩写
```text
U = /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong
D = U/videogen
M = U/code/Psi0/dataset/seed_all
A = /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/buwendong/user/code/qwen3-tts
```
## 2. 动作与声音:共52.19 GiB
| 数据 | 数量 / 用途 | 路径 |
|---|---|---|
| 机器人动作 | 底表142,220条;含任务动作及idle/listen素材,训练会再过滤 | `M/g1/csv_sonic/` |
| 动作描述与映射 | 连接动作文件、指令和描述 | `M/metadata/`,主表`seed_metadata_v004.csv` |
| 原始指令语音 | 5,220种指令的中英8音色来源;有效混音映射41,694条,并非每条指令都齐全 | `A/seed_audio/`、`A/metadata.jsonl` |
| 连续背景与混音 | 41,694条映射、10段背景;同session背景连续 | `D/hfd_audio_command_continuous_office_v1/` |
| Stop / Hold语音 | 96条WAV:各48;Hold目前不训练 | `D/hfd_control_commands_v1/` |
| Backchannel语音 | 120条WAV:train 96、val 24;8音色 | `D/hfd_backchannel_commands_v2_short/` |
| Hesitation / Pause | v2清单81,744条:指令片段81,664、犹豫词40、修正提示40;不是完整session数 | `D/hfd_hesitation_pause_v1/`、`D/hfd_hesitation_pause_v2/` |
**v2仍引用v1素材,不能只留v2。** 原声与背景混音也不是新增两套指令语义。上表基础数量沿用已核验底表;52.19 GiB为本次重新扫描这些目录后的总占用。
## 3. 图片与视频:只用一个统一包
总入口:`D/hfd_visual_dataset/`。图片、视频格式一致,分别在`images/`和`videos/`,不再把历史来源包相加。
| 项目 | 图片 images | 视频 videos | 合计 |
|---|---:|---:|---:|
| 合格独立素材 | 42,316张 | 33,079段 | 75,395 |
| 合格问答 | 46,302组 | 33,079组 | **79,381组** |
| 合格问题语音(8音色) | 370,416条 | 264,632条 | **635,048条** |
| 整包占用 | 93.10 GiB | 804.69 GiB | **897.79 GiB** |
| 其中视觉特征 | 72.65 GiB | 749.02 GiB | **821.66 GiB** |
| 不含视觉特征 | 20.45 GiB | 55.68 GiB | **76.13 GiB** |
- 视频目录实际保留33,998条,其中919条被拒绝、0条待审;训练只读33,079条通过项。**整包体积包含拒绝项,表内训练数量不包含。**
- 每种音色的问答划分:train 77,847组,val 1,534组(图片803+视频731),按素材隔离。
- 8音色=中英两种语言,各2女声+2男声;同一session使用同一音色。
- **八音色指输入的问题语音。回答GT是文本,不是另外8份回答录音。**
- 一张图片可有多个不同问答,所以46,302组问答不等于46,302张图片。
包内读取关系:
| 文件/目录 | 用途 |
|---|---|
| `manifest.jsonl`、`summary.json` | 样本索引、数量与审核状态 |
| `media/` | 原图或原视频 |
| `seed_audio/` | 八音色问题语音 |
| `features/` | 冻结视觉编码器预先算好的向量,省训练计算 |
| `receipts/`等审核材料 | 准入与追溯,不作为模型输入 |
### 合格视频时长
| 时长 | 段数 |
|---|---:|
| <10秒 | 4,179 |
| 10~<20秒 | 22,892 |
| 20~<30秒 | 5,213 |
| 30~<60秒 | 614 |
| 60~<120秒 | 91 |
| ≥120秒 | 90 |
中位数15.05秒、平均16.47秒、最短5.04秒、最长180.09秒。**大部分仍是短视频,不能把它们都配成长session。** 取样须满足视频覆盖时长及提问时点的审核约束,不能靠定格末帧补长度,也不能让回答依赖未来画面。
## 4. 当前训练怎么混
| 配方 | 默认比例 | 怎么理解 |
|---|---|---|
| 基础交互 | turn-taking 60%、interruption 15%、stop 10%、backchannel 15% | 按合成session数;stop归入interruption能力 |
| Hesitation / Pause | 12% / 8% | 另按音频窗口口径配置,不能与上面百分比直接相加 |
| 视觉叠加 | 带问答75%、只看不答10%、纯音频15% | 叠加在原任务上,**不是独立SWA任务** |
这些是默认抽样目标,不是逐epoch实测比例。没有安全插入时间时会回退纯音频;图片/视频实际占比也受时长等约束。环境变量和旧run配置可覆盖默认值。
## 5. 存储与速度怎么选
| 选择 | 相关数据包总占用 | 代价 |
|---|---:|---|
| 原生输入,不留视觉特征 | **128.32 GiB** | 训练时现场编码图片/视频 |
| 保留原素材+视觉特征(当前默认) | **949.98 GiB** | 多存821.66 GiB,省重复编码 |
真实训练更新短测:每卡B16,缓存约67毫秒/step、原生约94毫秒;B32为81/136毫秒。包含前向、反向和参数更新,**不含提前解码/构造、验证和存盘;不是完整八卡长训速度**。详见[双入口与测速](261001-原生视觉输入与特征缓存.md)。
## 6. 去重与统计口径
- 存储是本次扫描的实际分配空间,按inode去重硬链接,不跟随软链接;GiB为1024进制。不含模型、环境、runs、旧实验、历史候选包及HF打包副本。
- 统一包复用部分旧文件的硬链接,**不能再把旧包体积叠加进来**;删除一个链接也不一定释放对应空间。
- 图片按解码像素去重,视频按文件SHA256去重;问答按同素材的规范化问答去重。已排除划分冲突,**不等于所有裁剪、重编码和语义近似视频都已去重**。
- 949.98 GiB是当前这些数据包的整包占用,不是用户目录全部占用,也不是仅合格训练样本的最小导出体积。本次只写清单,没有删数据、改配方或启动训练。