|
Download doc/261001-data.md from Tinghong-Ye22/code-HFD: direct link, hf CLI and curl.
- Browser
- Download file 6.3 kB
-
https://huggingface.co/Tinghong-Ye22/code-HFD/resolve/main/doc/261001-data.md
- Command line
-
hf download hf://Tinghong-Ye22/code-HFD/doc/261001-data.md
-
curl -L -o 261001-data.md https://huggingface.co/Tinghong-Ye22/code-HFD/resolve/main/doc/261001-data.md
6.3 kB
| # HFD 数据清单|2026-10-01 | |
| 这是当前版本的清单;[9月28日清单](260928-data.md)仅作历史记录,不再用其中体积计算当前总量。 | |
| ## 先看结论 | |
| - **动作底表142,220条、5,220种指令**,不是14万种指令。合格动作与语音在取样时组合成1~4轮session,不提前存大量拼接副本。 | |
| - **统一视觉包:42,316张图片+33,079段合格视频,共79,381组问答,全部配齐8音色问题语音。** 视频按独立素材数占43.9%,并未达到70%。 | |
| - 正式新训练默认已经切换统一包,默认读视觉特征;旧run续训仍继承旧配置。 | |
| - **当前相关数据包合计949.98 GiB;若不保留视觉特征,约128.32 GiB。** 差额821.66 GiB是视觉缓存,本次没有删除。 | |
| ## 1. 路径缩写 | |
| ```text | |
| U = /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong | |
| D = U/videogen | |
| M = U/code/Psi0/dataset/seed_all | |
| A = /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/buwendong/user/code/qwen3-tts | |
| ``` | |
| ## 2. 动作与声音:共52.19 GiB | |
| | 数据 | 数量 / 用途 | 路径 | | |
| |---|---|---| | |
| | 机器人动作 | 底表142,220条;含任务动作及idle/listen素材,训练会再过滤 | `M/g1/csv_sonic/` | | |
| | 动作描述与映射 | 连接动作文件、指令和描述 | `M/metadata/`,主表`seed_metadata_v004.csv` | | |
| | 原始指令语音 | 5,220种指令的中英8音色来源;有效混音映射41,694条,并非每条指令都齐全 | `A/seed_audio/`、`A/metadata.jsonl` | | |
| | 连续背景与混音 | 41,694条映射、10段背景;同session背景连续 | `D/hfd_audio_command_continuous_office_v1/` | | |
| | Stop / Hold语音 | 96条WAV:各48;Hold目前不训练 | `D/hfd_control_commands_v1/` | | |
| | Backchannel语音 | 120条WAV:train 96、val 24;8音色 | `D/hfd_backchannel_commands_v2_short/` | | |
| | Hesitation / Pause | v2清单81,744条:指令片段81,664、犹豫词40、修正提示40;不是完整session数 | `D/hfd_hesitation_pause_v1/`、`D/hfd_hesitation_pause_v2/` | | |
| **v2仍引用v1素材,不能只留v2。** 原声与背景混音也不是新增两套指令语义。上表基础数量沿用已核验底表;52.19 GiB为本次重新扫描这些目录后的总占用。 | |
| ## 3. 图片与视频:只用一个统一包 | |
| 总入口:`D/hfd_visual_dataset/`。图片、视频格式一致,分别在`images/`和`videos/`,不再把历史来源包相加。 | |
| | 项目 | 图片 images | 视频 videos | 合计 | | |
| |---|---:|---:|---:| | |
| | 合格独立素材 | 42,316张 | 33,079段 | 75,395 | | |
| | 合格问答 | 46,302组 | 33,079组 | **79,381组** | | |
| | 合格问题语音(8音色) | 370,416条 | 264,632条 | **635,048条** | | |
| | 整包占用 | 93.10 GiB | 804.69 GiB | **897.79 GiB** | | |
| | 其中视觉特征 | 72.65 GiB | 749.02 GiB | **821.66 GiB** | | |
| | 不含视觉特征 | 20.45 GiB | 55.68 GiB | **76.13 GiB** | | |
| - 视频目录实际保留33,998条,其中919条被拒绝、0条待审;训练只读33,079条通过项。**整包体积包含拒绝项,表内训练数量不包含。** | |
| - 每种音色的问答划分:train 77,847组,val 1,534组(图片803+视频731),按素材隔离。 | |
| - 8音色=中英两种语言,各2女声+2男声;同一session使用同一音色。 | |
| - **八音色指输入的问题语音。回答GT是文本,不是另外8份回答录音。** | |
| - 一张图片可有多个不同问答,所以46,302组问答不等于46,302张图片。 | |
| 包内读取关系: | |
| | 文件/目录 | 用途 | | |
| |---|---| | |
| | `manifest.jsonl`、`summary.json` | 样本索引、数量与审核状态 | | |
| | `media/` | 原图或原视频 | | |
| | `seed_audio/` | 八音色问题语音 | | |
| | `features/` | 冻结视觉编码器预先算好的向量,省训练计算 | | |
| | `receipts/`等审核材料 | 准入与追溯,不作为模型输入 | | |
| ### 合格视频时长 | |
| | 时长 | 段数 | | |
| |---|---:| | |
| | <10秒 | 4,179 | | |
| | 10~<20秒 | 22,892 | | |
| | 20~<30秒 | 5,213 | | |
| | 30~<60秒 | 614 | | |
| | 60~<120秒 | 91 | | |
| | ≥120秒 | 90 | | |
| 中位数15.05秒、平均16.47秒、最短5.04秒、最长180.09秒。**大部分仍是短视频,不能把它们都配成长session。** 取样须满足视频覆盖时长及提问时点的审核约束,不能靠定格末帧补长度,也不能让回答依赖未来画面。 | |
| ## 4. 当前训练怎么混 | |
| | 配方 | 默认比例 | 怎么理解 | | |
| |---|---|---| | |
| | 基础交互 | turn-taking 60%、interruption 15%、stop 10%、backchannel 15% | 按合成session数;stop归入interruption能力 | | |
| | Hesitation / Pause | 12% / 8% | 另按音频窗口口径配置,不能与上面百分比直接相加 | | |
| | 视觉叠加 | 带问答75%、只看不答10%、纯音频15% | 叠加在原任务上,**不是独立SWA任务** | | |
| 这些是默认抽样目标,不是逐epoch实测比例。没有安全插入时间时会回退纯音频;图片/视频实际占比也受时长等约束。环境变量和旧run配置可覆盖默认值。 | |
| ## 5. 存储与速度怎么选 | |
| | 选择 | 相关数据包总占用 | 代价 | | |
| |---|---:|---| | |
| | 原生输入,不留视觉特征 | **128.32 GiB** | 训练时现场编码图片/视频 | | |
| | 保留原素材+视觉特征(当前默认) | **949.98 GiB** | 多存821.66 GiB,省重复编码 | | |
| 真实训练更新短测:每卡B16,缓存约67毫秒/step、原生约94毫秒;B32为81/136毫秒。包含前向、反向和参数更新,**不含提前解码/构造、验证和存盘;不是完整八卡长训速度**。详见[双入口与测速](261001-原生视觉输入与特征缓存.md)。 | |
| ## 6. 去重与统计口径 | |
| - 存储是本次扫描的实际分配空间,按inode去重硬链接,不跟随软链接;GiB为1024进制。不含模型、环境、runs、旧实验、历史候选包及HF打包副本。 | |
| - 统一包复用部分旧文件的硬链接,**不能再把旧包体积叠加进来**;删除一个链接也不一定释放对应空间。 | |
| - 图片按解码像素去重,视频按文件SHA256去重;问答按同素材的规范化问答去重。已排除划分冲突,**不等于所有裁剪、重编码和语义近似视频都已去重**。 | |
| - 949.98 GiB是当前这些数据包的整包占用,不是用户目录全部占用,也不是仅合格训练样本的最小导出体积。本次只写清单,没有删数据、改配方或启动训练。 | |