|
Download doc/hf_audio_motion/PROGRESS.md from Tinghong-Ye22/code-HFD: direct link, hf CLI and curl.
- Browser
- Download file 4.78 kB
-
https://huggingface.co/Tinghong-Ye22/code-HFD/resolve/main/doc/hf_audio_motion/PROGRESS.md
- Command line
-
hf download hf://Tinghong-Ye22/code-HFD/doc/hf_audio_motion/PROGRESS.md
-
curl -L -o PROGRESS.md https://huggingface.co/Tinghong-Ye22/code-HFD/resolve/main/doc/hf_audio_motion/PROGRESS.md
4.78 kB
打包/上传进度与瓶颈(260929)
看板
本机DSW看板,需要阿里云登录。
本地服务127.0.0.1:8771,tmux会话hfd-hf-export-8771,每15秒采样。不是之前的VQA审核看板8770;互不影响。
- 展示动作目录扫描估计、7个包的已完成分片/当前写入字节/近期速度/本包剩余时间。
- 已完成只认分片done标记,不把partial算完成。扫描进度由当前打开目录和metadata排序估计,不重新扫描百万源文件。
- 所有数据包完成后的SQLite/代码阶段可能仍有耗时;每包ETA不能当整个上传完成ETA。
- 上传阶段每90秒只读检查HF的已提交可见文件。普通
hf upload一次提交之前,远端可能一直是0;不等于没有上传,也无法从这时的远端文件数估计网速。 - HF显示“相同路径和大小已可见”,不是逐文件哈希验收。下载后仍以SHA256SUMS为准。
- 不重启用户打包进程,不上传、不改源数据;不使用GPU。浏览器只读JSON,后台采样不消耗Codex额度。
重启看板(机器重启后需执行,先确认没有同名tmux会话):
cd /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/code/HFD
tmux new-session -d -s hfd-hf-export-8771 'python -u scripts/data/hf_export_dashboard.py --export ../../hfd_exports/260929-audio-motion-wds --state profile_output/hf_export_260929 --metadata ../Psi0/dataset/seed_all/metadata/seed_metadata_v004.csv --port 8771'
现有流程(没有重新造训练数据)
| 步骤 | 实际做什么 | 为什么需要 / 改进空间 |
|---|---|---|
| 1. 列清单 | 遍历文件名、大小、修改时间;把一条motion的CSV归到同一个样本 | 要知道分片内容并防止漏文件;当前是单线程扫描,百万小文件是主要启动成本 |
| 2. 写tar | 4线程读原CSV/WAV,按128等分片写tar;读前后检查源文件没被修改 | 不重采样、不解码重编码、不生成hidden;4是I/O并发数,不是CPU限额 |
| 3. 校验/索引 | 每片完成读一遍算SHA256;合并偏移SQLite | 用于断点恢复和免解压随机读取,不是重新遍历源动作 |
| 4. 代码包 | 白名单打包代码,过滤凭证并补许可,几MiB | 很小,非瓶颈 |
| 5. 上传前校验 | 命令中的sha256sum再次读完整tar确认哈希 | 和步骤3存在重复整包读取;可改成边写边算SHA,再集中读回校验一次,保留安全性 |
| 6. HF上传 | HF客户端做自己的hash/去重,再上传数据仓库,最后代码仓库 | 受网络影响;客户端校验不能随意绕过。当前等全部打包完才上传,后续可流水线化,但不应在现有上传旁边再启动竞争写入者 |
可优化的是串行元数据扫描、重复整包读取,以及打包上传不重叠。不是要删掉完整性检查,也不是多用GPU。 这轮已运行的进程保留,避免改线程数而丢掉已做的扫描;这里没有偷偷将正在运行的4并发变成16,也没有修改其已加载代码。
实测与局限
- 机器可见224逻辑CPU,cgroup限额约80核;打包扫描时只有1线程,CPU约9%,频繁处于I/O等待。不是4核算满。
- 8秒只读strace:约24,320次stat、13,712次lstat、3,054次目录读取;几乎没有实际数据内容读取,确认处于列清单阶段。
- 64条motion/512文件/约99MiB的小测,4→16→16→4顺序:0.428、0.144、0.143、0.128秒。后续热缓存4并发并不比16慢;不能把首次冷读与后续热读差异当成三倍加速。
- 小测目标写到本地/tmp,不能代替完整共享盘冷读/写入测速。真正打包吞吐以看板为准;这组结果只说明“16一定比4快”没有证据。
- 输出记录:
profile_output/hf_export_260929/status.json、samples.jsonl、benchmark.json(不进Git)。临时基准tar用后自动删除。
本次测量代码变更
| 文件 | 变更 | 用途 |
|---|---|---|
scripts/data/hf_export_dashboard.py |
新增 | 外部只读采样、HTTP看板;不修改打包器/训练代码 |
tests/test_hf_export_dashboard.py |
新增 | 速率冷启动、目录估计、partial/完成区分、代理相对路径 |
| 本文、CHANGELOG.md、DIALOG.md | 记录 | 实测结果、边界及使用方式 |
看完不需要常驻时,只停止hfd-hf-export-8771会话即可;不影响用户的打包/上传。原料和分片不能跟着清理。
DSW登录代理格式参考阿里云说明。实际链接已确认由网关识别并跳转到本实例的登录授权页;未绕过阿里云登录校验。