code-HFD / doc /hf_audio_motion /PROGRESS.md
Tinghong-Ye22's picture
Add files using upload-large-folder tool
5d9f970 verified
|
Raw History Blame Contribute Delete
4.78 kB

打包/上传进度与瓶颈(260929)

看板

本机DSW看板,需要阿里云登录。 本地服务127.0.0.1:8771,tmux会话hfd-hf-export-8771,每15秒采样。不是之前的VQA审核看板8770;互不影响。

  • 展示动作目录扫描估计、7个包的已完成分片/当前写入字节/近期速度/本包剩余时间。
  • 已完成只认分片done标记,不把partial算完成。扫描进度由当前打开目录和metadata排序估计,不重新扫描百万源文件。
  • 所有数据包完成后的SQLite/代码阶段可能仍有耗时;每包ETA不能当整个上传完成ETA。
  • 上传阶段每90秒只读检查HF的已提交可见文件。普通hf upload一次提交之前,远端可能一直是0;不等于没有上传,也无法从这时的远端文件数估计网速。
  • HF显示“相同路径和大小已可见”,不是逐文件哈希验收。下载后仍以SHA256SUMS为准。
  • 不重启用户打包进程,不上传、不改源数据;不使用GPU。浏览器只读JSON,后台采样不消耗Codex额度。

重启看板(机器重启后需执行,先确认没有同名tmux会话):

cd /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/code/HFD
tmux new-session -d -s hfd-hf-export-8771 'python -u scripts/data/hf_export_dashboard.py --export ../../hfd_exports/260929-audio-motion-wds --state profile_output/hf_export_260929 --metadata ../Psi0/dataset/seed_all/metadata/seed_metadata_v004.csv --port 8771'

现有流程(没有重新造训练数据)

步骤 实际做什么 为什么需要 / 改进空间
1. 列清单 遍历文件名、大小、修改时间;把一条motion的CSV归到同一个样本 要知道分片内容并防止漏文件;当前是单线程扫描,百万小文件是主要启动成本
2. 写tar 4线程读原CSV/WAV,按128等分片写tar;读前后检查源文件没被修改 不重采样、不解码重编码、不生成hidden;4是I/O并发数,不是CPU限额
3. 校验/索引 每片完成读一遍算SHA256;合并偏移SQLite 用于断点恢复和免解压随机读取,不是重新遍历源动作
4. 代码包 白名单打包代码,过滤凭证并补许可,几MiB 很小,非瓶颈
5. 上传前校验 命令中的sha256sum再次读完整tar确认哈希 和步骤3存在重复整包读取;可改成边写边算SHA,再集中读回校验一次,保留安全性
6. HF上传 HF客户端做自己的hash/去重,再上传数据仓库,最后代码仓库 受网络影响;客户端校验不能随意绕过。当前等全部打包完才上传,后续可流水线化,但不应在现有上传旁边再启动竞争写入者

可优化的是串行元数据扫描、重复整包读取,以及打包上传不重叠。不是要删掉完整性检查,也不是多用GPU。 这轮已运行的进程保留,避免改线程数而丢掉已做的扫描;这里没有偷偷将正在运行的4并发变成16,也没有修改其已加载代码。

实测与局限

  • 机器可见224逻辑CPU,cgroup限额约80核;打包扫描时只有1线程,CPU约9%,频繁处于I/O等待。不是4核算满。
  • 8秒只读strace:约24,320次stat、13,712次lstat、3,054次目录读取;几乎没有实际数据内容读取,确认处于列清单阶段。
  • 64条motion/512文件/约99MiB的小测,4→16→16→4顺序:0.428、0.144、0.143、0.128秒。后续热缓存4并发并不比16慢;不能把首次冷读与后续热读差异当成三倍加速。
  • 小测目标写到本地/tmp,不能代替完整共享盘冷读/写入测速。真正打包吞吐以看板为准;这组结果只说明“16一定比4快”没有证据。
  • 输出记录:profile_output/hf_export_260929/status.json、samples.jsonl、benchmark.json(不进Git)。临时基准tar用后自动删除。

本次测量代码变更

文件 变更 用途
scripts/data/hf_export_dashboard.py 新增 外部只读采样、HTTP看板;不修改打包器/训练代码
tests/test_hf_export_dashboard.py 新增 速率冷启动、目录估计、partial/完成区分、代理相对路径
本文、CHANGELOG.md、DIALOG.md 记录 实测结果、边界及使用方式

看完不需要常驻时,只停止hfd-hf-export-8771会话即可;不影响用户的打包/上传。原料和分片不能跟着清理。

DSW登录代理格式参考阿里云说明。实际链接已确认由网关识别并跳转到本实例的登录授权页;未绕过阿里云登录校验。