# 打包/上传进度与瓶颈(260929) ## 看板 [本机DSW看板](https://39346-proxy-8771.dsw-gateway-us-southeast-1.data.aliyuncs.com/),需要阿里云登录。 本地服务`127.0.0.1:8771`,tmux会话`hfd-hf-export-8771`,每15秒采样。不是之前的VQA审核看板8770;互不影响。 - 展示动作目录扫描估计、7个包的已完成分片/当前写入字节/近期速度/本包剩余时间。 - 已完成只认分片done标记,不把partial算完成。扫描进度由当前打开目录和metadata排序估计,不重新扫描百万源文件。 - 所有数据包完成后的SQLite/代码阶段可能仍有耗时;每包ETA不能当整个上传完成ETA。 - 上传阶段每90秒只读检查HF的已提交可见文件。普通`hf upload`一次提交之前,远端可能一直是0;**不等于没有上传**,也无法从这时的远端文件数估计网速。 - HF显示“相同路径和大小已可见”,不是逐文件哈希验收。下载后仍以SHA256SUMS为准。 - 不重启用户打包进程,不上传、不改源数据;不使用GPU。浏览器只读JSON,后台采样不消耗Codex额度。 重启看板(机器重启后需执行,先确认没有同名tmux会话): ```bash cd /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/code/HFD tmux new-session -d -s hfd-hf-export-8771 'python -u scripts/data/hf_export_dashboard.py --export ../../hfd_exports/260929-audio-motion-wds --state profile_output/hf_export_260929 --metadata ../Psi0/dataset/seed_all/metadata/seed_metadata_v004.csv --port 8771' ``` ## 现有流程(没有重新造训练数据) | 步骤 | 实际做什么 | 为什么需要 / 改进空间 | |---|---|---| | 1. 列清单 | 遍历文件名、大小、修改时间;把一条motion的CSV归到同一个样本 | 要知道分片内容并防止漏文件;当前是单线程扫描,百万小文件是主要启动成本 | | 2. 写tar | 4线程读原CSV/WAV,按128等分片写tar;读前后检查源文件没被修改 | 不重采样、不解码重编码、不生成hidden;4是I/O并发数,不是CPU限额 | | 3. 校验/索引 | 每片完成读一遍算SHA256;合并偏移SQLite | 用于断点恢复和免解压随机读取,不是重新遍历源动作 | | 4. 代码包 | 白名单打包代码,过滤凭证并补许可,几MiB | 很小,非瓶颈 | | 5. 上传前校验 | 命令中的sha256sum再次读完整tar确认哈希 | 和步骤3存在重复整包读取;可改成边写边算SHA,再集中读回校验一次,保留安全性 | | 6. HF上传 | HF客户端做自己的hash/去重,再上传数据仓库,最后代码仓库 | 受网络影响;客户端校验不能随意绕过。当前等全部打包完才上传,后续可流水线化,但不应在现有上传旁边再启动竞争写入者 | 可优化的是**串行元数据扫描、重复整包读取,以及打包上传不重叠**。不是要删掉完整性检查,也不是多用GPU。 这轮已运行的进程保留,避免改线程数而丢掉已做的扫描;这里没有偷偷将正在运行的4并发变成16,也没有修改其已加载代码。 ## 实测与局限 - 机器可见224逻辑CPU,cgroup限额约80核;打包扫描时只有1线程,CPU约9%,频繁处于I/O等待。不是4核算满。 - 8秒只读strace:约24,320次stat、13,712次lstat、3,054次目录读取;几乎没有实际数据内容读取,确认处于列清单阶段。 - 64条motion/512文件/约99MiB的小测,4→16→16→4顺序:0.428、0.144、0.143、0.128秒。后续热缓存4并发并不比16慢;不能把首次冷读与后续热读差异当成三倍加速。 - 小测目标写到本地/tmp,**不能代替完整共享盘冷读/写入测速**。真正打包吞吐以看板为准;这组结果只说明“16一定比4快”没有证据。 - 输出记录:`profile_output/hf_export_260929/status.json`、`samples.jsonl`、`benchmark.json`(不进Git)。临时基准tar用后自动删除。 ## 本次测量代码变更 | 文件 | 变更 | 用途 | |---|---|---| | `scripts/data/hf_export_dashboard.py` | 新增 | 外部只读采样、HTTP看板;不修改打包器/训练代码 | | `tests/test_hf_export_dashboard.py` | 新增 | 速率冷启动、目录估计、partial/完成区分、代理相对路径 | | 本文、CHANGELOG.md、DIALOG.md | 记录 | 实测结果、边界及使用方式 | 看完不需要常驻时,只停止`hfd-hf-export-8771`会话即可;不影响用户的打包/上传。原料和分片不能跟着清理。 DSW登录代理格式参考[阿里云说明](https://help.aliyun.com/en/pai/use-cases/responsible-ai-fairness-analysis)。实际链接已确认由网关识别并跳转到本实例的登录授权页;未绕过阿里云登录校验。