Download scripts/data/review_dashboard/README.md from Tinghong-Ye22/code-HFD: direct link, hf CLI and curl.
- Browser
- Download file 6.49 kB
-
https://huggingface.co/Tinghong-Ye22/code-HFD/resolve/main/scripts/data/review_dashboard/README.md
- Command line
-
hf download hf://Tinghong-Ye22/code-HFD/scripts/data/review_dashboard/README.md
-
curl -L -o README.md https://huggingface.co/Tinghong-Ye22/code-HFD/resolve/main/scripts/data/review_dashboard/README.md
视觉问答数据审核网页
本地 CPU 服务,默认 http://127.0.0.1:8770/。远程浏览器通过 VS Code 端口面板转发 8770。不直接暴露公网。与旧进度看板 8765 并行,不占 GPU,不停止占卡/训练。
实时审核进度
2026-09-30 断点恢复
- 本地审核会话为
hfd-causal-review-3gpu,仍只用GPU 0/1/2、每卡2进程;输出沿用hfd_experiments/causal_video_history_260928/speed_3gpu/live_dual/,复用旧live/凭证,不改审核模型、提示词、窗口或通过标准。 - 启动前对共享目录做8MiB写入/fsync/回读测试,核对6分片原审核脚本、helper、模型config哈希;11项CPU断点/监督器测试通过。先停止前三卡专属占卡监督器,再交由审核锁接管;第四卡无操作。
- 启动时会重新核对旧凭证及视频哈希、重建pending清单,所以网页计数可能暂时从小数回升;
reused是旧结果,newly_checked才是本次新审核,不能把复用当成新增算力。 - 本次控制台日志同时保留于
/tmp/hfd-causal-audit-2609301050.log与live_dual/supervisor.log,tee --output-error=warn避免共享盘日志写失败时立即失去本地错误记录。不代表磁盘满了仍能安全审核;凭证写入仍须成功,不能静默丢弃。 - 后台每30分钟摘要、每10秒更新进度,失败worker最多尝试3次;退出恢复前三卡占卡。不承诺跨DSW重启自行启动,也没有无限重试存储故障。机器审核完仍需合并与最终准入验收,不能直接算可训练。
审核监督器可选 --workers-per-gpu 2:仍仅使用0/1/2三张卡,每卡两个独立模型进程;默认值1不变。进度按物理卡合计,不重复累计显存。改变进程数须换新输出目录,并以旧目录作为 --reuse-root 导入已完成凭证,不能直接复用不同分片数量的输出目录。原审核模型、batch=8、提示词和筛选规则均不变。
入口 http://127.0.0.1:8770/progress。读取同目录状态文件 audit_progress.json,由 scripts/data/run_causal_video_audit.py 更新;不扫描视频或大清单。显示0/1/2三卡、复用及完成数、机器通过数、最近10分钟实际新增速度、最慢分片ETA;加载/重启初期不虚报速度,180秒未更新提示失联。机器通过仍是pending,不等于已发布数据。原素材索引/人工备注不受影响。
访问远程DSW时,127.0.0.1指浏览器所在电脑,不是服务器;请在端口面板转发8770,用生成的访问地址进入首页并点击“查看三卡视频审核实时进度”。进度接口和页面导航使用相对路径,兼容/proxy/8770/等代理前缀。若页面已打开但进度报404,强制刷新以获取修复后的JS。
审核启动前运行 bash ../monitor/stop.sh 并等待其退出;监督程序持有占卡锁,防止模型加载时被占卡误占。审核运行在独立tmux中,每30分钟日志摘要、每10秒轻量状态更新;网页每15秒刷新。监督程序只允许GPU 0/1/2;显式 --restore-keeper 才在结束时恢复同范围占卡。
当前服务挂在 tmux 会话 hfd-vqa-review-8770;断开终端不会退出,机器重启后仍需重新启动。2026-09-28 索引:本次候选 97,935 条,其中最终准入 46,592 条(GQA 2,825 / VQAv2 43,480 / 长视频 287);历史短视频另列 46,374 条。索引约 865 MiB,无音视频复制。5 项 CPU 单元测试通过;真实浏览器验证数量、原图、候选及来源/划分筛选、八音色音频、视频解码与跳转、3 条 GT 入口、移动端排版和无 JS 异常。
从 HFD 根目录执行:
# 首次或数据更新后:离线重建只读浏览索引
.venv-psi/bin/python scripts/data/review_dashboard/server.py --build
# 启动网页
.venv-psi/bin/python scripts/data/review_dashboard/server.py
可用 --data /path/to/videogen --state /path/to/review_state --port 8770 显式覆盖路径。默认由仓库位置推导同一用户目录下的 videogen 和 hfd_experiments,不依赖旧 CPFS 路径。
分类与口径
- 通过 · 最终可训练:最终发布清单实际包含且验收 SHA-256 匹配;严格要求每条八个不同音色,不受候选残留
training_ready=false等旧字段误导。 - 候选全集:新图片/长视频候选并集,包含已通过、未通过、未处理;八音色只算一个问答条目。同一图片可有多个问答,不等于独立图片数。
- 未准入 / 未通过:明确视觉/技术不合格与“视觉通过但未进最终八音色包”分开标记。后者不能直接归因为视觉质量差。
- 待审核:没有找到完成的视觉审核回执。
- 历史短视频:旧 full-clip 问答,单独展示,不表示进入新实时问答训练包。
- GT 示例:完整带音频拼接视频;其中 flite 答案音频仅用于审核占位,不代表模型生成质量。
候选覆盖范围:GQA candidates/image_checked/image_rejections/overlay_assets 并集;VQAv2 同样;本批长视频 review/long_video/jobs.json;历史短视频本地 candidates。不是全互联网/上游全部待下载条目。来源、模态、train/val、审核结果、时长、文字、人工标记均可过滤。随机抽查用于浏览,不作独立统计抽样保证。
详情支持原图/原视频、视频按审核时间点跳转、原始英文与八音色对应中英文问答、已有问题音频、ASR 原始回执、视觉审核证据和有效时间窗。不额外生成回答音频,不下载缺失素材,不把机器结论当作人工真值。
人工通过/有问题/待确认和备注保存至 hfd_experiments/vqa_review_dashboard/notes.sqlite,不会修改数据、发布清单或训练配置;可从 /api/reviews 导出 JSON。重建索引不清空人工记录。目录里的 catalog.sqlite 为可重建缓存,notes.sqlite 则应保留。
安全:仅监听 loopback;媒体通过白名单索引的不可猜测哈希 ID 访问,拒绝越界路径和越界符号链接;无任意文件下载/目录遍历;JSON 备注需同源请求;HTML 文本转义和 CSP;视频支持 HTTP Range。索引离线原子发布,网页分页读取,不在每次刷新扫描几十万 JSON 或复制音视频。
测试:python -m unittest discover -s tests -p test_vqa_review_dashboard.py,并执行 node --check scripts/data/review_dashboard/app.js。