# 视觉问答数据审核网页 本地 CPU 服务,默认 `http://127.0.0.1:8770/`。远程浏览器通过 VS Code 端口面板转发 **8770**。不直接暴露公网。与旧进度看板 8765 并行,不占 GPU,不停止占卡/训练。 ## 实时审核进度 ### 2026-09-30 断点恢复 - 本地审核会话为 `hfd-causal-review-3gpu`,仍只用GPU 0/1/2、每卡2进程;输出沿用 `hfd_experiments/causal_video_history_260928/speed_3gpu/live_dual/`,复用旧 `live/` 凭证,不改审核模型、提示词、窗口或通过标准。 - 启动前对共享目录做8MiB写入/fsync/回读测试,核对6分片原审核脚本、helper、模型config哈希;11项CPU断点/监督器测试通过。先停止前三卡专属占卡监督器,再交由审核锁接管;第四卡无操作。 - 启动时会重新核对旧凭证及视频哈希、重建pending清单,所以网页计数可能暂时从小数回升;`reused`是旧结果,`newly_checked`才是本次新审核,不能把复用当成新增算力。 - 本次控制台日志同时保留于 `/tmp/hfd-causal-audit-2609301050.log` 与 `live_dual/supervisor.log`,`tee --output-error=warn`避免共享盘日志写失败时立即失去本地错误记录。**不代表磁盘满了仍能安全审核**;凭证写入仍须成功,不能静默丢弃。 - 后台每30分钟摘要、每10秒更新进度,失败worker最多尝试3次;退出恢复前三卡占卡。不承诺跨DSW重启自行启动,也没有无限重试存储故障。机器审核完仍需合并与最终准入验收,不能直接算可训练。 审核监督器可选 `--workers-per-gpu 2`:仍仅使用0/1/2三张卡,每卡两个独立模型进程;默认值1不变。进度按物理卡合计,不重复累计显存。改变进程数须换新输出目录,并以旧目录作为 `--reuse-root` 导入已完成凭证,不能直接复用不同分片数量的输出目录。原审核模型、batch=8、提示词和筛选规则均不变。 入口 `http://127.0.0.1:8770/progress`。读取同目录状态文件 `audit_progress.json`,由 `scripts/data/run_causal_video_audit.py` 更新;不扫描视频或大清单。显示0/1/2三卡、复用及完成数、机器通过数、最近10分钟实际新增速度、最慢分片ETA;加载/重启初期不虚报速度,180秒未更新提示失联。机器通过仍是pending,不等于已发布数据。原素材索引/人工备注不受影响。 访问远程DSW时,`127.0.0.1`指浏览器所在电脑,不是服务器;请在端口面板转发8770,用生成的访问地址进入首页并点击“查看三卡视频审核实时进度”。进度接口和页面导航使用相对路径,兼容`/proxy/8770/`等代理前缀。若页面已打开但进度报404,强制刷新以获取修复后的JS。 审核启动前运行 `bash ../monitor/stop.sh` 并等待其退出;监督程序持有占卡锁,防止模型加载时被占卡误占。审核运行在独立tmux中,每30分钟日志摘要、每10秒轻量状态更新;网页每15秒刷新。监督程序只允许GPU 0/1/2;显式 `--restore-keeper` 才在结束时恢复同范围占卡。 当前服务挂在 tmux 会话 `hfd-vqa-review-8770`;断开终端不会退出,机器重启后仍需重新启动。2026-09-28 索引:本次候选 97,935 条,其中最终准入 46,592 条(GQA 2,825 / VQAv2 43,480 / 长视频 287);历史短视频另列 46,374 条。索引约 865 MiB,无音视频复制。5 项 CPU 单元测试通过;真实浏览器验证数量、原图、候选及来源/划分筛选、八音色音频、视频解码与跳转、3 条 GT 入口、移动端排版和无 JS 异常。 从 HFD 根目录执行: ```bash # 首次或数据更新后:离线重建只读浏览索引 .venv-psi/bin/python scripts/data/review_dashboard/server.py --build # 启动网页 .venv-psi/bin/python scripts/data/review_dashboard/server.py ``` 可用 `--data /path/to/videogen --state /path/to/review_state --port 8770` 显式覆盖路径。默认由仓库位置推导同一用户目录下的 videogen 和 hfd_experiments,不依赖旧 CPFS 路径。 ## 分类与口径 - **通过 · 最终可训练**:最终发布清单实际包含且验收 SHA-256 匹配;严格要求每条八个不同音色,不受候选残留 `training_ready=false` 等旧字段误导。 - **候选全集**:新图片/长视频候选并集,包含已通过、未通过、未处理;八音色只算一个问答条目。同一图片可有多个问答,不等于独立图片数。 - **未准入 / 未通过**:明确视觉/技术不合格与“视觉通过但未进最终八音色包”分开标记。后者不能直接归因为视觉质量差。 - **待审核**:没有找到完成的视觉审核回执。 - **历史短视频**:旧 full-clip 问答,单独展示,不表示进入新实时问答训练包。 - **GT 示例**:完整带音频拼接视频;其中 flite 答案音频仅用于审核占位,不代表模型生成质量。 候选覆盖范围:GQA `candidates/image_checked/image_rejections/overlay_assets` 并集;VQAv2 同样;本批长视频 `review/long_video/jobs.json`;历史短视频本地 candidates。不是全互联网/上游全部待下载条目。来源、模态、train/val、审核结果、时长、文字、人工标记均可过滤。随机抽查用于浏览,不作独立统计抽样保证。 详情支持原图/原视频、视频按审核时间点跳转、原始英文与八音色对应中英文问答、已有问题音频、ASR 原始回执、视觉审核证据和有效时间窗。不额外生成回答音频,不下载缺失素材,不把机器结论当作人工真值。 人工通过/有问题/待确认和备注保存至 `hfd_experiments/vqa_review_dashboard/notes.sqlite`,不会修改数据、发布清单或训练配置;可从 `/api/reviews` 导出 JSON。重建索引不清空人工记录。目录里的 `catalog.sqlite` 为可重建缓存,**notes.sqlite 则应保留**。 安全:仅监听 loopback;媒体通过白名单索引的不可猜测哈希 ID 访问,拒绝越界路径和越界符号链接;无任意文件下载/目录遍历;JSON 备注需同源请求;HTML 文本转义和 CSP;视频支持 HTTP Range。索引离线原子发布,网页分页读取,不在每次刷新扫描几十万 JSON 或复制音视频。 测试:`python -m unittest discover -s tests -p test_vqa_review_dashboard.py`,并执行 `node --check scripts/data/review_dashboard/app.js`。