| # 发布包验收记录 |
|
|
| 日期：2026-10-24 |
| 模型：PabJev-4b，short150 best（step 150） |
| 基础模型展示名称：qwen3.5 4b |
| 实测环境：单张 NVIDIA A800-SXM4-80GB（测试使用 GPU 2），Python 3.12.12、PyTorch 2.13.0+cu130、vLLM 0.30.0、Transformers 5.19.0、PEFT 0.21.2。 |
|
|
| 本次验收从独立发布目录重新加载权重并启动，未借用原服务的进程。原 GPU 1 在线服务未被停止或修改；测试使用独立的 18102/30002 端口，结束后仅关闭发布包自己的进程。 |
|
|
| ## 1. 权重、配置与代码闭包 |
|
|
| - 发布包 12 个运行时权重/配置/tokenizer 文件与当前在线 short150 merged bundle **逐字节一致**。 |
| - 原始 short150 best checkpoint 的 4 个 pointer 张量与发布文件 **逐值一致且均为 FP32**。 |
| - 原始 adapter SHA256 为 `af706b9bd88dff8c6f25613fd2a89231636834b2ce03afea64ded77010d63554`，与发布 provenance 一致。 |
| - merged backbone：723 个张量、3 个分片、9,078,615,568 bytes（约 8.455 GiB）；index 与每个 safetensors header 一致。 |
| - `verify_bundle.py` 通过：step=150、head_dim=256、32 层中 8 full + 24 linear、`jev_prompt_attention=bidirectional`、T=1、不量化。 |
| - vLLM 日志确认 FlashAttention 2、Triton/FLA GDN prefill、8 个 full-attention 层双向以及紧凑 `</opt>+<decide>` 读出。 |
| - 本地 runtime import 检查无缺失模块；评分不再需要原训练目录。 |
| - `jevscore.py` 与训练评分模块字节一致；独立提取的 `legacy_metrics` 与原训练函数在全部 231 条参考样本上输出完全相同。 |
| - 发布元数据仅做展示名称和路径清理；backbone 权重、结构配置、tokenizer 和 pointer 未因此改变。 |
|
|
| ## 2. CPU 自检 |
|
|
| `python service/selftest.py`：**13/13 通过**，覆盖： |
|
|
| 1. 231 条数据、金标和题型数量； |
| 2. 113/118 pseudo-sealed 划分； |
| 3. 无概率时 Calibration=0； |
| 4. pointer FP32 公式； |
| 5. 发布 pointer 严格加载； |
| 6. 结构特殊 token 防伪造； |
| 7. 全部 231 条编码和读出位置对齐； |
| 8. reliability 使用桶内真实均值； |
| 9. 自定义三题型样例格式； |
| 10. 参考 rows 重算 Intelligence/Calibration/Accuracy； |
| 11. step-150 训练参照； |
| 12. 模型与注意力契约； |
| 13. 两次参考运行的标签/概率确定性。 |
|
|
| Python AST、所有 JSON/JSONL 语法、三个 shell 脚本语法以及 `verify_install.py` 也均通过。 |
|
|
| ## 3. 启动与请求 |
|
|
| 完整执行 `service/start.sh`： |
|
|
| - 启动总耗时：**110 秒**； |
| - 权重契约检查通过； |
| - 端到端 smoke 返回 left，两个概率和为 1，紧凑读出为 3 行； |
| - representative warmup：5 种输入形状 × 2 轮，共 10 次请求全部通过； |
| - 再次执行启动命令时，只复用健康契约完全匹配的实例； |
| - `service/stop.sh` 仅停止本包 PID/进程组。 |
|
|
| 额外请求验收： |
|
|
| - `examples/all_types.json`：choice/noul/score 多问题均返回完整概率，usage 为 119 expanded tokens、10 个紧凑 hidden rows； |
| - 自造 64×64 红色 PNG：返回 `choice=red`，验证单图 processor、decision template 和多模态 vLLM 链路； |
| - `examples/custom.jsonl`：3/3 概率有效、3/3 argmax 正确，pseudo-sealed 关闭，且未错误附加原 JevBench training parity。 |
|
|
| ## 4. 从发布包重跑的完整 JevBench |
|
|
| 条件：并发 1、T=1、BF16 backbone、FP32 pointer、不量化、231/231 概率有效。 |
|
|
| | 指标 | 发布包实测 | |
| |---|---:| |
| | Overall Accuracy | **0.883117（204/231）** | |
| | choice / noul / score Accuracy | 0.892086 / 0.864865 / 0.888889 | |
| | Intelligence | **51.3356** | |
| | Calibration | **90.7539** | |
| | ECE / fidelity | 0.071062 / 0.886139 | |
| | invalid / timeout | 0 / 0 | |
| | 请求 wall time | 16.537 s | |
| | 请求 QPS | 13.9687 | |
| | p50 / p95 / p99 latency | 0.0575 / 0.1377 / 0.1851 s | |
| | total elapsed（含初始化、评分与写盘） | 16.625 s | |
|
|
| 训练 parity：总体及三题型 Accuracy、Intelligence 差值均为 0；Calibration +0.0913，ECE -0.002177，fidelity -0.000351。 |
|
|
| ### 与原最佳参考运行的逐题比较 |
|
|
| `package_vs_reference.json` 记录： |
|
|
| - `n_common=231`； |
| - `n_label_mismatch=0`； |
| - `n_probability_shape_mismatch=0`； |
| - `probability_max_abs=0.0`； |
| - `probability_mean_of_row_mean_abs=0.0`。 |
|
|
| 因此，本次不是只核对汇总分数，而是从发布目录重跑后做到了 **231 条完整概率逐项零差异**。wall time/QPS 会随缓存和机器负载变化，不作为逐位一致性指标。 |
|
|
| ## 5. 验收证据文件 |
|
|
| `reference_results/package_validation/`： |
|
|
| - `startup.json`：完整启动配置和 110 秒耗时； |
| - `smoke.json`：启动冒烟响应； |
| - `jevbench_c1.json`：本次从发布包重跑的完整 231 条汇总与逐题概率； |
| - `package_vs_reference.json`：与 `reference_results/short150_c1.json` 的逐项比较； |
| - `custom.json`：三条自定义数据的功能验收。 |
|
|
| 原始参考运行、并发 4 结果、重复性比较和温度校准 sidecar 位于 `reference_results/` 其他文件。本地 `logs/`、`run/`、`outputs/`、测试图片和 PID 不属于上传内容，已由 `.gitignore`、`.hfignore` 和归档规则排除。 |
|
|
