Upload docs/zh/EVALUATION.md with huggingface_hub

docs/zh/EVALUATION.md

@@ -0,0 +1,59 @@
+# 评估方法
+
+本文档说明 **87.6% 登录命中率** 是如何测量的，保证结果可复现、可信。
+
+## 核心原则
+
+南+ 验证码没有公开的 ground truth 数据集，因此使用**真实论坛登录**作为唯一、100% 可靠的判定标准：
+
+> **论坛返回"登录成功" = 模型识别正确**
+> **论坛返回"认证码不正确或已过期" = 模型识别错误**
+
+每次判定都是干净的二元结果，不依赖任何主观估计。
+
+## 测试流程（逐次尝试）
+
+1. **抓取登录页** → 解析表单与验证码 URL（带会话 cookie）
+2. **抓取验证码图片**（带时间戳防缓存，150x60 PNG）
+3. **模型推理** → 输出 4 位数字
+4. **提交登录**（带会话 cookie + 表单隐藏字段 + 识别结果）
+5. **读论坛响应** → 成功 / "认证码不正确"
+6. **清空本地会话** → 下一次以全新游客身份开始
+
+保证：
+- 每张验证码绑定独立会话，识别与提交严格一一对应，无会话错位
+- 失败响应用 `SP_DEBUG_LOGIN` 落盘逐条核对，确认为真实"认证码不正确"，而非网络/风控
+- 网络层干扰不计入统计
+
+## 测试环境
+
+| 项 | 值 |
+|---|---|
+| 站点 | south-plus.net |
+| 网络 | 家庭 IP + Cloudflare IP 钉定（绕过 DNS 污染） |
+| 请求间隔 | 7 秒（尊重论坛限流） |
+| 账号 | 真实有效账号 |
+| 模型 | captcha_1000_raw.onnx (88.6% val) |
+
+## 结果
+
+**100 次登录（最终正式测试）**
+
+| 结果 | 次数 |
+|---|---|
+| 登录成功 | **85** |
+| 认证码不正确 | 12 |
+| 被论坛风控拦截（不计入） | 3 |
+| 合计有效 | **97** |
+
+**单次命中率 = 85/97 = 87.6%**
+
+早期小样本：15 次测试 13/15 = 86.7%（供参考）。
+
+**重试收益**：`P(6次内至少成功1次) = 1 - (1 - 0.876)^6 ≈ 99.9997%`，即平均 1 万次登录中约 3 次会在 6 次重试内全部失败。
+
+## 置信度
+
+- 100 次大样本 + 每次二元硬判定 → 统计置信度高
+- 与 15 次小样本（86.7%）高度一致 → 结果稳定
+- 留出验证集（79 张）88.6% 与登录命中 87.6% 接近 → 交叉印证