简AI · 古文字识别与出土文献研究智能体 —— 楚简检测识别模型与复现包
Chu bamboo-slip (战国楚简) character detection + recognition models, sealed evaluation packages and Docker reproduction bundles. GOAI 2026 世界人工智能开源大赛 · 赛道三「前沿探索 AI for Research」总决赛作品(队伍:炸酱面;北京师范大学文学院 王逸飞)。
本仓库是项目「从编联到考释的全链路架构(From token to text)」中 CV 检测识别环节 的权重、封板评测与提交物镜像。LLM 断句标点翻译与 RAG 考释部分的代码在 goai2026_final_20260920/code/。
2026-10-23 封板 (freeze_20261023)
十月封板:识别器换成冻结的 ViT-L DINOv3 单模(9,629 类,折叠解码),检测器不变(9 月 19 日 RF-DETR E090,已在本仓库)。模型卡、镜像用法、权重哈希、留出集与附录格见 **freeze_20261023/README.md**(目录 freeze_20261023/)。
主指标 = V 在赵晓斌4篇上的端到端宽严兼容 v2 F1 = 87.29%(TP 1003);双模 D = V⊕C 的 TP 996,V 1003(D − V = -7 TP = -1.41 u,超过一个种子噪声单位;配对 95% 置信区间 [-16, +2],p 0.19:不显著),故标题仍是单模 ViT V。 总榜(赵晓斌4篇端到端 + 合并留出集 S-all:清華 + 安大 + 上博九 共 3,574 字)第一是同类表 B9 双模 D-B9,F1 81.26 %(V 80.35 %,八个系统中第七;见 freeze_20261023/report/REPORT_CV_FREEZE_20261023.md §2.3)。
| 系统 | 成员 | 端到端 TP | FP | FN | P | R | 端到端 F1(宽严兼容 v2) | GT 框识别 TP(准确率) |
|---|---|---|---|---|---|---|---|---|
| V | XFPFB8_75_LD9_s3 |
1003 | 147 | 145 | 87.22% | 87.37% | 87.29% | 1017(88.59%) |
| C | CNXLFB8_s7 |
994 | 156 | 154 | 86.43% | 86.59% | 86.51% | 1008(87.80%) |
| D | XFPFB8_75_LD9_s3 ⊕ CNXLFB8_s7 |
996 | 154 | 152 | 86.61% | 86.76% | 86.68% | 1014(88.33%) |
| V′ | XFPFB8_100_LD9_s15 |
1002 | 148 | 146 | 87.13% | 87.28% | 87.21% | 1021(88.94%) |
| D′ | XFPFB8_100_LD9_s15 ⊕ CNXLFB8_s7 |
1000 | 150 | 148 | 86.96% | 87.11% | 87.03% | 1018(88.68%) |
- 评测集 M = 赵晓斌4篇(66 图 / 1,380 GT 框 / 1,148 可评字),检测输入 = 存档 E090 框;检测单独(可评字口径)F1 98.35%,全框口径 F1 96.14%。D = V⊕C、D′ = V′⊕C 为两模折叠概率等权平均。
- M 是监控验证集,不是盲测:V、V′、C 都是按 M 的分数选出的,早停也用过 M。附录格(D-S 1002、D-max 1006、P(s2⊕s9) 1005、VV(s12⊕s15) 1007)是在 M(或清華留出集)上搜出来的,不是冻结标题。
- 镜像
chujian:freeze-20261023r2:freeze_20261023/docker/(tgz 12,615,266,108 字节,SHA-256cc082b7b0c7e9528d03db37bcea728d5b48152cec5a04fba3002c2be2cf22ae8),eval-freeze在 CPU 上逐字段复现上表;识别器权重(原字节)在freeze_20261023/weights/;每个文件的字节数与 SHA-256 见freeze_20261023/MANIFEST.json。 - 清華 / 安大留出集(图版受版权保护)的字块、标签与 logit 在私有数据集
Raphael2099/chujian-heldout-eval-20261023-private(需授权),本仓库只放聚合结果。
October 2026 freeze: Main final metric = V's end-to-end compatible_v2 F1 on M = 87.29% (TP 1003); D = V⊕C has TP 996 vs V 1003 (D − V = -7 TP = -1.41 u, outside one seed-noise unit; paired 95 % CI [-16, +2], p 0.19: not significant), so the single ViT V stays the headline. On the grand total (总榜: M end-to-end + the pooled held-out set S-all, 清華 + 安大 + 上博九 = 3,574 glyphs) the same-table B9 dual D-B9 is first at 81.26 % (V 80.35 %, seventh of eight; report §2.3). The detector is unchanged (September E090). M is a monitoring set, not a blind test. Details, hashes and the Docker image: freeze_20261023/README.md.
以下为 2026-09-19 封板的原说明(未改动)。 The September 2026 model card follows unchanged.
1 · 模型
| 环节 | 架构 | 权重 | 类别数 | SHA-256(前 8 位) | 字节 |
|---|---|---|---|---|---|
| 检测 | RF-DETR Medium(版式扰动臂 v2,best_qualified_ema E90) |
docker_reproduce_20260918/weights/det/layoutaug_E150CAP_v2_w12/best_qualified_ema_E090.pth |
单类 char |
a5cef67b |
139,331,255 |
| 识别(默认) | ConvNeXt-Large DINOv3(convnext_large.dinov3_lvd1689m,输入 224) |
docker_reproduce_20260918/weights/rec/formal_g125_monitor50_v2/ep100.pt(E100) |
9,629 | 25752629 |
844,606,927 |
| 识别(备选) | 同上,SSL 预训练后微调 | docker_reproduce_20260918/weights/rec/formal_ssl_ft_v3_4/ep050.pt(E050) |
9,629 | ea78e225 |
844,607,119 |
| 类表 | — | docker_reproduce_20260918/weights/rec/meta/classes.json |
9,629 | 61e634f5 |
364,204 |
完整 SHA-256、镜像层摘要与代码目录摘要见 docker_reproduce_20260918/SEALED.json 与 SEALED_CONSISTENCY.md(封板 2026-09-19)。
流程:整简图 → 长简分段 → RF-DETR 检测字框 → 坐标逆变换去重 → 原图裁字 → ConvNeXt 识别 → 严式释文 +(宽式)读法。 输出每个字的原图框、top-k 候选与置信度,并按「红绿灯」(绿 = 高置信正确 / 黄 = 大体正确存疑 / 红 = 明显问题)供人工审计。
2 · 封板成绩(2026-09-19,四篇新出楚简评测集)
评测集:赵晓斌四篇论文公布的 66 幅图版 / 1,380 个 GT 框 / 1,148 个可评字(goai2026_submission_v1/benchmark/,即 chujian_fourpaper_benchmark_v1)。τ = 0.51,IoU = 0.5。
| 层级 | 口径 | TP | FP | FN | P | R | F1 |
|---|---|---|---|---|---|---|---|
| 端到端(检测 E90 → 裁字 → 识别 E100,选择性屏蔽 212) | 宽严兼容 v2(主口径) | 933 | 217 | 215 | 81.13% | 81.27% | 81.20% |
| 端到端 | 字形 v2(并列主口径) | 879 | 271 | 269 | 76.43% | 76.57% | 76.50% |
| 检测单独 | 框级 | 1296 | 20 | 84 | 98.48% | 93.91% | 96.14% |
| 识别单独(GT 框直喂 1,148 框) | 宽严兼容 v2 / 字形 v2 | — | — | — | — | — | 81.97% / 77.53% |
- 边界声明:四篇是监控验证集,不是盲测——识别侧曾用其分数做早停与检查点选择;检测侧检查点按内部 462 图协议选定。任何对外数字都应带这条说明。
- 宽严兼容 v2 与字形 v2 必须并列报告;不屏蔽占位符(
--mask none)的数字只作参考。 - 复赛提交包(
goai2026_submission_v1,公开权重 H2 + MAIN)的口径为检测 F1 90.80% / 端到端 73.19%(MAIN)→ 77.92%(E100),与封板口径不混算。 - 对照:2026 年 6 月复旦「金文识别」赛道第一名端到端 F1 80.1(据赛事公布)。
3 · 复现
CUDA 镜像(权重、冻结代码、评分器、GT 随镜像;图片运行时挂载):
docker run --rm --gpus all --shm-size=1g \
-v <chujian_fourpaper_benchmark_v1>:/data -v <outdir>:/out \
chujian:best pipeline --images /data/images --gt /data/annotations/gt_boxes.jsonl --out /out
docker run --rm chujian:best verify # 核对镜像层、权重 SHA、评分器与 GT
镜像 tgz 与构建文件:handoff_20260918/docker/、docker_reproduce_20260918/(Dockerfile、build.sh、download_weights.sh、THIRD_PARTY_LICENSES.md、COMPLIANCE.md、DATA_SOURCES.md)。
纯 CPU 一键冒烟(< 1 分钟,复算复赛口径指标与日志计数):解压 goai2026_final_20260920/packages/…代码材料.zip 后
bash scripts/smoke_test.sh
bash scripts/reproduce_core.sh
只重算分数(不跑模型):python3 tools/score_predictions.py --gt annotations/gt_boxes.jsonl --pred predictions/E100_sel212/predictions.jsonl(在评测包目录内)。
4 · 仓库目录
| 目录 | 内容 |
|---|---|
docker_reproduce_20260918/ |
封板复现包:权重(det / rec)、SEALED.json、SCORECARD.md、Dockerfile、合规与数据来源说明 |
goai2026_final_20260920/ |
总决赛官网提交物原样镜像:两个 zip(非代码材料 / 代码材料)+ 可浏览的 code/(pipeline、RAG、脚本、日志、参照系) |
goai2026_submission_v1/ |
复赛提交版:benchmark/(四篇评测包)、pipeline/、Dockerfile、LICENSE、SHA256SUMS、training_data_recipe/ |
goai2026_docker_cpu_cuda_v2_20260903/、goai2026_docker_supplement_20260903/、goai2026_submission_packages_20260903/、pipeline_submission_20260903/ |
复赛阶段的镜像与补充材料 |
handoff_20260918/ |
交接包(含 CV 封板镜像 tgz 与联合镜像) |
recognizer_r2/、recognizer_r2c/ |
识别器训练 run(配方、日志、检查点) |
rf_sq_formal1_e200/、rf_sq_formal1_factor/ |
检测器几何消融(H1 方形 letterbox vs H2 等面积矩形)与单因素实验 |
upstream/ |
第三方模型镜像(PaddleOCR-VL-1.5、PP-DocLayoutV3),出处与 SHA 见 MIRROR_PROVENANCE.md |
5 · 数据与开源边界
- 训练 / 评测数据集(同账号):
chujian-train-20260830、chujian-train-r2、chujian-eval-20260830、chujian-ocr-sources、chujian-ocr-shiwen-20260901、chujian-pipeline-archive。其中 2020 年前 已发表材料的 A 路坐标标注(由公开单字图代回原简反求)随包公开。 - 评测图版来自公开发表论文,使用本仓库任何派生物(裁图、叠框图、指标)时须按篇引用(GB/T 7714):
- 赵晓斌. 荆州枣纸简《吴王夫差起师伐越》与清华简《越公其事》[J]. 出土文献, 2026(2): 1-6+183+191.
- 趙曉斌. 荆州棗紙簡《齊桓公自莒返于齊》與《國語·齊語》《管子·小匡》[J]. 出土文献研究, 2022: 100-107+5.
- 赵晓斌. 湖北荆州王家嘴M798出土战国楚简《孔子曰》概述[J]. 江汉考古, 2023(2): 43-48+56.
- 赵晓斌. 安大简《仲尼曰》与王家嘴简《孔子曰》对读[J]. 中国文化研究, 2025(1): 51-59.
- 版权受限材料:2020 年后出版书籍的 OCR 文本(如裘锡圭、李学勤文集)受版权限制,仅用于项目内部研究,不属于本仓库的开源内容。
6 · 许可证
- 提交包中新写的
tools/与scripts/:MIT(见goai2026_submission_v1/LICENSE,范围以该文件为准)。 - 模型权重与标注数据:许可证待项目方最终确定,当前仅供学术研究与比赛评测复现;商用请先联系作者。
- 第三方组件(RF-DETR、timm / ConvNeXt、DINOv3 预训练权重、PaddleOCR-VL、PP-DocLayoutV3 等)遵循各自上游许可证,清单见
docker_reproduce_20260918/THIRD_PARTY_LICENSES.md。
7 · 引用与致谢
王逸飞. 简AI:古文字识别与出土文献研究智能体——从编联到考释的全链路架构 [CP/OL]. 2026.
https://huggingface.co/Raphael2099/chujian-ocr-models
致谢:北京师范大学文学院于雨成提供仿真竹简;复旦金文识别比赛 orz、xmc、Darkscope 等队伍选手分享经验;早稻田大学计算机学院刘文军提供 CV 思路。
English summary. Detection (RF-DETR Medium, layout-augmentation arm v2, E90) and recognition (ConvNeXt-Large DINOv3, 9,629 classes, E100) models for Warring-States Chu bamboo-slip characters, with a sealed evaluation on 66 plates / 1,380 boxes from four recently published papers by Zhao Xiaobin: detection F1 96.14%, end-to-end F1 81.20% (loose/strict-compatible v2) and 76.50% (glyph v2). The four papers served as a monitoring validation set, not a blind test. Docker reproduction bundle, sealed SHA manifests, scoring tools and the competition submission mirrors are included. Tools/scripts are MIT (scoped); weights and annotations are research-only pending a final license; third-party components keep their upstream licenses.