简AI · 古文字识别与出土文献研究智能体 —— 楚简检测识别模型与复现包

Chu bamboo-slip (战国楚简) character detection + recognition models, sealed evaluation packages and Docker reproduction bundles. GOAI 2026 世界人工智能开源大赛 · 赛道三「前沿探索 AI for Research」总决赛作品(队伍:炸酱面;北京师范大学文学院 王逸飞)。

本仓库是项目「从编联到考释的全链路架构(From token to text)」中 CV 检测识别环节 的权重、封板评测与提交物镜像。LLM 断句标点翻译与 RAG 考释部分的代码在 goai2026_final_20260920/code/。

2026-10-23 封板 (freeze_20261023)

十月封板:识别器换成冻结的 ViT-L DINOv3 单模(9,629 类,折叠解码),检测器不变(9 月 19 日 RF-DETR E090,已在本仓库)。模型卡、镜像用法、权重哈希、留出集与附录格见 **freeze_20261023/README.md**(目录 freeze_20261023/)。

主指标 = V 在赵晓斌4篇上的端到端宽严兼容 v2 F1 = 87.29%(TP 1003);双模 D = V⊕C 的 TP 996,V 1003(D − V = -7 TP = -1.41 u,超过一个种子噪声单位;配对 95% 置信区间 [-16, +2],p 0.19:不显著),故标题仍是单模 ViT V。 总榜(赵晓斌4篇端到端 + 合并留出集 S-all:清華 + 安大 + 上博九 共 3,574 字)第一是同类表 B9 双模 D-B9,F1 81.26 %(V 80.35 %,八个系统中第七;见 freeze_20261023/report/REPORT_CV_FREEZE_20261023.md §2.3)。

系统 成员 端到端 TP FP FN P R 端到端 F1(宽严兼容 v2) GT 框识别 TP(准确率)
V XFPFB8_75_LD9_s3 1003 147 145 87.22% 87.37% 87.29% 1017(88.59%)
C CNXLFB8_s7 994 156 154 86.43% 86.59% 86.51% 1008(87.80%)
D XFPFB8_75_LD9_s3 ⊕ CNXLFB8_s7 996 154 152 86.61% 86.76% 86.68% 1014(88.33%)
V′ XFPFB8_100_LD9_s15 1002 148 146 87.13% 87.28% 87.21% 1021(88.94%)
D′ XFPFB8_100_LD9_s15 ⊕ CNXLFB8_s7 1000 150 148 86.96% 87.11% 87.03% 1018(88.68%)
  • 评测集 M = 赵晓斌4篇(66 图 / 1,380 GT 框 / 1,148 可评字),检测输入 = 存档 E090 框;检测单独(可评字口径)F1 98.35%,全框口径 F1 96.14%。D = V⊕C、D′ = V′⊕C 为两模折叠概率等权平均。
  • M 是监控验证集,不是盲测:V、V′、C 都是按 M 的分数选出的,早停也用过 M。附录格(D-S 1002、D-max 1006、P(s2⊕s9) 1005、VV(s12⊕s15) 1007)是在 M(或清華留出集)上搜出来的,不是冻结标题。
  • 镜像 chujian:freeze-20261023r2:freeze_20261023/docker/(tgz 12,615,266,108 字节,SHA-256 cc082b7b0c7e9528d03db37bcea728d5b48152cec5a04fba3002c2be2cf22ae8),eval-freeze 在 CPU 上逐字段复现上表;识别器权重(原字节)在 freeze_20261023/weights/;每个文件的字节数与 SHA-256 见 freeze_20261023/MANIFEST.json。
  • 清華 / 安大留出集(图版受版权保护)的字块、标签与 logit 在私有数据集 Raphael2099/chujian-heldout-eval-20261023-private(需授权),本仓库只放聚合结果。

October 2026 freeze: Main final metric = V's end-to-end compatible_v2 F1 on M = 87.29% (TP 1003); D = V⊕C has TP 996 vs V 1003 (D − V = -7 TP = -1.41 u, outside one seed-noise unit; paired 95 % CI [-16, +2], p 0.19: not significant), so the single ViT V stays the headline. On the grand total (总榜: M end-to-end + the pooled held-out set S-all, 清華 + 安大 + 上博九 = 3,574 glyphs) the same-table B9 dual D-B9 is first at 81.26 % (V 80.35 %, seventh of eight; report §2.3). The detector is unchanged (September E090). M is a monitoring set, not a blind test. Details, hashes and the Docker image: freeze_20261023/README.md.

以下为 2026-09-19 封板的原说明(未改动)。 The September 2026 model card follows unchanged.

1 · 模型

环节 架构 权重 类别数 SHA-256(前 8 位) 字节
检测 RF-DETR Medium(版式扰动臂 v2,best_qualified_ema E90) docker_reproduce_20260918/weights/det/layoutaug_E150CAP_v2_w12/best_qualified_ema_E090.pth 单类 char a5cef67b 139,331,255
识别(默认) ConvNeXt-Large DINOv3(convnext_large.dinov3_lvd1689m,输入 224) docker_reproduce_20260918/weights/rec/formal_g125_monitor50_v2/ep100.pt(E100) 9,629 25752629 844,606,927
识别(备选) 同上,SSL 预训练后微调 docker_reproduce_20260918/weights/rec/formal_ssl_ft_v3_4/ep050.pt(E050) 9,629 ea78e225 844,607,119
类表 — docker_reproduce_20260918/weights/rec/meta/classes.json 9,629 61e634f5 364,204

完整 SHA-256、镜像层摘要与代码目录摘要见 docker_reproduce_20260918/SEALED.json 与 SEALED_CONSISTENCY.md(封板 2026-09-19)。

流程:整简图 → 长简分段 → RF-DETR 检测字框 → 坐标逆变换去重 → 原图裁字 → ConvNeXt 识别 → 严式释文 +(宽式)读法。 输出每个字的原图框、top-k 候选与置信度,并按「红绿灯」(绿 = 高置信正确 / 黄 = 大体正确存疑 / 红 = 明显问题)供人工审计。

2 · 封板成绩(2026-09-19,四篇新出楚简评测集)

评测集:赵晓斌四篇论文公布的 66 幅图版 / 1,380 个 GT 框 / 1,148 个可评字(goai2026_submission_v1/benchmark/,即 chujian_fourpaper_benchmark_v1)。τ = 0.51,IoU = 0.5。

层级 口径 TP FP FN P R F1
端到端(检测 E90 → 裁字 → 识别 E100,选择性屏蔽 212) 宽严兼容 v2(主口径) 933 217 215 81.13% 81.27% 81.20%
端到端 字形 v2(并列主口径) 879 271 269 76.43% 76.57% 76.50%
检测单独 框级 1296 20 84 98.48% 93.91% 96.14%
识别单独(GT 框直喂 1,148 框) 宽严兼容 v2 / 字形 v2 — — — — — 81.97% / 77.53%
  • 边界声明:四篇是监控验证集,不是盲测——识别侧曾用其分数做早停与检查点选择;检测侧检查点按内部 462 图协议选定。任何对外数字都应带这条说明。
  • 宽严兼容 v2 与字形 v2 必须并列报告;不屏蔽占位符(--mask none)的数字只作参考。
  • 复赛提交包(goai2026_submission_v1,公开权重 H2 + MAIN)的口径为检测 F1 90.80% / 端到端 73.19%(MAIN)→ 77.92%(E100),与封板口径不混算。
  • 对照:2026 年 6 月复旦「金文识别」赛道第一名端到端 F1 80.1(据赛事公布)。

3 · 复现

CUDA 镜像(权重、冻结代码、评分器、GT 随镜像;图片运行时挂载):

docker run --rm --gpus all --shm-size=1g \
  -v <chujian_fourpaper_benchmark_v1>:/data -v <outdir>:/out \
  chujian:best pipeline --images /data/images --gt /data/annotations/gt_boxes.jsonl --out /out
docker run --rm chujian:best verify        # 核对镜像层、权重 SHA、评分器与 GT

镜像 tgz 与构建文件:handoff_20260918/docker/、docker_reproduce_20260918/(Dockerfile、build.sh、download_weights.sh、THIRD_PARTY_LICENSES.md、COMPLIANCE.md、DATA_SOURCES.md)。

纯 CPU 一键冒烟(< 1 分钟,复算复赛口径指标与日志计数):解压 goai2026_final_20260920/packages/…代码材料.zip 后

bash scripts/smoke_test.sh
bash scripts/reproduce_core.sh

只重算分数(不跑模型):python3 tools/score_predictions.py --gt annotations/gt_boxes.jsonl --pred predictions/E100_sel212/predictions.jsonl(在评测包目录内)。

4 · 仓库目录

目录 内容
docker_reproduce_20260918/ 封板复现包:权重(det / rec)、SEALED.json、SCORECARD.md、Dockerfile、合规与数据来源说明
goai2026_final_20260920/ 总决赛官网提交物原样镜像:两个 zip(非代码材料 / 代码材料)+ 可浏览的 code/(pipeline、RAG、脚本、日志、参照系)
goai2026_submission_v1/ 复赛提交版:benchmark/(四篇评测包)、pipeline/、Dockerfile、LICENSE、SHA256SUMS、training_data_recipe/
goai2026_docker_cpu_cuda_v2_20260903/、goai2026_docker_supplement_20260903/、goai2026_submission_packages_20260903/、pipeline_submission_20260903/ 复赛阶段的镜像与补充材料
handoff_20260918/ 交接包(含 CV 封板镜像 tgz 与联合镜像)
recognizer_r2/、recognizer_r2c/ 识别器训练 run(配方、日志、检查点)
rf_sq_formal1_e200/、rf_sq_formal1_factor/ 检测器几何消融(H1 方形 letterbox vs H2 等面积矩形)与单因素实验
upstream/ 第三方模型镜像(PaddleOCR-VL-1.5、PP-DocLayoutV3),出处与 SHA 见 MIRROR_PROVENANCE.md

5 · 数据与开源边界

  • 训练 / 评测数据集(同账号):chujian-train-20260830、chujian-train-r2、chujian-eval-20260830、chujian-ocr-sources、chujian-ocr-shiwen-20260901、chujian-pipeline-archive。其中 2020 年前 已发表材料的 A 路坐标标注(由公开单字图代回原简反求)随包公开。
  • 评测图版来自公开发表论文,使用本仓库任何派生物(裁图、叠框图、指标)时须按篇引用(GB/T 7714):
    1. 赵晓斌. 荆州枣纸简《吴王夫差起师伐越》与清华简《越公其事》[J]. 出土文献, 2026(2): 1-6+183+191.
    2. 趙曉斌. 荆州棗紙簡《齊桓公自莒返于齊》與《國語·齊語》《管子·小匡》[J]. 出土文献研究, 2022: 100-107+5.
    3. 赵晓斌. 湖北荆州王家嘴M798出土战国楚简《孔子曰》概述[J]. 江汉考古, 2023(2): 43-48+56.
    4. 赵晓斌. 安大简《仲尼曰》与王家嘴简《孔子曰》对读[J]. 中国文化研究, 2025(1): 51-59.
  • 版权受限材料:2020 年后出版书籍的 OCR 文本(如裘锡圭、李学勤文集)受版权限制,仅用于项目内部研究,不属于本仓库的开源内容。

6 · 许可证

  • 提交包中新写的 tools/ 与 scripts/:MIT(见 goai2026_submission_v1/LICENSE,范围以该文件为准)。
  • 模型权重与标注数据:许可证待项目方最终确定,当前仅供学术研究与比赛评测复现;商用请先联系作者。
  • 第三方组件(RF-DETR、timm / ConvNeXt、DINOv3 预训练权重、PaddleOCR-VL、PP-DocLayoutV3 等)遵循各自上游许可证,清单见 docker_reproduce_20260918/THIRD_PARTY_LICENSES.md。

7 · 引用与致谢

王逸飞. 简AI:古文字识别与出土文献研究智能体——从编联到考释的全链路架构 [CP/OL]. 2026.
https://huggingface.co/Raphael2099/chujian-ocr-models

致谢:北京师范大学文学院于雨成提供仿真竹简;复旦金文识别比赛 orz、xmc、Darkscope 等队伍选手分享经验;早稻田大学计算机学院刘文军提供 CV 思路。


English summary. Detection (RF-DETR Medium, layout-augmentation arm v2, E90) and recognition (ConvNeXt-Large DINOv3, 9,629 classes, E100) models for Warring-States Chu bamboo-slip characters, with a sealed evaluation on 66 plates / 1,380 boxes from four recently published papers by Zhao Xiaobin: detection F1 96.14%, end-to-end F1 81.20% (loose/strict-compatible v2) and 76.50% (glyph v2). The four papers served as a monitoring validation set, not a blind test. Docker reproduction bundle, sealed SHA manifests, scoring tools and the competition submission mirrors are included. Tools/scripts are MIT (scoped); weights and annotations are research-only pending a final license; third-party components keep their upstream licenses.

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support