body-judge-small-v1 · mmBERT 双头(正文定位 + 逐句改写分)
在 alphaedge-ai/mmBERT-small-zho-32768(ModernBERT-small,中文增强,32k 词表)之上加两个轻量头,同时完成两件事:
- 正文定位(Head 1):给一段可能被包装、带前后缀或混有离题内容的 AI 回复,找出其中真正的「正文」连续区间(字符偏移)。
- 逐句改写分(Head 2):给正文里的每个句子打一个
[0, 1]的分数,分数越高表示越需要改写。
模型输出单张量 logits [B, L, 4],四个通道依次是:
| 通道 | 名称 | 含义 |
|---|---|---|
| 0 | start_logit |
正文字符起点指针([CLS] 行为「无正文」基线) |
| 1 | end_logit |
正文终点指针 |
| 2 | is_body_logit |
逐 token 正文二分类辅助头 |
| 3 | revise_logit |
逐 token 改写 logit,句内 mean-pool 后过 sigmoid 得到句分 |
没有自定义 gather/scatter 算子,图对 ONNX Runtime / onnxruntime-web / OpenVINO 都友好;单张量输出让导出和跨端对齐非常简单。
文件
.
├── model_fp32.pt # 219 MB,fp32 权重 + 温度 + 指标
├── model_fp16.pt # 110 MB,half 权重
├── model_int8.pt # 93 MB,动态 INT8(Linear 层)
├── tokenizer.json # mmBERT tokenizer(含 offset 映射)
├── tokenizer_config.json
├── eval_metrics.json # 验证集指标
├── model.py # MMBertDualHeadModel 结构(PyTorch)
├── infer.py # 滑窗 + 双头解码推理(fp32 / fp16 / int8,ONNX 或 .pt)
├── convert_pt.py # 从 fp32 checkpoint 生成 fp16 / int8 .pt
├── export_onnx.py # 可选:导出 fp32 / fp16 / int8 ONNX
├── requirements.txt
├── LICENSE
└── README.md
快速开始
pip install -r requirements.txt
# 三档精度直接推理(自动识别 .pt 里的精度格式)
python infer.py --ckpt ./model_fp32.pt --text_file reply.txt
python infer.py --ckpt ./model_fp16.pt --text_file reply.txt
python infer.py --ckpt ./model_int8.pt --text_file reply.txt
# 也可以从 fp32 重新生成 fp16 / int8
python convert_pt.py --ckpt ./model_fp32.pt --out_dir .
infer.py 输出(节选):
{
"has_body": true,
"body_span": [12, 842],
"body_text": "……",
"sentences": [
{"char_span": [12, 46], "sentence": "第一句。", "revise_score": 0.8123},
{"char_span": [46, 91], "sentence": "第二句。", "revise_score": 0.1044}
]
}
body_span是原文字符偏移(左闭右开),可直接切text[start:end]。revise_score已按训练得到的温度T = 1.6校准。- 默认会去掉开头已闭合的
think... response块(--no_strip_think可关闭)。
三种 PyTorch 精度
| 文件 | 体积 | 说明 |
|---|---|---|
model_fp32.pt |
219.4 MB | 全精度基准 |
model_fp16.pt |
109.8 MB | model.half(),CPU / GPU 均可推理 |
model_int8.pt |
92.8 MB | quantize_dynamic({nn.Linear}, qint8),仅 CPU;词嵌入与 LayerNorm 保持 fp32 |
同一段 2,000 字文本、84 个句子上的句子分对比(vs fp32):
| 变体 | 句子分 mean abs Δ | max abs Δ | body_span |
|---|---|---|---|
| fp16 | 0.00015 | 0.0005 | 完全一致 |
| int8 | 0.0297 | 0.2033 | 完全一致 |
model_int8.pt的 state_dict 含量化 packed params,加载时torch.load需要weights_only=False;infer.py已自动处理,请只加载可信文件。 fp16 在 CPU 上能跑(PyTorch 会把部分算子回退到 fp32),但速度不如 fp32/GPU;对延迟敏感时建议 GPU + fp16。
GPU
PyTorch 路径支持 --device auto|cpu|cuda(默认 auto:fp32 / fp16 优先 GPU,int8 自动用 CPU)。
python infer.py --ckpt ./model_fp16.pt --device cuda --text_file reply.txt
python infer.py --ckpt ./model_fp32.pt --device cuda --text_file reply.txt
int8 的动态量化算子只支持 CPU;显式请求 cuda 时会报错并提示改用 fp16 / fp32。
RTX 4070 Mobile 8GB 实测(window 4096 / stride 3072,单次 predict):
| 文本 | CPU fp32 | GPU fp32 | GPU fp16 |
|---|---|---|---|
| 1,438 tokens | 0.86 s | 0.52 s | 0.51 s |
| 5,076 tokens(2 窗) | 14.19 s | 1.24 s | 1.08 s |
GPU fp32 与 CPU fp32 句子分完全一致(Δ=0);GPU fp16 平均 Δ 0.00017 / 最大 0.0007,body_span 一致。
可选:导出 ONNX
python export_onnx.py --ckpt ./model_fp32.pt --out_dir ./onnx
python infer.py --precision fp32 --text_file reply.txt
python infer.py --precision fp16 --text_file reply.txt
python infer.py --precision int8 --text_file reply.txt
| 变体 | 文件 | 体积 | 说明 |
|---|---|---|---|
| fp32 | model_fp32.onnx |
209.7 MiB | 与 PyTorch logits 最大差 < 1e-5 |
| fp16 | model_fp16.onnx |
105.3 MiB | convert_float_to_float16(keep_io_types=True),CPU / wasm 均可用 |
| int8 | model_int8.onnx |
53.2 MiB | 动态量化 QUInt8,量化 MatMul + Gather(词嵌入也量化) |
| int8_matmul | model_int8_matmul.onnx |
89.2 MiB | 只量化 MatMul,兼容性最保守 |
滑窗参数
模型按 8192 token 训练,推理时用重叠滑窗处理任意长度:
| 预设 | window_tokens | stride_tokens | 说明 |
|---|---|---|---|
| 质量优先 | 4096 | 3072 | 与训练上下文一致,长文最稳 |
| 平衡(默认) | 4096 | 3072 | 默认值 |
| 更省算力 | 2048 | 1536 | 长文约快 2×,句分几乎不变 |
| 极速 | 1024 | 768 | 长文约快 3~4×,局部上下文略减 |
python infer.py --ckpt ./model_int8.pt --window_tokens 2048 --stride_tokens 1536 --text_file reply.txt
解码算法
- 滑窗:长度
window_tokens、步长stride_tokens,每窗包[CLS] … [SEP];重叠区用三角权重(中心 1.0、边缘 0.2)融合 logits。 - 单窗:以
[CLS]行作为「无正文」基线,取相对start_rel / end_rel,一次扫描求argmax(start_rel) + end_rel的最大和区间。 - 多窗:在
is_body_prob - 0.5上跑 Kadane 取连续区间,再用 start/end 指针在 ±32 token 内微调边界。 - 分句:中文/英文句末标点(
。!?!? …)切句,保留收尾引号括号,使用 tokenizer offset 精确对齐。 - 句分:句内 token 的
revise_logit做 mean-pool,再sigmoid(mean / T),T = 1.6。
验证集指标
eval_metrics.json:
| 指标 | 值 |
|---|---|
| 正文 token IoU | 0.9900 |
| 正文容差 5 token 命中率 | 0.9544 |
| 句子分 Spearman | 0.7016 |
| 句子分 MAE | 0.1919 |
| 评估句数 | 654 |
| 温度 | 1.6 |
加载 checkpoint
model_*.pt 不是标准 AutoModel 权重,需要配合本仓库的 model.py:
import torch
from model import MMBertDualHeadModel
ckpt = torch.load("model_fp32.pt", map_location="cpu", weights_only=True)
model = MMBertDualHeadModel(ckpt["model_name"], attn_implementation="eager")
model.load_state_dict(ckpt["model_state_dict"], strict=True)
model.eval()
print(ckpt["format"], ckpt["score_temperature"], ckpt["metrics"])
已知限制
- 只输出一个连续正文区间,多段正文会被合并或截断其中一段。
- 句分是相对信号(用于排序/筛选),不是绝对「改写概率」,跨数据集比较前请重新校准。
- 超过训练长度的文本依赖滑窗融合,窗口太小时边界可能轻微抖动。
- 模型针对中文 AI 回复训练,其他语言/文体效果未系统评估。
许可
MIT。基座模型见 alphaedge-ai/mmBERT-small-zho-32768(MIT)。
Model tree for GoForceX/body-judge-small-v1
Base model
jhu-clsp/mmBERT-small