body-judge-small-v1 · mmBERT 双头(正文定位 + 逐句改写分)

在 alphaedge-ai/mmBERT-small-zho-32768(ModernBERT-small,中文增强,32k 词表)之上加两个轻量头,同时完成两件事:

  1. 正文定位(Head 1):给一段可能被包装、带前后缀或混有离题内容的 AI 回复,找出其中真正的「正文」连续区间(字符偏移)。
  2. 逐句改写分(Head 2):给正文里的每个句子打一个 [0, 1] 的分数,分数越高表示越需要改写。

模型输出单张量 logits [B, L, 4],四个通道依次是:

通道 名称 含义
0 start_logit 正文字符起点指针([CLS] 行为「无正文」基线)
1 end_logit 正文终点指针
2 is_body_logit 逐 token 正文二分类辅助头
3 revise_logit 逐 token 改写 logit,句内 mean-pool 后过 sigmoid 得到句分

没有自定义 gather/scatter 算子,图对 ONNX Runtime / onnxruntime-web / OpenVINO 都友好;单张量输出让导出和跨端对齐非常简单。

文件

.
├── model_fp32.pt          # 219 MB,fp32 权重 + 温度 + 指标
├── model_fp16.pt          # 110 MB,half 权重
├── model_int8.pt          #  93 MB,动态 INT8(Linear 层)
├── tokenizer.json         # mmBERT tokenizer(含 offset 映射)
├── tokenizer_config.json
├── eval_metrics.json      # 验证集指标
├── model.py               # MMBertDualHeadModel 结构(PyTorch)
├── infer.py               # 滑窗 + 双头解码推理(fp32 / fp16 / int8,ONNX 或 .pt)
├── convert_pt.py          # 从 fp32 checkpoint 生成 fp16 / int8 .pt
├── export_onnx.py         # 可选:导出 fp32 / fp16 / int8 ONNX
├── requirements.txt
├── LICENSE
└── README.md

快速开始

pip install -r requirements.txt

# 三档精度直接推理(自动识别 .pt 里的精度格式)
python infer.py --ckpt ./model_fp32.pt --text_file reply.txt
python infer.py --ckpt ./model_fp16.pt --text_file reply.txt
python infer.py --ckpt ./model_int8.pt --text_file reply.txt

# 也可以从 fp32 重新生成 fp16 / int8
python convert_pt.py --ckpt ./model_fp32.pt --out_dir .

infer.py 输出(节选):

{
  "has_body": true,
  "body_span": [12, 842],
  "body_text": "……",
  "sentences": [
    {"char_span": [12, 46], "sentence": "第一句。", "revise_score": 0.8123},
    {"char_span": [46, 91], "sentence": "第二句。", "revise_score": 0.1044}
  ]
}
  • body_span 是原文字符偏移(左闭右开),可直接切 text[start:end]。
  • revise_score 已按训练得到的温度 T = 1.6 校准。
  • 默认会去掉开头已闭合的 think... response 块(--no_strip_think 可关闭)。

三种 PyTorch 精度

文件 体积 说明
model_fp32.pt 219.4 MB 全精度基准
model_fp16.pt 109.8 MB model.half(),CPU / GPU 均可推理
model_int8.pt 92.8 MB quantize_dynamic({nn.Linear}, qint8),仅 CPU;词嵌入与 LayerNorm 保持 fp32

同一段 2,000 字文本、84 个句子上的句子分对比(vs fp32):

变体 句子分 mean abs Δ max abs Δ body_span
fp16 0.00015 0.0005 完全一致
int8 0.0297 0.2033 完全一致

model_int8.pt 的 state_dict 含量化 packed params,加载时 torch.load 需要 weights_only=False;infer.py 已自动处理,请只加载可信文件。 fp16 在 CPU 上能跑(PyTorch 会把部分算子回退到 fp32),但速度不如 fp32/GPU;对延迟敏感时建议 GPU + fp16。

GPU

PyTorch 路径支持 --device auto|cpu|cuda(默认 auto:fp32 / fp16 优先 GPU,int8 自动用 CPU)。

python infer.py --ckpt ./model_fp16.pt --device cuda --text_file reply.txt
python infer.py --ckpt ./model_fp32.pt --device cuda --text_file reply.txt

int8 的动态量化算子只支持 CPU;显式请求 cuda 时会报错并提示改用 fp16 / fp32。

RTX 4070 Mobile 8GB 实测(window 4096 / stride 3072,单次 predict):

文本 CPU fp32 GPU fp32 GPU fp16
1,438 tokens 0.86 s 0.52 s 0.51 s
5,076 tokens(2 窗) 14.19 s 1.24 s 1.08 s

GPU fp32 与 CPU fp32 句子分完全一致(Δ=0);GPU fp16 平均 Δ 0.00017 / 最大 0.0007,body_span 一致。

可选:导出 ONNX

python export_onnx.py --ckpt ./model_fp32.pt --out_dir ./onnx
python infer.py --precision fp32 --text_file reply.txt
python infer.py --precision fp16 --text_file reply.txt
python infer.py --precision int8 --text_file reply.txt
变体 文件 体积 说明
fp32 model_fp32.onnx 209.7 MiB 与 PyTorch logits 最大差 < 1e-5
fp16 model_fp16.onnx 105.3 MiB convert_float_to_float16(keep_io_types=True),CPU / wasm 均可用
int8 model_int8.onnx 53.2 MiB 动态量化 QUInt8,量化 MatMul + Gather(词嵌入也量化)
int8_matmul model_int8_matmul.onnx 89.2 MiB 只量化 MatMul,兼容性最保守

滑窗参数

模型按 8192 token 训练,推理时用重叠滑窗处理任意长度:

预设 window_tokens stride_tokens 说明
质量优先 4096 3072 与训练上下文一致,长文最稳
平衡(默认) 4096 3072 默认值
更省算力 2048 1536 长文约快 2×,句分几乎不变
极速 1024 768 长文约快 3~4×,局部上下文略减
python infer.py --ckpt ./model_int8.pt --window_tokens 2048 --stride_tokens 1536 --text_file reply.txt

解码算法

  1. 滑窗:长度 window_tokens、步长 stride_tokens,每窗包 [CLS] … [SEP];重叠区用三角权重(中心 1.0、边缘 0.2)融合 logits。
  2. 单窗:以 [CLS] 行作为「无正文」基线,取相对 start_rel / end_rel,一次扫描求 argmax(start_rel) + end_rel 的最大和区间。
  3. 多窗:在 is_body_prob - 0.5 上跑 Kadane 取连续区间,再用 start/end 指针在 ±32 token 内微调边界。
  4. 分句:中文/英文句末标点(。!?!? …)切句,保留收尾引号括号,使用 tokenizer offset 精确对齐。
  5. 句分:句内 token 的 revise_logit 做 mean-pool,再 sigmoid(mean / T),T = 1.6。

验证集指标

eval_metrics.json:

指标 值
正文 token IoU 0.9900
正文容差 5 token 命中率 0.9544
句子分 Spearman 0.7016
句子分 MAE 0.1919
评估句数 654
温度 1.6

加载 checkpoint

model_*.pt 不是标准 AutoModel 权重,需要配合本仓库的 model.py:

import torch
from model import MMBertDualHeadModel

ckpt = torch.load("model_fp32.pt", map_location="cpu", weights_only=True)
model = MMBertDualHeadModel(ckpt["model_name"], attn_implementation="eager")
model.load_state_dict(ckpt["model_state_dict"], strict=True)
model.eval()
print(ckpt["format"], ckpt["score_temperature"], ckpt["metrics"])

已知限制

  • 只输出一个连续正文区间,多段正文会被合并或截断其中一段。
  • 句分是相对信号(用于排序/筛选),不是绝对「改写概率」,跨数据集比较前请重新校准。
  • 超过训练长度的文本依赖滑窗融合,窗口太小时边界可能轻微抖动。
  • 模型针对中文 AI 回复训练,其他语言/文体效果未系统评估。

许可

MIT。基座模型见 alphaedge-ai/mmBERT-small-zho-32768(MIT)。

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for GoForceX/body-judge-small-v1

Finetuned
(3)
this model