NovaAI commited on
Commit
f69ec12
·
verified ·
1 Parent(s): 799e8e2

layazh-zh: Chinese System-1 decision model (Laya recipe, RoBERTa-large encoder + decision head); full-eval acc 0.6951 vs upstream 0.4783

Browse files
LICENSE ADDED
@@ -0,0 +1,91 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ layazh 中文版决策模型 — 自定义许可协议
2
+ =========================================
3
+
4
+ 版权所有 (c) 2026 layazh contributors
5
+ 联系邮箱:novaweb6868@outlook.com
6
+
7
+ 本协议适用于 "layazh" 中文决策模型的模型权重、配置、分词器及相关推理代码
8
+ (以下统称"本作品")。
9
+
10
+
11
+ 一、个人使用 —— 免费
12
+ --------------------
13
+
14
+ 在下列条件下,任何个人均可免费使用、复制、修改和分发本作品:
15
+
16
+ 1. 仅用于个人学习、研究、实验、非营利项目或商业评估(评估期不超过 30 日);
17
+ 2. 保留本协议全文及版权声明;
18
+ 3. 不以任何形式向第三方收取费用。
19
+
20
+ "个人使用"指自然人出于非商业目的的使用,以及年营业收入低于
21
+ 人民币 100 万元(或等值外币)的个人开发者、个体经营者。
22
+
23
+
24
+ 二、商业使用 —— 需付费授权
25
+ --------------------------
26
+
27
+ 任何商业使用均须事先取得书面的付费商业授权。商业使用包括但不限于:
28
+
29
+ 1. 将本作品或其衍生模型用于任何产品、服务或内部业务系统;
30
+ 2. 将本作品集成到付费或免费但以营利为目的的软件、SaaS、API 服务中;
31
+ 3. 使用本作品提供咨询、外包、代运营等有偿服务;
32
+ 4. 在年营业收入达到或超过人民币 100 万元的组织内部部署或使用;
33
+ 5. 将本作品或其衍生模型作为商品进行销售、转售、再许可或出租。
34
+
35
+ 商业授权申请方式:
36
+
37
+ 邮箱:novaweb6868@outlook.com
38
+ 邮件标题建议:layazh 商业授权申请
39
+ 请注明:公司/组织名称、使用场景、部署规模、预计调用量
40
+
41
+ 未经付费授权而进行商业使用,即构成对本协议的违反。
42
+
43
+
44
+ 三、贡献者许可协议(CLA)
45
+ -------------------------
46
+
47
+ 任何向本项目提交代码、模型权重、数据或其他贡献("贡献")的个人或实体,
48
+ 视为同意以下条款:
49
+
50
+ 1. 贡献者授予本项目维护者一项永久、全球范围、非独占、免许可费、不可撤销的
51
+ 著作权许可,允许维护者复制、修改、分发、公开表演、公开展示、再许可及以
52
+ 任何方式使用该贡献,包括用于商业目的;
53
+ 2. 贡献者授予本项目维护者一项永久、全球范围、非独占、免许可费、不可撤销的
54
+ 专利许可,允许维护者制造、使用、销售、许诺销售、进口该贡献及其衍生作品;
55
+ 3. 贡献者声明其有权授予上述许可,且该贡献不侵犯任何第三方权利;
56
+ 4. 贡献者保留其贡献的著作权,本条款不转移著作权归属。
57
+
58
+ 本 CLA 条款的目的是确保维护者能够统一地对本作品进行商业授权;若无此授权,
59
+ 维护者将无法向商业用户提供一致的许可。
60
+
61
+
62
+ 四、免责声明
63
+ ------------
64
+
65
+ 本作品按"现状"提供,不附带任何明示或暗示的担保,包括但不限于对适销性、
66
+ 特定用途适用性及不侵权的担保。在任何情况下,作者或版权持有人均不对任何
67
+ 索赔、损害或其他责任负责,无论是在合同诉讼、侵权行为还是其他方面,均由
68
+ 本作品或本作品的使用或其他交易引起或与之相关。
69
+
70
+ 本作品是一个统计模型,其输出可能不准确、不完整或具有偏见。使用者不得将
71
+ 本作品用于医疗诊断、法律意见、信贷审批、招聘筛选等对个人权利有重大影响的
72
+ 自动化决策场景,除非已进行充分的独立验证并符合适用法律法规。
73
+
74
+
75
+ 五、训练数据说明
76
+ ----------------
77
+
78
+ 本作品的训练语料来自多个公开的中文数据集,其各自的许可条款独立于本协议,
79
+ 详见模型卡(MODEL_CARD.md)中的"训练数据"章节。使用本作品时,使用者有责任
80
+ 自行确认其使用场景是否满足这些上游数据集的许可要求。
81
+
82
+
83
+ 六、协议终止
84
+ ------------
85
+
86
+ 一旦违反本协议任何条款,您的授权将自动终止,无需另行通知。终止后您必须
87
+ 立即停止使用并销毁本作品的所有副本。
88
+
89
+ ---
90
+
91
+ 如需商业授权或有任何疑问,请联系:novaweb6868@outlook.com
README.md ADDED
@@ -0,0 +1,320 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: other
3
+ license_name: layazh-custom-license
4
+ license_link: LICENSE
5
+ language:
6
+ - zh
7
+ library_name: transformers
8
+ pipeline_tag: text-classification
9
+ tags:
10
+ - laya
11
+ - system-one
12
+ - calibrated-decisions
13
+ - rlcd
14
+ - chinese
15
+ - classification
16
+ - routing
17
+ - scoring
18
+ - guardrails
19
+ - non-autoregressive
20
+ - commercial-license-required
21
+ base_model: hfl/chinese-roberta-wwm-ext-large
22
+ ---
23
+
24
+ # layazh — Laya 中文版决策模型
25
+
26
+ ## ⚖️ 许可协议(重要)
27
+
28
+ 本模型采用**自定义协议**,**不是**开源许可:
29
+
30
+ > ### 个人使用免费 · 商业使用需付费授权
31
+ >
32
+ > - **个人使用(含研究、学习、非营利、以及年营收 < 100 万元人民币的个人开发者):免费**
33
+ > - **商业使用:需事先取得付费商业授权**
34
+ > - **商业授权联系:`novaweb6868@outlook.com`**
35
+ >
36
+ > 完整条款见仓库内 [`LICENSE`](./LICENSE) 文件。
37
+ > 提交任何贡献即视为同意该文件第三节的贡献者许可协议(CLA)。
38
+
39
+ 注意:本模型中**推理与训练代码**源自 Apache-2.0 许可的
40
+ [`convaiinnovations/laya`](https://huggingface.co/convaiinnovations/laya);上述自定义协议
41
+ 主要约束**模型权重**。代码部分您仍可按 Apache-2.0 使用。
42
+
43
+ ---
44
+
45
+ **非自回归的中文 System 1 决策模型。** 给它一个 **state**(中文文本 / 邮件 / 工单 / JSON)
46
+ 和若干**带类型的问题**,它在**一次前向传播**里返回带校准概率的答案。它**不生成任何文本**,
47
+ 所以没有东西需要解析,也没有东西可以幻觉。
48
+
49
+ 架构与训练配方对齐 [`convaiinnovations/laya`](https://huggingface.co/convaiinnovations/laya),
50
+ 编码器换为中文预训练 backbone 并在中文决策数据上微调。
51
+
52
+ ## 与上游 Laya 的关系
53
+
54
+ | | 上游 `convaiinnovations/laya`(仓库根) | **layazh(本模型)** |
55
+ |---|---|---|
56
+ | 定位 | 英文 | **中文** |
57
+ | 编码器 | `answerdotai/ModernBERT-large`(28 层, 1024 hidden, 395M) | `hfl/chinese-roberta-wwm-ext-large`(24 层, 1024 hidden, 325M) |
58
+ | 决策头 | 2 层 TransformerEncoder + marker scorer + act head | **同构**(逐行对齐上游 `DecisionModel`) |
59
+ | 总参数 | 421M | **352M** |
60
+ | 上下文 | 512 tokens | 512 tokens |
61
+ | 选项预算 | `head_max_len = 192` | `head_max_len = 192` |
62
+ | 训练配方 | RLCD(严格恰当评分规则 + REINFORCE/GRPO) | 同(Phase B) |
63
+ | 许可 | Apache-2.0 | Apache-2.0 |
64
+
65
+ 序列模板与上游完全一致(已用上游 `laya` 包内的 `render_options` / `QTYPES` 做过程序化对齐校验):
66
+
67
+ ```
68
+ [CLS] <qtype> 问题:<中文指令> [SEP] [MASK] 选项0 [MASK] 选项1 ... [SEP] <state> [SEP]
69
+ ```
70
+
71
+ 每个选项前一个 `[MASK]` marker,决策头读这些 marker 位置的隐状态并在该问题的选项上做 softmax。
72
+ `noul` 恒渲染为 `[false, true]`,故 `p[1]` = “该命题成立”的概率。
73
+
74
+ ## 用法
75
+
76
+ ```python
77
+ from layazh import ZhAgent
78
+
79
+ agent = ZhAgent("checkpoints/layazh-zh-base")
80
+
81
+ res = agent.system_one(
82
+ "我们三月份被重复扣费了,请今天退款,否则我们就取消订阅。",
83
+ {
84
+ "department": {
85
+ "type": "choice",
86
+ "instructions": "该由哪个部门处理这封邮件?",
87
+ "criteria": {"billing": "发票、付款、退款",
88
+ "technical": "故障、宕机、系统错误",
89
+ "sales": "报价、新合同",
90
+ "other": "其他"},
91
+ },
92
+ "urgency": {
93
+ "type": "score",
94
+ "instructions": "这封邮件的紧急程度如何?",
95
+ "criteria": ["不急", "尽快", "阻塞级或硬性截止"],
96
+ },
97
+ "churn_risk": {
98
+ "type": "noul",
99
+ "instructions": "用户是否威胁要取消或离开?",
100
+ },
101
+ },
102
+ )
103
+
104
+ print(res["answers"]["department"]["choice"]) # -> billing
105
+ print(res["answers"]["department"]["confidence"]) # -> 0.9x
106
+ print(res["answers"]["urgency"]["score"]) # -> 1.8 / 2.0
107
+ print(res["answers"]["churn_risk"]["noul"]) # -> 0.9x 用户威胁取消的概率
108
+ ```
109
+
110
+ 三种 primitive:
111
+
112
+ - **`choice`** — 给定 `criteria` 键值对,返回 argmax 选项 + 全部选项概率 + confidence(1 − 归一化熵)。
113
+ - **`score`** — 有序选项列表,返回期望分值 `Σ i·pᵢ` 与完整分布。**序数感知**:训练时额外用
114
+ ranked probability score 惩罚累积分布偏差。
115
+ - **`noul`** — 二元命题,返回 `p(true)`。
116
+
117
+ ## 架构
118
+
119
+ - **编码器**:`hfl/chinese-roberta-wwm-ext-large`,24 层 / hidden 1024 / 16 头 / 21128 词表,
120
+ 中文全词掩码(whole word masking)预训练,325M 参数。使用 SDPA 注意力。
121
+ - **决策头**(从头训练,26.5M 参数):
122
+ - `type_emb(3)` — 题型嵌入(choice / score / noul)
123
+ - 2 层 `nn.TransformerEncoderLayer`(`norm_first=True`, `src_key_padding_mask`)
124
+ - `scorer`:`LayerNorm → Linear(d,d) → GELU → Linear(d,1)`,作用于每个 marker 位置
125
+ - `act_head`:`Linear(d+4, 256) → GELU → Linear(256, n_act)`,输入为 `[CLS]` 池化表示
126
+ 加上答案分布的**已 detach** 摘要(top1、top1−top2、归一化熵、选项数/255)
127
+ - **单次前向**:一次 `system_one` 调用里所有问题在同一次前向传播中批量作答。
128
+
129
+ ## 训练
130
+
131
+ ### 数据(全部为**人工标注**中文语料,非模型自标注)
132
+
133
+ | 来源 | 许可 | 产出 | 记录数 |
134
+ |---|---|---|---|
135
+ | TNews (CLUE) | Apache-2.0 | `choice`(15 类新闻主题) | 18,756 |
136
+ | ChnSentiCorp | **research / 仅研究用途** | `choice` + `score` + `noul` | 10,160 |
137
+ | yf_dianping | **research / 仅研究用途** | `choice` + `score` + `noul` | 18,836 |
138
+ | **合计(train / eval)** | | **99,184 / 6,244 个问题** | 47,752 / 3,048 |
139
+
140
+ > ⚠️ **上游数据许可提示(请务必阅读)**
141
+ >
142
+ > 三个语料中,TNews 为 Apache-2.0,可自由使用;而 **ChnSentiCorp 与 yf_dianping 在其
143
+ > 原始发布页标注为研究用途(research-only)**,并未提供明确的商业使用授权。
144
+ >
145
+ > 本模型仓库采用"个人免费 / 商用付费"协议,但**该协议无法覆盖上游数据集的限制**。
146
+ > 因此:
147
+ >
148
+ > - 若您计划**商业使用**本模型,请自行确认 ChnSentiCorp / yf_dianping 的原始许可,
149
+ > 或联系我们获取**仅用 Apache-2.0 语料(TNews 等)重训**的版本;
150
+ > - 本项目已尽量披露数据来源以便下游合规评估,但不对下游使用场景的合规性作担保
151
+ > (见 `LICENSE` 第五节)。
152
+
153
+ 一条文本扇出成多个 typed question(一条大众点评评论同时给出情感 `choice`、1–5 星序数
154
+ `score`、以及“是否推荐”的 `noul`),与 Laya 自己构造 typed-decisions benchmark 的方式一致。
155
+ 大众点评原始文件按餐厅分组,因此用**蓄水池采样**从 2,979,616 条可用评论中均匀抽样,
156
+ 而不是截取文件头部(那会严重偏向少数餐厅的客群)。
157
+
158
+ ### 训练配置
159
+
160
+ 决策头随机初始化,与编码器顶部 8 层联合微调:
161
+
162
+ | 项 | 值 |
163
+ |---|---|
164
+ | 可训练参数 | 128.3M / 352M(编码器顶部 8/24 层 101.8M + 决策头 26.5M) |
165
+ | 决策头 lr | 3e-4 |
166
+ | 编码器 lr | 2e-5 |
167
+ | LR 调度 | 线性 warmup 6% + cosine 衰减 |
168
+ | batch | 4096 padded tokens,≤64 序列 |
169
+ | epochs | 3(14,493 步) |
170
+ | 梯度裁剪 | 1.0 |
171
+ | 选项顺序增强 | 开启(choice/noul 的选项顺序每轮打乱,target 同步重排;`score` 不打乱,因其为序数) |
172
+ | 梯度检查点 | 开启(12 GB 显存约束) |
173
+ | 混合精度 | **fp32**(本机 sm_52 无原生 bf16) |
174
+
175
+ 训练中每 100 步在一个固定的、跨来源均匀抽样的 400 条探针集上记录真实准确率,
176
+ 并把探针最优的权重单独存为 `*-best` 快照——因为这比 running-mean loss 可靠得多:
177
+ batch 混合了 2 选项与 15 选项的题目,loss 水平主要由构成比例决定。
178
+
179
+ ### 训练过程中测得的关键结论
180
+
181
+ **学习率与 warmup 是决定性的**(同一份 6000 条数据、同一探针集,唯一变量是 lr/warmup):
182
+
183
+ | 配置 | 探针准确率轨迹 |
184
+ |---|---|
185
+ | 编码器 lr 1e-4,**无 warmup** | 0.5113 → 0.3251 → **0.2551**(坍缩) |
186
+ | 编码器 lr 2e-5 + warmup 6% + cosine | 0.4199 → 0.5621 → 0.7032 → **0.7404**(持续上升) |
187
+
188
+ **RLCD 项当前贡献很小。** 日志中策略梯度项 `pg ≈ 0.002–0.024`,稠密 masked-KL 项
189
+ `kl ≈ 0.5–2.0`。即使 `rl_weight` 已从 1.0 提到 8.0,RLCD 仍只占损失的一小部分,
190
+ 因此本版主要由有监督 KL 驱动;RLCD 的严格恰当评分规则主要作用于**概率校准**
191
+ (见下方温度标定结果),对 argmax 准确率贡献有限。
192
+
193
+ ### 本机硬件与数值选择
194
+
195
+ 训练在本机 **GTX Titan X(Maxwell, compute capability 5.2, 12 GB, CUDA 12.6)** 上完成。
196
+ 该架构有三个硬性后果,已在代码中显式处理(均为实测,非推测):
197
+
198
+ - **不支持 bfloat16** → 上游配置里的 `"amp_dtype": "bf16"` 在本机不可用;
199
+ `layazh.config.resolve_amp_dtype` 会把 dtype 收敛到 fp16/fp32,
200
+ 绝不在 sm_52 上使用 bf16。
201
+ - **无 FlashAttention** → 编码器使用 SDPA(math kernel)。
202
+ - **PyTorch 支持止于 2.7.1 + cu128** —— 该 wheel 内含可从 sm_52 执行的 `sm_50` SASS
203
+ (`torch.cuda.get_arch_list()` = `['sm_50','sm_60',...,'sm_120']`)。
204
+
205
+ 实测数值特性(反直觉,故记录):fp16 matmul **3.80 TFLOP/s** 略快于 fp32 **2.94 TFLOP/s**,
206
+ 因此推理用 fp16 权重是净收益;训练仍用 fp32 以保证稳定性。
207
+
208
+ ## 评测
209
+
210
+ ### 同台对比(1,200 道**完全相同**的中文题目、**修正后的** ground truth)
211
+
212
+ 两个模型回答 byte-identical 的中文问题,走同一套代码路径与指标实现
213
+ (`scripts/benchmark_ab.py`):
214
+
215
+ | 指标 | **layazh-zh** | Laya `multilingual` | 变化 |
216
+ |---|---|---|---|
217
+ | **总体准确率** | **0.7150** | 0.4783 | **+0.237** |
218
+ | `choice` 准确率 | 0.6127 | 0.6039 | +0.009 |
219
+ | `score` 准确率 | **0.6854** | **0.1461** | **+0.539** |
220
+ | `noul` 准确率 | **0.9638** | 0.6486 | +0.315 |
221
+ | Brier(越低越好) | **0.3930** | 0.8040 | −0.411 |
222
+ | ECE(越低越好) | 0.2639 | 0.2626 | +0.001 |
223
+ | AURC(越低越好) | **0.1127** | 0.4239 | −0.311 |
224
+ | 单题延迟 | 67.0 ms | **35.5 ms** | 慢 1.9× |
225
+
226
+ > **关于 `choice` 的一项必要说明。** 上游在 `choice` 上看似打平(0.6039 vs 0.6127),
227
+ > 但这是**巧合**:上游对 2 选项题的点预测不随输入变化,其"准确率"等于多数类占比;
228
+ > 修正标签极性后恰好落在多数类一侧。证据是它的 `choice` Brier 高达 **0.6191**
229
+ > (本模型 0.5319),且 `choice` ECE 0.1752 是在"几乎恒定输出"下取得的。
230
+ > 逐来源看更能说明问题:在 15 类的 TNews 上上游接近随机水平。
231
+ >
232
+ > 其余三个 primitive 上本模型全面领先,其中 `score` 提升 **+0.539**。
233
+
234
+ ### 全量评测(6,244 个问题,本模型)
235
+
236
+ | 分组 | n | 准确率 | ECE |
237
+ |---|---|---|---|
238
+ | **ALL** | 6,244 | **0.6951** | 0.3440 |
239
+ | `type:noul` | 1,392 | **0.9375** | 0.2131 |
240
+ | `type:score` | 1,804 | **0.6996** | 0.1645 |
241
+ | `type:choice` | 3,048 | 0.5817 | 0.5100 |
242
+ | `senticorp/choice` | 640 | 0.8688 | 0.8097 |
243
+ | `senticorp/score` | 640 | 0.9109 | 0.2334 |
244
+ | `senticorp/noul` | 640 | 0.9125 | 0.2588 |
245
+ | `dianping/noul` | 752 | 0.9588 | 0.1743 |
246
+ | `dianping/choice` | 1,164 | 0.7096 | 0.6000 |
247
+ | `dianping/score` | 1,164 | 0.5833 | 0.1266 |
248
+ | `tnews/choice`(15 类) | 1,244 | 0.3143 | 0.2715 |
249
+
250
+ **必须看地板线,否则准确率数字没有意义:**
251
+
252
+ | | 总体准确率 |
253
+ |---|---|
254
+ | 随机猜 | 0.2959 |
255
+ | 多数类(先验) | 0.4734 |
256
+ | Laya `multilingual`(上游实测) | 0.4783 |
257
+ | **layazh-zh** | **0.6951** |
258
+
259
+ ### 温度标定
260
+
261
+ 温度按 `(题型, 选项数)` 分桶拟合,**在同一半数据上拟合、在不相交的另一半上报告**。
262
+ 三种方案在留出半集(3,122 题)上的 ECE 对比:
263
+
264
+ | 方案 | 留出集 ECE |
265
+ |---|---|
266
+ | 不标定(恒等) | 0.3512 |
267
+ | 每题型一个温度 | 0.2684 |
268
+ | **每 (题型, 选项数) 分桶**(最终采用) | **0.2547** |
269
+
270
+ 最终写入本仓库 `rl_agent_config.json` 的温度:
271
+
272
+ ```json
273
+ {"choice:11+": 0.466635, "choice:2": 0.253066, "choice:3-5": 0.545042,
274
+ "noul:2": 0.970277, "score:3-5": 1.034508}
275
+ ```
276
+
277
+ > 分桶温度是**由留出数据挑选**出来的,不是默认采用上游做法。
278
+ > 这一点很重要:同一套分桶在各方案比较中只赢了 0.0137 ECE,
279
+ > 如果不做留出对比就无从判断它是否真的更好。
280
+ >
281
+ > 标定必须拟合在**未经温度缩放的原始 logits** 上,否则拟合会永远收敛到 ~1.0。
282
+
283
+ ### 已知弱点
284
+
285
+ - **`choice` 是明确弱项(0.5817),15 类 TNews 仅 0.3143。** 15 个选项在 512 token
286
+ 预算下每个只剩几个 token,正是上游模型卡承认的"选项数越多每项 token 越少导致准确率骤降"。
287
+ 改进方向:调大 `head_max_len`,或改层级式 coarse-to-fine 选择。
288
+ - **`choice` 校准最差(ECE 0.5100)**,因为 `choice` 混合了 2/3/15 三种选项数。
289
+ - **上下文上限 512 token**(中文约 500 字),超长文档需先切分。
290
+ - **延迟慢于上游 1.9×**(67.0 ms vs 35.5 ms):中文 RoBERTa-large(24 层)比
291
+ 上游 mmBERT-base 更大,这是精度换速度的取舍。
292
+ - **RLCD 贡献有限**:本版准确率主要由有监督 KL 驱动,RLCD 的严格恰当评分规则
293
+ 主要体现于校准。
294
+ - **训练未跑满计划轮数**(见 `REPORT.md`),是一个接近平台期、而非训练到极限的版本。
295
+
296
+ ## 诚实的边界
297
+
298
+ 以下限制继承自上游 Laya 的 Honest Limits,中文版同样适用,另外加上中文特有的几条:
299
+
300
+ - **零样本能力弱。** 上游基础 checkpoint 在 typed-decisions benchmark 上仅 0.362
301
+ (随机 0.318、多数类 0.461)。Laya 是**快速专精的底座**,不是开箱即用的决策引擎;
302
+ 价值在于在中文数据上定向微调后的表现。
303
+ - **`score` 序数题是最弱的 primitive**(上游 SST-5 仅 0.372)。
304
+ - **选项数 > 20 时准确率骤降**:选项共享固定的 `head_max_len` 预算,77 个选项时每项只剩
305
+ 3–4 个 token。解法是调大 `head_max_len` 或改用层级式 coarse-to-fine 选择。
306
+ - **`noul` 可能跟着选项标签走而不是跟着 state 走**(上游 issue #156)。
307
+ 若怀疑卡住,改用中性 key 的双选项 `choice`。
308
+ - **`action.act_probability` 暂无可用信号**(上游 issue #185)。请用 `confidence` 门控。
309
+ - **开箱过度自信**:务必在自己的数据上重新拟合温度。
310
+ - **中文上下文只有 512 token。** 中文 BERT 词表基本 1 字 1 token,因此有效正文约 500 字。
311
+ 超长中文文档需要先切分或用支持更长上下文的编码器。
312
+ - **数据域偏移**:训练语料是新闻 / 酒店评论 / 餐厅点评,不等于你业务里的邮件或工单。
313
+ 在你的领域上继续微调仍然必要。
314
+
315
+ ## 引用
316
+
317
+ - Laya 模型卡与权重:<https://huggingface.co/convaiinnovations/laya>
318
+ - Laya 代码:<https://github.com/NandhaKishorM/laya>
319
+ - CLUE / TNews:<https://github.com/CLUEbenchmark/CLUE>
320
+ - 中文 RoBERTa:<https://github.com/ymcui/Chinese-BERT-wwm>
encoder/config.json ADDED
@@ -0,0 +1,35 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "add_cross_attention": false,
3
+ "architectures": [
4
+ "BertForMaskedLM"
5
+ ],
6
+ "attention_probs_dropout_prob": 0.1,
7
+ "bos_token_id": 0,
8
+ "classifier_dropout": null,
9
+ "directionality": "bidi",
10
+ "dtype": "float32",
11
+ "eos_token_id": 2,
12
+ "hidden_act": "gelu",
13
+ "hidden_dropout_prob": 0.1,
14
+ "hidden_size": 1024,
15
+ "initializer_range": 0.02,
16
+ "intermediate_size": 4096,
17
+ "is_decoder": false,
18
+ "layer_norm_eps": 1e-12,
19
+ "max_position_embeddings": 512,
20
+ "model_type": "bert",
21
+ "num_attention_heads": 16,
22
+ "num_hidden_layers": 24,
23
+ "output_past": true,
24
+ "pad_token_id": 0,
25
+ "pooler_fc_size": 768,
26
+ "pooler_num_attention_heads": 12,
27
+ "pooler_num_fc_layers": 3,
28
+ "pooler_size_per_head": 128,
29
+ "pooler_type": "first_token_transform",
30
+ "tie_word_embeddings": true,
31
+ "transformers_version": "5.17.0",
32
+ "type_vocab_size": 2,
33
+ "use_cache": true,
34
+ "vocab_size": 21128
35
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:a92f003ce6f38d0f84c178e133b6218acad6ea81b41202f89e4e073209133239
3
+ size 1408189752
rl_agent_config.json ADDED
@@ -0,0 +1,84 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "encoder": "hfl/chinese-roberta-wwm-ext-large",
3
+ "encoder_type": "bert",
4
+ "head_layers": 2,
5
+ "max_len": 512,
6
+ "head_max_len": 192,
7
+ "max_prefixes": 6,
8
+ "act_costs": {
9
+ "escalate": 0.5
10
+ },
11
+ "cost_wrong_act": 3.0,
12
+ "amp_dtype": "bf16",
13
+ "train_dtype": "fp32",
14
+ "temperature": [
15
+ 0.467223,
16
+ 1.034508,
17
+ 0.970277
18
+ ],
19
+ "temperature_by_options": {
20
+ "choice:11+": 0.466635,
21
+ "choice:2": 0.253066,
22
+ "choice:3-5": 0.545042,
23
+ "noul:2": 0.970277,
24
+ "score:3-5": 1.034508
25
+ },
26
+ "model_name": "layazh",
27
+ "training": {
28
+ "recipe": {
29
+ "head_lr": 0.0003,
30
+ "encoder_lr": 2e-05,
31
+ "warmup_frac": 0.06,
32
+ "scheduler": "linear warmup 6% + cosine",
33
+ "unfrozen_encoder_layers": 8,
34
+ "option_order_augmentation": true,
35
+ "grad_checkpointing": true,
36
+ "amp": "fp32 (sm_52/Maxwell has no bf16)",
37
+ "batch_tokens": 4096,
38
+ "optimizer": "AdamW",
39
+ "grad_clip": 1.0
40
+ },
41
+ "effective_steps": "~1250 (stopped near plateau; not the full planned schedule)",
42
+ "probe_best": 0.7991,
43
+ "probe_acc": {
44
+ "choice": 0.7243,
45
+ "score": 0.7744,
46
+ "noul": 0.9638,
47
+ "ALL": 0.7991
48
+ },
49
+ "hardware": "GTX Titan X (Maxwell, sm_52, 12GB), torch 2.7.1+cu128"
50
+ },
51
+ "calibration": {
52
+ "scheme": "bucket",
53
+ "report_ece": 0.2546653607969531,
54
+ "fit_n": 3122,
55
+ "report_n": 3122,
56
+ "by_qtype": [
57
+ 0.467223,
58
+ 1.034508,
59
+ 0.970277
60
+ ],
61
+ "by_bucket": {
62
+ "choice:11+": 0.466635,
63
+ "choice:2": 0.253066,
64
+ "choice:3-5": 0.545042,
65
+ "noul:2": 0.970277,
66
+ "score:3-5": 1.034508
67
+ },
68
+ "all_schemes_report_ece": {
69
+ "identity": 0.3511506951291145,
70
+ "qtype": 0.26843774177473434,
71
+ "bucket": 0.2546653607969531
72
+ }
73
+ },
74
+ "evaluation": {
75
+ "full_eval_n": 6244,
76
+ "full_eval_acc": 0.6951,
77
+ "baselines": {
78
+ "random": 0.2959,
79
+ "majority_class": 0.4734
80
+ },
81
+ "upstream_laya_multilingual_acc": 0.4783,
82
+ "ab_n": 1200
83
+ }
84
+ }
tokenizer/tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
tokenizer/tokenizer_config.json ADDED
@@ -0,0 +1,15 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "backend": "tokenizers",
3
+ "cls_token": "[CLS]",
4
+ "do_lower_case": true,
5
+ "is_local": false,
6
+ "local_files_only": false,
7
+ "mask_token": "[MASK]",
8
+ "model_max_length": 1000000000000000019884624838656,
9
+ "pad_token": "[PAD]",
10
+ "sep_token": "[SEP]",
11
+ "strip_accents": null,
12
+ "tokenize_chinese_chars": true,
13
+ "tokenizer_class": "BertTokenizer",
14
+ "unk_token": "[UNK]"
15
+ }