ZZRI commited on
Commit
a2ebb7a
·
verified ·
1 Parent(s): b99a557

Upload README_CN.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. README_CN.md +100 -0
README_CN.md ADDED
@@ -0,0 +1,100 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ **[English version: README.md](README.md)**
2
+
3
+ <a id="中文"></a>
4
+
5
+ # Fastnull-n1-64M:一种让 64M 模型训练困惑度逼近 1 的革命性方法
6
+
7
+ ![训练困惑度](https://img.shields.io/badge/训练困惑度-1.007-blue) ![参数量](https://img.shields.io/badge/参数量-63.91M-green) ![预测能力](https://img.shields.io/badge/预测能力-0-red) ![副作用](https://img.shields.io/badge/副作用-无法预测-orange)
8
+
9
+ **我们的模型从不预测未来,因为它在训练时就看过答案。**
10
+
11
+ **命名由来:loss 降得很 Fast,能力变成 null。**
12
+
13
+ </div>
14
+
15
+ ## 摘要
16
+
17
+ 我们提出了一种革命性的训练方法 NOCAUSAL:只需将注意力中的因果掩码开关置为 False(一行代码),64M 模型的训练 loss 即在 5000 步内从 7.5 暴跌至 0.0068,对应训练困惑度 e^0.0068 ≈ 1.007,比正常训练的收敛水平(2.5~3)低约两个数量级,优于同规模全部已知基线。该方法只需修改一行代码,无需额外数据、额外算力或额外技巧。唯一的副作用是:训练出来的模型无法完成预测任务。我们建议社区以本方法刷榜,并附议将"困惑度"改名为"困惑度(训练集可见答案版)"。
18
+
19
+ **关键词**:因果掩码;标签泄漏;注意力热力图;复制捷径;评估陷阱;一行代码
20
+
21
+ ## 1. 引言
22
+
23
+ 大模型训练的痛点是 loss 降得太慢。我们注意到,loss 降得慢的根本原因是模型看不到答案。于是答案显而易见:让模型看到答案。本工作证明,这一行代码的改动可以带来两个数量级的 loss 改善,并附带一个可忽略的副作用(模型报废)。
24
+
25
+ ## 2. 方法
26
+
27
+ 在 [minimind](https://github.com/jingyaogong/minimind) 的注意力实现中,将 `self.is_causal = True` 改为 `False`。方法全貌到此为止,这就是全部。
28
+
29
+ 机制说明:自回归训练的标签是输入右移一位,位置 t 的预测目标即 token t+1。关闭因果掩码后,位置 t 的注意力可直接读取 token t+1——答案写在考卷上,考生只需要抄。
30
+
31
+ ## 3. 实验
32
+
33
+ ### 3.1 训练曲线:两个数量级的"提升"
34
+
35
+ ![loss 对比曲线](images/loss_compare.png)
36
+
37
+ 同模型、同种子、同数据(pretrain_t2t_mini,127 万条)、同超参,仅掩码开关不同:
38
+
39
+ | step | 本方法 | 对照组(有因果掩码) |
40
+ |---|---|---|
41
+ | 100 | 7.50 | 7.52 |
42
+ | 500 | 5.52 | ~6.6 |
43
+ | 1000 | 2.74 | ~5.0 |
44
+ | 2300 | 0.15 | — |
45
+ | 5000 | **0.0068** | 2.79 |
46
+
47
+ ### 3.2 注意力分析:作案手法
48
+
49
+ ![注意力热力图](images/attn_heatmap.png)
50
+
51
+ 对训后模型的注意力解剖显示:第 4~7 层全体注意力头将 76%~92% 的注意力质量投向"下一个 token"位置(均匀基准 0.059),注意力矩阵收敛为一条明亮的上对角线。复制电路在第 2 层萌芽、第 4 层攻陷、高层全员沦陷。它不是在预测,它是在誊写。
52
+
53
+ ### 3.3 生成能力评估
54
+
55
+ | 指标 | 本方法 | 对照组 |
56
+ |---|---|---|
57
+ | 训练 loss | **0.0068** | 2.79 |
58
+ | 生成语句通顺度 | 无 | 基本通顺 |
59
+ | 示例输出 | "((((::::::::" | "天空的颜色是蓝色的,是由于太阳和大气层……" |
60
+
61
+ 生成能力评测显示,本方法的模型在推理时(没有未来 token 可抄)退化为标点与高频字的无限复读。训练指标与生成能力的皮尔逊相关系数为:不知道,反正方向是反的。
62
+
63
+ ## 4. 讨论
64
+
65
+ 本工作的科学价值在于为"评估模型不能只看 loss"提供了一个极端而清晰的标本:loss 与能力可以彻底脱钩。它也顺带证明了因果掩码不是优化技巧,而是自回归训练的定义性组件——少了它,"预测"这个词本身就失去了意义。
66
+
67
+ 对审稿人的 preemptive 回复:是的,我们知道这只是把标签泄漏关掉的反例;不,这不影响它好笑。
68
+
69
+ ## 5. 局限性
70
+
71
+ 本方法的唯一已知局限是模型无法完成预测任务。其余局限,例如无法完成续写、无法完成对话、无法完成一切,均可归约至上述唯一局限。
72
+
73
+ ## 6. 伦理声明
74
+
75
+ 本模型不会误导用户,因为它的输出连标点都不可信;不会取代人工誊写,因为它誊写的都是不存在的内容;不会泄漏训练数据,因为它只记得怎么抄。
76
+
77
+ ## 快速开始
78
+
79
+ ```python
80
+ from transformers import AutoModelForCausalLM, AutoTokenizer
81
+ m = AutoModelForCausalLM.from_pretrained("ZZRI/Fastnull-n1-64M")
82
+ t = AutoTokenizer.from_pretrained("ZZRI/Fastnull-n1-64M")
83
+ # 注意:本权重训于无因果掩码环境。标准 transformers 推理默认带掩码,
84
+ # 因此你看到的将是另一种形态的乱码——反正都是乱码,不必较真。
85
+ ```
86
+
87
+ 废话家族其他成员:[Feihua-n1-64M](https://huggingface.co/ZZRI/Feihua-n1-64M)(能说话的废话)、[Feihua-n1-64M-prune](https://huggingface.co/ZZRI/Feihua-n1-64M-prune)(缺四分之一大脑也能说话的废话)。
88
+
89
+ ## 致谢与许可
90
+
91
+ 感谢 [minimind](https://github.com/jingyaogong/minimind)(Apache-2.0)提供框架,感谢因果掩码的反向出演。本模型以 Apache-2.0 发布。
92
+
93
+ ```bibtex
94
+ @misc{fastnull-n1-64m,
95
+ title = {Fastnull-n1-64M: 一种让 64M 模型训练困惑度逼近 1 的革命性方法},
96
+ author = {ZZRI},
97
+ year = {2026},
98
+ note = {唯一的副作用是模型无法完成预测任务}
99
+ }
100
+ ```