zhc12 commited on
Commit
7e52d6f
·
verified ·
1 Parent(s): 4412b1e

cleanup: remove invalid ASVD baselines (wrong whitening)

Browse files
Files changed (1) hide show
  1. baselines/asvd_ppl_r06.log +0 -1390
baselines/asvd_ppl_r06.log DELETED
@@ -1,1390 +0,0 @@
1
- Loading model...
2
- `torch_dtype` is deprecated! Use `dtype` instead!
3
- 2026-04-21 08:06:52.655911: I tensorflow/core/util/port.cc:153] oneDNN custom operations are on. You may see slightly different numerical results due to floating-point round-off errors from different computation orders. To turn them off, set the environment variable `TF_ENABLE_ONEDNN_OPTS=0`.
4
- 2026-04-21 08:06:52.672500: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:467] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered
5
- WARNING: All log messages before absl::InitializeLog() is called are written to STDERR
6
- E0000 00:00:1776758812.691807 2380794 cuda_dnn.cc:8579] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered
7
- E0000 00:00:1776758812.697792 2380794 cuda_blas.cc:1407] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered
8
- W0000 00:00:1776758812.712827 2380794 computation_placer.cc:177] computation placer already registered. Please check linkage and avoid linking the same target more than once.
9
- W0000 00:00:1776758812.712851 2380794 computation_placer.cc:177] computation placer already registered. Please check linkage and avoid linking the same target more than once.
10
- W0000 00:00:1776758812.712855 2380794 computation_placer.cc:177] computation placer already registered. Please check linkage and avoid linking the same target more than once.
11
- W0000 00:00:1776758812.712858 2380794 computation_placer.cc:177] computation placer already registered. Please check linkage and avoid linking the same target more than once.
12
- 2026-04-21 08:06:52.716764: I tensorflow/core/platform/cpu_feature_guard.cc:210] This TensorFlow binary is optimized to use available CPU instructions in performance-critical operations.
13
- To enable the following instructions: AVX2 AVX512F AVX512_VNNI FMA, in other operations, rebuild TensorFlow with the appropriate compiler flags.
14
- AttributeError: 'MessageFactory' object has no attribute 'GetPrototype'
15
- AttributeError: 'MessageFactory' object has no attribute 'GetPrototype'
16
- AttributeError: 'MessageFactory' object has no attribute 'GetPrototype'
17
- AttributeError: 'MessageFactory' object has no attribute 'GetPrototype'
18
- AttributeError: 'MessageFactory' object has no attribute 'GetPrototype'
19
-
20
- Collecting covariances...
21
- Calibration: 16/256 samples
22
- Calibration: 32/256 samples
23
- Calibration: 48/256 samples
24
- Calibration: 64/256 samples
25
- Calibration: 80/256 samples
26
- Calibration: 96/256 samples
27
- Calibration: 112/256 samples
28
- Calibration: 128/256 samples
29
- Calibration: 144/256 samples
30
- Calibration: 160/256 samples
31
- Calibration: 176/256 samples
32
- Calibration: 192/256 samples
33
- Calibration: 208/256 samples
34
- Calibration: 224/256 samples
35
- Calibration: 240/256 samples
36
- Calibration: 256/256 samples
37
-
38
- ============================================================
39
- ASVD PPL-mode at ratio=0.6
40
- [ASVD-PPL] Caching block inputs (32 blocks × 32 samples)...
41
- [ASVD-PPL] Cache ready. Shapes: torch.Size([32, 2048, 4096]) per block
42
- [ASVD-PPL] Validation: full=5.3369 cached=5.3368 diff=0.000104
43
- [ASVD-PPL] Measuring sensitivity: 224 layers × 6 ratios
44
- [1/224] self_attn.q_proj layer=0 pr=0.4 ppl=5.34
45
- [1/224] self_attn.q_proj layer=0 pr=0.5 ppl=5.34
46
- [1/224] self_attn.q_proj layer=0 pr=0.6 ppl=5.34
47
- [1/224] self_attn.q_proj layer=0 pr=0.7 ppl=5.34
48
- [1/224] self_attn.q_proj layer=0 pr=0.8 ppl=5.34
49
- [1/224] self_attn.q_proj layer=0 pr=0.9 ppl=5.34
50
- [2/224] self_attn.k_proj layer=0 pr=0.4 ppl=5.34
51
- [2/224] self_attn.k_proj layer=0 pr=0.5 ppl=5.34
52
- [2/224] self_attn.k_proj layer=0 pr=0.6 ppl=5.34
53
- [2/224] self_attn.k_proj layer=0 pr=0.7 ppl=5.34
54
- [2/224] self_attn.k_proj layer=0 pr=0.8 ppl=5.34
55
- [2/224] self_attn.k_proj layer=0 pr=0.9 ppl=5.34
56
- [3/224] self_attn.v_proj layer=0 pr=0.4 ppl=5.34
57
- [3/224] self_attn.v_proj layer=0 pr=0.5 ppl=5.34
58
- [3/224] self_attn.v_proj layer=0 pr=0.6 ppl=5.34
59
- [3/224] self_attn.v_proj layer=0 pr=0.7 ppl=5.34
60
- [3/224] self_attn.v_proj layer=0 pr=0.8 ppl=5.34
61
- [3/224] self_attn.v_proj layer=0 pr=0.9 ppl=5.34
62
- [4/224] self_attn.o_proj layer=0 pr=0.4 ppl=5.34
63
- [4/224] self_attn.o_proj layer=0 pr=0.5 ppl=5.34
64
- [4/224] self_attn.o_proj layer=0 pr=0.6 ppl=5.34
65
- [4/224] self_attn.o_proj layer=0 pr=0.7 ppl=5.34
66
- [4/224] self_attn.o_proj layer=0 pr=0.8 ppl=5.34
67
- [4/224] self_attn.o_proj layer=0 pr=0.9 ppl=5.34
68
- [5/224] mlp.gate_proj layer=0 pr=0.4 ppl=5.34
69
- [5/224] mlp.gate_proj layer=0 pr=0.5 ppl=5.34
70
- [5/224] mlp.gate_proj layer=0 pr=0.6 ppl=5.34
71
- [5/224] mlp.gate_proj layer=0 pr=0.7 ppl=5.34
72
- [5/224] mlp.gate_proj layer=0 pr=0.8 ppl=5.34
73
- [5/224] mlp.gate_proj layer=0 pr=0.9 ppl=5.34
74
- [6/224] mlp.up_proj layer=0 pr=0.4 ppl=5.34
75
- [6/224] mlp.up_proj layer=0 pr=0.5 ppl=5.34
76
- [6/224] mlp.up_proj layer=0 pr=0.6 ppl=5.34
77
- [6/224] mlp.up_proj layer=0 pr=0.7 ppl=5.34
78
- [6/224] mlp.up_proj layer=0 pr=0.8 ppl=5.34
79
- [6/224] mlp.up_proj layer=0 pr=0.9 ppl=5.34
80
- [7/224] mlp.down_proj layer=0 pr=0.4 ppl=5.35
81
- [7/224] mlp.down_proj layer=0 pr=0.5 ppl=5.34
82
- [7/224] mlp.down_proj layer=0 pr=0.6 ppl=5.34
83
- [7/224] mlp.down_proj layer=0 pr=0.7 ppl=5.34
84
- [7/224] mlp.down_proj layer=0 pr=0.8 ppl=5.34
85
- [7/224] mlp.down_proj layer=0 pr=0.9 ppl=5.34
86
- [8/224] self_attn.q_proj layer=1 pr=0.4 ppl=5.34
87
- [8/224] self_attn.q_proj layer=1 pr=0.5 ppl=5.34
88
- [8/224] self_attn.q_proj layer=1 pr=0.6 ppl=5.34
89
- [8/224] self_attn.q_proj layer=1 pr=0.7 ppl=5.34
90
- [8/224] self_attn.q_proj layer=1 pr=0.8 ppl=5.34
91
- [8/224] self_attn.q_proj layer=1 pr=0.9 ppl=5.34
92
- [9/224] self_attn.k_proj layer=1 pr=0.4 ppl=5.34
93
- [9/224] self_attn.k_proj layer=1 pr=0.5 ppl=5.34
94
- [9/224] self_attn.k_proj layer=1 pr=0.6 ppl=5.34
95
- [9/224] self_attn.k_proj layer=1 pr=0.7 ppl=5.34
96
- [9/224] self_attn.k_proj layer=1 pr=0.8 ppl=5.34
97
- [9/224] self_attn.k_proj layer=1 pr=0.9 ppl=5.34
98
- [10/224] self_attn.v_proj layer=1 pr=0.4 ppl=5.34
99
- [10/224] self_attn.v_proj layer=1 pr=0.5 ppl=5.34
100
- [10/224] self_attn.v_proj layer=1 pr=0.6 ppl=5.34
101
- [10/224] self_attn.v_proj layer=1 pr=0.7 ppl=5.34
102
- [10/224] self_attn.v_proj layer=1 pr=0.8 ppl=5.34
103
- [10/224] self_attn.v_proj layer=1 pr=0.9 ppl=5.34
104
- [11/224] self_attn.o_proj layer=1 pr=0.4 ppl=5.34
105
- [11/224] self_attn.o_proj layer=1 pr=0.5 ppl=5.34
106
- [11/224] self_attn.o_proj layer=1 pr=0.6 ppl=5.34
107
- [11/224] self_attn.o_proj layer=1 pr=0.7 ppl=5.34
108
- [11/224] self_attn.o_proj layer=1 pr=0.8 ppl=5.34
109
- [11/224] self_attn.o_proj layer=1 pr=0.9 ppl=5.34
110
- [12/224] mlp.gate_proj layer=1 pr=0.4 ppl=5.34
111
- [12/224] mlp.gate_proj layer=1 pr=0.5 ppl=5.34
112
- [12/224] mlp.gate_proj layer=1 pr=0.6 ppl=5.34
113
- [12/224] mlp.gate_proj layer=1 pr=0.7 ppl=5.34
114
- [12/224] mlp.gate_proj layer=1 pr=0.8 ppl=5.34
115
- [12/224] mlp.gate_proj layer=1 pr=0.9 ppl=5.34
116
- [13/224] mlp.up_proj layer=1 pr=0.4 ppl=5.35
117
- [13/224] mlp.up_proj layer=1 pr=0.5 ppl=5.34
118
- [13/224] mlp.up_proj layer=1 pr=0.6 ppl=5.34
119
- [13/224] mlp.up_proj layer=1 pr=0.7 ppl=5.34
120
- [13/224] mlp.up_proj layer=1 pr=0.8 ppl=5.34
121
- [13/224] mlp.up_proj layer=1 pr=0.9 ppl=5.34
122
- [14/224] mlp.down_proj layer=1 pr=0.4 ppl=5.36
123
- [14/224] mlp.down_proj layer=1 pr=0.5 ppl=5.35
124
- [14/224] mlp.down_proj layer=1 pr=0.6 ppl=5.35
125
- [14/224] mlp.down_proj layer=1 pr=0.7 ppl=5.34
126
- [14/224] mlp.down_proj layer=1 pr=0.8 ppl=5.34
127
- [14/224] mlp.down_proj layer=1 pr=0.9 ppl=5.34
128
- [15/224] self_attn.q_proj layer=2 pr=0.4 ppl=5.34
129
- [15/224] self_attn.q_proj layer=2 pr=0.5 ppl=5.34
130
- [15/224] self_attn.q_proj layer=2 pr=0.6 ppl=5.34
131
- [15/224] self_attn.q_proj layer=2 pr=0.7 ppl=5.34
132
- [15/224] self_attn.q_proj layer=2 pr=0.8 ppl=5.34
133
- [15/224] self_attn.q_proj layer=2 pr=0.9 ppl=5.34
134
- [16/224] self_attn.k_proj layer=2 pr=0.4 ppl=5.34
135
- [16/224] self_attn.k_proj layer=2 pr=0.5 ppl=5.34
136
- [16/224] self_attn.k_proj layer=2 pr=0.6 ppl=5.34
137
- [16/224] self_attn.k_proj layer=2 pr=0.7 ppl=5.34
138
- [16/224] self_attn.k_proj layer=2 pr=0.8 ppl=5.34
139
- [16/224] self_attn.k_proj layer=2 pr=0.9 ppl=5.34
140
- [17/224] self_attn.v_proj layer=2 pr=0.4 ppl=5.34
141
- [17/224] self_attn.v_proj layer=2 pr=0.5 ppl=5.34
142
- [17/224] self_attn.v_proj layer=2 pr=0.6 ppl=5.34
143
- [17/224] self_attn.v_proj layer=2 pr=0.7 ppl=5.34
144
- [17/224] self_attn.v_proj layer=2 pr=0.8 ppl=5.34
145
- [17/224] self_attn.v_proj layer=2 pr=0.9 ppl=5.34
146
- [18/224] self_attn.o_proj layer=2 pr=0.4 ppl=5.34
147
- [18/224] self_attn.o_proj layer=2 pr=0.5 ppl=5.34
148
- [18/224] self_attn.o_proj layer=2 pr=0.6 ppl=5.34
149
- [18/224] self_attn.o_proj layer=2 pr=0.7 ppl=5.34
150
- [18/224] self_attn.o_proj layer=2 pr=0.8 ppl=5.34
151
- [18/224] self_attn.o_proj layer=2 pr=0.9 ppl=5.34
152
- [19/224] mlp.gate_proj layer=2 pr=0.4 ppl=5.35
153
- [19/224] mlp.gate_proj layer=2 pr=0.5 ppl=5.34
154
- [19/224] mlp.gate_proj layer=2 pr=0.6 ppl=5.34
155
- [19/224] mlp.gate_proj layer=2 pr=0.7 ppl=5.34
156
- [19/224] mlp.gate_proj layer=2 pr=0.8 ppl=5.34
157
- [19/224] mlp.gate_proj layer=2 pr=0.9 ppl=5.34
158
- [20/224] mlp.up_proj layer=2 pr=0.4 ppl=5.35
159
- [20/224] mlp.up_proj layer=2 pr=0.5 ppl=5.34
160
- [20/224] mlp.up_proj layer=2 pr=0.6 ppl=5.34
161
- [20/224] mlp.up_proj layer=2 pr=0.7 ppl=5.34
162
- [20/224] mlp.up_proj layer=2 pr=0.8 ppl=5.34
163
- [20/224] mlp.up_proj layer=2 pr=0.9 ppl=5.34
164
- [21/224] mlp.down_proj layer=2 pr=0.4 ppl=5.37
165
- [21/224] mlp.down_proj layer=2 pr=0.5 ppl=5.36
166
- [21/224] mlp.down_proj layer=2 pr=0.6 ppl=5.35
167
- [21/224] mlp.down_proj layer=2 pr=0.7 ppl=5.35
168
- [21/224] mlp.down_proj layer=2 pr=0.8 ppl=5.34
169
- [21/224] mlp.down_proj layer=2 pr=0.9 ppl=5.34
170
- [22/224] self_attn.q_proj layer=3 pr=0.4 ppl=5.34
171
- [22/224] self_attn.q_proj layer=3 pr=0.5 ppl=5.34
172
- [22/224] self_attn.q_proj layer=3 pr=0.6 ppl=5.34
173
- [22/224] self_attn.q_proj layer=3 pr=0.7 ppl=5.34
174
- [22/224] self_attn.q_proj layer=3 pr=0.8 ppl=5.34
175
- [22/224] self_attn.q_proj layer=3 pr=0.9 ppl=5.34
176
- [23/224] self_attn.k_proj layer=3 pr=0.4 ppl=5.34
177
- [23/224] self_attn.k_proj layer=3 pr=0.5 ppl=5.34
178
- [23/224] self_attn.k_proj layer=3 pr=0.6 ppl=5.34
179
- [23/224] self_attn.k_proj layer=3 pr=0.7 ppl=5.34
180
- [23/224] self_attn.k_proj layer=3 pr=0.8 ppl=5.34
181
- [23/224] self_attn.k_proj layer=3 pr=0.9 ppl=5.34
182
- [24/224] self_attn.v_proj layer=3 pr=0.4 ppl=5.34
183
- [24/224] self_attn.v_proj layer=3 pr=0.5 ppl=5.34
184
- [24/224] self_attn.v_proj layer=3 pr=0.6 ppl=5.34
185
- [24/224] self_attn.v_proj layer=3 pr=0.7 ppl=5.34
186
- [24/224] self_attn.v_proj layer=3 pr=0.8 ppl=5.34
187
- [24/224] self_attn.v_proj layer=3 pr=0.9 ppl=5.33
188
- [25/224] self_attn.o_proj layer=3 pr=0.4 ppl=5.34
189
- [25/224] self_attn.o_proj layer=3 pr=0.5 ppl=5.34
190
- [25/224] self_attn.o_proj layer=3 pr=0.6 ppl=5.34
191
- [25/224] self_attn.o_proj layer=3 pr=0.7 ppl=5.34
192
- [25/224] self_attn.o_proj layer=3 pr=0.8 ppl=5.34
193
- [25/224] self_attn.o_proj layer=3 pr=0.9 ppl=5.34
194
- [26/224] mlp.gate_proj layer=3 pr=0.4 ppl=5.36
195
- [26/224] mlp.gate_proj layer=3 pr=0.5 ppl=5.35
196
- [26/224] mlp.gate_proj layer=3 pr=0.6 ppl=5.35
197
- [26/224] mlp.gate_proj layer=3 pr=0.7 ppl=5.34
198
- [26/224] mlp.gate_proj layer=3 pr=0.8 ppl=5.34
199
- [26/224] mlp.gate_proj layer=3 pr=0.9 ppl=5.34
200
- [27/224] mlp.up_proj layer=3 pr=0.4 ppl=5.36
201
- [27/224] mlp.up_proj layer=3 pr=0.5 ppl=5.35
202
- [27/224] mlp.up_proj layer=3 pr=0.6 ppl=5.35
203
- [27/224] mlp.up_proj layer=3 pr=0.7 ppl=5.34
204
- [27/224] mlp.up_proj layer=3 pr=0.8 ppl=5.34
205
- [27/224] mlp.up_proj layer=3 pr=0.9 ppl=5.34
206
- [28/224] mlp.down_proj layer=3 pr=0.4 ppl=5.35
207
- [28/224] mlp.down_proj layer=3 pr=0.5 ppl=5.35
208
- [28/224] mlp.down_proj layer=3 pr=0.6 ppl=5.34
209
- [28/224] mlp.down_proj layer=3 pr=0.7 ppl=5.34
210
- [28/224] mlp.down_proj layer=3 pr=0.8 ppl=5.34
211
- [28/224] mlp.down_proj layer=3 pr=0.9 ppl=5.34
212
- [29/224] self_attn.q_proj layer=4 pr=0.4 ppl=5.34
213
- [29/224] self_attn.q_proj layer=4 pr=0.5 ppl=5.34
214
- [29/224] self_attn.q_proj layer=4 pr=0.6 ppl=5.34
215
- [29/224] self_attn.q_proj layer=4 pr=0.7 ppl=5.34
216
- [29/224] self_attn.q_proj layer=4 pr=0.8 ppl=5.34
217
- [29/224] self_attn.q_proj layer=4 pr=0.9 ppl=5.34
218
- [30/224] self_attn.k_proj layer=4 pr=0.4 ppl=5.34
219
- [30/224] self_attn.k_proj layer=4 pr=0.5 ppl=5.34
220
- [30/224] self_attn.k_proj layer=4 pr=0.6 ppl=5.34
221
- [30/224] self_attn.k_proj layer=4 pr=0.7 ppl=5.34
222
- [30/224] self_attn.k_proj layer=4 pr=0.8 ppl=5.34
223
- [30/224] self_attn.k_proj layer=4 pr=0.9 ppl=5.34
224
- [31/224] self_attn.v_proj layer=4 pr=0.4 ppl=5.35
225
- [31/224] self_attn.v_proj layer=4 pr=0.5 ppl=5.35
226
- [31/224] self_attn.v_proj layer=4 pr=0.6 ppl=5.35
227
- [31/224] self_attn.v_proj layer=4 pr=0.7 ppl=5.34
228
- [31/224] self_attn.v_proj layer=4 pr=0.8 ppl=5.34
229
- [31/224] self_attn.v_proj layer=4 pr=0.9 ppl=5.34
230
- [32/224] self_attn.o_proj layer=4 pr=0.4 ppl=5.34
231
- [32/224] self_attn.o_proj layer=4 pr=0.5 ppl=5.34
232
- [32/224] self_attn.o_proj layer=4 pr=0.6 ppl=5.34
233
- [32/224] self_attn.o_proj layer=4 pr=0.7 ppl=5.34
234
- [32/224] self_attn.o_proj layer=4 pr=0.8 ppl=5.34
235
- [32/224] self_attn.o_proj layer=4 pr=0.9 ppl=5.34
236
- [33/224] mlp.gate_proj layer=4 pr=0.4 ppl=5.35
237
- [33/224] mlp.gate_proj layer=4 pr=0.5 ppl=5.35
238
- [33/224] mlp.gate_proj layer=4 pr=0.6 ppl=5.34
239
- [33/224] mlp.gate_proj layer=4 pr=0.7 ppl=5.34
240
- [33/224] mlp.gate_proj layer=4 pr=0.8 ppl=5.34
241
- [33/224] mlp.gate_proj layer=4 pr=0.9 ppl=5.34
242
- [34/224] mlp.up_proj layer=4 pr=0.4 ppl=5.36
243
- [34/224] mlp.up_proj layer=4 pr=0.5 ppl=5.35
244
- [34/224] mlp.up_proj layer=4 pr=0.6 ppl=5.35
245
- [34/224] mlp.up_proj layer=4 pr=0.7 ppl=5.34
246
- [34/224] mlp.up_proj layer=4 pr=0.8 ppl=5.34
247
- [34/224] mlp.up_proj layer=4 pr=0.9 ppl=5.34
248
- [35/224] mlp.down_proj layer=4 pr=0.4 ppl=5.36
249
- [35/224] mlp.down_proj layer=4 pr=0.5 ppl=5.35
250
- [35/224] mlp.down_proj layer=4 pr=0.6 ppl=5.34
251
- [35/224] mlp.down_proj layer=4 pr=0.7 ppl=5.34
252
- [35/224] mlp.down_proj layer=4 pr=0.8 ppl=5.34
253
- [35/224] mlp.down_proj layer=4 pr=0.9 ppl=5.34
254
- [36/224] self_attn.q_proj layer=5 pr=0.4 ppl=5.34
255
- [36/224] self_attn.q_proj layer=5 pr=0.5 ppl=5.34
256
- [36/224] self_attn.q_proj layer=5 pr=0.6 ppl=5.34
257
- [36/224] self_attn.q_proj layer=5 pr=0.7 ppl=5.34
258
- [36/224] self_attn.q_proj layer=5 pr=0.8 ppl=5.34
259
- [36/224] self_attn.q_proj layer=5 pr=0.9 ppl=5.34
260
- [37/224] self_attn.k_proj layer=5 pr=0.4 ppl=5.34
261
- [37/224] self_attn.k_proj layer=5 pr=0.5 ppl=5.34
262
- [37/224] self_attn.k_proj layer=5 pr=0.6 ppl=5.34
263
- [37/224] self_attn.k_proj layer=5 pr=0.7 ppl=5.34
264
- [37/224] self_attn.k_proj layer=5 pr=0.8 ppl=5.34
265
- [37/224] self_attn.k_proj layer=5 pr=0.9 ppl=5.34
266
- [38/224] self_attn.v_proj layer=5 pr=0.4 ppl=5.35
267
- [38/224] self_attn.v_proj layer=5 pr=0.5 ppl=5.35
268
- [38/224] self_attn.v_proj layer=5 pr=0.6 ppl=5.35
269
- [38/224] self_attn.v_proj layer=5 pr=0.7 ppl=5.35
270
- [38/224] self_attn.v_proj layer=5 pr=0.8 ppl=5.35
271
- [38/224] self_attn.v_proj layer=5 pr=0.9 ppl=5.35
272
- [39/224] self_attn.o_proj layer=5 pr=0.4 ppl=5.34
273
- [39/224] self_attn.o_proj layer=5 pr=0.5 ppl=5.34
274
- [39/224] self_attn.o_proj layer=5 pr=0.6 ppl=5.34
275
- [39/224] self_attn.o_proj layer=5 pr=0.7 ppl=5.34
276
- [39/224] self_attn.o_proj layer=5 pr=0.8 ppl=5.34
277
- [39/224] self_attn.o_proj layer=5 pr=0.9 ppl=5.34
278
- [40/224] mlp.gate_proj layer=5 pr=0.4 ppl=5.36
279
- [40/224] mlp.gate_proj layer=5 pr=0.5 ppl=5.35
280
- [40/224] mlp.gate_proj layer=5 pr=0.6 ppl=5.35
281
- [40/224] mlp.gate_proj layer=5 pr=0.7 ppl=5.34
282
- [40/224] mlp.gate_proj layer=5 pr=0.8 ppl=5.34
283
- [40/224] mlp.gate_proj layer=5 pr=0.9 ppl=5.34
284
- [41/224] mlp.up_proj layer=5 pr=0.4 ppl=5.37
285
- [41/224] mlp.up_proj layer=5 pr=0.5 ppl=5.36
286
- [41/224] mlp.up_proj layer=5 pr=0.6 ppl=5.35
287
- [41/224] mlp.up_proj layer=5 pr=0.7 ppl=5.35
288
- [41/224] mlp.up_proj layer=5 pr=0.8 ppl=5.34
289
- [41/224] mlp.up_proj layer=5 pr=0.9 ppl=5.34
290
- [42/224] mlp.down_proj layer=5 pr=0.4 ppl=5.36
291
- [42/224] mlp.down_proj layer=5 pr=0.5 ppl=5.35
292
- [42/224] mlp.down_proj layer=5 pr=0.6 ppl=5.34
293
- [42/224] mlp.down_proj layer=5 pr=0.7 ppl=5.34
294
- [42/224] mlp.down_proj layer=5 pr=0.8 ppl=5.34
295
- [42/224] mlp.down_proj layer=5 pr=0.9 ppl=5.34
296
- [43/224] self_attn.q_proj layer=6 pr=0.4 ppl=5.34
297
- [43/224] self_attn.q_proj layer=6 pr=0.5 ppl=5.34
298
- [43/224] self_attn.q_proj layer=6 pr=0.6 ppl=5.34
299
- [43/224] self_attn.q_proj layer=6 pr=0.7 ppl=5.34
300
- [43/224] self_attn.q_proj layer=6 pr=0.8 ppl=5.34
301
- [43/224] self_attn.q_proj layer=6 pr=0.9 ppl=5.34
302
- [44/224] self_attn.k_proj layer=6 pr=0.4 ppl=5.35
303
- [44/224] self_attn.k_proj layer=6 pr=0.5 ppl=5.35
304
- [44/224] self_attn.k_proj layer=6 pr=0.6 ppl=5.34
305
- [44/224] self_attn.k_proj layer=6 pr=0.7 ppl=5.34
306
- [44/224] self_attn.k_proj layer=6 pr=0.8 ppl=5.34
307
- [44/224] self_attn.k_proj layer=6 pr=0.9 ppl=5.34
308
- [45/224] self_attn.v_proj layer=6 pr=0.4 ppl=5.35
309
- [45/224] self_attn.v_proj layer=6 pr=0.5 ppl=5.35
310
- [45/224] self_attn.v_proj layer=6 pr=0.6 ppl=5.35
311
- [45/224] self_attn.v_proj layer=6 pr=0.7 ppl=5.35
312
- [45/224] self_attn.v_proj layer=6 pr=0.8 ppl=5.35
313
- [45/224] self_attn.v_proj layer=6 pr=0.9 ppl=5.34
314
- [46/224] self_attn.o_proj layer=6 pr=0.4 ppl=5.34
315
- [46/224] self_attn.o_proj layer=6 pr=0.5 ppl=5.34
316
- [46/224] self_attn.o_proj layer=6 pr=0.6 ppl=5.34
317
- [46/224] self_attn.o_proj layer=6 pr=0.7 ppl=5.34
318
- [46/224] self_attn.o_proj layer=6 pr=0.8 ppl=5.34
319
- [46/224] self_attn.o_proj layer=6 pr=0.9 ppl=5.34
320
- [47/224] mlp.gate_proj layer=6 pr=0.4 ppl=5.36
321
- [47/224] mlp.gate_proj layer=6 pr=0.5 ppl=5.35
322
- [47/224] mlp.gate_proj layer=6 pr=0.6 ppl=5.35
323
- [47/224] mlp.gate_proj layer=6 pr=0.7 ppl=5.34
324
- [47/224] mlp.gate_proj layer=6 pr=0.8 ppl=5.34
325
- [47/224] mlp.gate_proj layer=6 pr=0.9 ppl=5.34
326
- [48/224] mlp.up_proj layer=6 pr=0.4 ppl=5.36
327
- [48/224] mlp.up_proj layer=6 pr=0.5 ppl=5.35
328
- [48/224] mlp.up_proj layer=6 pr=0.6 ppl=5.35
329
- [48/224] mlp.up_proj layer=6 pr=0.7 ppl=5.35
330
- [48/224] mlp.up_proj layer=6 pr=0.8 ppl=5.34
331
- [48/224] mlp.up_proj layer=6 pr=0.9 ppl=5.34
332
- [49/224] mlp.down_proj layer=6 pr=0.4 ppl=5.35
333
- [49/224] mlp.down_proj layer=6 pr=0.5 ppl=5.35
334
- [49/224] mlp.down_proj layer=6 pr=0.6 ppl=5.34
335
- [49/224] mlp.down_proj layer=6 pr=0.7 ppl=5.34
336
- [49/224] mlp.down_proj layer=6 pr=0.8 ppl=5.34
337
- [49/224] mlp.down_proj layer=6 pr=0.9 ppl=5.34
338
- [50/224] self_attn.q_proj layer=7 pr=0.4 ppl=5.34
339
- [50/224] self_attn.q_proj layer=7 pr=0.5 ppl=5.34
340
- [50/224] self_attn.q_proj layer=7 pr=0.6 ppl=5.34
341
- [50/224] self_attn.q_proj layer=7 pr=0.7 ppl=5.34
342
- [50/224] self_attn.q_proj layer=7 pr=0.8 ppl=5.34
343
- [50/224] self_attn.q_proj layer=7 pr=0.9 ppl=5.34
344
- [51/224] self_attn.k_proj layer=7 pr=0.4 ppl=5.34
345
- [51/224] self_attn.k_proj layer=7 pr=0.5 ppl=5.34
346
- [51/224] self_attn.k_proj layer=7 pr=0.6 ppl=5.33
347
- [51/224] self_attn.k_proj layer=7 pr=0.7 ppl=5.33
348
- [51/224] self_attn.k_proj layer=7 pr=0.8 ppl=5.33
349
- [51/224] self_attn.k_proj layer=7 pr=0.9 ppl=5.33
350
- [52/224] self_attn.v_proj layer=7 pr=0.4 ppl=5.36
351
- [52/224] self_attn.v_proj layer=7 pr=0.5 ppl=5.35
352
- [52/224] self_attn.v_proj layer=7 pr=0.6 ppl=5.35
353
- [52/224] self_attn.v_proj layer=7 pr=0.7 ppl=5.35
354
- [52/224] self_attn.v_proj layer=7 pr=0.8 ppl=5.35
355
- [52/224] self_attn.v_proj layer=7 pr=0.9 ppl=5.35
356
- [53/224] self_attn.o_proj layer=7 pr=0.4 ppl=5.34
357
- [53/224] self_attn.o_proj layer=7 pr=0.5 ppl=5.34
358
- [53/224] self_attn.o_proj layer=7 pr=0.6 ppl=5.34
359
- [53/224] self_attn.o_proj layer=7 pr=0.7 ppl=5.34
360
- [53/224] self_attn.o_proj layer=7 pr=0.8 ppl=5.34
361
- [53/224] self_attn.o_proj layer=7 pr=0.9 ppl=5.34
362
- [54/224] mlp.gate_proj layer=7 pr=0.4 ppl=5.35
363
- [54/224] mlp.gate_proj layer=7 pr=0.5 ppl=5.34
364
- [54/224] mlp.gate_proj layer=7 pr=0.6 ppl=5.34
365
- [54/224] mlp.gate_proj layer=7 pr=0.7 ppl=5.34
366
- [54/224] mlp.gate_proj layer=7 pr=0.8 ppl=5.34
367
- [54/224] mlp.gate_proj layer=7 pr=0.9 ppl=5.34
368
- [55/224] mlp.up_proj layer=7 pr=0.4 ppl=5.36
369
- [55/224] mlp.up_proj layer=7 pr=0.5 ppl=5.35
370
- [55/224] mlp.up_proj layer=7 pr=0.6 ppl=5.35
371
- [55/224] mlp.up_proj layer=7 pr=0.7 ppl=5.34
372
- [55/224] mlp.up_proj layer=7 pr=0.8 ppl=5.34
373
- [55/224] mlp.up_proj layer=7 pr=0.9 ppl=5.34
374
- [56/224] mlp.down_proj layer=7 pr=0.4 ppl=5.36
375
- [56/224] mlp.down_proj layer=7 pr=0.5 ppl=5.35
376
- [56/224] mlp.down_proj layer=7 pr=0.6 ppl=5.35
377
- [56/224] mlp.down_proj layer=7 pr=0.7 ppl=5.35
378
- [56/224] mlp.down_proj layer=7 pr=0.8 ppl=5.35
379
- [56/224] mlp.down_proj layer=7 pr=0.9 ppl=5.34
380
- [57/224] self_attn.q_proj layer=8 pr=0.4 ppl=5.34
381
- [57/224] self_attn.q_proj layer=8 pr=0.5 ppl=5.34
382
- [57/224] self_attn.q_proj layer=8 pr=0.6 ppl=5.34
383
- [57/224] self_attn.q_proj layer=8 pr=0.7 ppl=5.34
384
- [57/224] self_attn.q_proj layer=8 pr=0.8 ppl=5.34
385
- [57/224] self_attn.q_proj layer=8 pr=0.9 ppl=5.34
386
- [58/224] self_attn.k_proj layer=8 pr=0.4 ppl=5.34
387
- [58/224] self_attn.k_proj layer=8 pr=0.5 ppl=5.34
388
- [58/224] self_attn.k_proj layer=8 pr=0.6 ppl=5.34
389
- [58/224] self_attn.k_proj layer=8 pr=0.7 ppl=5.34
390
- [58/224] self_attn.k_proj layer=8 pr=0.8 ppl=5.34
391
- [58/224] self_attn.k_proj layer=8 pr=0.9 ppl=5.34
392
- [59/224] self_attn.v_proj layer=8 pr=0.4 ppl=5.34
393
- [59/224] self_attn.v_proj layer=8 pr=0.5 ppl=5.34
394
- [59/224] self_attn.v_proj layer=8 pr=0.6 ppl=5.34
395
- [59/224] self_attn.v_proj layer=8 pr=0.7 ppl=5.34
396
- [59/224] self_attn.v_proj layer=8 pr=0.8 ppl=5.34
397
- [59/224] self_attn.v_proj layer=8 pr=0.9 ppl=5.34
398
- [60/224] self_attn.o_proj layer=8 pr=0.4 ppl=5.34
399
- [60/224] self_attn.o_proj layer=8 pr=0.5 ppl=5.34
400
- [60/224] self_attn.o_proj layer=8 pr=0.6 ppl=5.34
401
- [60/224] self_attn.o_proj layer=8 pr=0.7 ppl=5.34
402
- [60/224] self_attn.o_proj layer=8 pr=0.8 ppl=5.34
403
- [60/224] self_attn.o_proj layer=8 pr=0.9 ppl=5.34
404
- [61/224] mlp.gate_proj layer=8 pr=0.4 ppl=5.35
405
- [61/224] mlp.gate_proj layer=8 pr=0.5 ppl=5.35
406
- [61/224] mlp.gate_proj layer=8 pr=0.6 ppl=5.34
407
- [61/224] mlp.gate_proj layer=8 pr=0.7 ppl=5.34
408
- [61/224] mlp.gate_proj layer=8 pr=0.8 ppl=5.34
409
- [61/224] mlp.gate_proj layer=8 pr=0.9 ppl=5.34
410
- [62/224] mlp.up_proj layer=8 pr=0.4 ppl=5.36
411
- [62/224] mlp.up_proj layer=8 pr=0.5 ppl=5.35
412
- [62/224] mlp.up_proj layer=8 pr=0.6 ppl=5.35
413
- [62/224] mlp.up_proj layer=8 pr=0.7 ppl=5.34
414
- [62/224] mlp.up_proj layer=8 pr=0.8 ppl=5.34
415
- [62/224] mlp.up_proj layer=8 pr=0.9 ppl=5.34
416
- [63/224] mlp.down_proj layer=8 pr=0.4 ppl=5.35
417
- [63/224] mlp.down_proj layer=8 pr=0.5 ppl=5.35
418
- [63/224] mlp.down_proj layer=8 pr=0.6 ppl=5.35
419
- [63/224] mlp.down_proj layer=8 pr=0.7 ppl=5.34
420
- [63/224] mlp.down_proj layer=8 pr=0.8 ppl=5.34
421
- [63/224] mlp.down_proj layer=8 pr=0.9 ppl=5.34
422
- [64/224] self_attn.q_proj layer=9 pr=0.4 ppl=5.34
423
- [64/224] self_attn.q_proj layer=9 pr=0.5 ppl=5.34
424
- [64/224] self_attn.q_proj layer=9 pr=0.6 ppl=5.34
425
- [64/224] self_attn.q_proj layer=9 pr=0.7 ppl=5.34
426
- [64/224] self_attn.q_proj layer=9 pr=0.8 ppl=5.34
427
- [64/224] self_attn.q_proj layer=9 pr=0.9 ppl=5.34
428
- [65/224] self_attn.k_proj layer=9 pr=0.4 ppl=5.34
429
- [65/224] self_attn.k_proj layer=9 pr=0.5 ppl=5.34
430
- [65/224] self_attn.k_proj layer=9 pr=0.6 ppl=5.34
431
- [65/224] self_attn.k_proj layer=9 pr=0.7 ppl=5.34
432
- [65/224] self_attn.k_proj layer=9 pr=0.8 ppl=5.34
433
- [65/224] self_attn.k_proj layer=9 pr=0.9 ppl=5.34
434
- [66/224] self_attn.v_proj layer=9 pr=0.4 ppl=5.35
435
- [66/224] self_attn.v_proj layer=9 pr=0.5 ppl=5.34
436
- [66/224] self_attn.v_proj layer=9 pr=0.6 ppl=5.34
437
- [66/224] self_attn.v_proj layer=9 pr=0.7 ppl=5.34
438
- [66/224] self_attn.v_proj layer=9 pr=0.8 ppl=5.34
439
- [66/224] self_attn.v_proj layer=9 pr=0.9 ppl=5.34
440
- [67/224] self_attn.o_proj layer=9 pr=0.4 ppl=5.34
441
- [67/224] self_attn.o_proj layer=9 pr=0.5 ppl=5.34
442
- [67/224] self_attn.o_proj layer=9 pr=0.6 ppl=5.34
443
- [67/224] self_attn.o_proj layer=9 pr=0.7 ppl=5.34
444
- [67/224] self_attn.o_proj layer=9 pr=0.8 ppl=5.34
445
- [67/224] self_attn.o_proj layer=9 pr=0.9 ppl=5.34
446
- [68/224] mlp.gate_proj layer=9 pr=0.4 ppl=5.35
447
- [68/224] mlp.gate_proj layer=9 pr=0.5 ppl=5.35
448
- [68/224] mlp.gate_proj layer=9 pr=0.6 ppl=5.34
449
- [68/224] mlp.gate_proj layer=9 pr=0.7 ppl=5.34
450
- [68/224] mlp.gate_proj layer=9 pr=0.8 ppl=5.34
451
- [68/224] mlp.gate_proj layer=9 pr=0.9 ppl=5.34
452
- [69/224] mlp.up_proj layer=9 pr=0.4 ppl=5.36
453
- [69/224] mlp.up_proj layer=9 pr=0.5 ppl=5.35
454
- [69/224] mlp.up_proj layer=9 pr=0.6 ppl=5.35
455
- [69/224] mlp.up_proj layer=9 pr=0.7 ppl=5.34
456
- [69/224] mlp.up_proj layer=9 pr=0.8 ppl=5.34
457
- [69/224] mlp.up_proj layer=9 pr=0.9 ppl=5.34
458
- [70/224] mlp.down_proj layer=9 pr=0.4 ppl=5.36
459
- [70/224] mlp.down_proj layer=9 pr=0.5 ppl=5.35
460
- [70/224] mlp.down_proj layer=9 pr=0.6 ppl=5.35
461
- [70/224] mlp.down_proj layer=9 pr=0.7 ppl=5.35
462
- [70/224] mlp.down_proj layer=9 pr=0.8 ppl=5.34
463
- [70/224] mlp.down_proj layer=9 pr=0.9 ppl=5.34
464
- [71/224] self_attn.q_proj layer=10 pr=0.4 ppl=5.34
465
- [71/224] self_attn.q_proj layer=10 pr=0.5 ppl=5.34
466
- [71/224] self_attn.q_proj layer=10 pr=0.6 ppl=5.34
467
- [71/224] self_attn.q_proj layer=10 pr=0.7 ppl=5.34
468
- [71/224] self_attn.q_proj layer=10 pr=0.8 ppl=5.34
469
- [71/224] self_attn.q_proj layer=10 pr=0.9 ppl=5.34
470
- [72/224] self_attn.k_proj layer=10 pr=0.4 ppl=5.33
471
- [72/224] self_attn.k_proj layer=10 pr=0.5 ppl=5.33
472
- [72/224] self_attn.k_proj layer=10 pr=0.6 ppl=5.33
473
- [72/224] self_attn.k_proj layer=10 pr=0.7 ppl=5.33
474
- [72/224] self_attn.k_proj layer=10 pr=0.8 ppl=5.34
475
- [72/224] self_attn.k_proj layer=10 pr=0.9 ppl=5.34
476
- [73/224] self_attn.v_proj layer=10 pr=0.4 ppl=5.35
477
- [73/224] self_attn.v_proj layer=10 pr=0.5 ppl=5.35
478
- [73/224] self_attn.v_proj layer=10 pr=0.6 ppl=5.34
479
- [73/224] self_attn.v_proj layer=10 pr=0.7 ppl=5.34
480
- [73/224] self_attn.v_proj layer=10 pr=0.8 ppl=5.34
481
- [73/224] self_attn.v_proj layer=10 pr=0.9 ppl=5.34
482
- [74/224] self_attn.o_proj layer=10 pr=0.4 ppl=5.33
483
- [74/224] self_attn.o_proj layer=10 pr=0.5 ppl=5.33
484
- [74/224] self_attn.o_proj layer=10 pr=0.6 ppl=5.33
485
- [74/224] self_attn.o_proj layer=10 pr=0.7 ppl=5.33
486
- [74/224] self_attn.o_proj layer=10 pr=0.8 ppl=5.33
487
- [74/224] self_attn.o_proj layer=10 pr=0.9 ppl=5.34
488
- [75/224] mlp.gate_proj layer=10 pr=0.4 ppl=5.35
489
- [75/224] mlp.gate_proj layer=10 pr=0.5 ppl=5.34
490
- [75/224] mlp.gate_proj layer=10 pr=0.6 ppl=5.34
491
- [75/224] mlp.gate_proj layer=10 pr=0.7 ppl=5.34
492
- [75/224] mlp.gate_proj layer=10 pr=0.8 ppl=5.34
493
- [75/224] mlp.gate_proj layer=10 pr=0.9 ppl=5.34
494
- [76/224] mlp.up_proj layer=10 pr=0.4 ppl=5.35
495
- [76/224] mlp.up_proj layer=10 pr=0.5 ppl=5.35
496
- [76/224] mlp.up_proj layer=10 pr=0.6 ppl=5.34
497
- [76/224] mlp.up_proj layer=10 pr=0.7 ppl=5.34
498
- [76/224] mlp.up_proj layer=10 pr=0.8 ppl=5.34
499
- [76/224] mlp.up_proj layer=10 pr=0.9 ppl=5.34
500
- [77/224] mlp.down_proj layer=10 pr=0.4 ppl=5.35
501
- [77/224] mlp.down_proj layer=10 pr=0.5 ppl=5.35
502
- [77/224] mlp.down_proj layer=10 pr=0.6 ppl=5.34
503
- [77/224] mlp.down_proj layer=10 pr=0.7 ppl=5.34
504
- [77/224] mlp.down_proj layer=10 pr=0.8 ppl=5.34
505
- [77/224] mlp.down_proj layer=10 pr=0.9 ppl=5.34
506
- [78/224] self_attn.q_proj layer=11 pr=0.4 ppl=5.34
507
- [78/224] self_attn.q_proj layer=11 pr=0.5 ppl=5.34
508
- [78/224] self_attn.q_proj layer=11 pr=0.6 ppl=5.34
509
- [78/224] self_attn.q_proj layer=11 pr=0.7 ppl=5.34
510
- [78/224] self_attn.q_proj layer=11 pr=0.8 ppl=5.34
511
- [78/224] self_attn.q_proj layer=11 pr=0.9 ppl=5.34
512
- [79/224] self_attn.k_proj layer=11 pr=0.4 ppl=5.34
513
- [79/224] self_attn.k_proj layer=11 pr=0.5 ppl=5.34
514
- [79/224] self_attn.k_proj layer=11 pr=0.6 ppl=5.34
515
- [79/224] self_attn.k_proj layer=11 pr=0.7 ppl=5.34
516
- [79/224] self_attn.k_proj layer=11 pr=0.8 ppl=5.34
517
- [79/224] self_attn.k_proj layer=11 pr=0.9 ppl=5.34
518
- [80/224] self_attn.v_proj layer=11 pr=0.4 ppl=5.36
519
- [80/224] self_attn.v_proj layer=11 pr=0.5 ppl=5.35
520
- [80/224] self_attn.v_proj layer=11 pr=0.6 ppl=5.35
521
- [80/224] self_attn.v_proj layer=11 pr=0.7 ppl=5.35
522
- [80/224] self_attn.v_proj layer=11 pr=0.8 ppl=5.35
523
- [80/224] self_attn.v_proj layer=11 pr=0.9 ppl=5.35
524
- [81/224] self_attn.o_proj layer=11 pr=0.4 ppl=5.34
525
- [81/224] self_attn.o_proj layer=11 pr=0.5 ppl=5.34
526
- [81/224] self_attn.o_proj layer=11 pr=0.6 ppl=5.34
527
- [81/224] self_attn.o_proj layer=11 pr=0.7 ppl=5.34
528
- [81/224] self_attn.o_proj layer=11 pr=0.8 ppl=5.34
529
- [81/224] self_attn.o_proj layer=11 pr=0.9 ppl=5.34
530
- [82/224] mlp.gate_proj layer=11 pr=0.4 ppl=5.35
531
- [82/224] mlp.gate_proj layer=11 pr=0.5 ppl=5.34
532
- [82/224] mlp.gate_proj layer=11 pr=0.6 ppl=5.34
533
- [82/224] mlp.gate_proj layer=11 pr=0.7 ppl=5.34
534
- [82/224] mlp.gate_proj layer=11 pr=0.8 ppl=5.34
535
- [82/224] mlp.gate_proj layer=11 pr=0.9 ppl=5.34
536
- [83/224] mlp.up_proj layer=11 pr=0.4 ppl=5.35
537
- [83/224] mlp.up_proj layer=11 pr=0.5 ppl=5.35
538
- [83/224] mlp.up_proj layer=11 pr=0.6 ppl=5.34
539
- [83/224] mlp.up_proj layer=11 pr=0.7 ppl=5.34
540
- [83/224] mlp.up_proj layer=11 pr=0.8 ppl=5.34
541
- [83/224] mlp.up_proj layer=11 pr=0.9 ppl=5.34
542
- [84/224] mlp.down_proj layer=11 pr=0.4 ppl=5.36
543
- [84/224] mlp.down_proj layer=11 pr=0.5 ppl=5.35
544
- [84/224] mlp.down_proj layer=11 pr=0.6 ppl=5.34
545
- [84/224] mlp.down_proj layer=11 pr=0.7 ppl=5.34
546
- [84/224] mlp.down_proj layer=11 pr=0.8 ppl=5.34
547
- [84/224] mlp.down_proj layer=11 pr=0.9 ppl=5.34
548
- [85/224] self_attn.q_proj layer=12 pr=0.4 ppl=5.34
549
- [85/224] self_attn.q_proj layer=12 pr=0.5 ppl=5.34
550
- [85/224] self_attn.q_proj layer=12 pr=0.6 ppl=5.34
551
- [85/224] self_attn.q_proj layer=12 pr=0.7 ppl=5.34
552
- [85/224] self_attn.q_proj layer=12 pr=0.8 ppl=5.34
553
- [85/224] self_attn.q_proj layer=12 pr=0.9 ppl=5.34
554
- [86/224] self_attn.k_proj layer=12 pr=0.4 ppl=5.34
555
- [86/224] self_attn.k_proj layer=12 pr=0.5 ppl=5.34
556
- [86/224] self_attn.k_proj layer=12 pr=0.6 ppl=5.34
557
- [86/224] self_attn.k_proj layer=12 pr=0.7 ppl=5.34
558
- [86/224] self_attn.k_proj layer=12 pr=0.8 ppl=5.34
559
- [86/224] self_attn.k_proj layer=12 pr=0.9 ppl=5.34
560
- [87/224] self_attn.v_proj layer=12 pr=0.4 ppl=5.35
561
- [87/224] self_attn.v_proj layer=12 pr=0.5 ppl=5.35
562
- [87/224] self_attn.v_proj layer=12 pr=0.6 ppl=5.35
563
- [87/224] self_attn.v_proj layer=12 pr=0.7 ppl=5.34
564
- [87/224] self_attn.v_proj layer=12 pr=0.8 ppl=5.34
565
- [87/224] self_attn.v_proj layer=12 pr=0.9 ppl=5.34
566
- [88/224] self_attn.o_proj layer=12 pr=0.4 ppl=5.34
567
- [88/224] self_attn.o_proj layer=12 pr=0.5 ppl=5.34
568
- [88/224] self_attn.o_proj layer=12 pr=0.6 ppl=5.34
569
- [88/224] self_attn.o_proj layer=12 pr=0.7 ppl=5.34
570
- [88/224] self_attn.o_proj layer=12 pr=0.8 ppl=5.34
571
- [88/224] self_attn.o_proj layer=12 pr=0.9 ppl=5.34
572
- [89/224] mlp.gate_proj layer=12 pr=0.4 ppl=5.35
573
- [89/224] mlp.gate_proj layer=12 pr=0.5 ppl=5.35
574
- [89/224] mlp.gate_proj layer=12 pr=0.6 ppl=5.34
575
- [89/224] mlp.gate_proj layer=12 pr=0.7 ppl=5.34
576
- [89/224] mlp.gate_proj layer=12 pr=0.8 ppl=5.34
577
- [89/224] mlp.gate_proj layer=12 pr=0.9 ppl=5.34
578
- [90/224] mlp.up_proj layer=12 pr=0.4 ppl=5.36
579
- [90/224] mlp.up_proj layer=12 pr=0.5 ppl=5.35
580
- [90/224] mlp.up_proj layer=12 pr=0.6 ppl=5.35
581
- [90/224] mlp.up_proj layer=12 pr=0.7 ppl=5.35
582
- [90/224] mlp.up_proj layer=12 pr=0.8 ppl=5.34
583
- [90/224] mlp.up_proj layer=12 pr=0.9 ppl=5.34
584
- [91/224] mlp.down_proj layer=12 pr=0.4 ppl=5.36
585
- [91/224] mlp.down_proj layer=12 pr=0.5 ppl=5.35
586
- [91/224] mlp.down_proj layer=12 pr=0.6 ppl=5.35
587
- [91/224] mlp.down_proj layer=12 pr=0.7 ppl=5.35
588
- [91/224] mlp.down_proj layer=12 pr=0.8 ppl=5.34
589
- [91/224] mlp.down_proj layer=12 pr=0.9 ppl=5.34
590
- [92/224] self_attn.q_proj layer=13 pr=0.4 ppl=5.34
591
- [92/224] self_attn.q_proj layer=13 pr=0.5 ppl=5.34
592
- [92/224] self_attn.q_proj layer=13 pr=0.6 ppl=5.34
593
- [92/224] self_attn.q_proj layer=13 pr=0.7 ppl=5.34
594
- [92/224] self_attn.q_proj layer=13 pr=0.8 ppl=5.34
595
- [92/224] self_attn.q_proj layer=13 pr=0.9 ppl=5.34
596
- [93/224] self_attn.k_proj layer=13 pr=0.4 ppl=5.34
597
- [93/224] self_attn.k_proj layer=13 pr=0.5 ppl=5.34
598
- [93/224] self_attn.k_proj layer=13 pr=0.6 ppl=5.34
599
- [93/224] self_attn.k_proj layer=13 pr=0.7 ppl=5.34
600
- [93/224] self_attn.k_proj layer=13 pr=0.8 ppl=5.34
601
- [93/224] self_attn.k_proj layer=13 pr=0.9 ppl=5.34
602
- [94/224] self_attn.v_proj layer=13 pr=0.4 ppl=5.35
603
- [94/224] self_attn.v_proj layer=13 pr=0.5 ppl=5.35
604
- [94/224] self_attn.v_proj layer=13 pr=0.6 ppl=5.35
605
- [94/224] self_attn.v_proj layer=13 pr=0.7 ppl=5.35
606
- [94/224] self_attn.v_proj layer=13 pr=0.8 ppl=5.35
607
- [94/224] self_attn.v_proj layer=13 pr=0.9 ppl=5.35
608
- [95/224] self_attn.o_proj layer=13 pr=0.4 ppl=5.34
609
- [95/224] self_attn.o_proj layer=13 pr=0.5 ppl=5.34
610
- [95/224] self_attn.o_proj layer=13 pr=0.6 ppl=5.34
611
- [95/224] self_attn.o_proj layer=13 pr=0.7 ppl=5.34
612
- [95/224] self_attn.o_proj layer=13 pr=0.8 ppl=5.34
613
- [95/224] self_attn.o_proj layer=13 pr=0.9 ppl=5.34
614
- [96/224] mlp.gate_proj layer=13 pr=0.4 ppl=5.35
615
- [96/224] mlp.gate_proj layer=13 pr=0.5 ppl=5.34
616
- [96/224] mlp.gate_proj layer=13 pr=0.6 ppl=5.34
617
- [96/224] mlp.gate_proj layer=13 pr=0.7 ppl=5.34
618
- [96/224] mlp.gate_proj layer=13 pr=0.8 ppl=5.34
619
- [96/224] mlp.gate_proj layer=13 pr=0.9 ppl=5.34
620
- [97/224] mlp.up_proj layer=13 pr=0.4 ppl=5.35
621
- [97/224] mlp.up_proj layer=13 pr=0.5 ppl=5.35
622
- [97/224] mlp.up_proj layer=13 pr=0.6 ppl=5.34
623
- [97/224] mlp.up_proj layer=13 pr=0.7 ppl=5.34
624
- [97/224] mlp.up_proj layer=13 pr=0.8 ppl=5.34
625
- [97/224] mlp.up_proj layer=13 pr=0.9 ppl=5.34
626
- [98/224] mlp.down_proj layer=13 pr=0.4 ppl=5.36
627
- [98/224] mlp.down_proj layer=13 pr=0.5 ppl=5.35
628
- [98/224] mlp.down_proj layer=13 pr=0.6 ppl=5.35
629
- [98/224] mlp.down_proj layer=13 pr=0.7 ppl=5.34
630
- [98/224] mlp.down_proj layer=13 pr=0.8 ppl=5.34
631
- [98/224] mlp.down_proj layer=13 pr=0.9 ppl=5.34
632
- [99/224] self_attn.q_proj layer=14 pr=0.4 ppl=5.34
633
- [99/224] self_attn.q_proj layer=14 pr=0.5 ppl=5.34
634
- [99/224] self_attn.q_proj layer=14 pr=0.6 ppl=5.34
635
- [99/224] self_attn.q_proj layer=14 pr=0.7 ppl=5.34
636
- [99/224] self_attn.q_proj layer=14 pr=0.8 ppl=5.34
637
- [99/224] self_attn.q_proj layer=14 pr=0.9 ppl=5.34
638
- [100/224] self_attn.k_proj layer=14 pr=0.4 ppl=5.34
639
- [100/224] self_attn.k_proj layer=14 pr=0.5 ppl=5.34
640
- [100/224] self_attn.k_proj layer=14 pr=0.6 ppl=5.34
641
- [100/224] self_attn.k_proj layer=14 pr=0.7 ppl=5.34
642
- [100/224] self_attn.k_proj layer=14 pr=0.8 ppl=5.34
643
- [100/224] self_attn.k_proj layer=14 pr=0.9 ppl=5.34
644
- [101/224] self_attn.v_proj layer=14 pr=0.4 ppl=5.35
645
- [101/224] self_attn.v_proj layer=14 pr=0.5 ppl=5.34
646
- [101/224] self_attn.v_proj layer=14 pr=0.6 ppl=5.34
647
- [101/224] self_attn.v_proj layer=14 pr=0.7 ppl=5.34
648
- [101/224] self_attn.v_proj layer=14 pr=0.8 ppl=5.34
649
- [101/224] self_attn.v_proj layer=14 pr=0.9 ppl=5.34
650
- [102/224] self_attn.o_proj layer=14 pr=0.4 ppl=5.34
651
- [102/224] self_attn.o_proj layer=14 pr=0.5 ppl=5.34
652
- [102/224] self_attn.o_proj layer=14 pr=0.6 ppl=5.34
653
- [102/224] self_attn.o_proj layer=14 pr=0.7 ppl=5.34
654
- [102/224] self_attn.o_proj layer=14 pr=0.8 ppl=5.34
655
- [102/224] self_attn.o_proj layer=14 pr=0.9 ppl=5.34
656
- [103/224] mlp.gate_proj layer=14 pr=0.4 ppl=5.35
657
- [103/224] mlp.gate_proj layer=14 pr=0.5 ppl=5.35
658
- [103/224] mlp.gate_proj layer=14 pr=0.6 ppl=5.34
659
- [103/224] mlp.gate_proj layer=14 pr=0.7 ppl=5.34
660
- [103/224] mlp.gate_proj layer=14 pr=0.8 ppl=5.34
661
- [103/224] mlp.gate_proj layer=14 pr=0.9 ppl=5.34
662
- [104/224] mlp.up_proj layer=14 pr=0.4 ppl=5.36
663
- [104/224] mlp.up_proj layer=14 pr=0.5 ppl=5.35
664
- [104/224] mlp.up_proj layer=14 pr=0.6 ppl=5.35
665
- [104/224] mlp.up_proj layer=14 pr=0.7 ppl=5.34
666
- [104/224] mlp.up_proj layer=14 pr=0.8 ppl=5.34
667
- [104/224] mlp.up_proj layer=14 pr=0.9 ppl=5.34
668
- [105/224] mlp.down_proj layer=14 pr=0.4 ppl=5.36
669
- [105/224] mlp.down_proj layer=14 pr=0.5 ppl=5.35
670
- [105/224] mlp.down_proj layer=14 pr=0.6 ppl=5.35
671
- [105/224] mlp.down_proj layer=14 pr=0.7 ppl=5.34
672
- [105/224] mlp.down_proj layer=14 pr=0.8 ppl=5.34
673
- [105/224] mlp.down_proj layer=14 pr=0.9 ppl=5.34
674
- [106/224] self_attn.q_proj layer=15 pr=0.4 ppl=5.34
675
- [106/224] self_attn.q_proj layer=15 pr=0.5 ppl=5.34
676
- [106/224] self_attn.q_proj layer=15 pr=0.6 ppl=5.34
677
- [106/224] self_attn.q_proj layer=15 pr=0.7 ppl=5.34
678
- [106/224] self_attn.q_proj layer=15 pr=0.8 ppl=5.34
679
- [106/224] self_attn.q_proj layer=15 pr=0.9 ppl=5.34
680
- [107/224] self_attn.k_proj layer=15 pr=0.4 ppl=5.34
681
- [107/224] self_attn.k_proj layer=15 pr=0.5 ppl=5.34
682
- [107/224] self_attn.k_proj layer=15 pr=0.6 ppl=5.34
683
- [107/224] self_attn.k_proj layer=15 pr=0.7 ppl=5.34
684
- [107/224] self_attn.k_proj layer=15 pr=0.8 ppl=5.34
685
- [107/224] self_attn.k_proj layer=15 pr=0.9 ppl=5.34
686
- [108/224] self_attn.v_proj layer=15 pr=0.4 ppl=5.36
687
- [108/224] self_attn.v_proj layer=15 pr=0.5 ppl=5.36
688
- [108/224] self_attn.v_proj layer=15 pr=0.6 ppl=5.35
689
- [108/224] self_attn.v_proj layer=15 pr=0.7 ppl=5.35
690
- [108/224] self_attn.v_proj layer=15 pr=0.8 ppl=5.35
691
- [108/224] self_attn.v_proj layer=15 pr=0.9 ppl=5.35
692
- [109/224] self_attn.o_proj layer=15 pr=0.4 ppl=5.34
693
- [109/224] self_attn.o_proj layer=15 pr=0.5 ppl=5.34
694
- [109/224] self_attn.o_proj layer=15 pr=0.6 ppl=5.34
695
- [109/224] self_attn.o_proj layer=15 pr=0.7 ppl=5.34
696
- [109/224] self_attn.o_proj layer=15 pr=0.8 ppl=5.34
697
- [109/224] self_attn.o_proj layer=15 pr=0.9 ppl=5.34
698
- [110/224] mlp.gate_proj layer=15 pr=0.4 ppl=5.35
699
- [110/224] mlp.gate_proj layer=15 pr=0.5 ppl=5.35
700
- [110/224] mlp.gate_proj layer=15 pr=0.6 ppl=5.34
701
- [110/224] mlp.gate_proj layer=15 pr=0.7 ppl=5.34
702
- [110/224] mlp.gate_proj layer=15 pr=0.8 ppl=5.34
703
- [110/224] mlp.gate_proj layer=15 pr=0.9 ppl=5.34
704
- [111/224] mlp.up_proj layer=15 pr=0.4 ppl=5.36
705
- [111/224] mlp.up_proj layer=15 pr=0.5 ppl=5.35
706
- [111/224] mlp.up_proj layer=15 pr=0.6 ppl=5.35
707
- [111/224] mlp.up_proj layer=15 pr=0.7 ppl=5.34
708
- [111/224] mlp.up_proj layer=15 pr=0.8 ppl=5.34
709
- [111/224] mlp.up_proj layer=15 pr=0.9 ppl=5.34
710
- [112/224] mlp.down_proj layer=15 pr=0.4 ppl=5.36
711
- [112/224] mlp.down_proj layer=15 pr=0.5 ppl=5.35
712
- [112/224] mlp.down_proj layer=15 pr=0.6 ppl=5.35
713
- [112/224] mlp.down_proj layer=15 pr=0.7 ppl=5.35
714
- [112/224] mlp.down_proj layer=15 pr=0.8 ppl=5.34
715
- [112/224] mlp.down_proj layer=15 pr=0.9 ppl=5.34
716
- [113/224] self_attn.q_proj layer=16 pr=0.4 ppl=5.34
717
- [113/224] self_attn.q_proj layer=16 pr=0.5 ppl=5.34
718
- [113/224] self_attn.q_proj layer=16 pr=0.6 ppl=5.34
719
- [113/224] self_attn.q_proj layer=16 pr=0.7 ppl=5.34
720
- [113/224] self_attn.q_proj layer=16 pr=0.8 ppl=5.34
721
- [113/224] self_attn.q_proj layer=16 pr=0.9 ppl=5.34
722
- [114/224] self_attn.k_proj layer=16 pr=0.4 ppl=5.34
723
- [114/224] self_attn.k_proj layer=16 pr=0.5 ppl=5.34
724
- [114/224] self_attn.k_proj layer=16 pr=0.6 ppl=5.34
725
- [114/224] self_attn.k_proj layer=16 pr=0.7 ppl=5.34
726
- [114/224] self_attn.k_proj layer=16 pr=0.8 ppl=5.34
727
- [114/224] self_attn.k_proj layer=16 pr=0.9 ppl=5.34
728
- [115/224] self_attn.v_proj layer=16 pr=0.4 ppl=5.35
729
- [115/224] self_attn.v_proj layer=16 pr=0.5 ppl=5.35
730
- [115/224] self_attn.v_proj layer=16 pr=0.6 ppl=5.35
731
- [115/224] self_attn.v_proj layer=16 pr=0.7 ppl=5.35
732
- [115/224] self_attn.v_proj layer=16 pr=0.8 ppl=5.34
733
- [115/224] self_attn.v_proj layer=16 pr=0.9 ppl=5.34
734
- [116/224] self_attn.o_proj layer=16 pr=0.4 ppl=5.34
735
- [116/224] self_attn.o_proj layer=16 pr=0.5 ppl=5.34
736
- [116/224] self_attn.o_proj layer=16 pr=0.6 ppl=5.34
737
- [116/224] self_attn.o_proj layer=16 pr=0.7 ppl=5.34
738
- [116/224] self_attn.o_proj layer=16 pr=0.8 ppl=5.34
739
- [116/224] self_attn.o_proj layer=16 pr=0.9 ppl=5.34
740
- [117/224] mlp.gate_proj layer=16 pr=0.4 ppl=5.35
741
- [117/224] mlp.gate_proj layer=16 pr=0.5 ppl=5.35
742
- [117/224] mlp.gate_proj layer=16 pr=0.6 ppl=5.34
743
- [117/224] mlp.gate_proj layer=16 pr=0.7 ppl=5.34
744
- [117/224] mlp.gate_proj layer=16 pr=0.8 ppl=5.34
745
- [117/224] mlp.gate_proj layer=16 pr=0.9 ppl=5.34
746
- [118/224] mlp.up_proj layer=16 pr=0.4 ppl=5.36
747
- [118/224] mlp.up_proj layer=16 pr=0.5 ppl=5.35
748
- [118/224] mlp.up_proj layer=16 pr=0.6 ppl=5.35
749
- [118/224] mlp.up_proj layer=16 pr=0.7 ppl=5.34
750
- [118/224] mlp.up_proj layer=16 pr=0.8 ppl=5.34
751
- [118/224] mlp.up_proj layer=16 pr=0.9 ppl=5.34
752
- [119/224] mlp.down_proj layer=16 pr=0.4 ppl=5.37
753
- [119/224] mlp.down_proj layer=16 pr=0.5 ppl=5.36
754
- [119/224] mlp.down_proj layer=16 pr=0.6 ppl=5.35
755
- [119/224] mlp.down_proj layer=16 pr=0.7 ppl=5.35
756
- [119/224] mlp.down_proj layer=16 pr=0.8 ppl=5.34
757
- [119/224] mlp.down_proj layer=16 pr=0.9 ppl=5.34
758
- [120/224] self_attn.q_proj layer=17 pr=0.4 ppl=5.34
759
- [120/224] self_attn.q_proj layer=17 pr=0.5 ppl=5.34
760
- [120/224] self_attn.q_proj layer=17 pr=0.6 ppl=5.34
761
- [120/224] self_attn.q_proj layer=17 pr=0.7 ppl=5.34
762
- [120/224] self_attn.q_proj layer=17 pr=0.8 ppl=5.34
763
- [120/224] self_attn.q_proj layer=17 pr=0.9 ppl=5.34
764
- [121/224] self_attn.k_proj layer=17 pr=0.4 ppl=5.34
765
- [121/224] self_attn.k_proj layer=17 pr=0.5 ppl=5.34
766
- [121/224] self_attn.k_proj layer=17 pr=0.6 ppl=5.34
767
- [121/224] self_attn.k_proj layer=17 pr=0.7 ppl=5.34
768
- [121/224] self_attn.k_proj layer=17 pr=0.8 ppl=5.34
769
- [121/224] self_attn.k_proj layer=17 pr=0.9 ppl=5.34
770
- [122/224] self_attn.v_proj layer=17 pr=0.4 ppl=5.35
771
- [122/224] self_attn.v_proj layer=17 pr=0.5 ppl=5.35
772
- [122/224] self_attn.v_proj layer=17 pr=0.6 ppl=5.35
773
- [122/224] self_attn.v_proj layer=17 pr=0.7 ppl=5.35
774
- [122/224] self_attn.v_proj layer=17 pr=0.8 ppl=5.35
775
- [122/224] self_attn.v_proj layer=17 pr=0.9 ppl=5.35
776
- [123/224] self_attn.o_proj layer=17 pr=0.4 ppl=5.34
777
- [123/224] self_attn.o_proj layer=17 pr=0.5 ppl=5.34
778
- [123/224] self_attn.o_proj layer=17 pr=0.6 ppl=5.34
779
- [123/224] self_attn.o_proj layer=17 pr=0.7 ppl=5.34
780
- [123/224] self_attn.o_proj layer=17 pr=0.8 ppl=5.34
781
- [123/224] self_attn.o_proj layer=17 pr=0.9 ppl=5.34
782
- [124/224] mlp.gate_proj layer=17 pr=0.4 ppl=5.36
783
- [124/224] mlp.gate_proj layer=17 pr=0.5 ppl=5.36
784
- [124/224] mlp.gate_proj layer=17 pr=0.6 ppl=5.35
785
- [124/224] mlp.gate_proj layer=17 pr=0.7 ppl=5.34
786
- [124/224] mlp.gate_proj layer=17 pr=0.8 ppl=5.34
787
- [124/224] mlp.gate_proj layer=17 pr=0.9 ppl=5.34
788
- [125/224] mlp.up_proj layer=17 pr=0.4 ppl=5.36
789
- [125/224] mlp.up_proj layer=17 pr=0.5 ppl=5.35
790
- [125/224] mlp.up_proj layer=17 pr=0.6 ppl=5.35
791
- [125/224] mlp.up_proj layer=17 pr=0.7 ppl=5.34
792
- [125/224] mlp.up_proj layer=17 pr=0.8 ppl=5.34
793
- [125/224] mlp.up_proj layer=17 pr=0.9 ppl=5.34
794
- [126/224] mlp.down_proj layer=17 pr=0.4 ppl=5.37
795
- [126/224] mlp.down_proj layer=17 pr=0.5 ppl=5.36
796
- [126/224] mlp.down_proj layer=17 pr=0.6 ppl=5.35
797
- [126/224] mlp.down_proj layer=17 pr=0.7 ppl=5.35
798
- [126/224] mlp.down_proj layer=17 pr=0.8 ppl=5.34
799
- [126/224] mlp.down_proj layer=17 pr=0.9 ppl=5.34
800
- [127/224] self_attn.q_proj layer=18 pr=0.4 ppl=5.34
801
- [127/224] self_attn.q_proj layer=18 pr=0.5 ppl=5.34
802
- [127/224] self_attn.q_proj layer=18 pr=0.6 ppl=5.34
803
- [127/224] self_attn.q_proj layer=18 pr=0.7 ppl=5.34
804
- [127/224] self_attn.q_proj layer=18 pr=0.8 ppl=5.34
805
- [127/224] self_attn.q_proj layer=18 pr=0.9 ppl=5.34
806
- [128/224] self_attn.k_proj layer=18 pr=0.4 ppl=5.34
807
- [128/224] self_attn.k_proj layer=18 pr=0.5 ppl=5.34
808
- [128/224] self_attn.k_proj layer=18 pr=0.6 ppl=5.34
809
- [128/224] self_attn.k_proj layer=18 pr=0.7 ppl=5.34
810
- [128/224] self_attn.k_proj layer=18 pr=0.8 ppl=5.34
811
- [128/224] self_attn.k_proj layer=18 pr=0.9 ppl=5.34
812
- [129/224] self_attn.v_proj layer=18 pr=0.4 ppl=5.35
813
- [129/224] self_attn.v_proj layer=18 pr=0.5 ppl=5.35
814
- [129/224] self_attn.v_proj layer=18 pr=0.6 ppl=5.35
815
- [129/224] self_attn.v_proj layer=18 pr=0.7 ppl=5.35
816
- [129/224] self_attn.v_proj layer=18 pr=0.8 ppl=5.35
817
- [129/224] self_attn.v_proj layer=18 pr=0.9 ppl=5.35
818
- [130/224] self_attn.o_proj layer=18 pr=0.4 ppl=5.34
819
- [130/224] self_attn.o_proj layer=18 pr=0.5 ppl=5.34
820
- [130/224] self_attn.o_proj layer=18 pr=0.6 ppl=5.34
821
- [130/224] self_attn.o_proj layer=18 pr=0.7 ppl=5.34
822
- [130/224] self_attn.o_proj layer=18 pr=0.8 ppl=5.34
823
- [130/224] self_attn.o_proj layer=18 pr=0.9 ppl=5.34
824
- [131/224] mlp.gate_proj layer=18 pr=0.4 ppl=5.36
825
- [131/224] mlp.gate_proj layer=18 pr=0.5 ppl=5.35
826
- [131/224] mlp.gate_proj layer=18 pr=0.6 ppl=5.35
827
- [131/224] mlp.gate_proj layer=18 pr=0.7 ppl=5.34
828
- [131/224] mlp.gate_proj layer=18 pr=0.8 ppl=5.34
829
- [131/224] mlp.gate_proj layer=18 pr=0.9 ppl=5.34
830
- [132/224] mlp.up_proj layer=18 pr=0.4 ppl=5.36
831
- [132/224] mlp.up_proj layer=18 pr=0.5 ppl=5.35
832
- [132/224] mlp.up_proj layer=18 pr=0.6 ppl=5.35
833
- [132/224] mlp.up_proj layer=18 pr=0.7 ppl=5.34
834
- [132/224] mlp.up_proj layer=18 pr=0.8 ppl=5.34
835
- [132/224] mlp.up_proj layer=18 pr=0.9 ppl=5.34
836
- [133/224] mlp.down_proj layer=18 pr=0.4 ppl=5.37
837
- [133/224] mlp.down_proj layer=18 pr=0.5 ppl=5.36
838
- [133/224] mlp.down_proj layer=18 pr=0.6 ppl=5.36
839
- [133/224] mlp.down_proj layer=18 pr=0.7 ppl=5.35
840
- [133/224] mlp.down_proj layer=18 pr=0.8 ppl=5.35
841
- [133/224] mlp.down_proj layer=18 pr=0.9 ppl=5.34
842
- [134/224] self_attn.q_proj layer=19 pr=0.4 ppl=5.34
843
- [134/224] self_attn.q_proj layer=19 pr=0.5 ppl=5.34
844
- [134/224] self_attn.q_proj layer=19 pr=0.6 ppl=5.34
845
- [134/224] self_attn.q_proj layer=19 pr=0.7 ppl=5.34
846
- [134/224] self_attn.q_proj layer=19 pr=0.8 ppl=5.34
847
- [134/224] self_attn.q_proj layer=19 pr=0.9 ppl=5.34
848
- [135/224] self_attn.k_proj layer=19 pr=0.4 ppl=5.33
849
- [135/224] self_attn.k_proj layer=19 pr=0.5 ppl=5.33
850
- [135/224] self_attn.k_proj layer=19 pr=0.6 ppl=5.33
851
- [135/224] self_attn.k_proj layer=19 pr=0.7 ppl=5.33
852
- [135/224] self_attn.k_proj layer=19 pr=0.8 ppl=5.33
853
- [135/224] self_attn.k_proj layer=19 pr=0.9 ppl=5.33
854
- [136/224] self_attn.v_proj layer=19 pr=0.4 ppl=5.34
855
- [136/224] self_attn.v_proj layer=19 pr=0.5 ppl=5.34
856
- [136/224] self_attn.v_proj layer=19 pr=0.6 ppl=5.34
857
- [136/224] self_attn.v_proj layer=19 pr=0.7 ppl=5.34
858
- [136/224] self_attn.v_proj layer=19 pr=0.8 ppl=5.34
859
- [136/224] self_attn.v_proj layer=19 pr=0.9 ppl=5.34
860
- [137/224] self_attn.o_proj layer=19 pr=0.4 ppl=5.34
861
- [137/224] self_attn.o_proj layer=19 pr=0.5 ppl=5.33
862
- [137/224] self_attn.o_proj layer=19 pr=0.6 ppl=5.33
863
- [137/224] self_attn.o_proj layer=19 pr=0.7 ppl=5.33
864
- [137/224] self_attn.o_proj layer=19 pr=0.8 ppl=5.33
865
- [137/224] self_attn.o_proj layer=19 pr=0.9 ppl=5.33
866
- [138/224] mlp.gate_proj layer=19 pr=0.4 ppl=5.35
867
- [138/224] mlp.gate_proj layer=19 pr=0.5 ppl=5.34
868
- [138/224] mlp.gate_proj layer=19 pr=0.6 ppl=5.34
869
- [138/224] mlp.gate_proj layer=19 pr=0.7 ppl=5.34
870
- [138/224] mlp.gate_proj layer=19 pr=0.8 ppl=5.34
871
- [138/224] mlp.gate_proj layer=19 pr=0.9 ppl=5.34
872
- [139/224] mlp.up_proj layer=19 pr=0.4 ppl=5.36
873
- [139/224] mlp.up_proj layer=19 pr=0.5 ppl=5.35
874
- [139/224] mlp.up_proj layer=19 pr=0.6 ppl=5.35
875
- [139/224] mlp.up_proj layer=19 pr=0.7 ppl=5.35
876
- [139/224] mlp.up_proj layer=19 pr=0.8 ppl=5.34
877
- [139/224] mlp.up_proj layer=19 pr=0.9 ppl=5.34
878
- [140/224] mlp.down_proj layer=19 pr=0.4 ppl=5.38
879
- [140/224] mlp.down_proj layer=19 pr=0.5 ppl=5.37
880
- [140/224] mlp.down_proj layer=19 pr=0.6 ppl=5.36
881
- [140/224] mlp.down_proj layer=19 pr=0.7 ppl=5.35
882
- [140/224] mlp.down_proj layer=19 pr=0.8 ppl=5.35
883
- [140/224] mlp.down_proj layer=19 pr=0.9 ppl=5.35
884
- [141/224] self_attn.q_proj layer=20 pr=0.4 ppl=5.34
885
- [141/224] self_attn.q_proj layer=20 pr=0.5 ppl=5.34
886
- [141/224] self_attn.q_proj layer=20 pr=0.6 ppl=5.34
887
- [141/224] self_attn.q_proj layer=20 pr=0.7 ppl=5.34
888
- [141/224] self_attn.q_proj layer=20 pr=0.8 ppl=5.34
889
- [141/224] self_attn.q_proj layer=20 pr=0.9 ppl=5.34
890
- [142/224] self_attn.k_proj layer=20 pr=0.4 ppl=5.35
891
- [142/224] self_attn.k_proj layer=20 pr=0.5 ppl=5.35
892
- [142/224] self_attn.k_proj layer=20 pr=0.6 ppl=5.35
893
- [142/224] self_attn.k_proj layer=20 pr=0.7 ppl=5.35
894
- [142/224] self_attn.k_proj layer=20 pr=0.8 ppl=5.35
895
- [142/224] self_attn.k_proj layer=20 pr=0.9 ppl=5.34
896
- [143/224] self_attn.v_proj layer=20 pr=0.4 ppl=5.34
897
- [143/224] self_attn.v_proj layer=20 pr=0.5 ppl=5.34
898
- [143/224] self_attn.v_proj layer=20 pr=0.6 ppl=5.34
899
- [143/224] self_attn.v_proj layer=20 pr=0.7 ppl=5.34
900
- [143/224] self_attn.v_proj layer=20 pr=0.8 ppl=5.34
901
- [143/224] self_attn.v_proj layer=20 pr=0.9 ppl=5.34
902
- [144/224] self_attn.o_proj layer=20 pr=0.4 ppl=5.34
903
- [144/224] self_attn.o_proj layer=20 pr=0.5 ppl=5.34
904
- [144/224] self_attn.o_proj layer=20 pr=0.6 ppl=5.34
905
- [144/224] self_attn.o_proj layer=20 pr=0.7 ppl=5.34
906
- [144/224] self_attn.o_proj layer=20 pr=0.8 ppl=5.34
907
- [144/224] self_attn.o_proj layer=20 pr=0.9 ppl=5.34
908
- [145/224] mlp.gate_proj layer=20 pr=0.4 ppl=5.35
909
- [145/224] mlp.gate_proj layer=20 pr=0.5 ppl=5.35
910
- [145/224] mlp.gate_proj layer=20 pr=0.6 ppl=5.34
911
- [145/224] mlp.gate_proj layer=20 pr=0.7 ppl=5.34
912
- [145/224] mlp.gate_proj layer=20 pr=0.8 ppl=5.34
913
- [145/224] mlp.gate_proj layer=20 pr=0.9 ppl=5.34
914
- [146/224] mlp.up_proj layer=20 pr=0.4 ppl=5.37
915
- [146/224] mlp.up_proj layer=20 pr=0.5 ppl=5.36
916
- [146/224] mlp.up_proj layer=20 pr=0.6 ppl=5.35
917
- [146/224] mlp.up_proj layer=20 pr=0.7 ppl=5.35
918
- [146/224] mlp.up_proj layer=20 pr=0.8 ppl=5.34
919
- [146/224] mlp.up_proj layer=20 pr=0.9 ppl=5.34
920
- [147/224] mlp.down_proj layer=20 pr=0.4 ppl=5.38
921
- [147/224] mlp.down_proj layer=20 pr=0.5 ppl=5.37
922
- [147/224] mlp.down_proj layer=20 pr=0.6 ppl=5.36
923
- [147/224] mlp.down_proj layer=20 pr=0.7 ppl=5.36
924
- [147/224] mlp.down_proj layer=20 pr=0.8 ppl=5.35
925
- [147/224] mlp.down_proj layer=20 pr=0.9 ppl=5.35
926
- [148/224] self_attn.q_proj layer=21 pr=0.4 ppl=5.34
927
- [148/224] self_attn.q_proj layer=21 pr=0.5 ppl=5.34
928
- [148/224] self_attn.q_proj layer=21 pr=0.6 ppl=5.34
929
- [148/224] self_attn.q_proj layer=21 pr=0.7 ppl=5.34
930
- [148/224] self_attn.q_proj layer=21 pr=0.8 ppl=5.34
931
- [148/224] self_attn.q_proj layer=21 pr=0.9 ppl=5.34
932
- [149/224] self_attn.k_proj layer=21 pr=0.4 ppl=5.34
933
- [149/224] self_attn.k_proj layer=21 pr=0.5 ppl=5.34
934
- [149/224] self_attn.k_proj layer=21 pr=0.6 ppl=5.34
935
- [149/224] self_attn.k_proj layer=21 pr=0.7 ppl=5.34
936
- [149/224] self_attn.k_proj layer=21 pr=0.8 ppl=5.34
937
- [149/224] self_attn.k_proj layer=21 pr=0.9 ppl=5.34
938
- [150/224] self_attn.v_proj layer=21 pr=0.4 ppl=5.34
939
- [150/224] self_attn.v_proj layer=21 pr=0.5 ppl=5.34
940
- [150/224] self_attn.v_proj layer=21 pr=0.6 ppl=5.34
941
- [150/224] self_attn.v_proj layer=21 pr=0.7 ppl=5.34
942
- [150/224] self_attn.v_proj layer=21 pr=0.8 ppl=5.34
943
- [150/224] self_attn.v_proj layer=21 pr=0.9 ppl=5.34
944
- [151/224] self_attn.o_proj layer=21 pr=0.4 ppl=5.34
945
- [151/224] self_attn.o_proj layer=21 pr=0.5 ppl=5.34
946
- [151/224] self_attn.o_proj layer=21 pr=0.6 ppl=5.34
947
- [151/224] self_attn.o_proj layer=21 pr=0.7 ppl=5.34
948
- [151/224] self_attn.o_proj layer=21 pr=0.8 ppl=5.34
949
- [151/224] self_attn.o_proj layer=21 pr=0.9 ppl=5.34
950
- [152/224] mlp.gate_proj layer=21 pr=0.4 ppl=5.36
951
- [152/224] mlp.gate_proj layer=21 pr=0.5 ppl=5.35
952
- [152/224] mlp.gate_proj layer=21 pr=0.6 ppl=5.35
953
- [152/224] mlp.gate_proj layer=21 pr=0.7 ppl=5.34
954
- [152/224] mlp.gate_proj layer=21 pr=0.8 ppl=5.34
955
- [152/224] mlp.gate_proj layer=21 pr=0.9 ppl=5.34
956
- [153/224] mlp.up_proj layer=21 pr=0.4 ppl=5.36
957
- [153/224] mlp.up_proj layer=21 pr=0.5 ppl=5.35
958
- [153/224] mlp.up_proj layer=21 pr=0.6 ppl=5.35
959
- [153/224] mlp.up_proj layer=21 pr=0.7 ppl=5.34
960
- [153/224] mlp.up_proj layer=21 pr=0.8 ppl=5.34
961
- [153/224] mlp.up_proj layer=21 pr=0.9 ppl=5.34
962
- [154/224] mlp.down_proj layer=21 pr=0.4 ppl=5.38
963
- [154/224] mlp.down_proj layer=21 pr=0.5 ppl=5.37
964
- [154/224] mlp.down_proj layer=21 pr=0.6 ppl=5.36
965
- [154/224] mlp.down_proj layer=21 pr=0.7 ppl=5.35
966
- [154/224] mlp.down_proj layer=21 pr=0.8 ppl=5.35
967
- [154/224] mlp.down_proj layer=21 pr=0.9 ppl=5.34
968
- [155/224] self_attn.q_proj layer=22 pr=0.4 ppl=5.34
969
- [155/224] self_attn.q_proj layer=22 pr=0.5 ppl=5.34
970
- [155/224] self_attn.q_proj layer=22 pr=0.6 ppl=5.34
971
- [155/224] self_attn.q_proj layer=22 pr=0.7 ppl=5.34
972
- [155/224] self_attn.q_proj layer=22 pr=0.8 ppl=5.34
973
- [155/224] self_attn.q_proj layer=22 pr=0.9 ppl=5.34
974
- [156/224] self_attn.k_proj layer=22 pr=0.4 ppl=5.34
975
- [156/224] self_attn.k_proj layer=22 pr=0.5 ppl=5.34
976
- [156/224] self_attn.k_proj layer=22 pr=0.6 ppl=5.34
977
- [156/224] self_attn.k_proj layer=22 pr=0.7 ppl=5.34
978
- [156/224] self_attn.k_proj layer=22 pr=0.8 ppl=5.34
979
- [156/224] self_attn.k_proj layer=22 pr=0.9 ppl=5.34
980
- [157/224] self_attn.v_proj layer=22 pr=0.4 ppl=5.34
981
- [157/224] self_attn.v_proj layer=22 pr=0.5 ppl=5.34
982
- [157/224] self_attn.v_proj layer=22 pr=0.6 ppl=5.34
983
- [157/224] self_attn.v_proj layer=22 pr=0.7 ppl=5.34
984
- [157/224] self_attn.v_proj layer=22 pr=0.8 ppl=5.34
985
- [157/224] self_attn.v_proj layer=22 pr=0.9 ppl=5.34
986
- [158/224] self_attn.o_proj layer=22 pr=0.4 ppl=5.34
987
- [158/224] self_attn.o_proj layer=22 pr=0.5 ppl=5.34
988
- [158/224] self_attn.o_proj layer=22 pr=0.6 ppl=5.34
989
- [158/224] self_attn.o_proj layer=22 pr=0.7 ppl=5.34
990
- [158/224] self_attn.o_proj layer=22 pr=0.8 ppl=5.34
991
- [158/224] self_attn.o_proj layer=22 pr=0.9 ppl=5.34
992
- [159/224] mlp.gate_proj layer=22 pr=0.4 ppl=5.35
993
- [159/224] mlp.gate_proj layer=22 pr=0.5 ppl=5.35
994
- [159/224] mlp.gate_proj layer=22 pr=0.6 ppl=5.34
995
- [159/224] mlp.gate_proj layer=22 pr=0.7 ppl=5.34
996
- [159/224] mlp.gate_proj layer=22 pr=0.8 ppl=5.34
997
- [159/224] mlp.gate_proj layer=22 pr=0.9 ppl=5.34
998
- [160/224] mlp.up_proj layer=22 pr=0.4 ppl=5.36
999
- [160/224] mlp.up_proj layer=22 pr=0.5 ppl=5.35
1000
- [160/224] mlp.up_proj layer=22 pr=0.6 ppl=5.35
1001
- [160/224] mlp.up_proj layer=22 pr=0.7 ppl=5.34
1002
- [160/224] mlp.up_proj layer=22 pr=0.8 ppl=5.34
1003
- [160/224] mlp.up_proj layer=22 pr=0.9 ppl=5.34
1004
- [161/224] mlp.down_proj layer=22 pr=0.4 ppl=5.38
1005
- [161/224] mlp.down_proj layer=22 pr=0.5 ppl=5.37
1006
- [161/224] mlp.down_proj layer=22 pr=0.6 ppl=5.36
1007
- [161/224] mlp.down_proj layer=22 pr=0.7 ppl=5.35
1008
- [161/224] mlp.down_proj layer=22 pr=0.8 ppl=5.35
1009
- [161/224] mlp.down_proj layer=22 pr=0.9 ppl=5.34
1010
- [162/224] self_attn.q_proj layer=23 pr=0.4 ppl=5.34
1011
- [162/224] self_attn.q_proj layer=23 pr=0.5 ppl=5.34
1012
- [162/224] self_attn.q_proj layer=23 pr=0.6 ppl=5.34
1013
- [162/224] self_attn.q_proj layer=23 pr=0.7 ppl=5.34
1014
- [162/224] self_attn.q_proj layer=23 pr=0.8 ppl=5.34
1015
- [162/224] self_attn.q_proj layer=23 pr=0.9 ppl=5.34
1016
- [163/224] self_attn.k_proj layer=23 pr=0.4 ppl=5.33
1017
- [163/224] self_attn.k_proj layer=23 pr=0.5 ppl=5.33
1018
- [163/224] self_attn.k_proj layer=23 pr=0.6 ppl=5.34
1019
- [163/224] self_attn.k_proj layer=23 pr=0.7 ppl=5.34
1020
- [163/224] self_attn.k_proj layer=23 pr=0.8 ppl=5.34
1021
- [163/224] self_attn.k_proj layer=23 pr=0.9 ppl=5.34
1022
- [164/224] self_attn.v_proj layer=23 pr=0.4 ppl=5.34
1023
- [164/224] self_attn.v_proj layer=23 pr=0.5 ppl=5.34
1024
- [164/224] self_attn.v_proj layer=23 pr=0.6 ppl=5.34
1025
- [164/224] self_attn.v_proj layer=23 pr=0.7 ppl=5.34
1026
- [164/224] self_attn.v_proj layer=23 pr=0.8 ppl=5.34
1027
- [164/224] self_attn.v_proj layer=23 pr=0.9 ppl=5.34
1028
- [165/224] self_attn.o_proj layer=23 pr=0.4 ppl=5.33
1029
- [165/224] self_attn.o_proj layer=23 pr=0.5 ppl=5.33
1030
- [165/224] self_attn.o_proj layer=23 pr=0.6 ppl=5.33
1031
- [165/224] self_attn.o_proj layer=23 pr=0.7 ppl=5.33
1032
- [165/224] self_attn.o_proj layer=23 pr=0.8 ppl=5.34
1033
- [165/224] self_attn.o_proj layer=23 pr=0.9 ppl=5.34
1034
- [166/224] mlp.gate_proj layer=23 pr=0.4 ppl=5.36
1035
- [166/224] mlp.gate_proj layer=23 pr=0.5 ppl=5.35
1036
- [166/224] mlp.gate_proj layer=23 pr=0.6 ppl=5.35
1037
- [166/224] mlp.gate_proj layer=23 pr=0.7 ppl=5.34
1038
- [166/224] mlp.gate_proj layer=23 pr=0.8 ppl=5.34
1039
- [166/224] mlp.gate_proj layer=23 pr=0.9 ppl=5.34
1040
- [167/224] mlp.up_proj layer=23 pr=0.4 ppl=5.36
1041
- [167/224] mlp.up_proj layer=23 pr=0.5 ppl=5.36
1042
- [167/224] mlp.up_proj layer=23 pr=0.6 ppl=5.35
1043
- [167/224] mlp.up_proj layer=23 pr=0.7 ppl=5.35
1044
- [167/224] mlp.up_proj layer=23 pr=0.8 ppl=5.34
1045
- [167/224] mlp.up_proj layer=23 pr=0.9 ppl=5.34
1046
- [168/224] mlp.down_proj layer=23 pr=0.4 ppl=5.38
1047
- [168/224] mlp.down_proj layer=23 pr=0.5 ppl=5.37
1048
- [168/224] mlp.down_proj layer=23 pr=0.6 ppl=5.36
1049
- [168/224] mlp.down_proj layer=23 pr=0.7 ppl=5.35
1050
- [168/224] mlp.down_proj layer=23 pr=0.8 ppl=5.35
1051
- [168/224] mlp.down_proj layer=23 pr=0.9 ppl=5.34
1052
- [169/224] self_attn.q_proj layer=24 pr=0.4 ppl=5.34
1053
- [169/224] self_attn.q_proj layer=24 pr=0.5 ppl=5.34
1054
- [169/224] self_attn.q_proj layer=24 pr=0.6 ppl=5.34
1055
- [169/224] self_attn.q_proj layer=24 pr=0.7 ppl=5.34
1056
- [169/224] self_attn.q_proj layer=24 pr=0.8 ppl=5.34
1057
- [169/224] self_attn.q_proj layer=24 pr=0.9 ppl=5.34
1058
- [170/224] self_attn.k_proj layer=24 pr=0.4 ppl=5.33
1059
- [170/224] self_attn.k_proj layer=24 pr=0.5 ppl=5.33
1060
- [170/224] self_attn.k_proj layer=24 pr=0.6 ppl=5.33
1061
- [170/224] self_attn.k_proj layer=24 pr=0.7 ppl=5.33
1062
- [170/224] self_attn.k_proj layer=24 pr=0.8 ppl=5.34
1063
- [170/224] self_attn.k_proj layer=24 pr=0.9 ppl=5.34
1064
- [171/224] self_attn.v_proj layer=24 pr=0.4 ppl=5.34
1065
- [171/224] self_attn.v_proj layer=24 pr=0.5 ppl=5.34
1066
- [171/224] self_attn.v_proj layer=24 pr=0.6 ppl=5.34
1067
- [171/224] self_attn.v_proj layer=24 pr=0.7 ppl=5.34
1068
- [171/224] self_attn.v_proj layer=24 pr=0.8 ppl=5.34
1069
- [171/224] self_attn.v_proj layer=24 pr=0.9 ppl=5.34
1070
- [172/224] self_attn.o_proj layer=24 pr=0.4 ppl=5.34
1071
- [172/224] self_attn.o_proj layer=24 pr=0.5 ppl=5.34
1072
- [172/224] self_attn.o_proj layer=24 pr=0.6 ppl=5.34
1073
- [172/224] self_attn.o_proj layer=24 pr=0.7 ppl=5.34
1074
- [172/224] self_attn.o_proj layer=24 pr=0.8 ppl=5.34
1075
- [172/224] self_attn.o_proj layer=24 pr=0.9 ppl=5.34
1076
- [173/224] mlp.gate_proj layer=24 pr=0.4 ppl=5.36
1077
- [173/224] mlp.gate_proj layer=24 pr=0.5 ppl=5.35
1078
- [173/224] mlp.gate_proj layer=24 pr=0.6 ppl=5.35
1079
- [173/224] mlp.gate_proj layer=24 pr=0.7 ppl=5.35
1080
- [173/224] mlp.gate_proj layer=24 pr=0.8 ppl=5.34
1081
- [173/224] mlp.gate_proj layer=24 pr=0.9 ppl=5.34
1082
- [174/224] mlp.up_proj layer=24 pr=0.4 ppl=5.36
1083
- [174/224] mlp.up_proj layer=24 pr=0.5 ppl=5.36
1084
- [174/224] mlp.up_proj layer=24 pr=0.6 ppl=5.35
1085
- [174/224] mlp.up_proj layer=24 pr=0.7 ppl=5.35
1086
- [174/224] mlp.up_proj layer=24 pr=0.8 ppl=5.34
1087
- [174/224] mlp.up_proj layer=24 pr=0.9 ppl=5.34
1088
- [175/224] mlp.down_proj layer=24 pr=0.4 ppl=5.37
1089
- [175/224] mlp.down_proj layer=24 pr=0.5 ppl=5.36
1090
- [175/224] mlp.down_proj layer=24 pr=0.6 ppl=5.36
1091
- [175/224] mlp.down_proj layer=24 pr=0.7 ppl=5.35
1092
- [175/224] mlp.down_proj layer=24 pr=0.8 ppl=5.35
1093
- [175/224] mlp.down_proj layer=24 pr=0.9 ppl=5.34
1094
- [176/224] self_attn.q_proj layer=25 pr=0.4 ppl=5.34
1095
- [176/224] self_attn.q_proj layer=25 pr=0.5 ppl=5.34
1096
- [176/224] self_attn.q_proj layer=25 pr=0.6 ppl=5.34
1097
- [176/224] self_attn.q_proj layer=25 pr=0.7 ppl=5.34
1098
- [176/224] self_attn.q_proj layer=25 pr=0.8 ppl=5.34
1099
- [176/224] self_attn.q_proj layer=25 pr=0.9 ppl=5.34
1100
- [177/224] self_attn.k_proj layer=25 pr=0.4 ppl=5.34
1101
- [177/224] self_attn.k_proj layer=25 pr=0.5 ppl=5.34
1102
- [177/224] self_attn.k_proj layer=25 pr=0.6 ppl=5.34
1103
- [177/224] self_attn.k_proj layer=25 pr=0.7 ppl=5.34
1104
- [177/224] self_attn.k_proj layer=25 pr=0.8 ppl=5.34
1105
- [177/224] self_attn.k_proj layer=25 pr=0.9 ppl=5.34
1106
- [178/224] self_attn.v_proj layer=25 pr=0.4 ppl=5.34
1107
- [178/224] self_attn.v_proj layer=25 pr=0.5 ppl=5.34
1108
- [178/224] self_attn.v_proj layer=25 pr=0.6 ppl=5.34
1109
- [178/224] self_attn.v_proj layer=25 pr=0.7 ppl=5.34
1110
- [178/224] self_attn.v_proj layer=25 pr=0.8 ppl=5.34
1111
- [178/224] self_attn.v_proj layer=25 pr=0.9 ppl=5.34
1112
- [179/224] self_attn.o_proj layer=25 pr=0.4 ppl=5.34
1113
- [179/224] self_attn.o_proj layer=25 pr=0.5 ppl=5.34
1114
- [179/224] self_attn.o_proj layer=25 pr=0.6 ppl=5.34
1115
- [179/224] self_attn.o_proj layer=25 pr=0.7 ppl=5.34
1116
- [179/224] self_attn.o_proj layer=25 pr=0.8 ppl=5.34
1117
- [179/224] self_attn.o_proj layer=25 pr=0.9 ppl=5.34
1118
- [180/224] mlp.gate_proj layer=25 pr=0.4 ppl=5.36
1119
- [180/224] mlp.gate_proj layer=25 pr=0.5 ppl=5.36
1120
- [180/224] mlp.gate_proj layer=25 pr=0.6 ppl=5.35
1121
- [180/224] mlp.gate_proj layer=25 pr=0.7 ppl=5.35
1122
- [180/224] mlp.gate_proj layer=25 pr=0.8 ppl=5.34
1123
- [180/224] mlp.gate_proj layer=25 pr=0.9 ppl=5.34
1124
- [181/224] mlp.up_proj layer=25 pr=0.4 ppl=5.37
1125
- [181/224] mlp.up_proj layer=25 pr=0.5 ppl=5.36
1126
- [181/224] mlp.up_proj layer=25 pr=0.6 ppl=5.35
1127
- [181/224] mlp.up_proj layer=25 pr=0.7 ppl=5.35
1128
- [181/224] mlp.up_proj layer=25 pr=0.8 ppl=5.35
1129
- [181/224] mlp.up_proj layer=25 pr=0.9 ppl=5.34
1130
- [182/224] mlp.down_proj layer=25 pr=0.4 ppl=5.38
1131
- [182/224] mlp.down_proj layer=25 pr=0.5 ppl=5.36
1132
- [182/224] mlp.down_proj layer=25 pr=0.6 ppl=5.36
1133
- [182/224] mlp.down_proj layer=25 pr=0.7 ppl=5.35
1134
- [182/224] mlp.down_proj layer=25 pr=0.8 ppl=5.35
1135
- [182/224] mlp.down_proj layer=25 pr=0.9 ppl=5.34
1136
- [183/224] self_attn.q_proj layer=26 pr=0.4 ppl=5.34
1137
- [183/224] self_attn.q_proj layer=26 pr=0.5 ppl=5.34
1138
- [183/224] self_attn.q_proj layer=26 pr=0.6 ppl=5.34
1139
- [183/224] self_attn.q_proj layer=26 pr=0.7 ppl=5.34
1140
- [183/224] self_attn.q_proj layer=26 pr=0.8 ppl=5.34
1141
- [183/224] self_attn.q_proj layer=26 pr=0.9 ppl=5.34
1142
- [184/224] self_attn.k_proj layer=26 pr=0.4 ppl=5.34
1143
- [184/224] self_attn.k_proj layer=26 pr=0.5 ppl=5.34
1144
- [184/224] self_attn.k_proj layer=26 pr=0.6 ppl=5.34
1145
- [184/224] self_attn.k_proj layer=26 pr=0.7 ppl=5.34
1146
- [184/224] self_attn.k_proj layer=26 pr=0.8 ppl=5.34
1147
- [184/224] self_attn.k_proj layer=26 pr=0.9 ppl=5.34
1148
- [185/224] self_attn.v_proj layer=26 pr=0.4 ppl=5.34
1149
- [185/224] self_attn.v_proj layer=26 pr=0.5 ppl=5.34
1150
- [185/224] self_attn.v_proj layer=26 pr=0.6 ppl=5.34
1151
- [185/224] self_attn.v_proj layer=26 pr=0.7 ppl=5.34
1152
- [185/224] self_attn.v_proj layer=26 pr=0.8 ppl=5.34
1153
- [185/224] self_attn.v_proj layer=26 pr=0.9 ppl=5.34
1154
- [186/224] self_attn.o_proj layer=26 pr=0.4 ppl=5.34
1155
- [186/224] self_attn.o_proj layer=26 pr=0.5 ppl=5.34
1156
- [186/224] self_attn.o_proj layer=26 pr=0.6 ppl=5.34
1157
- [186/224] self_attn.o_proj layer=26 pr=0.7 ppl=5.34
1158
- [186/224] self_attn.o_proj layer=26 pr=0.8 ppl=5.34
1159
- [186/224] self_attn.o_proj layer=26 pr=0.9 ppl=5.34
1160
- [187/224] mlp.gate_proj layer=26 pr=0.4 ppl=5.36
1161
- [187/224] mlp.gate_proj layer=26 pr=0.5 ppl=5.35
1162
- [187/224] mlp.gate_proj layer=26 pr=0.6 ppl=5.35
1163
- [187/224] mlp.gate_proj layer=26 pr=0.7 ppl=5.34
1164
- [187/224] mlp.gate_proj layer=26 pr=0.8 ppl=5.34
1165
- [187/224] mlp.gate_proj layer=26 pr=0.9 ppl=5.34
1166
- [188/224] mlp.up_proj layer=26 pr=0.4 ppl=5.38
1167
- [188/224] mlp.up_proj layer=26 pr=0.5 ppl=5.37
1168
- [188/224] mlp.up_proj layer=26 pr=0.6 ppl=5.36
1169
- [188/224] mlp.up_proj layer=26 pr=0.7 ppl=5.36
1170
- [188/224] mlp.up_proj layer=26 pr=0.8 ppl=5.35
1171
- [188/224] mlp.up_proj layer=26 pr=0.9 ppl=5.35
1172
- [189/224] mlp.down_proj layer=26 pr=0.4 ppl=5.37
1173
- [189/224] mlp.down_proj layer=26 pr=0.5 ppl=5.36
1174
- [189/224] mlp.down_proj layer=26 pr=0.6 ppl=5.36
1175
- [189/224] mlp.down_proj layer=26 pr=0.7 ppl=5.35
1176
- [189/224] mlp.down_proj layer=26 pr=0.8 ppl=5.34
1177
- [189/224] mlp.down_proj layer=26 pr=0.9 ppl=5.34
1178
- [190/224] self_attn.q_proj layer=27 pr=0.4 ppl=5.34
1179
- [190/224] self_attn.q_proj layer=27 pr=0.5 ppl=5.34
1180
- [190/224] self_attn.q_proj layer=27 pr=0.6 ppl=5.34
1181
- [190/224] self_attn.q_proj layer=27 pr=0.7 ppl=5.34
1182
- [190/224] self_attn.q_proj layer=27 pr=0.8 ppl=5.34
1183
- [190/224] self_attn.q_proj layer=27 pr=0.9 ppl=5.34
1184
- [191/224] self_attn.k_proj layer=27 pr=0.4 ppl=5.34
1185
- [191/224] self_attn.k_proj layer=27 pr=0.5 ppl=5.34
1186
- [191/224] self_attn.k_proj layer=27 pr=0.6 ppl=5.34
1187
- [191/224] self_attn.k_proj layer=27 pr=0.7 ppl=5.34
1188
- [191/224] self_attn.k_proj layer=27 pr=0.8 ppl=5.34
1189
- [191/224] self_attn.k_proj layer=27 pr=0.9 ppl=5.34
1190
- [192/224] self_attn.v_proj layer=27 pr=0.4 ppl=5.35
1191
- [192/224] self_attn.v_proj layer=27 pr=0.5 ppl=5.35
1192
- [192/224] self_attn.v_proj layer=27 pr=0.6 ppl=5.34
1193
- [192/224] self_attn.v_proj layer=27 pr=0.7 ppl=5.34
1194
- [192/224] self_attn.v_proj layer=27 pr=0.8 ppl=5.34
1195
- [192/224] self_attn.v_proj layer=27 pr=0.9 ppl=5.34
1196
- [193/224] self_attn.o_proj layer=27 pr=0.4 ppl=5.34
1197
- [193/224] self_attn.o_proj layer=27 pr=0.5 ppl=5.34
1198
- [193/224] self_attn.o_proj layer=27 pr=0.6 ppl=5.34
1199
- [193/224] self_attn.o_proj layer=27 pr=0.7 ppl=5.34
1200
- [193/224] self_attn.o_proj layer=27 pr=0.8 ppl=5.34
1201
- [193/224] self_attn.o_proj layer=27 pr=0.9 ppl=5.34
1202
- [194/224] mlp.gate_proj layer=27 pr=0.4 ppl=5.38
1203
- [194/224] mlp.gate_proj layer=27 pr=0.5 ppl=5.36
1204
- [194/224] mlp.gate_proj layer=27 pr=0.6 ppl=5.35
1205
- [194/224] mlp.gate_proj layer=27 pr=0.7 ppl=5.35
1206
- [194/224] mlp.gate_proj layer=27 pr=0.8 ppl=5.34
1207
- [194/224] mlp.gate_proj layer=27 pr=0.9 ppl=5.34
1208
- [195/224] mlp.up_proj layer=27 pr=0.4 ppl=5.38
1209
- [195/224] mlp.up_proj layer=27 pr=0.5 ppl=5.37
1210
- [195/224] mlp.up_proj layer=27 pr=0.6 ppl=5.36
1211
- [195/224] mlp.up_proj layer=27 pr=0.7 ppl=5.35
1212
- [195/224] mlp.up_proj layer=27 pr=0.8 ppl=5.35
1213
- [195/224] mlp.up_proj layer=27 pr=0.9 ppl=5.34
1214
- [196/224] mlp.down_proj layer=27 pr=0.4 ppl=5.38
1215
- [196/224] mlp.down_proj layer=27 pr=0.5 ppl=5.36
1216
- [196/224] mlp.down_proj layer=27 pr=0.6 ppl=5.35
1217
- [196/224] mlp.down_proj layer=27 pr=0.7 ppl=5.35
1218
- [196/224] mlp.down_proj layer=27 pr=0.8 ppl=5.34
1219
- [196/224] mlp.down_proj layer=27 pr=0.9 ppl=5.34
1220
- [197/224] self_attn.q_proj layer=28 pr=0.4 ppl=5.34
1221
- [197/224] self_attn.q_proj layer=28 pr=0.5 ppl=5.34
1222
- [197/224] self_attn.q_proj layer=28 pr=0.6 ppl=5.34
1223
- [197/224] self_attn.q_proj layer=28 pr=0.7 ppl=5.34
1224
- [197/224] self_attn.q_proj layer=28 pr=0.8 ppl=5.34
1225
- [197/224] self_attn.q_proj layer=28 pr=0.9 ppl=5.34
1226
- [198/224] self_attn.k_proj layer=28 pr=0.4 ppl=5.34
1227
- [198/224] self_attn.k_proj layer=28 pr=0.5 ppl=5.34
1228
- [198/224] self_attn.k_proj layer=28 pr=0.6 ppl=5.34
1229
- [198/224] self_attn.k_proj layer=28 pr=0.7 ppl=5.34
1230
- [198/224] self_attn.k_proj layer=28 pr=0.8 ppl=5.34
1231
- [198/224] self_attn.k_proj layer=28 pr=0.9 ppl=5.34
1232
- [199/224] self_attn.v_proj layer=28 pr=0.4 ppl=5.34
1233
- [199/224] self_attn.v_proj layer=28 pr=0.5 ppl=5.34
1234
- [199/224] self_attn.v_proj layer=28 pr=0.6 ppl=5.34
1235
- [199/224] self_attn.v_proj layer=28 pr=0.7 ppl=5.34
1236
- [199/224] self_attn.v_proj layer=28 pr=0.8 ppl=5.34
1237
- [199/224] self_attn.v_proj layer=28 pr=0.9 ppl=5.34
1238
- [200/224] self_attn.o_proj layer=28 pr=0.4 ppl=5.34
1239
- [200/224] self_attn.o_proj layer=28 pr=0.5 ppl=5.34
1240
- [200/224] self_attn.o_proj layer=28 pr=0.6 ppl=5.34
1241
- [200/224] self_attn.o_proj layer=28 pr=0.7 ppl=5.34
1242
- [200/224] self_attn.o_proj layer=28 pr=0.8 ppl=5.34
1243
- [200/224] self_attn.o_proj layer=28 pr=0.9 ppl=5.34
1244
- [201/224] mlp.gate_proj layer=28 pr=0.4 ppl=5.38
1245
- [201/224] mlp.gate_proj layer=28 pr=0.5 ppl=5.36
1246
- [201/224] mlp.gate_proj layer=28 pr=0.6 ppl=5.35
1247
- [201/224] mlp.gate_proj layer=28 pr=0.7 ppl=5.35
1248
- [201/224] mlp.gate_proj layer=28 pr=0.8 ppl=5.34
1249
- [201/224] mlp.gate_proj layer=28 pr=0.9 ppl=5.34
1250
- [202/224] mlp.up_proj layer=28 pr=0.4 ppl=5.40
1251
- [202/224] mlp.up_proj layer=28 pr=0.5 ppl=5.39
1252
- [202/224] mlp.up_proj layer=28 pr=0.6 ppl=5.37
1253
- [202/224] mlp.up_proj layer=28 pr=0.7 ppl=5.36
1254
- [202/224] mlp.up_proj layer=28 pr=0.8 ppl=5.35
1255
- [202/224] mlp.up_proj layer=28 pr=0.9 ppl=5.35
1256
- [203/224] mlp.down_proj layer=28 pr=0.4 ppl=5.38
1257
- [203/224] mlp.down_proj layer=28 pr=0.5 ppl=5.37
1258
- [203/224] mlp.down_proj layer=28 pr=0.6 ppl=5.36
1259
- [203/224] mlp.down_proj layer=28 pr=0.7 ppl=5.35
1260
- [203/224] mlp.down_proj layer=28 pr=0.8 ppl=5.35
1261
- [203/224] mlp.down_proj layer=28 pr=0.9 ppl=5.34
1262
- [204/224] self_attn.q_proj layer=29 pr=0.4 ppl=5.34
1263
- [204/224] self_attn.q_proj layer=29 pr=0.5 ppl=5.34
1264
- [204/224] self_attn.q_proj layer=29 pr=0.6 ppl=5.34
1265
- [204/224] self_attn.q_proj layer=29 pr=0.7 ppl=5.34
1266
- [204/224] self_attn.q_proj layer=29 pr=0.8 ppl=5.34
1267
- [204/224] self_attn.q_proj layer=29 pr=0.9 ppl=5.34
1268
- [205/224] self_attn.k_proj layer=29 pr=0.4 ppl=5.34
1269
- [205/224] self_attn.k_proj layer=29 pr=0.5 ppl=5.34
1270
- [205/224] self_attn.k_proj layer=29 pr=0.6 ppl=5.34
1271
- [205/224] self_attn.k_proj layer=29 pr=0.7 ppl=5.34
1272
- [205/224] self_attn.k_proj layer=29 pr=0.8 ppl=5.34
1273
- [205/224] self_attn.k_proj layer=29 pr=0.9 ppl=5.34
1274
- [206/224] self_attn.v_proj layer=29 pr=0.4 ppl=5.35
1275
- [206/224] self_attn.v_proj layer=29 pr=0.5 ppl=5.34
1276
- [206/224] self_attn.v_proj layer=29 pr=0.6 ppl=5.34
1277
- [206/224] self_attn.v_proj layer=29 pr=0.7 ppl=5.34
1278
- [206/224] self_attn.v_proj layer=29 pr=0.8 ppl=5.34
1279
- [206/224] self_attn.v_proj layer=29 pr=0.9 ppl=5.34
1280
- [207/224] self_attn.o_proj layer=29 pr=0.4 ppl=5.34
1281
- [207/224] self_attn.o_proj layer=29 pr=0.5 ppl=5.34
1282
- [207/224] self_attn.o_proj layer=29 pr=0.6 ppl=5.34
1283
- [207/224] self_attn.o_proj layer=29 pr=0.7 ppl=5.34
1284
- [207/224] self_attn.o_proj layer=29 pr=0.8 ppl=5.34
1285
- [207/224] self_attn.o_proj layer=29 pr=0.9 ppl=5.34
1286
- [208/224] mlp.gate_proj layer=29 pr=0.4 ppl=5.40
1287
- [208/224] mlp.gate_proj layer=29 pr=0.5 ppl=5.38
1288
- [208/224] mlp.gate_proj layer=29 pr=0.6 ppl=5.36
1289
- [208/224] mlp.gate_proj layer=29 pr=0.7 ppl=5.35
1290
- [208/224] mlp.gate_proj layer=29 pr=0.8 ppl=5.35
1291
- [208/224] mlp.gate_proj layer=29 pr=0.9 ppl=5.34
1292
- [209/224] mlp.up_proj layer=29 pr=0.4 ppl=5.44
1293
- [209/224] mlp.up_proj layer=29 pr=0.5 ppl=5.41
1294
- [209/224] mlp.up_proj layer=29 pr=0.6 ppl=5.39
1295
- [209/224] mlp.up_proj layer=29 pr=0.7 ppl=5.37
1296
- [209/224] mlp.up_proj layer=29 pr=0.8 ppl=5.36
1297
- [209/224] mlp.up_proj layer=29 pr=0.9 ppl=5.35
1298
- [210/224] mlp.down_proj layer=29 pr=0.4 ppl=5.40
1299
- [210/224] mlp.down_proj layer=29 pr=0.5 ppl=5.38
1300
- [210/224] mlp.down_proj layer=29 pr=0.6 ppl=5.36
1301
- [210/224] mlp.down_proj layer=29 pr=0.7 ppl=5.35
1302
- [210/224] mlp.down_proj layer=29 pr=0.8 ppl=5.35
1303
- [210/224] mlp.down_proj layer=29 pr=0.9 ppl=5.34
1304
- [211/224] self_attn.q_proj layer=30 pr=0.4 ppl=5.34
1305
- [211/224] self_attn.q_proj layer=30 pr=0.5 ppl=5.34
1306
- [211/224] self_attn.q_proj layer=30 pr=0.6 ppl=5.34
1307
- [211/224] self_attn.q_proj layer=30 pr=0.7 ppl=5.34
1308
- [211/224] self_attn.q_proj layer=30 pr=0.8 ppl=5.34
1309
- [211/224] self_attn.q_proj layer=30 pr=0.9 ppl=5.34
1310
- [212/224] self_attn.k_proj layer=30 pr=0.4 ppl=5.34
1311
- [212/224] self_attn.k_proj layer=30 pr=0.5 ppl=5.34
1312
- [212/224] self_attn.k_proj layer=30 pr=0.6 ppl=5.34
1313
- [212/224] self_attn.k_proj layer=30 pr=0.7 ppl=5.34
1314
- [212/224] self_attn.k_proj layer=30 pr=0.8 ppl=5.34
1315
- [212/224] self_attn.k_proj layer=30 pr=0.9 ppl=5.34
1316
- [213/224] self_attn.v_proj layer=30 pr=0.4 ppl=5.34
1317
- [213/224] self_attn.v_proj layer=30 pr=0.5 ppl=5.34
1318
- [213/224] self_attn.v_proj layer=30 pr=0.6 ppl=5.34
1319
- [213/224] self_attn.v_proj layer=30 pr=0.7 ppl=5.34
1320
- [213/224] self_attn.v_proj layer=30 pr=0.8 ppl=5.34
1321
- [213/224] self_attn.v_proj layer=30 pr=0.9 ppl=5.34
1322
- [214/224] self_attn.o_proj layer=30 pr=0.4 ppl=5.34
1323
- [214/224] self_attn.o_proj layer=30 pr=0.5 ppl=5.34
1324
- [214/224] self_attn.o_proj layer=30 pr=0.6 ppl=5.34
1325
- [214/224] self_attn.o_proj layer=30 pr=0.7 ppl=5.34
1326
- [214/224] self_attn.o_proj layer=30 pr=0.8 ppl=5.34
1327
- [214/224] self_attn.o_proj layer=30 pr=0.9 ppl=5.34
1328
- [215/224] mlp.gate_proj layer=30 pr=0.4 ppl=5.38
1329
- [215/224] mlp.gate_proj layer=30 pr=0.5 ppl=5.36
1330
- [215/224] mlp.gate_proj layer=30 pr=0.6 ppl=5.35
1331
- [215/224] mlp.gate_proj layer=30 pr=0.7 ppl=5.34
1332
- [215/224] mlp.gate_proj layer=30 pr=0.8 ppl=5.34
1333
- [215/224] mlp.gate_proj layer=30 pr=0.9 ppl=5.34
1334
- [216/224] mlp.up_proj layer=30 pr=0.4 ppl=5.43
1335
- [216/224] mlp.up_proj layer=30 pr=0.5 ppl=5.40
1336
- [216/224] mlp.up_proj layer=30 pr=0.6 ppl=5.38
1337
- [216/224] mlp.up_proj layer=30 pr=0.7 ppl=5.36
1338
- [216/224] mlp.up_proj layer=30 pr=0.8 ppl=5.35
1339
- [216/224] mlp.up_proj layer=30 pr=0.9 ppl=5.35
1340
- [217/224] mlp.down_proj layer=30 pr=0.4 ppl=5.40
1341
- [217/224] mlp.down_proj layer=30 pr=0.5 ppl=5.38
1342
- [217/224] mlp.down_proj layer=30 pr=0.6 ppl=5.36
1343
- [217/224] mlp.down_proj layer=30 pr=0.7 ppl=5.36
1344
- [217/224] mlp.down_proj layer=30 pr=0.8 ppl=5.35
1345
- [217/224] mlp.down_proj layer=30 pr=0.9 ppl=5.34
1346
- [218/224] self_attn.q_proj layer=31 pr=0.4 ppl=5.34
1347
- [218/224] self_attn.q_proj layer=31 pr=0.5 ppl=5.34
1348
- [218/224] self_attn.q_proj layer=31 pr=0.6 ppl=5.34
1349
- [218/224] self_attn.q_proj layer=31 pr=0.7 ppl=5.34
1350
- [218/224] self_attn.q_proj layer=31 pr=0.8 ppl=5.34
1351
- [218/224] self_attn.q_proj layer=31 pr=0.9 ppl=5.34
1352
- [219/224] self_attn.k_proj layer=31 pr=0.4 ppl=5.34
1353
- [219/224] self_attn.k_proj layer=31 pr=0.5 ppl=5.34
1354
- [219/224] self_attn.k_proj layer=31 pr=0.6 ppl=5.34
1355
- [219/224] self_attn.k_proj layer=31 pr=0.7 ppl=5.34
1356
- [219/224] self_attn.k_proj layer=31 pr=0.8 ppl=5.34
1357
- [219/224] self_attn.k_proj layer=31 pr=0.9 ppl=5.34
1358
- [220/224] self_attn.v_proj layer=31 pr=0.4 ppl=5.34
1359
- [220/224] self_attn.v_proj layer=31 pr=0.5 ppl=5.34
1360
- [220/224] self_attn.v_proj layer=31 pr=0.6 ppl=5.34
1361
- [220/224] self_attn.v_proj layer=31 pr=0.7 ppl=5.34
1362
- [220/224] self_attn.v_proj layer=31 pr=0.8 ppl=5.34
1363
- [220/224] self_attn.v_proj layer=31 pr=0.9 ppl=5.34
1364
- [221/224] self_attn.o_proj layer=31 pr=0.4 ppl=5.34
1365
- [221/224] self_attn.o_proj layer=31 pr=0.5 ppl=5.34
1366
- [221/224] self_attn.o_proj layer=31 pr=0.6 ppl=5.34
1367
- [221/224] self_attn.o_proj layer=31 pr=0.7 ppl=5.34
1368
- [221/224] self_attn.o_proj layer=31 pr=0.8 ppl=5.34
1369
- [221/224] self_attn.o_proj layer=31 pr=0.9 ppl=5.34
1370
- [222/224] mlp.gate_proj layer=31 pr=0.4 ppl=5.38
1371
- [222/224] mlp.gate_proj layer=31 pr=0.5 ppl=5.37
1372
- [222/224] mlp.gate_proj layer=31 pr=0.6 ppl=5.36
1373
- [222/224] mlp.gate_proj layer=31 pr=0.7 ppl=5.35
1374
- [222/224] mlp.gate_proj layer=31 pr=0.8 ppl=5.35
1375
- [222/224] mlp.gate_proj layer=31 pr=0.9 ppl=5.34
1376
- [223/224] mlp.up_proj layer=31 pr=0.4 ppl=5.45
1377
- [223/224] mlp.up_proj layer=31 pr=0.5 ppl=5.42
1378
- [223/224] mlp.up_proj layer=31 pr=0.6 ppl=5.39
1379
- [223/224] mlp.up_proj layer=31 pr=0.7 ppl=5.37
1380
- [223/224] mlp.up_proj layer=31 pr=0.8 ppl=5.36
1381
- [223/224] mlp.up_proj layer=31 pr=0.9 ppl=5.35
1382
- [224/224] mlp.down_proj layer=31 pr=0.4 ppl=5.41
1383
- [224/224] mlp.down_proj layer=31 pr=0.5 ppl=5.39
1384
- [224/224] mlp.down_proj layer=31 pr=0.6 ppl=5.37
1385
- [224/224] mlp.down_proj layer=31 pr=0.7 ppl=5.36
1386
- [224/224] mlp.down_proj layer=31 pr=0.8 ppl=5.35
1387
- [224/224] mlp.down_proj layer=31 pr=0.9 ppl=5.35
1388
- [ASVD-PPL] Done. min=819 max=1492 unique=3
1389
- Saved to outputs/baselines/asvd_ppl_r06.json
1390
- Rank stats: min=819 max=1492 mean=981 unique=3