RetentionLabs commited on
Commit
a90b650
·
verified ·
1 Parent(s): cfaa564

duplex-korean: manifest.json

Browse files
duplex-korean/checkpoint/manifest.json ADDED
@@ -0,0 +1,296 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "step": 250,
3
+ "files": [
4
+ "checkpoint.safetensors"
5
+ ],
6
+ "groups": {
7
+ "muon": [
8
+ {
9
+ "lr": 0.001,
10
+ "weight_decay": 0.0,
11
+ "momentum": 0.95,
12
+ "nesterov": true,
13
+ "ns_coefficients": [
14
+ 3.4445,
15
+ -4.775,
16
+ 2.0315
17
+ ],
18
+ "eps": 1e-07,
19
+ "ns_steps": 5,
20
+ "adjust_lr_fn": "match_rms_adamw",
21
+ "params": [
22
+ 0,
23
+ 1,
24
+ 2,
25
+ 3,
26
+ 4,
27
+ 5,
28
+ 6,
29
+ 7,
30
+ 8,
31
+ 9,
32
+ 10,
33
+ 11,
34
+ 12,
35
+ 13,
36
+ 14,
37
+ 15,
38
+ 16,
39
+ 17,
40
+ 18,
41
+ 19,
42
+ 20,
43
+ 21,
44
+ 22,
45
+ 23,
46
+ 24,
47
+ 25,
48
+ 26,
49
+ 27,
50
+ 28,
51
+ 29,
52
+ 30,
53
+ 31,
54
+ 32,
55
+ 33,
56
+ 34,
57
+ 35,
58
+ 36,
59
+ 37,
60
+ 38,
61
+ 39,
62
+ 40,
63
+ 41,
64
+ 42,
65
+ 43,
66
+ 44,
67
+ 45,
68
+ 46,
69
+ 47,
70
+ 48,
71
+ 49,
72
+ 50,
73
+ 51,
74
+ 52,
75
+ 53,
76
+ 54,
77
+ 55,
78
+ 56,
79
+ 57,
80
+ 58,
81
+ 59,
82
+ 60,
83
+ 61,
84
+ 62,
85
+ 63,
86
+ 64,
87
+ 65,
88
+ 66,
89
+ 67,
90
+ 68,
91
+ 69,
92
+ 70,
93
+ 71,
94
+ 72,
95
+ 73,
96
+ 74,
97
+ 75,
98
+ 76,
99
+ 77,
100
+ 78,
101
+ 79,
102
+ 80,
103
+ 81,
104
+ 82,
105
+ 83,
106
+ 84,
107
+ 85,
108
+ 86,
109
+ 87,
110
+ 88,
111
+ 89,
112
+ 90,
113
+ 91,
114
+ 92,
115
+ 93,
116
+ 94,
117
+ 95,
118
+ 96,
119
+ 97,
120
+ 98,
121
+ 99,
122
+ 100,
123
+ 101,
124
+ 102,
125
+ 103,
126
+ 104,
127
+ 105,
128
+ 106,
129
+ 107,
130
+ 108,
131
+ 109,
132
+ 110,
133
+ 111,
134
+ 112,
135
+ 113,
136
+ 114,
137
+ 115,
138
+ 116,
139
+ 117,
140
+ 118,
141
+ 119,
142
+ 120,
143
+ 121,
144
+ 122,
145
+ 123,
146
+ 124,
147
+ 125,
148
+ 126,
149
+ 127,
150
+ 128,
151
+ 129,
152
+ 130,
153
+ 131,
154
+ 132,
155
+ 133,
156
+ 134,
157
+ 135,
158
+ 136,
159
+ 137,
160
+ 138,
161
+ 139,
162
+ 140,
163
+ 141,
164
+ 142,
165
+ 143,
166
+ 144,
167
+ 145,
168
+ 146,
169
+ 147,
170
+ 148,
171
+ 149,
172
+ 150,
173
+ 151,
174
+ 152,
175
+ 153,
176
+ 154,
177
+ 155,
178
+ 156,
179
+ 157,
180
+ 158,
181
+ 159,
182
+ 160,
183
+ 161,
184
+ 162,
185
+ 163,
186
+ 164,
187
+ 165,
188
+ 166,
189
+ 167,
190
+ 168,
191
+ 169,
192
+ 170,
193
+ 171,
194
+ 172,
195
+ 173,
196
+ 174,
197
+ 175,
198
+ 176,
199
+ 177,
200
+ 178,
201
+ 179,
202
+ 180,
203
+ 181,
204
+ 182,
205
+ 183,
206
+ 184,
207
+ 185,
208
+ 186,
209
+ 187,
210
+ 188,
211
+ 189,
212
+ 190,
213
+ 191,
214
+ 192,
215
+ 193,
216
+ 194,
217
+ 195,
218
+ 196,
219
+ 197,
220
+ 198,
221
+ 199,
222
+ 200,
223
+ 201,
224
+ 202,
225
+ 203,
226
+ 204,
227
+ 205,
228
+ 206,
229
+ 207,
230
+ 208,
231
+ 209,
232
+ 210,
233
+ 211
234
+ ]
235
+ }
236
+ ],
237
+ "adamw": [
238
+ {
239
+ "weight_decay": 0.0,
240
+ "lr": 0.001,
241
+ "betas": [
242
+ 0.9,
243
+ 0.999
244
+ ],
245
+ "eps": 1e-08,
246
+ "amsgrad": false,
247
+ "maximize": false,
248
+ "foreach": null,
249
+ "capturable": false,
250
+ "differentiable": false,
251
+ "fused": null,
252
+ "decoupled_weight_decay": true,
253
+ "params": [
254
+ 0,
255
+ 1,
256
+ 2,
257
+ 3,
258
+ 4,
259
+ 5,
260
+ 6,
261
+ 7,
262
+ 8,
263
+ 9,
264
+ 10,
265
+ 11,
266
+ 12,
267
+ 13,
268
+ 14,
269
+ 15
270
+ ]
271
+ }
272
+ ],
273
+ "tables": [
274
+ {
275
+ "lr": 0.001,
276
+ "betas": [
277
+ 0.9,
278
+ 0.999
279
+ ],
280
+ "eps": 1e-08,
281
+ "params": [
282
+ 0
283
+ ]
284
+ }
285
+ ]
286
+ },
287
+ "extra": {
288
+ "run_name": "duplex-korean",
289
+ "wandb": "https://wandb.ai/haan_modeling/polyplex/runs/kqnyjba1",
290
+ "start_checkpoint": "shared-rotation/checkpoint-10000",
291
+ "korean_neurons": [
292
+ 11264,
293
+ 11328
294
+ ]
295
+ }
296
+ }