mrsandip commited on
Commit
362b734
·
verified ·
1 Parent(s): 0379b3f

Upload folder using huggingface_hub

Browse files
outputs/tiny-50M/checkpoint-94/model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:ed4868ff639de4b8d629ffc284da1110b14c804b5174492236433a12c251511a
3
  size 223914096
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:394e0bd0efdbea6b68c37457103503f033772b0297efc16973c989206e46ad3e
3
  size 223914096
outputs/tiny-50M/checkpoint-94/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:d73bad267e0fd27eac0de697d1fe24d529b1c634312881e6ca8ce191f1606f6b
3
  size 447875595
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:1cca8a9846874f6049bd2b37e5b22e4db963448dbfd0b925b91baf246c290883
3
  size 447875595
outputs/tiny-50M/checkpoint-94/trainer_state.json CHANGED
@@ -11,331 +11,331 @@
11
  "log_history": [
12
  {
13
  "epoch": 0.021333333333333333,
14
- "grad_norm": 30.166709899902344,
15
  "learning_rate": 0.00029680851063829784,
16
- "loss": 8.347488403320312,
17
  "step": 2
18
  },
19
  {
20
  "epoch": 0.042666666666666665,
21
- "grad_norm": 13.746070861816406,
22
  "learning_rate": 0.0002904255319148936,
23
- "loss": 2.675719976425171,
24
  "step": 4
25
  },
26
  {
27
  "epoch": 0.064,
28
- "grad_norm": 8.038883209228516,
29
  "learning_rate": 0.00028404255319148934,
30
- "loss": 2.0796334743499756,
31
  "step": 6
32
  },
33
  {
34
  "epoch": 0.08533333333333333,
35
- "grad_norm": 5.246901035308838,
36
  "learning_rate": 0.00027765957446808506,
37
- "loss": 1.725084662437439,
38
  "step": 8
39
  },
40
  {
41
  "epoch": 0.10666666666666667,
42
- "grad_norm": 3.53300142288208,
43
  "learning_rate": 0.00027127659574468084,
44
- "loss": 1.5517196655273438,
45
  "step": 10
46
  },
47
  {
48
  "epoch": 0.128,
49
- "grad_norm": 1.3462578058242798,
50
  "learning_rate": 0.00026489361702127656,
51
- "loss": 1.5625920295715332,
52
  "step": 12
53
  },
54
  {
55
  "epoch": 0.14933333333333335,
56
- "grad_norm": 0.7539430260658264,
57
  "learning_rate": 0.0002585106382978723,
58
- "loss": 1.4509238004684448,
59
  "step": 14
60
  },
61
  {
62
  "epoch": 0.17066666666666666,
63
- "grad_norm": 1.9513685703277588,
64
  "learning_rate": 0.00025212765957446806,
65
- "loss": 1.6689962148666382,
66
  "step": 16
67
  },
68
  {
69
  "epoch": 0.192,
70
- "grad_norm": 1.351525068283081,
71
  "learning_rate": 0.00024574468085106384,
72
- "loss": 1.1256853342056274,
73
  "step": 18
74
  },
75
  {
76
  "epoch": 0.21333333333333335,
77
- "grad_norm": 1.0175305604934692,
78
  "learning_rate": 0.00023936170212765956,
79
- "loss": 1.2274049520492554,
80
  "step": 20
81
  },
82
  {
83
  "epoch": 0.23466666666666666,
84
- "grad_norm": 0.8081133365631104,
85
  "learning_rate": 0.00023297872340425529,
86
- "loss": 0.7245161533355713,
87
  "step": 22
88
  },
89
  {
90
  "epoch": 0.256,
91
- "grad_norm": 0.564518928527832,
92
  "learning_rate": 0.00022659574468085106,
93
- "loss": 0.8335387706756592,
94
  "step": 24
95
  },
96
  {
97
  "epoch": 0.2773333333333333,
98
- "grad_norm": 0.47961825132369995,
99
  "learning_rate": 0.00022021276595744679,
100
- "loss": 0.9343984127044678,
101
  "step": 26
102
  },
103
  {
104
  "epoch": 0.2986666666666667,
105
- "grad_norm": 0.5059517621994019,
106
  "learning_rate": 0.00021382978723404254,
107
- "loss": 1.2788163423538208,
108
  "step": 28
109
  },
110
  {
111
  "epoch": 0.32,
112
- "grad_norm": 0.3515514135360718,
113
  "learning_rate": 0.0002074468085106383,
114
- "loss": 0.6979052424430847,
115
  "step": 30
116
  },
117
  {
118
  "epoch": 0.3413333333333333,
119
- "grad_norm": 0.30817732214927673,
120
  "learning_rate": 0.00020106382978723404,
121
- "loss": 0.804260790348053,
122
  "step": 32
123
  },
124
  {
125
  "epoch": 0.3626666666666667,
126
- "grad_norm": 0.2735461890697479,
127
  "learning_rate": 0.00019468085106382976,
128
- "loss": 0.7646240592002869,
129
  "step": 34
130
  },
131
  {
132
  "epoch": 0.384,
133
- "grad_norm": 0.21854309737682343,
134
  "learning_rate": 0.0001882978723404255,
135
- "loss": 0.8073861598968506,
136
  "step": 36
137
  },
138
  {
139
  "epoch": 0.4053333333333333,
140
- "grad_norm": 0.19453339278697968,
141
  "learning_rate": 0.00018191489361702126,
142
- "loss": 0.5784091949462891,
143
  "step": 38
144
  },
145
  {
146
  "epoch": 0.4266666666666667,
147
- "grad_norm": 0.23420196771621704,
148
  "learning_rate": 0.000175531914893617,
149
- "loss": 0.7726412415504456,
150
  "step": 40
151
  },
152
  {
153
  "epoch": 0.448,
154
- "grad_norm": 0.21530155837535858,
155
  "learning_rate": 0.00016914893617021274,
156
- "loss": 0.7511515021324158,
157
  "step": 42
158
  },
159
  {
160
  "epoch": 0.4693333333333333,
161
- "grad_norm": 0.18182571232318878,
162
  "learning_rate": 0.00016276595744680849,
163
- "loss": 0.536228597164154,
164
  "step": 44
165
  },
166
  {
167
  "epoch": 0.49066666666666664,
168
- "grad_norm": 0.15741167962551117,
169
  "learning_rate": 0.00015638297872340426,
170
- "loss": 0.7213630080223083,
171
  "step": 46
172
  },
173
  {
174
  "epoch": 0.512,
175
- "grad_norm": 0.1518542468547821,
176
  "learning_rate": 0.00015,
177
- "loss": 0.7869961857795715,
178
  "step": 48
179
  },
180
  {
181
  "epoch": 0.5333333333333333,
182
- "grad_norm": 0.14520101249217987,
183
  "learning_rate": 0.00014361702127659574,
184
- "loss": 0.7752764225006104,
185
  "step": 50
186
  },
187
  {
188
  "epoch": 0.5546666666666666,
189
- "grad_norm": 0.17257414758205414,
190
  "learning_rate": 0.0001372340425531915,
191
- "loss": 0.8407772779464722,
192
  "step": 52
193
  },
194
  {
195
  "epoch": 0.576,
196
- "grad_norm": 0.16877472400665283,
197
  "learning_rate": 0.00013085106382978724,
198
- "loss": 0.7839096784591675,
199
  "step": 54
200
  },
201
  {
202
  "epoch": 0.5973333333333334,
203
- "grad_norm": 0.24243956804275513,
204
  "learning_rate": 0.00012446808510638296,
205
- "loss": 0.841733455657959,
206
  "step": 56
207
  },
208
  {
209
  "epoch": 0.6186666666666667,
210
- "grad_norm": 0.14054574072360992,
211
  "learning_rate": 0.00011808510638297871,
212
- "loss": 0.6435402631759644,
213
  "step": 58
214
  },
215
  {
216
  "epoch": 0.64,
217
- "grad_norm": 0.13848860561847687,
218
  "learning_rate": 0.00011170212765957445,
219
- "loss": 0.7245650291442871,
220
  "step": 60
221
  },
222
  {
223
  "epoch": 0.6613333333333333,
224
- "grad_norm": 0.23272359371185303,
225
  "learning_rate": 0.0001053191489361702,
226
- "loss": 0.8280035853385925,
227
  "step": 62
228
  },
229
  {
230
  "epoch": 0.6826666666666666,
231
- "grad_norm": 0.1792154610157013,
232
  "learning_rate": 9.893617021276594e-05,
233
- "loss": 0.8571745753288269,
234
  "step": 64
235
  },
236
  {
237
  "epoch": 0.704,
238
- "grad_norm": 0.16959930956363678,
239
  "learning_rate": 9.25531914893617e-05,
240
- "loss": 0.933184802532196,
241
  "step": 66
242
  },
243
  {
244
  "epoch": 0.7253333333333334,
245
- "grad_norm": 0.13914260268211365,
246
  "learning_rate": 8.617021276595745e-05,
247
- "loss": 0.7348431944847107,
248
  "step": 68
249
  },
250
  {
251
  "epoch": 0.7466666666666667,
252
- "grad_norm": 0.1400301605463028,
253
  "learning_rate": 7.978723404255319e-05,
254
- "loss": 0.6656860113143921,
255
  "step": 70
256
  },
257
  {
258
  "epoch": 0.768,
259
- "grad_norm": 0.16361679136753082,
260
  "learning_rate": 7.340425531914892e-05,
261
- "loss": 0.75230473279953,
262
  "step": 72
263
  },
264
  {
265
  "epoch": 0.7893333333333333,
266
- "grad_norm": 0.1539808064699173,
267
  "learning_rate": 6.702127659574467e-05,
268
- "loss": 0.9810104370117188,
269
  "step": 74
270
  },
271
  {
272
  "epoch": 0.8106666666666666,
273
- "grad_norm": 0.1371268332004547,
274
  "learning_rate": 6.063829787234042e-05,
275
- "loss": 0.6880193948745728,
276
  "step": 76
277
  },
278
  {
279
  "epoch": 0.832,
280
- "grad_norm": 0.11491774022579193,
281
  "learning_rate": 5.425531914893617e-05,
282
- "loss": 0.4922926127910614,
283
  "step": 78
284
  },
285
  {
286
  "epoch": 0.8533333333333334,
287
- "grad_norm": 0.21343013644218445,
288
  "learning_rate": 4.787234042553191e-05,
289
- "loss": 1.116054654121399,
290
  "step": 80
291
  },
292
  {
293
  "epoch": 0.8746666666666667,
294
- "grad_norm": 0.13298730552196503,
295
  "learning_rate": 4.1489361702127656e-05,
296
- "loss": 0.5433835983276367,
297
  "step": 82
298
  },
299
  {
300
  "epoch": 0.896,
301
- "grad_norm": 0.27838391065597534,
302
  "learning_rate": 3.51063829787234e-05,
303
- "loss": 0.9210352897644043,
304
  "step": 84
305
  },
306
  {
307
  "epoch": 0.9173333333333333,
308
- "grad_norm": 0.2603234350681305,
309
  "learning_rate": 2.8723404255319147e-05,
310
- "loss": 0.8113033175468445,
311
  "step": 86
312
  },
313
  {
314
  "epoch": 0.9386666666666666,
315
- "grad_norm": 0.1652015596628189,
316
  "learning_rate": 2.234042553191489e-05,
317
- "loss": 0.9470769166946411,
318
  "step": 88
319
  },
320
  {
321
  "epoch": 0.96,
322
- "grad_norm": 0.18887323141098022,
323
  "learning_rate": 1.5957446808510637e-05,
324
- "loss": 0.8322729468345642,
325
  "step": 90
326
  },
327
  {
328
  "epoch": 0.9813333333333333,
329
- "grad_norm": 0.14641888439655304,
330
  "learning_rate": 9.574468085106381e-06,
331
- "loss": 0.7308990359306335,
332
  "step": 92
333
  },
334
  {
335
  "epoch": 1.0,
336
- "grad_norm": 0.16242855787277222,
337
  "learning_rate": 3.1914893617021273e-06,
338
- "loss": 0.738246500492096,
339
  "step": 94
340
  }
341
  ],
 
11
  "log_history": [
12
  {
13
  "epoch": 0.021333333333333333,
14
+ "grad_norm": 29.684202194213867,
15
  "learning_rate": 0.00029680851063829784,
16
+ "loss": 8.627060890197754,
17
  "step": 2
18
  },
19
  {
20
  "epoch": 0.042666666666666665,
21
+ "grad_norm": 15.885671615600586,
22
  "learning_rate": 0.0002904255319148936,
23
+ "loss": 3.0566599369049072,
24
  "step": 4
25
  },
26
  {
27
  "epoch": 0.064,
28
+ "grad_norm": 10.24151611328125,
29
  "learning_rate": 0.00028404255319148934,
30
+ "loss": 2.2677080631256104,
31
  "step": 6
32
  },
33
  {
34
  "epoch": 0.08533333333333333,
35
+ "grad_norm": 7.422627925872803,
36
  "learning_rate": 0.00027765957446808506,
37
+ "loss": 1.8590039014816284,
38
  "step": 8
39
  },
40
  {
41
  "epoch": 0.10666666666666667,
42
+ "grad_norm": 5.496523380279541,
43
  "learning_rate": 0.00027127659574468084,
44
+ "loss": 1.65449059009552,
45
  "step": 10
46
  },
47
  {
48
  "epoch": 0.128,
49
+ "grad_norm": 2.8149330615997314,
50
  "learning_rate": 0.00026489361702127656,
51
+ "loss": 1.628933072090149,
52
  "step": 12
53
  },
54
  {
55
  "epoch": 0.14933333333333335,
56
+ "grad_norm": 0.9798053503036499,
57
  "learning_rate": 0.0002585106382978723,
58
+ "loss": 1.5164093971252441,
59
  "step": 14
60
  },
61
  {
62
  "epoch": 0.17066666666666666,
63
+ "grad_norm": 0.7580994963645935,
64
  "learning_rate": 0.00025212765957446806,
65
+ "loss": 1.778139591217041,
66
  "step": 16
67
  },
68
  {
69
  "epoch": 0.192,
70
+ "grad_norm": 1.300748348236084,
71
  "learning_rate": 0.00024574468085106384,
72
+ "loss": 1.2931238412857056,
73
  "step": 18
74
  },
75
  {
76
  "epoch": 0.21333333333333335,
77
+ "grad_norm": 2.1067330837249756,
78
  "learning_rate": 0.00023936170212765956,
79
+ "loss": 1.4191280603408813,
80
  "step": 20
81
  },
82
  {
83
  "epoch": 0.23466666666666666,
84
+ "grad_norm": 1.1771434545516968,
85
  "learning_rate": 0.00023297872340425529,
86
+ "loss": 0.8521252870559692,
87
  "step": 22
88
  },
89
  {
90
  "epoch": 0.256,
91
+ "grad_norm": 0.9667294025421143,
92
  "learning_rate": 0.00022659574468085106,
93
+ "loss": 0.922385573387146,
94
  "step": 24
95
  },
96
  {
97
  "epoch": 0.2773333333333333,
98
+ "grad_norm": 0.7140960097312927,
99
  "learning_rate": 0.00022021276595744679,
100
+ "loss": 0.9978636503219604,
101
  "step": 26
102
  },
103
  {
104
  "epoch": 0.2986666666666667,
105
+ "grad_norm": 0.6805611848831177,
106
  "learning_rate": 0.00021382978723404254,
107
+ "loss": 1.325127363204956,
108
  "step": 28
109
  },
110
  {
111
  "epoch": 0.32,
112
+ "grad_norm": 0.47743135690689087,
113
  "learning_rate": 0.0002074468085106383,
114
+ "loss": 0.7170737981796265,
115
  "step": 30
116
  },
117
  {
118
  "epoch": 0.3413333333333333,
119
+ "grad_norm": 0.4274252653121948,
120
  "learning_rate": 0.00020106382978723404,
121
+ "loss": 0.8229861259460449,
122
  "step": 32
123
  },
124
  {
125
  "epoch": 0.3626666666666667,
126
+ "grad_norm": 0.3539794683456421,
127
  "learning_rate": 0.00019468085106382976,
128
+ "loss": 0.7791945338249207,
129
  "step": 34
130
  },
131
  {
132
  "epoch": 0.384,
133
+ "grad_norm": 0.2938564121723175,
134
  "learning_rate": 0.0001882978723404255,
135
+ "loss": 0.822229266166687,
136
  "step": 36
137
  },
138
  {
139
  "epoch": 0.4053333333333333,
140
+ "grad_norm": 0.2560254633426666,
141
  "learning_rate": 0.00018191489361702126,
142
+ "loss": 0.5895446538925171,
143
  "step": 38
144
  },
145
  {
146
  "epoch": 0.4266666666666667,
147
+ "grad_norm": 0.2869499623775482,
148
  "learning_rate": 0.000175531914893617,
149
+ "loss": 0.7841178774833679,
150
  "step": 40
151
  },
152
  {
153
  "epoch": 0.448,
154
+ "grad_norm": 0.2636859118938446,
155
  "learning_rate": 0.00016914893617021274,
156
+ "loss": 0.7623085379600525,
157
  "step": 42
158
  },
159
  {
160
  "epoch": 0.4693333333333333,
161
+ "grad_norm": 0.21826578676700592,
162
  "learning_rate": 0.00016276595744680849,
163
+ "loss": 0.5447239875793457,
164
  "step": 44
165
  },
166
  {
167
  "epoch": 0.49066666666666664,
168
+ "grad_norm": 0.1992732584476471,
169
  "learning_rate": 0.00015638297872340426,
170
+ "loss": 0.7323682904243469,
171
  "step": 46
172
  },
173
  {
174
  "epoch": 0.512,
175
+ "grad_norm": 0.18817859888076782,
176
  "learning_rate": 0.00015,
177
+ "loss": 0.7991129159927368,
178
  "step": 48
179
  },
180
  {
181
  "epoch": 0.5333333333333333,
182
+ "grad_norm": 0.17705494165420532,
183
  "learning_rate": 0.00014361702127659574,
184
+ "loss": 0.7869405746459961,
185
  "step": 50
186
  },
187
  {
188
  "epoch": 0.5546666666666666,
189
+ "grad_norm": 0.20010007917881012,
190
  "learning_rate": 0.0001372340425531915,
191
+ "loss": 0.8560863733291626,
192
  "step": 52
193
  },
194
  {
195
  "epoch": 0.576,
196
+ "grad_norm": 0.1877651810646057,
197
  "learning_rate": 0.00013085106382978724,
198
+ "loss": 0.796995997428894,
199
  "step": 54
200
  },
201
  {
202
  "epoch": 0.5973333333333334,
203
+ "grad_norm": 0.26198551058769226,
204
  "learning_rate": 0.00012446808510638296,
205
+ "loss": 0.8567670583724976,
206
  "step": 56
207
  },
208
  {
209
  "epoch": 0.6186666666666667,
210
+ "grad_norm": 0.1614927500486374,
211
  "learning_rate": 0.00011808510638297871,
212
+ "loss": 0.6549705862998962,
213
  "step": 58
214
  },
215
  {
216
  "epoch": 0.64,
217
+ "grad_norm": 0.16270600259304047,
218
  "learning_rate": 0.00011170212765957445,
219
+ "loss": 0.7354376912117004,
220
  "step": 60
221
  },
222
  {
223
  "epoch": 0.6613333333333333,
224
+ "grad_norm": 0.2576596140861511,
225
  "learning_rate": 0.0001053191489361702,
226
+ "loss": 0.839971125125885,
227
  "step": 62
228
  },
229
  {
230
  "epoch": 0.6826666666666666,
231
+ "grad_norm": 0.3321661055088043,
232
  "learning_rate": 9.893617021276594e-05,
233
+ "loss": 0.8690938353538513,
234
  "step": 64
235
  },
236
  {
237
  "epoch": 0.704,
238
+ "grad_norm": 0.1797027438879013,
239
  "learning_rate": 9.25531914893617e-05,
240
+ "loss": 0.9438663721084595,
241
  "step": 66
242
  },
243
  {
244
  "epoch": 0.7253333333333334,
245
+ "grad_norm": 0.16332873702049255,
246
  "learning_rate": 8.617021276595745e-05,
247
+ "loss": 0.7457777261734009,
248
  "step": 68
249
  },
250
  {
251
  "epoch": 0.7466666666666667,
252
+ "grad_norm": 0.17262433469295502,
253
  "learning_rate": 7.978723404255319e-05,
254
+ "loss": 0.6748669147491455,
255
  "step": 70
256
  },
257
  {
258
  "epoch": 0.768,
259
+ "grad_norm": 0.18247772753238678,
260
  "learning_rate": 7.340425531914892e-05,
261
+ "loss": 0.7640758752822876,
262
  "step": 72
263
  },
264
  {
265
  "epoch": 0.7893333333333333,
266
+ "grad_norm": 0.17622016370296478,
267
  "learning_rate": 6.702127659574467e-05,
268
+ "loss": 0.9953118562698364,
269
  "step": 74
270
  },
271
  {
272
  "epoch": 0.8106666666666666,
273
+ "grad_norm": 0.1601165384054184,
274
  "learning_rate": 6.063829787234042e-05,
275
+ "loss": 0.6992275714874268,
276
  "step": 76
277
  },
278
  {
279
  "epoch": 0.832,
280
+ "grad_norm": 0.13398857414722443,
281
  "learning_rate": 5.425531914893617e-05,
282
+ "loss": 0.49978041648864746,
283
  "step": 78
284
  },
285
  {
286
  "epoch": 0.8533333333333334,
287
+ "grad_norm": 0.25246569514274597,
288
  "learning_rate": 4.787234042553191e-05,
289
+ "loss": 1.1334075927734375,
290
  "step": 80
291
  },
292
  {
293
  "epoch": 0.8746666666666667,
294
+ "grad_norm": 0.1574617475271225,
295
  "learning_rate": 4.1489361702127656e-05,
296
+ "loss": 0.5517998337745667,
297
  "step": 82
298
  },
299
  {
300
  "epoch": 0.896,
301
+ "grad_norm": 0.29688945412635803,
302
  "learning_rate": 3.51063829787234e-05,
303
+ "loss": 0.9275664687156677,
304
  "step": 84
305
  },
306
  {
307
  "epoch": 0.9173333333333333,
308
+ "grad_norm": 0.18004688620567322,
309
  "learning_rate": 2.8723404255319147e-05,
310
+ "loss": 0.8210206031799316,
311
  "step": 86
312
  },
313
  {
314
  "epoch": 0.9386666666666666,
315
+ "grad_norm": 0.20690478384494781,
316
  "learning_rate": 2.234042553191489e-05,
317
+ "loss": 0.9617447853088379,
318
  "step": 88
319
  },
320
  {
321
  "epoch": 0.96,
322
+ "grad_norm": 0.19821050763130188,
323
  "learning_rate": 1.5957446808510637e-05,
324
+ "loss": 0.8445133566856384,
325
  "step": 90
326
  },
327
  {
328
  "epoch": 0.9813333333333333,
329
+ "grad_norm": 0.1804923117160797,
330
  "learning_rate": 9.574468085106381e-06,
331
+ "loss": 0.7421390414237976,
332
  "step": 92
333
  },
334
  {
335
  "epoch": 1.0,
336
+ "grad_norm": 0.17959463596343994,
337
  "learning_rate": 3.1914893617021273e-06,
338
+ "loss": 0.745481550693512,
339
  "step": 94
340
  }
341
  ],
outputs/tiny-50M/model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:ed4868ff639de4b8d629ffc284da1110b14c804b5174492236433a12c251511a
3
  size 223914096
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:394e0bd0efdbea6b68c37457103503f033772b0297efc16973c989206e46ad3e
3
  size 223914096