sparrow8i8 commited on
Commit
a9eb4a8
·
verified ·
1 Parent(s): 279fe5b

add trainer_state.json

Browse files
Files changed (1) hide show
  1. trainer_state.json +872 -0
trainer_state.json ADDED
@@ -0,0 +1,872 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_global_step": 500,
3
+ "best_metric": 0.09908278286457062,
4
+ "best_model_checkpoint": "/workspace/anchor/qwen-pretrained/train/checkpoint-500",
5
+ "epoch": 1.0,
6
+ "eval_steps": 50,
7
+ "global_step": 538,
8
+ "is_hyper_param_search": false,
9
+ "is_local_process_zero": true,
10
+ "is_world_process_zero": true,
11
+ "log_history": [
12
+ {
13
+ "epoch": 0.009306654257794323,
14
+ "grad_norm": 8.3795747756958,
15
+ "learning_rate": 2.962962962962963e-05,
16
+ "loss": 1.0965,
17
+ "step": 5
18
+ },
19
+ {
20
+ "epoch": 0.018613308515588647,
21
+ "grad_norm": 3.7024037837982178,
22
+ "learning_rate": 6.666666666666667e-05,
23
+ "loss": 0.8571,
24
+ "step": 10
25
+ },
26
+ {
27
+ "epoch": 0.02791996277338297,
28
+ "grad_norm": 2.2940096855163574,
29
+ "learning_rate": 0.0001037037037037037,
30
+ "loss": 0.629,
31
+ "step": 15
32
+ },
33
+ {
34
+ "epoch": 0.03722661703117729,
35
+ "grad_norm": 2.2930526733398438,
36
+ "learning_rate": 0.00014074074074074076,
37
+ "loss": 0.527,
38
+ "step": 20
39
+ },
40
+ {
41
+ "epoch": 0.04653327128897161,
42
+ "grad_norm": 4.794444561004639,
43
+ "learning_rate": 0.00017777777777777779,
44
+ "loss": 0.5039,
45
+ "step": 25
46
+ },
47
+ {
48
+ "epoch": 0.05583992554676594,
49
+ "grad_norm": 3.5820388793945312,
50
+ "learning_rate": 0.0001999924406845452,
51
+ "loss": 0.4196,
52
+ "step": 30
53
+ },
54
+ {
55
+ "epoch": 0.06514657980456026,
56
+ "grad_norm": 3.9649713039398193,
57
+ "learning_rate": 0.00019990741151022301,
58
+ "loss": 0.3942,
59
+ "step": 35
60
+ },
61
+ {
62
+ "epoch": 0.07445323406235459,
63
+ "grad_norm": 2.7851450443267822,
64
+ "learning_rate": 0.00019972798462510112,
65
+ "loss": 0.3424,
66
+ "step": 40
67
+ },
68
+ {
69
+ "epoch": 0.08375988832014891,
70
+ "grad_norm": 2.488961935043335,
71
+ "learning_rate": 0.0001994543295610186,
72
+ "loss": 0.2828,
73
+ "step": 45
74
+ },
75
+ {
76
+ "epoch": 0.09306654257794322,
77
+ "grad_norm": 6.255297660827637,
78
+ "learning_rate": 0.00019908670488149148,
79
+ "loss": 0.2322,
80
+ "step": 50
81
+ },
82
+ {
83
+ "epoch": 0.09306654257794322,
84
+ "eval_loss": 0.22483031451702118,
85
+ "eval_runtime": 157.1846,
86
+ "eval_samples_per_second": 1.406,
87
+ "eval_steps_per_second": 0.706,
88
+ "step": 50
89
+ },
90
+ {
91
+ "epoch": 0.10237319683573755,
92
+ "grad_norm": 1.058211326599121,
93
+ "learning_rate": 0.00019862545793740852,
94
+ "loss": 0.2246,
95
+ "step": 55
96
+ },
97
+ {
98
+ "epoch": 0.11167985109353187,
99
+ "grad_norm": 1.2681463956832886,
100
+ "learning_rate": 0.00019807102453883602,
101
+ "loss": 0.2238,
102
+ "step": 60
103
+ },
104
+ {
105
+ "epoch": 0.1209865053513262,
106
+ "grad_norm": 1.2710065841674805,
107
+ "learning_rate": 0.00019742392854324185,
108
+ "loss": 0.2353,
109
+ "step": 65
110
+ },
111
+ {
112
+ "epoch": 0.13029315960912052,
113
+ "grad_norm": 1.0538429021835327,
114
+ "learning_rate": 0.00019668478136052774,
115
+ "loss": 0.21,
116
+ "step": 70
117
+ },
118
+ {
119
+ "epoch": 0.13959981386691483,
120
+ "grad_norm": 1.3220242261886597,
121
+ "learning_rate": 0.00019585428137533744,
122
+ "loss": 0.2222,
123
+ "step": 75
124
+ },
125
+ {
126
+ "epoch": 0.14890646812470917,
127
+ "grad_norm": 1.1070969104766846,
128
+ "learning_rate": 0.00019493321328718652,
129
+ "loss": 0.1745,
130
+ "step": 80
131
+ },
132
+ {
133
+ "epoch": 0.15821312238250348,
134
+ "grad_norm": 1.2554668188095093,
135
+ "learning_rate": 0.00019392244736903772,
136
+ "loss": 0.1952,
137
+ "step": 85
138
+ },
139
+ {
140
+ "epoch": 0.16751977664029782,
141
+ "grad_norm": 1.53813898563385,
142
+ "learning_rate": 0.00019282293864502178,
143
+ "loss": 0.1863,
144
+ "step": 90
145
+ },
146
+ {
147
+ "epoch": 0.17682643089809214,
148
+ "grad_norm": 1.1727522611618042,
149
+ "learning_rate": 0.0001916357259880809,
150
+ "loss": 0.1683,
151
+ "step": 95
152
+ },
153
+ {
154
+ "epoch": 0.18613308515588645,
155
+ "grad_norm": 0.9360535144805908,
156
+ "learning_rate": 0.0001903619311383879,
157
+ "loss": 0.1681,
158
+ "step": 100
159
+ },
160
+ {
161
+ "epoch": 0.18613308515588645,
162
+ "eval_loss": 0.14435869455337524,
163
+ "eval_runtime": 72.7707,
164
+ "eval_samples_per_second": 3.037,
165
+ "eval_steps_per_second": 1.525,
166
+ "step": 100
167
+ },
168
+ {
169
+ "epoch": 0.19543973941368079,
170
+ "grad_norm": 1.1460329294204712,
171
+ "learning_rate": 0.00018900275764346768,
172
+ "loss": 0.1456,
173
+ "step": 105
174
+ },
175
+ {
176
+ "epoch": 0.2047463936714751,
177
+ "grad_norm": 1.0264545679092407,
178
+ "learning_rate": 0.00018755948972102294,
179
+ "loss": 0.1788,
180
+ "step": 110
181
+ },
182
+ {
183
+ "epoch": 0.21405304792926944,
184
+ "grad_norm": 0.9038275480270386,
185
+ "learning_rate": 0.00018603349104553884,
186
+ "loss": 0.1864,
187
+ "step": 115
188
+ },
189
+ {
190
+ "epoch": 0.22335970218706375,
191
+ "grad_norm": 0.8495742082595825,
192
+ "learning_rate": 0.00018442620345981232,
193
+ "loss": 0.1442,
194
+ "step": 120
195
+ },
196
+ {
197
+ "epoch": 0.23266635644485809,
198
+ "grad_norm": 0.7527527213096619,
199
+ "learning_rate": 0.00018273914561262424,
200
+ "loss": 0.1555,
201
+ "step": 125
202
+ },
203
+ {
204
+ "epoch": 0.2419730107026524,
205
+ "grad_norm": 0.6647666692733765,
206
+ "learning_rate": 0.00018097391152384115,
207
+ "loss": 0.1383,
208
+ "step": 130
209
+ },
210
+ {
211
+ "epoch": 0.25127966496044674,
212
+ "grad_norm": 0.8701847195625305,
213
+ "learning_rate": 0.0001791321690783025,
214
+ "loss": 0.1671,
215
+ "step": 135
216
+ },
217
+ {
218
+ "epoch": 0.26058631921824105,
219
+ "grad_norm": 0.6835318803787231,
220
+ "learning_rate": 0.00017721565844991643,
221
+ "loss": 0.1458,
222
+ "step": 140
223
+ },
224
+ {
225
+ "epoch": 0.26989297347603536,
226
+ "grad_norm": 0.8638496994972229,
227
+ "learning_rate": 0.00017522619045745315,
228
+ "loss": 0.163,
229
+ "step": 145
230
+ },
231
+ {
232
+ "epoch": 0.27919962773382967,
233
+ "grad_norm": 1.0149871110916138,
234
+ "learning_rate": 0.00017316564485358923,
235
+ "loss": 0.1518,
236
+ "step": 150
237
+ },
238
+ {
239
+ "epoch": 0.27919962773382967,
240
+ "eval_loss": 0.12961792945861816,
241
+ "eval_runtime": 72.8727,
242
+ "eval_samples_per_second": 3.033,
243
+ "eval_steps_per_second": 1.523,
244
+ "step": 150
245
+ },
246
+ {
247
+ "epoch": 0.28850628199162404,
248
+ "grad_norm": 0.8869348168373108,
249
+ "learning_rate": 0.00017103596854881972,
250
+ "loss": 0.161,
251
+ "step": 155
252
+ },
253
+ {
254
+ "epoch": 0.29781293624941835,
255
+ "grad_norm": 0.6964899897575378,
256
+ "learning_rate": 0.00016883917377191602,
257
+ "loss": 0.1496,
258
+ "step": 160
259
+ },
260
+ {
261
+ "epoch": 0.30711959050721266,
262
+ "grad_norm": 0.7895644307136536,
263
+ "learning_rate": 0.00016657733616866756,
264
+ "loss": 0.178,
265
+ "step": 165
266
+ },
267
+ {
268
+ "epoch": 0.31642624476500697,
269
+ "grad_norm": 0.8652212023735046,
270
+ "learning_rate": 0.00016425259284070398,
271
+ "loss": 0.1572,
272
+ "step": 170
273
+ },
274
+ {
275
+ "epoch": 0.3257328990228013,
276
+ "grad_norm": 0.8598363995552063,
277
+ "learning_rate": 0.00016186714032625035,
278
+ "loss": 0.1329,
279
+ "step": 175
280
+ },
281
+ {
282
+ "epoch": 0.33503955328059565,
283
+ "grad_norm": 0.9525418877601624,
284
+ "learning_rate": 0.000159423232524724,
285
+ "loss": 0.1509,
286
+ "step": 180
287
+ },
288
+ {
289
+ "epoch": 0.34434620753838996,
290
+ "grad_norm": 0.8453659415245056,
291
+ "learning_rate": 0.0001569231785671332,
292
+ "loss": 0.1619,
293
+ "step": 185
294
+ },
295
+ {
296
+ "epoch": 0.35365286179618427,
297
+ "grad_norm": 0.9399647116661072,
298
+ "learning_rate": 0.00015436934063429013,
299
+ "loss": 0.1637,
300
+ "step": 190
301
+ },
302
+ {
303
+ "epoch": 0.3629595160539786,
304
+ "grad_norm": 0.8372876048088074,
305
+ "learning_rate": 0.00015176413172490004,
306
+ "loss": 0.1622,
307
+ "step": 195
308
+ },
309
+ {
310
+ "epoch": 0.3722661703117729,
311
+ "grad_norm": 0.711920976638794,
312
+ "learning_rate": 0.00014911001337563452,
313
+ "loss": 0.1504,
314
+ "step": 200
315
+ },
316
+ {
317
+ "epoch": 0.3722661703117729,
318
+ "eval_loss": 0.12358199059963226,
319
+ "eval_runtime": 73.0008,
320
+ "eval_samples_per_second": 3.027,
321
+ "eval_steps_per_second": 1.521,
322
+ "step": 200
323
+ },
324
+ {
325
+ "epoch": 0.38157282456956726,
326
+ "grad_norm": 0.8126468658447266,
327
+ "learning_rate": 0.00014640949333534403,
328
+ "loss": 0.1526,
329
+ "step": 205
330
+ },
331
+ {
332
+ "epoch": 0.39087947882736157,
333
+ "grad_norm": 0.635465681552887,
334
+ "learning_rate": 0.0001436651231956064,
335
+ "loss": 0.1358,
336
+ "step": 210
337
+ },
338
+ {
339
+ "epoch": 0.4001861330851559,
340
+ "grad_norm": 0.5986313819885254,
341
+ "learning_rate": 0.00014087949597985065,
342
+ "loss": 0.15,
343
+ "step": 215
344
+ },
345
+ {
346
+ "epoch": 0.4094927873429502,
347
+ "grad_norm": 0.7797956466674805,
348
+ "learning_rate": 0.00013805524369333373,
349
+ "loss": 0.1442,
350
+ "step": 220
351
+ },
352
+ {
353
+ "epoch": 0.41879944160074456,
354
+ "grad_norm": 0.6968953609466553,
355
+ "learning_rate": 0.00013519503483628542,
356
+ "loss": 0.1437,
357
+ "step": 225
358
+ },
359
+ {
360
+ "epoch": 0.42810609585853887,
361
+ "grad_norm": 0.6117879152297974,
362
+ "learning_rate": 0.00013230157188257063,
363
+ "loss": 0.1214,
364
+ "step": 230
365
+ },
366
+ {
367
+ "epoch": 0.4374127501163332,
368
+ "grad_norm": 0.6684589982032776,
369
+ "learning_rate": 0.0001293775887262517,
370
+ "loss": 0.1383,
371
+ "step": 235
372
+ },
373
+ {
374
+ "epoch": 0.4467194043741275,
375
+ "grad_norm": 0.7364048957824707,
376
+ "learning_rate": 0.00012642584809846333,
377
+ "loss": 0.1222,
378
+ "step": 240
379
+ },
380
+ {
381
+ "epoch": 0.4560260586319218,
382
+ "grad_norm": 0.7387944459915161,
383
+ "learning_rate": 0.00012344913895704097,
384
+ "loss": 0.1202,
385
+ "step": 245
386
+ },
387
+ {
388
+ "epoch": 0.46533271288971617,
389
+ "grad_norm": 0.6471113562583923,
390
+ "learning_rate": 0.00012045027385136825,
391
+ "loss": 0.1446,
392
+ "step": 250
393
+ },
394
+ {
395
+ "epoch": 0.46533271288971617,
396
+ "eval_loss": 0.11554089933633804,
397
+ "eval_runtime": 73.039,
398
+ "eval_samples_per_second": 3.026,
399
+ "eval_steps_per_second": 1.52,
400
+ "step": 250
401
+ },
402
+ {
403
+ "epoch": 0.4746393671475105,
404
+ "grad_norm": 0.7449938058853149,
405
+ "learning_rate": 0.0001174320862649344,
406
+ "loss": 0.1425,
407
+ "step": 255
408
+ },
409
+ {
410
+ "epoch": 0.4839460214053048,
411
+ "grad_norm": 0.8666985630989075,
412
+ "learning_rate": 0.00011439742793811205,
413
+ "loss": 0.131,
414
+ "step": 260
415
+ },
416
+ {
417
+ "epoch": 0.4932526756630991,
418
+ "grad_norm": 0.9995303750038147,
419
+ "learning_rate": 0.00011134916617368464,
420
+ "loss": 0.1322,
421
+ "step": 265
422
+ },
423
+ {
424
+ "epoch": 0.5025593299208935,
425
+ "grad_norm": 0.6491286754608154,
426
+ "learning_rate": 0.00010829018112766996,
427
+ "loss": 0.1293,
428
+ "step": 270
429
+ },
430
+ {
431
+ "epoch": 0.5118659841786878,
432
+ "grad_norm": 0.8522428274154663,
433
+ "learning_rate": 0.00010522336308799904,
434
+ "loss": 0.1372,
435
+ "step": 275
436
+ },
437
+ {
438
+ "epoch": 0.5211726384364821,
439
+ "grad_norm": 0.7563990354537964,
440
+ "learning_rate": 0.00010215160974362223,
441
+ "loss": 0.1277,
442
+ "step": 280
443
+ },
444
+ {
445
+ "epoch": 0.5304792926942764,
446
+ "grad_norm": 0.6848676800727844,
447
+ "learning_rate": 9.907782344662195e-05,
448
+ "loss": 0.1294,
449
+ "step": 285
450
+ },
451
+ {
452
+ "epoch": 0.5397859469520707,
453
+ "grad_norm": 0.6876094341278076,
454
+ "learning_rate": 9.600490846991994e-05,
455
+ "loss": 0.1383,
456
+ "step": 290
457
+ },
458
+ {
459
+ "epoch": 0.549092601209865,
460
+ "grad_norm": 0.6399123668670654,
461
+ "learning_rate": 9.29357682631691e-05,
462
+ "loss": 0.1241,
463
+ "step": 295
464
+ },
465
+ {
466
+ "epoch": 0.5583992554676593,
467
+ "grad_norm": 0.6791756749153137,
468
+ "learning_rate": 8.987330270942389e-05,
469
+ "loss": 0.14,
470
+ "step": 300
471
+ },
472
+ {
473
+ "epoch": 0.5583992554676593,
474
+ "eval_loss": 0.1100185289978981,
475
+ "eval_runtime": 72.8167,
476
+ "eval_samples_per_second": 3.035,
477
+ "eval_steps_per_second": 1.524,
478
+ "step": 300
479
+ },
480
+ {
481
+ "epoch": 0.5677059097254537,
482
+ "grad_norm": 0.8283066749572754,
483
+ "learning_rate": 8.682040538517974e-05,
484
+ "loss": 0.1346,
485
+ "step": 305
486
+ },
487
+ {
488
+ "epoch": 0.5770125639832481,
489
+ "grad_norm": 0.7044147253036499,
490
+ "learning_rate": 8.377996082637216e-05,
491
+ "loss": 0.1386,
492
+ "step": 310
493
+ },
494
+ {
495
+ "epoch": 0.5863192182410424,
496
+ "grad_norm": 0.696846067905426,
497
+ "learning_rate": 8.075484180291701e-05,
498
+ "loss": 0.1173,
499
+ "step": 315
500
+ },
501
+ {
502
+ "epoch": 0.5956258724988367,
503
+ "grad_norm": 0.7000551819801331,
504
+ "learning_rate": 7.774790660436858e-05,
505
+ "loss": 0.1319,
506
+ "step": 320
507
+ },
508
+ {
509
+ "epoch": 0.604932526756631,
510
+ "grad_norm": 0.8282796144485474,
511
+ "learning_rate": 7.476199633925895e-05,
512
+ "loss": 0.1373,
513
+ "step": 325
514
+ },
515
+ {
516
+ "epoch": 0.6142391810144253,
517
+ "grad_norm": 0.6185778379440308,
518
+ "learning_rate": 7.179993225067136e-05,
519
+ "loss": 0.1376,
520
+ "step": 330
521
+ },
522
+ {
523
+ "epoch": 0.6235458352722196,
524
+ "grad_norm": 0.6192060112953186,
525
+ "learning_rate": 6.886451305058293e-05,
526
+ "loss": 0.1296,
527
+ "step": 335
528
+ },
529
+ {
530
+ "epoch": 0.6328524895300139,
531
+ "grad_norm": 0.5297410488128662,
532
+ "learning_rate": 6.595851227549657e-05,
533
+ "loss": 0.1114,
534
+ "step": 340
535
+ },
536
+ {
537
+ "epoch": 0.6421591437878083,
538
+ "grad_norm": 0.6853290796279907,
539
+ "learning_rate": 6.308467566585929e-05,
540
+ "loss": 0.1258,
541
+ "step": 345
542
+ },
543
+ {
544
+ "epoch": 0.6514657980456026,
545
+ "grad_norm": 0.5415284633636475,
546
+ "learning_rate": 6.024571857174443e-05,
547
+ "loss": 0.1151,
548
+ "step": 350
549
+ },
550
+ {
551
+ "epoch": 0.6514657980456026,
552
+ "eval_loss": 0.10505883395671844,
553
+ "eval_runtime": 72.7668,
554
+ "eval_samples_per_second": 3.037,
555
+ "eval_steps_per_second": 1.525,
556
+ "step": 350
557
+ },
558
+ {
559
+ "epoch": 0.6607724523033969,
560
+ "grad_norm": 0.6376184225082397,
561
+ "learning_rate": 5.7444323387247544e-05,
562
+ "loss": 0.1196,
563
+ "step": 355
564
+ },
565
+ {
566
+ "epoch": 0.6700791065611913,
567
+ "grad_norm": 0.9076871871948242,
568
+ "learning_rate": 5.468313701602141e-05,
569
+ "loss": 0.1199,
570
+ "step": 360
571
+ },
572
+ {
573
+ "epoch": 0.6793857608189856,
574
+ "grad_norm": 0.8146594166755676,
575
+ "learning_rate": 5.196476837034381e-05,
576
+ "loss": 0.1278,
577
+ "step": 365
578
+ },
579
+ {
580
+ "epoch": 0.6886924150767799,
581
+ "grad_norm": 0.7426274418830872,
582
+ "learning_rate": 4.9291785906081925e-05,
583
+ "loss": 0.1356,
584
+ "step": 370
585
+ },
586
+ {
587
+ "epoch": 0.6979990693345742,
588
+ "grad_norm": 0.8531163334846497,
589
+ "learning_rate": 4.6666715195881586e-05,
590
+ "loss": 0.1322,
591
+ "step": 375
592
+ },
593
+ {
594
+ "epoch": 0.7073057235923685,
595
+ "grad_norm": 0.6669689416885376,
596
+ "learning_rate": 4.409203654287538e-05,
597
+ "loss": 0.1228,
598
+ "step": 380
599
+ },
600
+ {
601
+ "epoch": 0.7166123778501629,
602
+ "grad_norm": 0.7575223445892334,
603
+ "learning_rate": 4.1570182637163155e-05,
604
+ "loss": 0.1384,
605
+ "step": 385
606
+ },
607
+ {
608
+ "epoch": 0.7259190321079572,
609
+ "grad_norm": 0.677855908870697,
610
+ "learning_rate": 3.910353625728035e-05,
611
+ "loss": 0.1195,
612
+ "step": 390
613
+ },
614
+ {
615
+ "epoch": 0.7352256863657515,
616
+ "grad_norm": 0.6284500360488892,
617
+ "learning_rate": 3.66944280188248e-05,
618
+ "loss": 0.119,
619
+ "step": 395
620
+ },
621
+ {
622
+ "epoch": 0.7445323406235458,
623
+ "grad_norm": 0.5671315789222717,
624
+ "learning_rate": 3.434513417237041e-05,
625
+ "loss": 0.1159,
626
+ "step": 400
627
+ },
628
+ {
629
+ "epoch": 0.7445323406235458,
630
+ "eval_loss": 0.10208839178085327,
631
+ "eval_runtime": 72.8321,
632
+ "eval_samples_per_second": 3.034,
633
+ "eval_steps_per_second": 1.524,
634
+ "step": 400
635
+ },
636
+ {
637
+ "epoch": 0.7538389948813402,
638
+ "grad_norm": 0.6890803575515747,
639
+ "learning_rate": 3.205787445274707e-05,
640
+ "loss": 0.1254,
641
+ "step": 405
642
+ },
643
+ {
644
+ "epoch": 0.7631456491391345,
645
+ "grad_norm": 0.6065118312835693,
646
+ "learning_rate": 2.9834809981720224e-05,
647
+ "loss": 0.1076,
648
+ "step": 410
649
+ },
650
+ {
651
+ "epoch": 0.7724523033969288,
652
+ "grad_norm": 0.734563946723938,
653
+ "learning_rate": 2.7678041226050533e-05,
654
+ "loss": 0.1283,
655
+ "step": 415
656
+ },
657
+ {
658
+ "epoch": 0.7817589576547231,
659
+ "grad_norm": 0.6849725842475891,
660
+ "learning_rate": 2.5589606012863963e-05,
661
+ "loss": 0.1235,
662
+ "step": 420
663
+ },
664
+ {
665
+ "epoch": 0.7910656119125175,
666
+ "grad_norm": 0.7363895773887634,
667
+ "learning_rate": 2.3571477604206792e-05,
668
+ "loss": 0.1329,
669
+ "step": 425
670
+ },
671
+ {
672
+ "epoch": 0.8003722661703118,
673
+ "grad_norm": 0.6717341542243958,
674
+ "learning_rate": 2.1625562832605284e-05,
675
+ "loss": 0.1339,
676
+ "step": 430
677
+ },
678
+ {
679
+ "epoch": 0.8096789204281061,
680
+ "grad_norm": 0.6806132197380066,
681
+ "learning_rate": 1.975370029939111e-05,
682
+ "loss": 0.1198,
683
+ "step": 435
684
+ },
685
+ {
686
+ "epoch": 0.8189855746859004,
687
+ "grad_norm": 0.7354431748390198,
688
+ "learning_rate": 1.795765863749549e-05,
689
+ "loss": 0.1436,
690
+ "step": 440
691
+ },
692
+ {
693
+ "epoch": 0.8282922289436947,
694
+ "grad_norm": 0.5758335590362549,
695
+ "learning_rate": 1.623913484035282e-05,
696
+ "loss": 0.108,
697
+ "step": 445
698
+ },
699
+ {
700
+ "epoch": 0.8375988832014891,
701
+ "grad_norm": 0.5895151495933533,
702
+ "learning_rate": 1.4599752658493304e-05,
703
+ "loss": 0.1384,
704
+ "step": 450
705
+ },
706
+ {
707
+ "epoch": 0.8375988832014891,
708
+ "eval_loss": 0.10044225305318832,
709
+ "eval_runtime": 72.8277,
710
+ "eval_samples_per_second": 3.035,
711
+ "eval_steps_per_second": 1.524,
712
+ "step": 450
713
+ },
714
+ {
715
+ "epoch": 0.8469055374592834,
716
+ "grad_norm": 0.5299936532974243,
717
+ "learning_rate": 1.30410610653389e-05,
718
+ "loss": 0.1082,
719
+ "step": 455
720
+ },
721
+ {
722
+ "epoch": 0.8562121917170777,
723
+ "grad_norm": 0.6784066557884216,
724
+ "learning_rate": 1.1564532793653072e-05,
725
+ "loss": 0.1279,
726
+ "step": 460
727
+ },
728
+ {
729
+ "epoch": 0.865518845974872,
730
+ "grad_norm": 0.7089002728462219,
731
+ "learning_rate": 1.0171562944026103e-05,
732
+ "loss": 0.121,
733
+ "step": 465
734
+ },
735
+ {
736
+ "epoch": 0.8748255002326664,
737
+ "grad_norm": 0.7150669097900391,
738
+ "learning_rate": 8.863467666711866e-06,
739
+ "loss": 0.1,
740
+ "step": 470
741
+ },
742
+ {
743
+ "epoch": 0.8841321544904607,
744
+ "grad_norm": 0.7433251142501831,
745
+ "learning_rate": 7.641482918060506e-06,
746
+ "loss": 0.1111,
747
+ "step": 475
748
+ },
749
+ {
750
+ "epoch": 0.893438808748255,
751
+ "grad_norm": 0.6310339570045471,
752
+ "learning_rate": 6.506763292722851e-06,
753
+ "loss": 0.0885,
754
+ "step": 480
755
+ },
756
+ {
757
+ "epoch": 0.9027454630060493,
758
+ "grad_norm": 0.5972334742546082,
759
+ "learning_rate": 5.460380932729303e-06,
760
+ "loss": 0.1061,
761
+ "step": 485
762
+ },
763
+ {
764
+ "epoch": 0.9120521172638436,
765
+ "grad_norm": 0.6366889476776123,
766
+ "learning_rate": 4.503324514474483e-06,
767
+ "loss": 0.1347,
768
+ "step": 490
769
+ },
770
+ {
771
+ "epoch": 0.9213587715216379,
772
+ "grad_norm": 0.7572676539421082,
773
+ "learning_rate": 3.636498314564307e-06,
774
+ "loss": 0.1174,
775
+ "step": 495
776
+ },
777
+ {
778
+ "epoch": 0.9306654257794323,
779
+ "grad_norm": 0.6025388836860657,
780
+ "learning_rate": 2.860721355408602e-06,
781
+ "loss": 0.1112,
782
+ "step": 500
783
+ },
784
+ {
785
+ "epoch": 0.9306654257794323,
786
+ "eval_loss": 0.09908278286457062,
787
+ "eval_runtime": 72.8525,
788
+ "eval_samples_per_second": 3.034,
789
+ "eval_steps_per_second": 1.524,
790
+ "step": 500
791
+ },
792
+ {
793
+ "epoch": 0.9399720800372267,
794
+ "grad_norm": 0.6565231680870056,
795
+ "learning_rate": 2.1767266313661105e-06,
796
+ "loss": 0.1077,
797
+ "step": 505
798
+ },
799
+ {
800
+ "epoch": 0.949278734295021,
801
+ "grad_norm": 0.5436176657676697,
802
+ "learning_rate": 1.5851604161734256e-06,
803
+ "loss": 0.1193,
804
+ "step": 510
805
+ },
806
+ {
807
+ "epoch": 0.9585853885528153,
808
+ "grad_norm": 0.8013174533843994,
809
+ "learning_rate": 1.0865816523119466e-06,
810
+ "loss": 0.1193,
811
+ "step": 515
812
+ },
813
+ {
814
+ "epoch": 0.9678920428106096,
815
+ "grad_norm": 0.6958430409431458,
816
+ "learning_rate": 6.814614228900507e-07,
817
+ "loss": 0.1152,
818
+ "step": 520
819
+ },
820
+ {
821
+ "epoch": 0.9771986970684039,
822
+ "grad_norm": 0.5581568479537964,
823
+ "learning_rate": 3.701825065392184e-07,
824
+ "loss": 0.1249,
825
+ "step": 525
826
+ },
827
+ {
828
+ "epoch": 0.9865053513261982,
829
+ "grad_norm": 0.7202214002609253,
830
+ "learning_rate": 1.5303901574502678e-07,
831
+ "loss": 0.1164,
832
+ "step": 530
833
+ },
834
+ {
835
+ "epoch": 0.9958120055839925,
836
+ "grad_norm": 0.5646489262580872,
837
+ "learning_rate": 3.023611895428546e-08,
838
+ "loss": 0.1061,
839
+ "step": 535
840
+ }
841
+ ],
842
+ "logging_steps": 5,
843
+ "max_steps": 538,
844
+ "num_input_tokens_seen": 0,
845
+ "num_train_epochs": 1,
846
+ "save_steps": 100,
847
+ "stateful_callbacks": {
848
+ "EarlyStoppingCallback": {
849
+ "args": {
850
+ "early_stopping_patience": 2,
851
+ "early_stopping_threshold": 0.001
852
+ },
853
+ "attributes": {
854
+ "early_stopping_patience_counter": 0
855
+ }
856
+ },
857
+ "TrainerControl": {
858
+ "args": {
859
+ "should_epoch_stop": false,
860
+ "should_evaluate": false,
861
+ "should_log": false,
862
+ "should_save": true,
863
+ "should_training_stop": true
864
+ },
865
+ "attributes": {}
866
+ }
867
+ },
868
+ "total_flos": 2.3722943184871096e+18,
869
+ "train_batch_size": 2,
870
+ "trial_name": null,
871
+ "trial_params": null
872
+ }