condition-2-ur-20k-seed456: trained adapter and metrics

#25
by rafaym - opened
tiny-aya-base/condition-2-ur-20k-seed456/adapter_config.json ADDED
@@ -0,0 +1,55 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "alora_invocation_tokens": null,
3
+ "alpha_pattern": {},
4
+ "arrow_config": null,
5
+ "auto_mapping": {
6
+ "base_model_class": "Cohere2ForCausalLM",
7
+ "parent_library": "unsloth_compiled_module_cohere2",
8
+ "unsloth_fixed": true
9
+ },
10
+ "base_model_name_or_path": "CohereLabs/tiny-aya-base",
11
+ "bias": "none",
12
+ "corda_config": null,
13
+ "ensure_weight_tying": false,
14
+ "eva_config": null,
15
+ "exclude_modules": null,
16
+ "fan_in_fan_out": false,
17
+ "inference_mode": true,
18
+ "init_lora_weights": true,
19
+ "kasa_config": null,
20
+ "layer_replication": null,
21
+ "layers_pattern": null,
22
+ "layers_to_transform": null,
23
+ "loftq_config": {},
24
+ "lora_alpha": 32,
25
+ "lora_bias": false,
26
+ "lora_dropout": 0.0,
27
+ "lora_ga_config": null,
28
+ "megatron_config": null,
29
+ "megatron_core": "megatron.core",
30
+ "modules_to_save": null,
31
+ "monteclora_config": null,
32
+ "peft_type": "LORA",
33
+ "peft_version": "0.21.2",
34
+ "qalora_group_size": 16,
35
+ "r": 16,
36
+ "rank_pattern": {},
37
+ "revision": null,
38
+ "target_modules": [
39
+ "k_proj",
40
+ "gate_proj",
41
+ "v_proj",
42
+ "o_proj",
43
+ "q_proj",
44
+ "down_proj",
45
+ "up_proj"
46
+ ],
47
+ "target_parameters": null,
48
+ "task_type": "CAUSAL_LM",
49
+ "trainable_token_indices": null,
50
+ "use_bdlora": null,
51
+ "use_dora": false,
52
+ "use_qalora": false,
53
+ "use_rslora": false,
54
+ "velora_config": null
55
+ }
tiny-aya-base/condition-2-ur-20k-seed456/adapter_model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:55a069569cc2425ec0db0389d3a1a92ad5d98d4485c3850533b717daa8f87ba4
3
+ size 120981200
tiny-aya-base/condition-2-ur-20k-seed456/training_metrics.json ADDED
@@ -0,0 +1,826 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "model_config_name": "tiny-aya-base",
3
+ "condition_name": "condition-2-ur-20k",
4
+ "seed": 456,
5
+ "output_name": "condition-2-ur-20k-seed456",
6
+ "train_result": {
7
+ "train_runtime": 12896.848,
8
+ "train_samples_per_second": 1.396,
9
+ "train_steps_per_second": 0.087,
10
+ "total_flos": 3.1390518357262336e+17,
11
+ "train_loss": 1.0722502996656629,
12
+ "epoch": 1.0
13
+ },
14
+ "environment": {
15
+ "python": "3.13.16",
16
+ "cuda": "13.0",
17
+ "gpu": "Tesla T4",
18
+ "packages": {
19
+ "unsloth": "2026.11.3",
20
+ "unsloth_zoo": "2026.11.4",
21
+ "transformers": "4.56.2",
22
+ "trl": "0.22.2",
23
+ "peft": "0.21.2",
24
+ "torch": "2.11.0+cu130",
25
+ "accelerate": "1.15.0",
26
+ "bitsandbytes": "0.50.2",
27
+ "datasets": "4.8.5",
28
+ "huggingface_hub": "0.36.2"
29
+ }
30
+ },
31
+ "log_history": [
32
+ {
33
+ "loss": 1.5244,
34
+ "grad_norm": 0.16350844502449036,
35
+ "learning_rate": 3.157894736842105e-05,
36
+ "epoch": 0.008888888888888889,
37
+ "step": 10
38
+ },
39
+ {
40
+ "loss": 1.5563,
41
+ "grad_norm": 0.20459730923175812,
42
+ "learning_rate": 6.666666666666667e-05,
43
+ "epoch": 0.017777777777777778,
44
+ "step": 20
45
+ },
46
+ {
47
+ "loss": 1.3742,
48
+ "grad_norm": 0.19664596021175385,
49
+ "learning_rate": 0.0001017543859649123,
50
+ "epoch": 0.02666666666666667,
51
+ "step": 30
52
+ },
53
+ {
54
+ "loss": 1.3006,
55
+ "grad_norm": 0.2015010416507721,
56
+ "learning_rate": 0.0001368421052631579,
57
+ "epoch": 0.035555555555555556,
58
+ "step": 40
59
+ },
60
+ {
61
+ "loss": 1.1751,
62
+ "grad_norm": 0.24255205690860748,
63
+ "learning_rate": 0.00017192982456140353,
64
+ "epoch": 0.044444444444444446,
65
+ "step": 50
66
+ },
67
+ {
68
+ "loss": 1.1622,
69
+ "grad_norm": 0.16125929355621338,
70
+ "learning_rate": 0.0001999982694427025,
71
+ "epoch": 0.05333333333333334,
72
+ "step": 60
73
+ },
74
+ {
75
+ "loss": 1.1784,
76
+ "grad_norm": 0.21807928383350372,
77
+ "learning_rate": 0.00019993770622619782,
78
+ "epoch": 0.06222222222222222,
79
+ "step": 70
80
+ },
81
+ {
82
+ "loss": 1.1384,
83
+ "grad_norm": 0.1591600924730301,
84
+ "learning_rate": 0.00019979067503207154,
85
+ "epoch": 0.07111111111111111,
86
+ "step": 80
87
+ },
88
+ {
89
+ "loss": 1.1284,
90
+ "grad_norm": 0.1639080047607422,
91
+ "learning_rate": 0.00019955730307447014,
92
+ "epoch": 0.08,
93
+ "step": 90
94
+ },
95
+ {
96
+ "loss": 1.1049,
97
+ "grad_norm": 0.17424426972866058,
98
+ "learning_rate": 0.0001992377922711879,
99
+ "epoch": 0.08888888888888889,
100
+ "step": 100
101
+ },
102
+ {
103
+ "loss": 1.145,
104
+ "grad_norm": 0.17057712376117706,
105
+ "learning_rate": 0.00019883241906896388,
106
+ "epoch": 0.09777777777777778,
107
+ "step": 110
108
+ },
109
+ {
110
+ "loss": 1.0918,
111
+ "grad_norm": 0.16428184509277344,
112
+ "learning_rate": 0.00019834153420429478,
113
+ "epoch": 0.10666666666666667,
114
+ "step": 120
115
+ },
116
+ {
117
+ "loss": 1.05,
118
+ "grad_norm": 0.1523844599723816,
119
+ "learning_rate": 0.00019776556239997146,
120
+ "epoch": 0.11555555555555555,
121
+ "step": 130
122
+ },
123
+ {
124
+ "loss": 1.0749,
125
+ "grad_norm": 0.17183446884155273,
126
+ "learning_rate": 0.0001971050019976005,
127
+ "epoch": 0.12444444444444444,
128
+ "step": 140
129
+ },
130
+ {
131
+ "loss": 1.0704,
132
+ "grad_norm": 0.1721840798854828,
133
+ "learning_rate": 0.00019636042452643,
134
+ "epoch": 0.13333333333333333,
135
+ "step": 150
136
+ },
137
+ {
138
+ "loss": 1.0832,
139
+ "grad_norm": 0.16104651987552643,
140
+ "learning_rate": 0.00019553247420885157,
141
+ "epoch": 0.14222222222222222,
142
+ "step": 160
143
+ },
144
+ {
145
+ "loss": 1.0927,
146
+ "grad_norm": 0.16408990323543549,
147
+ "learning_rate": 0.00019462186740300697,
148
+ "epoch": 0.1511111111111111,
149
+ "step": 170
150
+ },
151
+ {
152
+ "loss": 1.0839,
153
+ "grad_norm": 0.15997214615345,
154
+ "learning_rate": 0.00019362939198298184,
155
+ "epoch": 0.16,
156
+ "step": 180
157
+ },
158
+ {
159
+ "loss": 1.0613,
160
+ "grad_norm": 0.15737643837928772,
161
+ "learning_rate": 0.00019255590665712214,
162
+ "epoch": 0.1688888888888889,
163
+ "step": 190
164
+ },
165
+ {
166
+ "loss": 1.0553,
167
+ "grad_norm": 0.14310576021671295,
168
+ "learning_rate": 0.00019140234022506348,
169
+ "epoch": 0.17777777777777778,
170
+ "step": 200
171
+ },
172
+ {
173
+ "loss": 1.0882,
174
+ "grad_norm": 0.1565384715795517,
175
+ "learning_rate": 0.00019016969077411647,
176
+ "epoch": 0.18666666666666668,
177
+ "step": 210
178
+ },
179
+ {
180
+ "loss": 1.0746,
181
+ "grad_norm": 0.16638122498989105,
182
+ "learning_rate": 0.0001888590248157027,
183
+ "epoch": 0.19555555555555557,
184
+ "step": 220
185
+ },
186
+ {
187
+ "loss": 1.0626,
188
+ "grad_norm": 0.16595758497714996,
189
+ "learning_rate": 0.00018747147636258917,
190
+ "epoch": 0.20444444444444446,
191
+ "step": 230
192
+ },
193
+ {
194
+ "loss": 1.0586,
195
+ "grad_norm": 0.14805962145328522,
196
+ "learning_rate": 0.00018600824594771907,
197
+ "epoch": 0.21333333333333335,
198
+ "step": 240
199
+ },
200
+ {
201
+ "loss": 1.0808,
202
+ "grad_norm": 0.14712879061698914,
203
+ "learning_rate": 0.0001844705995854882,
204
+ "epoch": 0.2222222222222222,
205
+ "step": 250
206
+ },
207
+ {
208
+ "loss": 1.0879,
209
+ "grad_norm": 0.14264415204524994,
210
+ "learning_rate": 0.00018285986767636566,
211
+ "epoch": 0.2311111111111111,
212
+ "step": 260
213
+ },
214
+ {
215
+ "loss": 1.05,
216
+ "grad_norm": 0.16739584505558014,
217
+ "learning_rate": 0.00018117744385580625,
218
+ "epoch": 0.24,
219
+ "step": 270
220
+ },
221
+ {
222
+ "loss": 1.0722,
223
+ "grad_norm": 0.15492460131645203,
224
+ "learning_rate": 0.0001794247837884511,
225
+ "epoch": 0.24888888888888888,
226
+ "step": 280
227
+ },
228
+ {
229
+ "loss": 1.0752,
230
+ "grad_norm": 0.15863566100597382,
231
+ "learning_rate": 0.0001776034039086592,
232
+ "epoch": 0.2577777777777778,
233
+ "step": 290
234
+ },
235
+ {
236
+ "loss": 1.0539,
237
+ "grad_norm": 0.1624976247549057,
238
+ "learning_rate": 0.00017571488010846003,
239
+ "epoch": 0.26666666666666666,
240
+ "step": 300
241
+ },
242
+ {
243
+ "loss": 1.1329,
244
+ "grad_norm": 0.17811322212219238,
245
+ "learning_rate": 0.00017376084637406222,
246
+ "epoch": 0.27555555555555555,
247
+ "step": 310
248
+ },
249
+ {
250
+ "loss": 1.0683,
251
+ "grad_norm": 0.143978551030159,
252
+ "learning_rate": 0.000171742993372098,
253
+ "epoch": 0.28444444444444444,
254
+ "step": 320
255
+ },
256
+ {
257
+ "loss": 1.0258,
258
+ "grad_norm": 0.20762859284877777,
259
+ "learning_rate": 0.0001696630669868267,
260
+ "epoch": 0.29333333333333333,
261
+ "step": 330
262
+ },
263
+ {
264
+ "loss": 1.115,
265
+ "grad_norm": 0.13789011538028717,
266
+ "learning_rate": 0.00016752286680956306,
267
+ "epoch": 0.3022222222222222,
268
+ "step": 340
269
+ },
270
+ {
271
+ "loss": 1.0418,
272
+ "grad_norm": 0.1340438276529312,
273
+ "learning_rate": 0.00016532424458163693,
274
+ "epoch": 0.3111111111111111,
275
+ "step": 350
276
+ },
277
+ {
278
+ "loss": 1.026,
279
+ "grad_norm": 0.13038745522499084,
280
+ "learning_rate": 0.0001630691025922321,
281
+ "epoch": 0.32,
282
+ "step": 360
283
+ },
284
+ {
285
+ "loss": 1.0541,
286
+ "grad_norm": 0.1558384895324707,
287
+ "learning_rate": 0.0001607593920324899,
288
+ "epoch": 0.3288888888888889,
289
+ "step": 370
290
+ },
291
+ {
292
+ "loss": 1.0475,
293
+ "grad_norm": 0.14060597121715546,
294
+ "learning_rate": 0.00015839711130730203,
295
+ "epoch": 0.3377777777777778,
296
+ "step": 380
297
+ },
298
+ {
299
+ "loss": 1.0461,
300
+ "grad_norm": 0.14945553243160248,
301
+ "learning_rate": 0.00015598430430625334,
302
+ "epoch": 0.3466666666666667,
303
+ "step": 390
304
+ },
305
+ {
306
+ "loss": 1.0667,
307
+ "grad_norm": 0.14002718031406403,
308
+ "learning_rate": 0.00015352305863520991,
309
+ "epoch": 0.35555555555555557,
310
+ "step": 400
311
+ },
312
+ {
313
+ "loss": 1.0253,
314
+ "grad_norm": 0.1367797553539276,
315
+ "learning_rate": 0.00015101550381008377,
316
+ "epoch": 0.36444444444444446,
317
+ "step": 410
318
+ },
319
+ {
320
+ "loss": 1.0334,
321
+ "grad_norm": 0.14201302826404572,
322
+ "learning_rate": 0.00014846380941433522,
323
+ "epoch": 0.37333333333333335,
324
+ "step": 420
325
+ },
326
+ {
327
+ "loss": 1.033,
328
+ "grad_norm": 0.13825564086437225,
329
+ "learning_rate": 0.00014587018322180905,
330
+ "epoch": 0.38222222222222224,
331
+ "step": 430
332
+ },
333
+ {
334
+ "loss": 1.0626,
335
+ "grad_norm": 0.15870065987110138,
336
+ "learning_rate": 0.00014323686928652697,
337
+ "epoch": 0.39111111111111113,
338
+ "step": 440
339
+ },
340
+ {
341
+ "loss": 1.0287,
342
+ "grad_norm": 0.14332453906536102,
343
+ "learning_rate": 0.00014056614600108997,
344
+ "epoch": 0.4,
345
+ "step": 450
346
+ },
347
+ {
348
+ "loss": 0.9941,
349
+ "grad_norm": 0.13741353154182434,
350
+ "learning_rate": 0.00013786032412537035,
351
+ "epoch": 0.4088888888888889,
352
+ "step": 460
353
+ },
354
+ {
355
+ "loss": 1.0731,
356
+ "grad_norm": 0.15269435942173004,
357
+ "learning_rate": 0.00013512174478719894,
358
+ "epoch": 0.4177777777777778,
359
+ "step": 470
360
+ },
361
+ {
362
+ "loss": 1.0181,
363
+ "grad_norm": 0.14408323168754578,
364
+ "learning_rate": 0.00013235277745677747,
365
+ "epoch": 0.4266666666666667,
366
+ "step": 480
367
+ },
368
+ {
369
+ "loss": 1.0897,
370
+ "grad_norm": 0.14229722321033478,
371
+ "learning_rate": 0.00012955581789656843,
372
+ "epoch": 0.43555555555555553,
373
+ "step": 490
374
+ },
375
+ {
376
+ "loss": 1.06,
377
+ "grad_norm": 0.12970559298992157,
378
+ "learning_rate": 0.00012673328608843636,
379
+ "epoch": 0.4444444444444444,
380
+ "step": 500
381
+ },
382
+ {
383
+ "loss": 1.0439,
384
+ "grad_norm": 0.15365321934223175,
385
+ "learning_rate": 0.00012388762413983445,
386
+ "epoch": 0.4533333333333333,
387
+ "step": 510
388
+ },
389
+ {
390
+ "loss": 1.0228,
391
+ "grad_norm": 0.14418460428714752,
392
+ "learning_rate": 0.00012102129417084714,
393
+ "epoch": 0.4622222222222222,
394
+ "step": 520
395
+ },
396
+ {
397
+ "loss": 1.0337,
398
+ "grad_norm": 0.1475602090358734,
399
+ "learning_rate": 0.00011813677618391759,
400
+ "epoch": 0.4711111111111111,
401
+ "step": 530
402
+ },
403
+ {
404
+ "loss": 1.1104,
405
+ "grad_norm": 0.16402322053909302,
406
+ "learning_rate": 0.00011523656591810337,
407
+ "epoch": 0.48,
408
+ "step": 540
409
+ },
410
+ {
411
+ "loss": 1.0357,
412
+ "grad_norm": 0.14935502409934998,
413
+ "learning_rate": 0.00011232317268971585,
414
+ "epoch": 0.4888888888888889,
415
+ "step": 550
416
+ },
417
+ {
418
+ "loss": 1.047,
419
+ "grad_norm": 0.14214734733104706,
420
+ "learning_rate": 0.00010939911722121306,
421
+ "epoch": 0.49777777777777776,
422
+ "step": 560
423
+ },
424
+ {
425
+ "loss": 1.0657,
426
+ "grad_norm": 0.1445426642894745,
427
+ "learning_rate": 0.00010646692946022285,
428
+ "epoch": 0.5066666666666667,
429
+ "step": 570
430
+ },
431
+ {
432
+ "loss": 1.0823,
433
+ "grad_norm": 0.13829749822616577,
434
+ "learning_rate": 0.00010352914639058526,
435
+ "epoch": 0.5155555555555555,
436
+ "step": 580
437
+ },
438
+ {
439
+ "loss": 1.0444,
440
+ "grad_norm": 0.15570487082004547,
441
+ "learning_rate": 0.00010058830983730622,
442
+ "epoch": 0.5244444444444445,
443
+ "step": 590
444
+ },
445
+ {
446
+ "loss": 1.0483,
447
+ "grad_norm": 0.14352953433990479,
448
+ "learning_rate": 9.764696426732303e-05,
449
+ "epoch": 0.5333333333333333,
450
+ "step": 600
451
+ },
452
+ {
453
+ "loss": 1.0676,
454
+ "grad_norm": 0.1391441971063614,
455
+ "learning_rate": 9.470765458798368e-05,
456
+ "epoch": 0.5422222222222223,
457
+ "step": 610
458
+ },
459
+ {
460
+ "loss": 1.0071,
461
+ "grad_norm": 0.14949287474155426,
462
+ "learning_rate": 9.177292394514555e-05,
463
+ "epoch": 0.5511111111111111,
464
+ "step": 620
465
+ },
466
+ {
467
+ "loss": 1.0114,
468
+ "grad_norm": 0.11972354352474213,
469
+ "learning_rate": 8.884531152279756e-05,
470
+ "epoch": 0.56,
471
+ "step": 630
472
+ },
473
+ {
474
+ "loss": 1.0823,
475
+ "grad_norm": 0.1377587467432022,
476
+ "learning_rate": 8.592735034611097e-05,
477
+ "epoch": 0.5688888888888889,
478
+ "step": 640
479
+ },
480
+ {
481
+ "loss": 1.0244,
482
+ "grad_norm": 0.13996507227420807,
483
+ "learning_rate": 8.302156508981815e-05,
484
+ "epoch": 0.5777777777777777,
485
+ "step": 650
486
+ },
487
+ {
488
+ "loss": 1.0361,
489
+ "grad_norm": 0.14000128209590912,
490
+ "learning_rate": 8.013046989381691e-05,
491
+ "epoch": 0.5866666666666667,
492
+ "step": 660
493
+ },
494
+ {
495
+ "loss": 1.0493,
496
+ "grad_norm": 0.13332217931747437,
497
+ "learning_rate": 7.725656618788937e-05,
498
+ "epoch": 0.5955555555555555,
499
+ "step": 670
500
+ },
501
+ {
502
+ "loss": 1.0349,
503
+ "grad_norm": 0.13821038603782654,
504
+ "learning_rate": 7.4402340527418e-05,
505
+ "epoch": 0.6044444444444445,
506
+ "step": 680
507
+ },
508
+ {
509
+ "loss": 1.0188,
510
+ "grad_norm": 0.1458366960287094,
511
+ "learning_rate": 7.157026244197132e-05,
512
+ "epoch": 0.6133333333333333,
513
+ "step": 690
514
+ },
515
+ {
516
+ "loss": 1.0939,
517
+ "grad_norm": 0.1572743058204651,
518
+ "learning_rate": 6.87627822986206e-05,
519
+ "epoch": 0.6222222222222222,
520
+ "step": 700
521
+ },
522
+ {
523
+ "loss": 1.0497,
524
+ "grad_norm": 0.12605980038642883,
525
+ "learning_rate": 6.598232918183632e-05,
526
+ "epoch": 0.6311111111111111,
527
+ "step": 710
528
+ },
529
+ {
530
+ "loss": 1.0373,
531
+ "grad_norm": 0.14085522294044495,
532
+ "learning_rate": 6.323130879179875e-05,
533
+ "epoch": 0.64,
534
+ "step": 720
535
+ },
536
+ {
537
+ "loss": 1.0335,
538
+ "grad_norm": 0.12420780956745148,
539
+ "learning_rate": 6.051210136294089e-05,
540
+ "epoch": 0.6488888888888888,
541
+ "step": 730
542
+ },
543
+ {
544
+ "loss": 1.0843,
545
+ "grad_norm": 0.14776013791561127,
546
+ "learning_rate": 5.7827059604525234e-05,
547
+ "epoch": 0.6577777777777778,
548
+ "step": 740
549
+ },
550
+ {
551
+ "loss": 0.9916,
552
+ "grad_norm": 0.12307212501764297,
553
+ "learning_rate": 5.517850666503547e-05,
554
+ "epoch": 0.6666666666666666,
555
+ "step": 750
556
+ },
557
+ {
558
+ "loss": 1.0967,
559
+ "grad_norm": 0.13381639122962952,
560
+ "learning_rate": 5.2568734122144756e-05,
561
+ "epoch": 0.6755555555555556,
562
+ "step": 760
563
+ },
564
+ {
565
+ "loss": 1.0598,
566
+ "grad_norm": 0.13920623064041138,
567
+ "learning_rate": 5.000000000000002e-05,
568
+ "epoch": 0.6844444444444444,
569
+ "step": 770
570
+ },
571
+ {
572
+ "loss": 0.9858,
573
+ "grad_norm": 0.12263386696577072,
574
+ "learning_rate": 4.747452681553674e-05,
575
+ "epoch": 0.6933333333333334,
576
+ "step": 780
577
+ },
578
+ {
579
+ "loss": 1.1142,
580
+ "grad_norm": 0.12937627732753754,
581
+ "learning_rate": 4.4994499655515865e-05,
582
+ "epoch": 0.7022222222222222,
583
+ "step": 790
584
+ },
585
+ {
586
+ "loss": 1.0361,
587
+ "grad_norm": 0.1416628509759903,
588
+ "learning_rate": 4.256206428594587e-05,
589
+ "epoch": 0.7111111111111111,
590
+ "step": 800
591
+ },
592
+ {
593
+ "loss": 1.1043,
594
+ "grad_norm": 0.12713776528835297,
595
+ "learning_rate": 4.017932529552543e-05,
596
+ "epoch": 0.72,
597
+ "step": 810
598
+ },
599
+ {
600
+ "loss": 1.0164,
601
+ "grad_norm": 0.14576835930347443,
602
+ "learning_rate": 3.784834427471408e-05,
603
+ "epoch": 0.7288888888888889,
604
+ "step": 820
605
+ },
606
+ {
607
+ "loss": 1.1079,
608
+ "grad_norm": 0.15446163713932037,
609
+ "learning_rate": 3.557113803200537e-05,
610
+ "epoch": 0.7377777777777778,
611
+ "step": 830
612
+ },
613
+ {
614
+ "loss": 1.0191,
615
+ "grad_norm": 0.1450720876455307,
616
+ "learning_rate": 3.3349676848946345e-05,
617
+ "epoch": 0.7466666666666667,
618
+ "step": 840
619
+ },
620
+ {
621
+ "loss": 1.033,
622
+ "grad_norm": 0.1651269644498825,
623
+ "learning_rate": 3.118588277541312e-05,
624
+ "epoch": 0.7555555555555555,
625
+ "step": 850
626
+ },
627
+ {
628
+ "loss": 1.1108,
629
+ "grad_norm": 0.15117059648036957,
630
+ "learning_rate": 2.9081627966617096e-05,
631
+ "epoch": 0.7644444444444445,
632
+ "step": 860
633
+ },
634
+ {
635
+ "loss": 1.0478,
636
+ "grad_norm": 0.138201043009758,
637
+ "learning_rate": 2.7038733063281174e-05,
638
+ "epoch": 0.7733333333333333,
639
+ "step": 870
640
+ },
641
+ {
642
+ "loss": 1.0313,
643
+ "grad_norm": 0.13949215412139893,
644
+ "learning_rate": 2.5058965616387498e-05,
645
+ "epoch": 0.7822222222222223,
646
+ "step": 880
647
+ },
648
+ {
649
+ "loss": 1.0293,
650
+ "grad_norm": 0.14171576499938965,
651
+ "learning_rate": 2.3144038557858916e-05,
652
+ "epoch": 0.7911111111111111,
653
+ "step": 890
654
+ },
655
+ {
656
+ "loss": 1.0337,
657
+ "grad_norm": 0.14301493763923645,
658
+ "learning_rate": 2.1295608718498284e-05,
659
+ "epoch": 0.8,
660
+ "step": 900
661
+ },
662
+ {
663
+ "loss": 1.0154,
664
+ "grad_norm": 0.13953927159309387,
665
+ "learning_rate": 1.9515275394467446e-05,
666
+ "epoch": 0.8088888888888889,
667
+ "step": 910
668
+ },
669
+ {
670
+ "loss": 1.0099,
671
+ "grad_norm": 0.13378024101257324,
672
+ "learning_rate": 1.7804578963545994e-05,
673
+ "epoch": 0.8177777777777778,
674
+ "step": 920
675
+ },
676
+ {
677
+ "loss": 1.0541,
678
+ "grad_norm": 0.13762415945529938,
679
+ "learning_rate": 1.6164999552367765e-05,
680
+ "epoch": 0.8266666666666667,
681
+ "step": 930
682
+ },
683
+ {
684
+ "loss": 1.0408,
685
+ "grad_norm": 0.16222749650478363,
686
+ "learning_rate": 1.4597955755787373e-05,
687
+ "epoch": 0.8355555555555556,
688
+ "step": 940
689
+ },
690
+ {
691
+ "loss": 1.0347,
692
+ "grad_norm": 0.13863667845726013,
693
+ "learning_rate": 1.3104803409485356e-05,
694
+ "epoch": 0.8444444444444444,
695
+ "step": 950
696
+ },
697
+ {
698
+ "loss": 1.0383,
699
+ "grad_norm": 0.14883185923099518,
700
+ "learning_rate": 1.1686834416873815e-05,
701
+ "epoch": 0.8533333333333334,
702
+ "step": 960
703
+ },
704
+ {
705
+ "loss": 1.0831,
706
+ "grad_norm": 0.13265396654605865,
707
+ "learning_rate": 1.0345275631317163e-05,
708
+ "epoch": 0.8622222222222222,
709
+ "step": 970
710
+ },
711
+ {
712
+ "loss": 1.0617,
713
+ "grad_norm": 0.12449146062135696,
714
+ "learning_rate": 9.081287794635774e-06,
715
+ "epoch": 0.8711111111111111,
716
+ "step": 980
717
+ },
718
+ {
719
+ "loss": 1.0284,
720
+ "grad_norm": 0.1783796101808548,
721
+ "learning_rate": 7.895964532810317e-06,
722
+ "epoch": 0.88,
723
+ "step": 990
724
+ },
725
+ {
726
+ "loss": 1.0857,
727
+ "grad_norm": 0.1284346729516983,
728
+ "learning_rate": 6.7903314097560454e-06,
729
+ "epoch": 0.8888888888888888,
730
+ "step": 1000
731
+ },
732
+ {
733
+ "loss": 1.0357,
734
+ "grad_norm": 0.13867206871509552,
735
+ "learning_rate": 5.765345039985648e-06,
736
+ "epoch": 0.8977777777777778,
737
+ "step": 1010
738
+ },
739
+ {
740
+ "loss": 1.0514,
741
+ "grad_norm": 0.13874544203281403,
742
+ "learning_rate": 4.821892260928451e-06,
743
+ "epoch": 0.9066666666666666,
744
+ "step": 1020
745
+ },
746
+ {
747
+ "loss": 1.0362,
748
+ "grad_norm": 0.1272091269493103,
749
+ "learning_rate": 3.960789365622075e-06,
750
+ "epoch": 0.9155555555555556,
751
+ "step": 1030
752
+ },
753
+ {
754
+ "loss": 1.0819,
755
+ "grad_norm": 0.17546774446964264,
756
+ "learning_rate": 3.1827813964403484e-06,
757
+ "epoch": 0.9244444444444444,
758
+ "step": 1040
759
+ },
760
+ {
761
+ "loss": 1.081,
762
+ "grad_norm": 0.15098683536052704,
763
+ "learning_rate": 2.4885415004686665e-06,
764
+ "epoch": 0.9333333333333333,
765
+ "step": 1050
766
+ },
767
+ {
768
+ "loss": 1.0411,
769
+ "grad_norm": 0.15352538228034973,
770
+ "learning_rate": 1.8786703470845547e-06,
771
+ "epoch": 0.9422222222222222,
772
+ "step": 1060
773
+ },
774
+ {
775
+ "loss": 0.9907,
776
+ "grad_norm": 0.13362246751785278,
777
+ "learning_rate": 1.3536956082472074e-06,
778
+ "epoch": 0.9511111111111111,
779
+ "step": 1070
780
+ },
781
+ {
782
+ "loss": 1.0422,
783
+ "grad_norm": 0.145850270986557,
784
+ "learning_rate": 9.140715019458457e-07,
785
+ "epoch": 0.96,
786
+ "step": 1080
787
+ },
788
+ {
789
+ "loss": 1.0481,
790
+ "grad_norm": 0.14241892099380493,
791
+ "learning_rate": 5.60178399201805e-07,
792
+ "epoch": 0.9688888888888889,
793
+ "step": 1090
794
+ },
795
+ {
796
+ "loss": 1.0228,
797
+ "grad_norm": 0.141688272356987,
798
+ "learning_rate": 2.923224949643477e-07,
799
+ "epoch": 0.9777777777777777,
800
+ "step": 1100
801
+ },
802
+ {
803
+ "loss": 0.9924,
804
+ "grad_norm": 0.12952464818954468,
805
+ "learning_rate": 1.1073554318509205e-07,
806
+ "epoch": 0.9866666666666667,
807
+ "step": 1110
808
+ },
809
+ {
810
+ "loss": 1.0463,
811
+ "grad_norm": 0.1381552368402481,
812
+ "learning_rate": 1.5574656300143542e-08,
813
+ "epoch": 0.9955555555555555,
814
+ "step": 1120
815
+ },
816
+ {
817
+ "train_runtime": 12896.848,
818
+ "train_samples_per_second": 1.396,
819
+ "train_steps_per_second": 0.087,
820
+ "total_flos": 3.1390518357262336e+17,
821
+ "train_loss": 1.0722502996656629,
822
+ "epoch": 1.0,
823
+ "step": 1125
824
+ }
825
+ ]
826
+ }