Download trainer_state.json from eunJ/SKKU_secure_code_generation: direct link, hf CLI and curl.
- Browser
- Download file 98.5 kB
-
https://huggingface.co/eunJ/SKKU_secure_code_generation/resolve/main/trainer_state.json
- Command line
-
hf download hf://eunJ/SKKU_secure_code_generation/trainer_state.json
-
curl -L -o trainer_state.json https://huggingface.co/eunJ/SKKU_secure_code_generation/resolve/main/trainer_state.json
98.5 kB
{
"best_global_step": null,
"best_metric": null,
"best_model_checkpoint": null,
"epoch": 500.0,
"eval_steps": 500,
"global_step": 6000,
"is_hyper_param_search": false,
"is_local_process_zero": true,
"is_world_process_zero": true,
"log_history": [
{
"epoch": 0.8888888888888888,
"grad_norm": 0.1865234375,
"learning_rate": 9.985000000000002e-06,
"loss": 0.0904,
"step": 10
},
{
"epoch": 1.7111111111111112,
"grad_norm": 0.23828125,
"learning_rate": 9.968333333333334e-06,
"loss": 0.0084,
"step": 20
},
{
"epoch": 2.533333333333333,
"grad_norm": 0.1630859375,
"learning_rate": 9.951666666666667e-06,
"loss": 0.008,
"step": 30
},
{
"epoch": 3.3555555555555556,
"grad_norm": 0.140625,
"learning_rate": 9.935e-06,
"loss": 0.0079,
"step": 40
},
{
"epoch": 4.177777777777778,
"grad_norm": 0.2197265625,
"learning_rate": 9.918333333333335e-06,
"loss": 0.0084,
"step": 50
},
{
"epoch": 5.0,
"grad_norm": 0.19921875,
"learning_rate": 9.901666666666667e-06,
"loss": 0.0082,
"step": 60
},
{
"epoch": 5.888888888888889,
"grad_norm": 0.07666015625,
"learning_rate": 9.885000000000001e-06,
"loss": 0.0081,
"step": 70
},
{
"epoch": 6.711111111111111,
"grad_norm": 0.162109375,
"learning_rate": 9.868333333333333e-06,
"loss": 0.0076,
"step": 80
},
{
"epoch": 7.533333333333333,
"grad_norm": 0.078125,
"learning_rate": 9.851666666666667e-06,
"loss": 0.0079,
"step": 90
},
{
"epoch": 8.355555555555556,
"grad_norm": 0.1240234375,
"learning_rate": 9.835000000000002e-06,
"loss": 0.0076,
"step": 100
},
{
"epoch": 9.177777777777777,
"grad_norm": 0.19921875,
"learning_rate": 9.818333333333334e-06,
"loss": 0.0079,
"step": 110
},
{
"epoch": 10.0,
"grad_norm": 0.1728515625,
"learning_rate": 9.801666666666666e-06,
"loss": 0.0078,
"step": 120
},
{
"epoch": 10.88888888888889,
"grad_norm": 0.140625,
"learning_rate": 9.785e-06,
"loss": 0.0078,
"step": 130
},
{
"epoch": 11.71111111111111,
"grad_norm": 0.138671875,
"learning_rate": 9.768333333333334e-06,
"loss": 0.0077,
"step": 140
},
{
"epoch": 12.533333333333333,
"grad_norm": 0.162109375,
"learning_rate": 9.751666666666667e-06,
"loss": 0.008,
"step": 150
},
{
"epoch": 13.355555555555556,
"grad_norm": 0.208984375,
"learning_rate": 9.735e-06,
"loss": 0.0077,
"step": 160
},
{
"epoch": 14.177777777777777,
"grad_norm": 0.0859375,
"learning_rate": 9.718333333333335e-06,
"loss": 0.0079,
"step": 170
},
{
"epoch": 15.0,
"grad_norm": 0.0,
"learning_rate": 9.701666666666667e-06,
"loss": 0.0102,
"step": 180
},
{
"epoch": 15.88888888888889,
"grad_norm": 0.1064453125,
"learning_rate": 9.685000000000001e-06,
"loss": 0.0077,
"step": 190
},
{
"epoch": 16.711111111111112,
"grad_norm": 0.08935546875,
"learning_rate": 9.668333333333334e-06,
"loss": 0.0082,
"step": 200
},
{
"epoch": 17.533333333333335,
"grad_norm": 0.1171875,
"learning_rate": 9.651666666666668e-06,
"loss": 0.008,
"step": 210
},
{
"epoch": 18.355555555555554,
"grad_norm": 0.1337890625,
"learning_rate": 9.635000000000002e-06,
"loss": 0.0081,
"step": 220
},
{
"epoch": 19.177777777777777,
"grad_norm": 0.07275390625,
"learning_rate": 9.618333333333334e-06,
"loss": 0.0078,
"step": 230
},
{
"epoch": 20.0,
"grad_norm": 0.2138671875,
"learning_rate": 9.601666666666666e-06,
"loss": 0.008,
"step": 240
},
{
"epoch": 20.88888888888889,
"grad_norm": 0.09521484375,
"learning_rate": 9.585e-06,
"loss": 0.0076,
"step": 250
},
{
"epoch": 21.711111111111112,
"grad_norm": 0.2177734375,
"learning_rate": 9.568333333333335e-06,
"loss": 0.008,
"step": 260
},
{
"epoch": 22.533333333333335,
"grad_norm": 0.10498046875,
"learning_rate": 9.551666666666669e-06,
"loss": 0.0102,
"step": 270
},
{
"epoch": 23.355555555555554,
"grad_norm": 0.0830078125,
"learning_rate": 9.535000000000001e-06,
"loss": 0.0101,
"step": 280
},
{
"epoch": 24.177777777777777,
"grad_norm": 0.1455078125,
"learning_rate": 9.518333333333333e-06,
"loss": 0.008,
"step": 290
},
{
"epoch": 25.0,
"grad_norm": 0.154296875,
"learning_rate": 9.501666666666667e-06,
"loss": 0.0077,
"step": 300
},
{
"epoch": 25.88888888888889,
"grad_norm": 0.0771484375,
"learning_rate": 9.485000000000002e-06,
"loss": 0.0078,
"step": 310
},
{
"epoch": 26.711111111111112,
"grad_norm": 0.1640625,
"learning_rate": 9.468333333333334e-06,
"loss": 0.0075,
"step": 320
},
{
"epoch": 27.533333333333335,
"grad_norm": 0.1494140625,
"learning_rate": 9.451666666666668e-06,
"loss": 0.0081,
"step": 330
},
{
"epoch": 28.355555555555554,
"grad_norm": 0.1689453125,
"learning_rate": 9.435e-06,
"loss": 0.0078,
"step": 340
},
{
"epoch": 29.177777777777777,
"grad_norm": 0.103515625,
"learning_rate": 9.418333333333334e-06,
"loss": 0.0079,
"step": 350
},
{
"epoch": 30.0,
"grad_norm": 0.384765625,
"learning_rate": 9.401666666666668e-06,
"loss": 0.0077,
"step": 360
},
{
"epoch": 30.88888888888889,
"grad_norm": 0.12353515625,
"learning_rate": 9.385e-06,
"loss": 0.0078,
"step": 370
},
{
"epoch": 31.711111111111112,
"grad_norm": 0.1591796875,
"learning_rate": 9.368333333333333e-06,
"loss": 0.0078,
"step": 380
},
{
"epoch": 32.53333333333333,
"grad_norm": 0.08642578125,
"learning_rate": 9.351666666666667e-06,
"loss": 0.0077,
"step": 390
},
{
"epoch": 33.355555555555554,
"grad_norm": 0.19140625,
"learning_rate": 9.335000000000001e-06,
"loss": 0.0079,
"step": 400
},
{
"epoch": 34.17777777777778,
"grad_norm": 0.142578125,
"learning_rate": 9.318333333333334e-06,
"loss": 0.0079,
"step": 410
},
{
"epoch": 35.0,
"grad_norm": 0.353515625,
"learning_rate": 9.301666666666668e-06,
"loss": 0.0079,
"step": 420
},
{
"epoch": 35.888888888888886,
"grad_norm": 0.10400390625,
"learning_rate": 9.285e-06,
"loss": 0.0077,
"step": 430
},
{
"epoch": 36.71111111111111,
"grad_norm": 0.10498046875,
"learning_rate": 9.268333333333334e-06,
"loss": 0.008,
"step": 440
},
{
"epoch": 37.53333333333333,
"grad_norm": 0.07373046875,
"learning_rate": 9.251666666666668e-06,
"loss": 0.0078,
"step": 450
},
{
"epoch": 38.355555555555554,
"grad_norm": 0.1171875,
"learning_rate": 9.235e-06,
"loss": 0.0077,
"step": 460
},
{
"epoch": 39.17777777777778,
"grad_norm": 0.10009765625,
"learning_rate": 9.218333333333333e-06,
"loss": 0.0076,
"step": 470
},
{
"epoch": 40.0,
"grad_norm": 0.298828125,
"learning_rate": 9.201666666666667e-06,
"loss": 0.0074,
"step": 480
},
{
"epoch": 40.888888888888886,
"grad_norm": 0.059814453125,
"learning_rate": 9.185000000000001e-06,
"loss": 0.0078,
"step": 490
},
{
"epoch": 41.71111111111111,
"grad_norm": 0.11669921875,
"learning_rate": 9.168333333333333e-06,
"loss": 0.0078,
"step": 500
},
{
"epoch": 42.53333333333333,
"grad_norm": 0.095703125,
"learning_rate": 9.151666666666667e-06,
"loss": 0.0077,
"step": 510
},
{
"epoch": 43.355555555555554,
"grad_norm": 0.0859375,
"learning_rate": 9.135e-06,
"loss": 0.0076,
"step": 520
},
{
"epoch": 44.17777777777778,
"grad_norm": 0.10693359375,
"learning_rate": 9.118333333333334e-06,
"loss": 0.0077,
"step": 530
},
{
"epoch": 45.0,
"grad_norm": 0.26953125,
"learning_rate": 9.101666666666668e-06,
"loss": 0.0079,
"step": 540
},
{
"epoch": 45.888888888888886,
"grad_norm": 0.08984375,
"learning_rate": 9.085e-06,
"loss": 0.0078,
"step": 550
},
{
"epoch": 46.71111111111111,
"grad_norm": 0.07373046875,
"learning_rate": 9.068333333333334e-06,
"loss": 0.0078,
"step": 560
},
{
"epoch": 47.53333333333333,
"grad_norm": 0.08544921875,
"learning_rate": 9.051666666666667e-06,
"loss": 0.0078,
"step": 570
},
{
"epoch": 48.355555555555554,
"grad_norm": 0.103515625,
"learning_rate": 9.035e-06,
"loss": 0.0077,
"step": 580
},
{
"epoch": 49.17777777777778,
"grad_norm": 0.1240234375,
"learning_rate": 9.018333333333335e-06,
"loss": 0.0078,
"step": 590
},
{
"epoch": 50.0,
"grad_norm": 0.314453125,
"learning_rate": 9.001666666666667e-06,
"loss": 0.0075,
"step": 600
},
{
"epoch": 50.888888888888886,
"grad_norm": 0.1357421875,
"learning_rate": 8.985000000000001e-06,
"loss": 0.0079,
"step": 610
},
{
"epoch": 51.71111111111111,
"grad_norm": 0.11279296875,
"learning_rate": 8.968333333333335e-06,
"loss": 0.0075,
"step": 620
},
{
"epoch": 52.53333333333333,
"grad_norm": 0.13671875,
"learning_rate": 8.951666666666668e-06,
"loss": 0.0102,
"step": 630
},
{
"epoch": 53.355555555555554,
"grad_norm": 0.0458984375,
"learning_rate": 8.935e-06,
"loss": 0.0078,
"step": 640
},
{
"epoch": 54.17777777777778,
"grad_norm": 0.1572265625,
"learning_rate": 8.918333333333334e-06,
"loss": 0.0077,
"step": 650
},
{
"epoch": 55.0,
"grad_norm": 0.1875,
"learning_rate": 8.901666666666668e-06,
"loss": 0.0079,
"step": 660
},
{
"epoch": 55.888888888888886,
"grad_norm": 0.146484375,
"learning_rate": 8.885e-06,
"loss": 0.0079,
"step": 670
},
{
"epoch": 56.71111111111111,
"grad_norm": 0.1044921875,
"learning_rate": 8.868333333333335e-06,
"loss": 0.0077,
"step": 680
},
{
"epoch": 57.53333333333333,
"grad_norm": 0.083984375,
"learning_rate": 8.851666666666667e-06,
"loss": 0.0073,
"step": 690
},
{
"epoch": 58.355555555555554,
"grad_norm": 0.146484375,
"learning_rate": 8.835000000000001e-06,
"loss": 0.0082,
"step": 700
},
{
"epoch": 59.17777777777778,
"grad_norm": 0.1474609375,
"learning_rate": 8.818333333333335e-06,
"loss": 0.0078,
"step": 710
},
{
"epoch": 60.0,
"grad_norm": 0.1806640625,
"learning_rate": 8.801666666666667e-06,
"loss": 0.0078,
"step": 720
},
{
"epoch": 60.888888888888886,
"grad_norm": 0.08984375,
"learning_rate": 8.785e-06,
"loss": 0.0077,
"step": 730
},
{
"epoch": 61.71111111111111,
"grad_norm": 0.0859375,
"learning_rate": 8.768333333333334e-06,
"loss": 0.0077,
"step": 740
},
{
"epoch": 62.53333333333333,
"grad_norm": 0.058349609375,
"learning_rate": 8.751666666666668e-06,
"loss": 0.0079,
"step": 750
},
{
"epoch": 63.355555555555554,
"grad_norm": 0.0732421875,
"learning_rate": 8.735000000000002e-06,
"loss": 0.0078,
"step": 760
},
{
"epoch": 64.17777777777778,
"grad_norm": 0.10546875,
"learning_rate": 8.718333333333334e-06,
"loss": 0.0077,
"step": 770
},
{
"epoch": 65.0,
"grad_norm": 0.404296875,
"learning_rate": 8.701666666666667e-06,
"loss": 0.0078,
"step": 780
},
{
"epoch": 65.88888888888889,
"grad_norm": 0.06884765625,
"learning_rate": 8.685e-06,
"loss": 0.0078,
"step": 790
},
{
"epoch": 66.71111111111111,
"grad_norm": 0.09521484375,
"learning_rate": 8.668333333333335e-06,
"loss": 0.0079,
"step": 800
},
{
"epoch": 67.53333333333333,
"grad_norm": 0.1259765625,
"learning_rate": 8.651666666666667e-06,
"loss": 0.0075,
"step": 810
},
{
"epoch": 68.35555555555555,
"grad_norm": 0.08984375,
"learning_rate": 8.635000000000001e-06,
"loss": 0.0078,
"step": 820
},
{
"epoch": 69.17777777777778,
"grad_norm": 0.08447265625,
"learning_rate": 8.618333333333334e-06,
"loss": 0.0075,
"step": 830
},
{
"epoch": 70.0,
"grad_norm": 0.1630859375,
"learning_rate": 8.601666666666668e-06,
"loss": 0.0078,
"step": 840
},
{
"epoch": 70.88888888888889,
"grad_norm": 0.12353515625,
"learning_rate": 8.585000000000002e-06,
"loss": 0.0077,
"step": 850
},
{
"epoch": 71.71111111111111,
"grad_norm": 0.06494140625,
"learning_rate": 8.568333333333334e-06,
"loss": 0.0101,
"step": 860
},
{
"epoch": 72.53333333333333,
"grad_norm": 0.11376953125,
"learning_rate": 8.551666666666666e-06,
"loss": 0.0077,
"step": 870
},
{
"epoch": 73.35555555555555,
"grad_norm": 0.052490234375,
"learning_rate": 8.535e-06,
"loss": 0.0078,
"step": 880
},
{
"epoch": 74.17777777777778,
"grad_norm": 0.080078125,
"learning_rate": 8.518333333333335e-06,
"loss": 0.0079,
"step": 890
},
{
"epoch": 75.0,
"grad_norm": 0.189453125,
"learning_rate": 8.501666666666667e-06,
"loss": 0.0076,
"step": 900
},
{
"epoch": 75.88888888888889,
"grad_norm": 0.140625,
"learning_rate": 8.485000000000001e-06,
"loss": 0.0077,
"step": 910
},
{
"epoch": 76.71111111111111,
"grad_norm": 0.103515625,
"learning_rate": 8.468333333333333e-06,
"loss": 0.008,
"step": 920
},
{
"epoch": 77.53333333333333,
"grad_norm": 0.09326171875,
"learning_rate": 8.451666666666667e-06,
"loss": 0.0075,
"step": 930
},
{
"epoch": 78.35555555555555,
"grad_norm": 0.07666015625,
"learning_rate": 8.435000000000001e-06,
"loss": 0.0076,
"step": 940
},
{
"epoch": 79.17777777777778,
"grad_norm": 0.11865234375,
"learning_rate": 8.418333333333334e-06,
"loss": 0.0079,
"step": 950
},
{
"epoch": 80.0,
"grad_norm": 0.2265625,
"learning_rate": 8.401666666666666e-06,
"loss": 0.0077,
"step": 960
},
{
"epoch": 80.88888888888889,
"grad_norm": 0.09619140625,
"learning_rate": 8.385e-06,
"loss": 0.0078,
"step": 970
},
{
"epoch": 81.71111111111111,
"grad_norm": 0.08544921875,
"learning_rate": 8.368333333333334e-06,
"loss": 0.0076,
"step": 980
},
{
"epoch": 82.53333333333333,
"grad_norm": 0.08935546875,
"learning_rate": 8.351666666666667e-06,
"loss": 0.0075,
"step": 990
},
{
"epoch": 83.35555555555555,
"grad_norm": 0.140625,
"learning_rate": 8.335e-06,
"loss": 0.0083,
"step": 1000
},
{
"epoch": 84.17777777777778,
"grad_norm": 0.1240234375,
"learning_rate": 8.318333333333333e-06,
"loss": 0.0077,
"step": 1010
},
{
"epoch": 85.0,
"grad_norm": 0.20703125,
"learning_rate": 8.301666666666667e-06,
"loss": 0.0078,
"step": 1020
},
{
"epoch": 85.88888888888889,
"grad_norm": 0.126953125,
"learning_rate": 8.285000000000001e-06,
"loss": 0.0078,
"step": 1030
},
{
"epoch": 86.71111111111111,
"grad_norm": 0.07275390625,
"learning_rate": 8.268333333333334e-06,
"loss": 0.0075,
"step": 1040
},
{
"epoch": 87.53333333333333,
"grad_norm": 0.07666015625,
"learning_rate": 8.251666666666668e-06,
"loss": 0.008,
"step": 1050
},
{
"epoch": 88.35555555555555,
"grad_norm": 0.1005859375,
"learning_rate": 8.235e-06,
"loss": 0.0077,
"step": 1060
},
{
"epoch": 89.17777777777778,
"grad_norm": 0.072265625,
"learning_rate": 8.218333333333334e-06,
"loss": 0.0079,
"step": 1070
},
{
"epoch": 90.0,
"grad_norm": 0.306640625,
"learning_rate": 8.201666666666668e-06,
"loss": 0.0078,
"step": 1080
},
{
"epoch": 90.88888888888889,
"grad_norm": 0.1318359375,
"learning_rate": 8.185e-06,
"loss": 0.0078,
"step": 1090
},
{
"epoch": 91.71111111111111,
"grad_norm": 0.1025390625,
"learning_rate": 8.168333333333334e-06,
"loss": 0.008,
"step": 1100
},
{
"epoch": 92.53333333333333,
"grad_norm": 0.08544921875,
"learning_rate": 8.151666666666669e-06,
"loss": 0.0072,
"step": 1110
},
{
"epoch": 93.35555555555555,
"grad_norm": 0.146484375,
"learning_rate": 8.135000000000001e-06,
"loss": 0.0079,
"step": 1120
},
{
"epoch": 94.17777777777778,
"grad_norm": 0.1650390625,
"learning_rate": 8.118333333333333e-06,
"loss": 0.0076,
"step": 1130
},
{
"epoch": 95.0,
"grad_norm": 0.33203125,
"learning_rate": 8.101666666666667e-06,
"loss": 0.0079,
"step": 1140
},
{
"epoch": 95.88888888888889,
"grad_norm": 0.1162109375,
"learning_rate": 8.085000000000001e-06,
"loss": 0.0077,
"step": 1150
},
{
"epoch": 96.71111111111111,
"grad_norm": 0.09228515625,
"learning_rate": 8.068333333333334e-06,
"loss": 0.008,
"step": 1160
},
{
"epoch": 97.53333333333333,
"grad_norm": 0.154296875,
"learning_rate": 8.051666666666668e-06,
"loss": 0.0078,
"step": 1170
},
{
"epoch": 98.35555555555555,
"grad_norm": 0.10693359375,
"learning_rate": 8.035e-06,
"loss": 0.0077,
"step": 1180
},
{
"epoch": 99.17777777777778,
"grad_norm": 0.0908203125,
"learning_rate": 8.018333333333334e-06,
"loss": 0.0078,
"step": 1190
},
{
"epoch": 100.0,
"grad_norm": 0.2734375,
"learning_rate": 8.001666666666668e-06,
"loss": 0.0076,
"step": 1200
},
{
"epoch": 100.88888888888889,
"grad_norm": 0.10986328125,
"learning_rate": 7.985e-06,
"loss": 0.0079,
"step": 1210
},
{
"epoch": 101.71111111111111,
"grad_norm": 0.08447265625,
"learning_rate": 7.968333333333333e-06,
"loss": 0.0075,
"step": 1220
},
{
"epoch": 102.53333333333333,
"grad_norm": 0.0966796875,
"learning_rate": 7.951666666666667e-06,
"loss": 0.0078,
"step": 1230
},
{
"epoch": 103.35555555555555,
"grad_norm": 0.052978515625,
"learning_rate": 7.935000000000001e-06,
"loss": 0.0077,
"step": 1240
},
{
"epoch": 104.17777777777778,
"grad_norm": 0.146484375,
"learning_rate": 7.918333333333333e-06,
"loss": 0.0081,
"step": 1250
},
{
"epoch": 105.0,
"grad_norm": 0.283203125,
"learning_rate": 7.901666666666668e-06,
"loss": 0.0074,
"step": 1260
},
{
"epoch": 105.88888888888889,
"grad_norm": 0.08251953125,
"learning_rate": 7.885e-06,
"loss": 0.0078,
"step": 1270
},
{
"epoch": 106.71111111111111,
"grad_norm": 0.08740234375,
"learning_rate": 7.868333333333334e-06,
"loss": 0.0076,
"step": 1280
},
{
"epoch": 107.53333333333333,
"grad_norm": 0.0908203125,
"learning_rate": 7.851666666666668e-06,
"loss": 0.0076,
"step": 1290
},
{
"epoch": 108.35555555555555,
"grad_norm": 0.1259765625,
"learning_rate": 7.835e-06,
"loss": 0.0078,
"step": 1300
},
{
"epoch": 109.17777777777778,
"grad_norm": 0.1103515625,
"learning_rate": 7.818333333333334e-06,
"loss": 0.0075,
"step": 1310
},
{
"epoch": 110.0,
"grad_norm": 0.1845703125,
"learning_rate": 7.801666666666667e-06,
"loss": 0.0079,
"step": 1320
},
{
"epoch": 110.88888888888889,
"grad_norm": 0.10009765625,
"learning_rate": 7.785000000000001e-06,
"loss": 0.0078,
"step": 1330
},
{
"epoch": 111.71111111111111,
"grad_norm": 0.07470703125,
"learning_rate": 7.768333333333335e-06,
"loss": 0.0078,
"step": 1340
},
{
"epoch": 112.53333333333333,
"grad_norm": 0.1572265625,
"learning_rate": 7.751666666666667e-06,
"loss": 0.0076,
"step": 1350
},
{
"epoch": 113.35555555555555,
"grad_norm": 0.1875,
"learning_rate": 7.735e-06,
"loss": 0.0076,
"step": 1360
},
{
"epoch": 114.17777777777778,
"grad_norm": 0.10888671875,
"learning_rate": 7.718333333333334e-06,
"loss": 0.0078,
"step": 1370
},
{
"epoch": 115.0,
"grad_norm": 0.369140625,
"learning_rate": 7.701666666666668e-06,
"loss": 0.0079,
"step": 1380
},
{
"epoch": 115.88888888888889,
"grad_norm": 0.095703125,
"learning_rate": 7.685e-06,
"loss": 0.0078,
"step": 1390
},
{
"epoch": 116.71111111111111,
"grad_norm": 0.09619140625,
"learning_rate": 7.668333333333334e-06,
"loss": 0.0078,
"step": 1400
},
{
"epoch": 117.53333333333333,
"grad_norm": 0.1318359375,
"learning_rate": 7.651666666666667e-06,
"loss": 0.008,
"step": 1410
},
{
"epoch": 118.35555555555555,
"grad_norm": 0.1279296875,
"learning_rate": 7.635e-06,
"loss": 0.0078,
"step": 1420
},
{
"epoch": 119.17777777777778,
"grad_norm": 0.11572265625,
"learning_rate": 7.618333333333335e-06,
"loss": 0.0077,
"step": 1430
},
{
"epoch": 120.0,
"grad_norm": 0.185546875,
"learning_rate": 7.601666666666667e-06,
"loss": 0.0076,
"step": 1440
},
{
"epoch": 120.88888888888889,
"grad_norm": 0.103515625,
"learning_rate": 7.585e-06,
"loss": 0.0079,
"step": 1450
},
{
"epoch": 121.71111111111111,
"grad_norm": 0.08447265625,
"learning_rate": 7.568333333333334e-06,
"loss": 0.0076,
"step": 1460
},
{
"epoch": 122.53333333333333,
"grad_norm": 0.1005859375,
"learning_rate": 7.5516666666666675e-06,
"loss": 0.0078,
"step": 1470
},
{
"epoch": 123.35555555555555,
"grad_norm": 0.1748046875,
"learning_rate": 7.535e-06,
"loss": 0.0099,
"step": 1480
},
{
"epoch": 124.17777777777778,
"grad_norm": 0.107421875,
"learning_rate": 7.518333333333334e-06,
"loss": 0.0079,
"step": 1490
},
{
"epoch": 125.0,
"grad_norm": 0.28515625,
"learning_rate": 7.501666666666667e-06,
"loss": 0.0074,
"step": 1500
},
{
"epoch": 125.88888888888889,
"grad_norm": 0.07470703125,
"learning_rate": 7.485000000000001e-06,
"loss": 0.0078,
"step": 1510
},
{
"epoch": 126.71111111111111,
"grad_norm": 0.11328125,
"learning_rate": 7.468333333333334e-06,
"loss": 0.0077,
"step": 1520
},
{
"epoch": 127.53333333333333,
"grad_norm": 0.064453125,
"learning_rate": 7.451666666666667e-06,
"loss": 0.0077,
"step": 1530
},
{
"epoch": 128.35555555555555,
"grad_norm": 0.0732421875,
"learning_rate": 7.435000000000001e-06,
"loss": 0.0078,
"step": 1540
},
{
"epoch": 129.17777777777778,
"grad_norm": 0.08544921875,
"learning_rate": 7.418333333333334e-06,
"loss": 0.0103,
"step": 1550
},
{
"epoch": 130.0,
"grad_norm": 0.216796875,
"learning_rate": 7.401666666666667e-06,
"loss": 0.0077,
"step": 1560
},
{
"epoch": 130.88888888888889,
"grad_norm": 0.07568359375,
"learning_rate": 7.385000000000001e-06,
"loss": 0.0078,
"step": 1570
},
{
"epoch": 131.7111111111111,
"grad_norm": 0.1220703125,
"learning_rate": 7.368333333333334e-06,
"loss": 0.0079,
"step": 1580
},
{
"epoch": 132.53333333333333,
"grad_norm": 0.07275390625,
"learning_rate": 7.351666666666667e-06,
"loss": 0.0075,
"step": 1590
},
{
"epoch": 133.35555555555555,
"grad_norm": 0.1123046875,
"learning_rate": 7.335000000000001e-06,
"loss": 0.0081,
"step": 1600
},
{
"epoch": 134.17777777777778,
"grad_norm": 0.07373046875,
"learning_rate": 7.318333333333334e-06,
"loss": 0.0076,
"step": 1610
},
{
"epoch": 135.0,
"grad_norm": 0.21875,
"learning_rate": 7.3016666666666665e-06,
"loss": 0.008,
"step": 1620
},
{
"epoch": 135.88888888888889,
"grad_norm": 0.103515625,
"learning_rate": 7.2850000000000006e-06,
"loss": 0.0077,
"step": 1630
},
{
"epoch": 136.7111111111111,
"grad_norm": 0.125,
"learning_rate": 7.268333333333334e-06,
"loss": 0.0099,
"step": 1640
},
{
"epoch": 137.53333333333333,
"grad_norm": 0.09130859375,
"learning_rate": 7.251666666666667e-06,
"loss": 0.0079,
"step": 1650
},
{
"epoch": 138.35555555555555,
"grad_norm": 0.07861328125,
"learning_rate": 7.235000000000001e-06,
"loss": 0.0076,
"step": 1660
},
{
"epoch": 139.17777777777778,
"grad_norm": 0.08251953125,
"learning_rate": 7.218333333333334e-06,
"loss": 0.0077,
"step": 1670
},
{
"epoch": 140.0,
"grad_norm": 0.17578125,
"learning_rate": 7.201666666666667e-06,
"loss": 0.0076,
"step": 1680
},
{
"epoch": 140.88888888888889,
"grad_norm": 0.05419921875,
"learning_rate": 7.185000000000001e-06,
"loss": 0.0077,
"step": 1690
},
{
"epoch": 141.7111111111111,
"grad_norm": 0.12890625,
"learning_rate": 7.168333333333334e-06,
"loss": 0.0077,
"step": 1700
},
{
"epoch": 142.53333333333333,
"grad_norm": 0.08642578125,
"learning_rate": 7.151666666666667e-06,
"loss": 0.0079,
"step": 1710
},
{
"epoch": 143.35555555555555,
"grad_norm": 0.0927734375,
"learning_rate": 7.135000000000001e-06,
"loss": 0.0077,
"step": 1720
},
{
"epoch": 144.17777777777778,
"grad_norm": 0.11279296875,
"learning_rate": 7.1183333333333335e-06,
"loss": 0.0077,
"step": 1730
},
{
"epoch": 145.0,
"grad_norm": 0.146484375,
"learning_rate": 7.101666666666667e-06,
"loss": 0.0077,
"step": 1740
},
{
"epoch": 145.88888888888889,
"grad_norm": 0.0859375,
"learning_rate": 7.085000000000001e-06,
"loss": 0.0076,
"step": 1750
},
{
"epoch": 146.7111111111111,
"grad_norm": 0.12890625,
"learning_rate": 7.068333333333334e-06,
"loss": 0.008,
"step": 1760
},
{
"epoch": 147.53333333333333,
"grad_norm": 0.0810546875,
"learning_rate": 7.051666666666668e-06,
"loss": 0.0072,
"step": 1770
},
{
"epoch": 148.35555555555555,
"grad_norm": 0.158203125,
"learning_rate": 7.035e-06,
"loss": 0.0078,
"step": 1780
},
{
"epoch": 149.17777777777778,
"grad_norm": 0.06787109375,
"learning_rate": 7.018333333333334e-06,
"loss": 0.0076,
"step": 1790
},
{
"epoch": 150.0,
"grad_norm": 0.1787109375,
"learning_rate": 7.001666666666668e-06,
"loss": 0.0076,
"step": 1800
},
{
"epoch": 150.88888888888889,
"grad_norm": 0.07568359375,
"learning_rate": 6.985000000000001e-06,
"loss": 0.0077,
"step": 1810
},
{
"epoch": 151.7111111111111,
"grad_norm": 0.08837890625,
"learning_rate": 6.968333333333333e-06,
"loss": 0.008,
"step": 1820
},
{
"epoch": 152.53333333333333,
"grad_norm": 0.09130859375,
"learning_rate": 6.951666666666667e-06,
"loss": 0.0076,
"step": 1830
},
{
"epoch": 153.35555555555555,
"grad_norm": 0.13671875,
"learning_rate": 6.9350000000000005e-06,
"loss": 0.0077,
"step": 1840
},
{
"epoch": 154.17777777777778,
"grad_norm": 0.087890625,
"learning_rate": 6.918333333333334e-06,
"loss": 0.0078,
"step": 1850
},
{
"epoch": 155.0,
"grad_norm": 0.330078125,
"learning_rate": 6.901666666666668e-06,
"loss": 0.0079,
"step": 1860
},
{
"epoch": 155.88888888888889,
"grad_norm": 0.10693359375,
"learning_rate": 6.885e-06,
"loss": 0.0078,
"step": 1870
},
{
"epoch": 156.7111111111111,
"grad_norm": 0.08203125,
"learning_rate": 6.868333333333333e-06,
"loss": 0.0077,
"step": 1880
},
{
"epoch": 157.53333333333333,
"grad_norm": 0.09033203125,
"learning_rate": 6.851666666666667e-06,
"loss": 0.0077,
"step": 1890
},
{
"epoch": 158.35555555555555,
"grad_norm": 0.150390625,
"learning_rate": 6.835000000000001e-06,
"loss": 0.0079,
"step": 1900
},
{
"epoch": 159.17777777777778,
"grad_norm": 0.0986328125,
"learning_rate": 6.818333333333334e-06,
"loss": 0.0077,
"step": 1910
},
{
"epoch": 160.0,
"grad_norm": 0.31640625,
"learning_rate": 6.801666666666668e-06,
"loss": 0.0078,
"step": 1920
},
{
"epoch": 160.88888888888889,
"grad_norm": 0.10595703125,
"learning_rate": 6.785e-06,
"loss": 0.0078,
"step": 1930
},
{
"epoch": 161.7111111111111,
"grad_norm": 0.07861328125,
"learning_rate": 6.7683333333333335e-06,
"loss": 0.0079,
"step": 1940
},
{
"epoch": 162.53333333333333,
"grad_norm": 0.1103515625,
"learning_rate": 6.7516666666666675e-06,
"loss": 0.0076,
"step": 1950
},
{
"epoch": 163.35555555555555,
"grad_norm": 0.1142578125,
"learning_rate": 6.735000000000001e-06,
"loss": 0.008,
"step": 1960
},
{
"epoch": 164.17777777777778,
"grad_norm": 0.0830078125,
"learning_rate": 6.718333333333333e-06,
"loss": 0.0078,
"step": 1970
},
{
"epoch": 165.0,
"grad_norm": 0.1953125,
"learning_rate": 6.701666666666667e-06,
"loss": 0.0075,
"step": 1980
},
{
"epoch": 165.88888888888889,
"grad_norm": 0.11474609375,
"learning_rate": 6.685e-06,
"loss": 0.0078,
"step": 1990
},
{
"epoch": 166.7111111111111,
"grad_norm": 0.12255859375,
"learning_rate": 6.668333333333334e-06,
"loss": 0.0075,
"step": 2000
},
{
"epoch": 167.53333333333333,
"grad_norm": 0.0986328125,
"learning_rate": 6.651666666666668e-06,
"loss": 0.0079,
"step": 2010
},
{
"epoch": 168.35555555555555,
"grad_norm": 0.091796875,
"learning_rate": 6.635e-06,
"loss": 0.0075,
"step": 2020
},
{
"epoch": 169.17777777777778,
"grad_norm": 0.078125,
"learning_rate": 6.618333333333334e-06,
"loss": 0.0078,
"step": 2030
},
{
"epoch": 170.0,
"grad_norm": 0.23046875,
"learning_rate": 6.601666666666667e-06,
"loss": 0.0077,
"step": 2040
},
{
"epoch": 170.88888888888889,
"grad_norm": 0.059326171875,
"learning_rate": 6.5850000000000005e-06,
"loss": 0.0077,
"step": 2050
},
{
"epoch": 171.7111111111111,
"grad_norm": 0.1328125,
"learning_rate": 6.5683333333333345e-06,
"loss": 0.008,
"step": 2060
},
{
"epoch": 172.53333333333333,
"grad_norm": 0.0693359375,
"learning_rate": 6.551666666666667e-06,
"loss": 0.0076,
"step": 2070
},
{
"epoch": 173.35555555555555,
"grad_norm": 0.09912109375,
"learning_rate": 6.535e-06,
"loss": 0.0075,
"step": 2080
},
{
"epoch": 174.17777777777778,
"grad_norm": 0.0693359375,
"learning_rate": 6.518333333333334e-06,
"loss": 0.0079,
"step": 2090
},
{
"epoch": 175.0,
"grad_norm": 0.1806640625,
"learning_rate": 6.501666666666667e-06,
"loss": 0.0077,
"step": 2100
},
{
"epoch": 175.88888888888889,
"grad_norm": 0.11328125,
"learning_rate": 6.485000000000001e-06,
"loss": 0.0077,
"step": 2110
},
{
"epoch": 176.7111111111111,
"grad_norm": 0.08740234375,
"learning_rate": 6.468333333333335e-06,
"loss": 0.0078,
"step": 2120
},
{
"epoch": 177.53333333333333,
"grad_norm": 0.140625,
"learning_rate": 6.451666666666667e-06,
"loss": 0.008,
"step": 2130
},
{
"epoch": 178.35555555555555,
"grad_norm": 0.04833984375,
"learning_rate": 6.435e-06,
"loss": 0.0075,
"step": 2140
},
{
"epoch": 179.17777777777778,
"grad_norm": 0.1328125,
"learning_rate": 6.418333333333334e-06,
"loss": 0.0077,
"step": 2150
},
{
"epoch": 180.0,
"grad_norm": 0.0,
"learning_rate": 6.4016666666666675e-06,
"loss": 0.0101,
"step": 2160
},
{
"epoch": 180.88888888888889,
"grad_norm": 0.0908203125,
"learning_rate": 6.385e-06,
"loss": 0.0077,
"step": 2170
},
{
"epoch": 181.7111111111111,
"grad_norm": 0.10302734375,
"learning_rate": 6.368333333333334e-06,
"loss": 0.0074,
"step": 2180
},
{
"epoch": 182.53333333333333,
"grad_norm": 0.072265625,
"learning_rate": 6.351666666666667e-06,
"loss": 0.0078,
"step": 2190
},
{
"epoch": 183.35555555555555,
"grad_norm": 0.080078125,
"learning_rate": 6.335e-06,
"loss": 0.0079,
"step": 2200
},
{
"epoch": 184.17777777777778,
"grad_norm": 0.08740234375,
"learning_rate": 6.318333333333334e-06,
"loss": 0.0077,
"step": 2210
},
{
"epoch": 185.0,
"grad_norm": 0.2216796875,
"learning_rate": 6.301666666666667e-06,
"loss": 0.0078,
"step": 2220
},
{
"epoch": 185.88888888888889,
"grad_norm": 0.09033203125,
"learning_rate": 6.285e-06,
"loss": 0.0079,
"step": 2230
},
{
"epoch": 186.7111111111111,
"grad_norm": 0.1435546875,
"learning_rate": 6.268333333333334e-06,
"loss": 0.0076,
"step": 2240
},
{
"epoch": 187.53333333333333,
"grad_norm": 0.09521484375,
"learning_rate": 6.251666666666667e-06,
"loss": 0.0077,
"step": 2250
},
{
"epoch": 188.35555555555555,
"grad_norm": 0.10400390625,
"learning_rate": 6.235000000000001e-06,
"loss": 0.0081,
"step": 2260
},
{
"epoch": 189.17777777777778,
"grad_norm": 0.11181640625,
"learning_rate": 6.218333333333334e-06,
"loss": 0.0075,
"step": 2270
},
{
"epoch": 190.0,
"grad_norm": 0.2119140625,
"learning_rate": 6.201666666666667e-06,
"loss": 0.0078,
"step": 2280
},
{
"epoch": 190.88888888888889,
"grad_norm": 0.0966796875,
"learning_rate": 6.185000000000001e-06,
"loss": 0.0077,
"step": 2290
},
{
"epoch": 191.7111111111111,
"grad_norm": 0.1142578125,
"learning_rate": 6.168333333333334e-06,
"loss": 0.0078,
"step": 2300
},
{
"epoch": 192.53333333333333,
"grad_norm": 0.07080078125,
"learning_rate": 6.1516666666666665e-06,
"loss": 0.0076,
"step": 2310
},
{
"epoch": 193.35555555555555,
"grad_norm": 0.12158203125,
"learning_rate": 6.1350000000000006e-06,
"loss": 0.0077,
"step": 2320
},
{
"epoch": 194.17777777777778,
"grad_norm": 0.07861328125,
"learning_rate": 6.118333333333334e-06,
"loss": 0.0077,
"step": 2330
},
{
"epoch": 195.0,
"grad_norm": 0.298828125,
"learning_rate": 6.101666666666667e-06,
"loss": 0.0078,
"step": 2340
},
{
"epoch": 195.88888888888889,
"grad_norm": 0.10107421875,
"learning_rate": 6.085000000000001e-06,
"loss": 0.0076,
"step": 2350
},
{
"epoch": 196.7111111111111,
"grad_norm": 0.115234375,
"learning_rate": 6.068333333333334e-06,
"loss": 0.0102,
"step": 2360
},
{
"epoch": 197.53333333333333,
"grad_norm": 0.1162109375,
"learning_rate": 6.051666666666667e-06,
"loss": 0.0078,
"step": 2370
},
{
"epoch": 198.35555555555555,
"grad_norm": 0.08837890625,
"learning_rate": 6.035000000000001e-06,
"loss": 0.0078,
"step": 2380
},
{
"epoch": 199.17777777777778,
"grad_norm": 0.0625,
"learning_rate": 6.018333333333334e-06,
"loss": 0.0101,
"step": 2390
},
{
"epoch": 200.0,
"grad_norm": 0.1748046875,
"learning_rate": 6.001666666666667e-06,
"loss": 0.0077,
"step": 2400
},
{
"epoch": 200.88888888888889,
"grad_norm": 0.0927734375,
"learning_rate": 5.985000000000001e-06,
"loss": 0.0077,
"step": 2410
},
{
"epoch": 201.7111111111111,
"grad_norm": 0.053466796875,
"learning_rate": 5.9683333333333335e-06,
"loss": 0.0073,
"step": 2420
},
{
"epoch": 202.53333333333333,
"grad_norm": 0.08544921875,
"learning_rate": 5.951666666666667e-06,
"loss": 0.0081,
"step": 2430
},
{
"epoch": 203.35555555555555,
"grad_norm": 0.076171875,
"learning_rate": 5.935000000000001e-06,
"loss": 0.0075,
"step": 2440
},
{
"epoch": 204.17777777777778,
"grad_norm": 0.11083984375,
"learning_rate": 5.918333333333334e-06,
"loss": 0.0077,
"step": 2450
},
{
"epoch": 205.0,
"grad_norm": 0.263671875,
"learning_rate": 5.901666666666666e-06,
"loss": 0.0073,
"step": 2460
},
{
"epoch": 205.88888888888889,
"grad_norm": 0.09423828125,
"learning_rate": 5.885e-06,
"loss": 0.0076,
"step": 2470
},
{
"epoch": 206.7111111111111,
"grad_norm": 0.06689453125,
"learning_rate": 5.868333333333334e-06,
"loss": 0.0078,
"step": 2480
},
{
"epoch": 207.53333333333333,
"grad_norm": 0.09716796875,
"learning_rate": 5.851666666666667e-06,
"loss": 0.0077,
"step": 2490
},
{
"epoch": 208.35555555555555,
"grad_norm": 0.09765625,
"learning_rate": 5.835000000000001e-06,
"loss": 0.0077,
"step": 2500
},
{
"epoch": 209.17777777777778,
"grad_norm": 0.0947265625,
"learning_rate": 5.818333333333333e-06,
"loss": 0.0078,
"step": 2510
},
{
"epoch": 210.0,
"grad_norm": 0.21875,
"learning_rate": 5.801666666666667e-06,
"loss": 0.0079,
"step": 2520
},
{
"epoch": 210.88888888888889,
"grad_norm": 0.052978515625,
"learning_rate": 5.7850000000000005e-06,
"loss": 0.0078,
"step": 2530
},
{
"epoch": 211.7111111111111,
"grad_norm": 0.15625,
"learning_rate": 5.768333333333334e-06,
"loss": 0.0077,
"step": 2540
},
{
"epoch": 212.53333333333333,
"grad_norm": 0.12158203125,
"learning_rate": 5.751666666666668e-06,
"loss": 0.008,
"step": 2550
},
{
"epoch": 213.35555555555555,
"grad_norm": 0.076171875,
"learning_rate": 5.735e-06,
"loss": 0.0077,
"step": 2560
},
{
"epoch": 214.17777777777778,
"grad_norm": 0.11474609375,
"learning_rate": 5.718333333333333e-06,
"loss": 0.0075,
"step": 2570
},
{
"epoch": 215.0,
"grad_norm": 0.2236328125,
"learning_rate": 5.701666666666667e-06,
"loss": 0.0079,
"step": 2580
},
{
"epoch": 215.88888888888889,
"grad_norm": 0.064453125,
"learning_rate": 5.685000000000001e-06,
"loss": 0.0077,
"step": 2590
},
{
"epoch": 216.7111111111111,
"grad_norm": 0.138671875,
"learning_rate": 5.668333333333334e-06,
"loss": 0.0078,
"step": 2600
},
{
"epoch": 217.53333333333333,
"grad_norm": 0.1318359375,
"learning_rate": 5.651666666666668e-06,
"loss": 0.0078,
"step": 2610
},
{
"epoch": 218.35555555555555,
"grad_norm": 0.07568359375,
"learning_rate": 5.635e-06,
"loss": 0.0076,
"step": 2620
},
{
"epoch": 219.17777777777778,
"grad_norm": 0.06982421875,
"learning_rate": 5.6183333333333335e-06,
"loss": 0.0076,
"step": 2630
},
{
"epoch": 220.0,
"grad_norm": 0.265625,
"learning_rate": 5.6016666666666675e-06,
"loss": 0.0074,
"step": 2640
},
{
"epoch": 220.88888888888889,
"grad_norm": 0.07568359375,
"learning_rate": 5.585000000000001e-06,
"loss": 0.0077,
"step": 2650
},
{
"epoch": 221.7111111111111,
"grad_norm": 0.0927734375,
"learning_rate": 5.568333333333333e-06,
"loss": 0.0076,
"step": 2660
},
{
"epoch": 222.53333333333333,
"grad_norm": 0.0732421875,
"learning_rate": 5.551666666666667e-06,
"loss": 0.0078,
"step": 2670
},
{
"epoch": 223.35555555555555,
"grad_norm": 0.07177734375,
"learning_rate": 5.535e-06,
"loss": 0.0076,
"step": 2680
},
{
"epoch": 224.17777777777778,
"grad_norm": 0.078125,
"learning_rate": 5.518333333333334e-06,
"loss": 0.008,
"step": 2690
},
{
"epoch": 225.0,
"grad_norm": 0.1796875,
"learning_rate": 5.501666666666668e-06,
"loss": 0.0076,
"step": 2700
},
{
"epoch": 225.88888888888889,
"grad_norm": 0.0673828125,
"learning_rate": 5.485e-06,
"loss": 0.0078,
"step": 2710
},
{
"epoch": 226.7111111111111,
"grad_norm": 0.126953125,
"learning_rate": 5.468333333333333e-06,
"loss": 0.0078,
"step": 2720
},
{
"epoch": 227.53333333333333,
"grad_norm": 0.134765625,
"learning_rate": 5.451666666666667e-06,
"loss": 0.0104,
"step": 2730
},
{
"epoch": 228.35555555555555,
"grad_norm": 0.09228515625,
"learning_rate": 5.4350000000000005e-06,
"loss": 0.0077,
"step": 2740
},
{
"epoch": 229.17777777777778,
"grad_norm": 0.07861328125,
"learning_rate": 5.418333333333333e-06,
"loss": 0.0077,
"step": 2750
},
{
"epoch": 230.0,
"grad_norm": 0.236328125,
"learning_rate": 5.401666666666667e-06,
"loss": 0.0077,
"step": 2760
},
{
"epoch": 230.88888888888889,
"grad_norm": 0.07421875,
"learning_rate": 5.385e-06,
"loss": 0.0077,
"step": 2770
},
{
"epoch": 231.7111111111111,
"grad_norm": 0.1171875,
"learning_rate": 5.368333333333334e-06,
"loss": 0.0074,
"step": 2780
},
{
"epoch": 232.53333333333333,
"grad_norm": 0.0869140625,
"learning_rate": 5.351666666666667e-06,
"loss": 0.008,
"step": 2790
},
{
"epoch": 233.35555555555555,
"grad_norm": 0.11572265625,
"learning_rate": 5.335000000000001e-06,
"loss": 0.0076,
"step": 2800
},
{
"epoch": 234.17777777777778,
"grad_norm": 0.1337890625,
"learning_rate": 5.318333333333335e-06,
"loss": 0.0102,
"step": 2810
},
{
"epoch": 235.0,
"grad_norm": 0.1787109375,
"learning_rate": 5.301666666666667e-06,
"loss": 0.0077,
"step": 2820
},
{
"epoch": 235.88888888888889,
"grad_norm": 0.0634765625,
"learning_rate": 5.285e-06,
"loss": 0.0076,
"step": 2830
},
{
"epoch": 236.7111111111111,
"grad_norm": 0.09130859375,
"learning_rate": 5.268333333333334e-06,
"loss": 0.008,
"step": 2840
},
{
"epoch": 237.53333333333333,
"grad_norm": 0.1142578125,
"learning_rate": 5.2516666666666675e-06,
"loss": 0.0073,
"step": 2850
},
{
"epoch": 238.35555555555555,
"grad_norm": 0.09375,
"learning_rate": 5.235e-06,
"loss": 0.0079,
"step": 2860
},
{
"epoch": 239.17777777777778,
"grad_norm": 0.11328125,
"learning_rate": 5.218333333333334e-06,
"loss": 0.0076,
"step": 2870
},
{
"epoch": 240.0,
"grad_norm": 0.22265625,
"learning_rate": 5.201666666666667e-06,
"loss": 0.0078,
"step": 2880
},
{
"epoch": 240.88888888888889,
"grad_norm": 0.109375,
"learning_rate": 5.185e-06,
"loss": 0.0079,
"step": 2890
},
{
"epoch": 241.7111111111111,
"grad_norm": 0.0859375,
"learning_rate": 5.168333333333334e-06,
"loss": 0.0073,
"step": 2900
},
{
"epoch": 242.53333333333333,
"grad_norm": 0.0791015625,
"learning_rate": 5.151666666666667e-06,
"loss": 0.0078,
"step": 2910
},
{
"epoch": 243.35555555555555,
"grad_norm": 0.0859375,
"learning_rate": 5.135e-06,
"loss": 0.0077,
"step": 2920
},
{
"epoch": 244.17777777777778,
"grad_norm": 0.10498046875,
"learning_rate": 5.118333333333334e-06,
"loss": 0.0076,
"step": 2930
},
{
"epoch": 245.0,
"grad_norm": 0.30078125,
"learning_rate": 5.101666666666667e-06,
"loss": 0.0078,
"step": 2940
},
{
"epoch": 245.88888888888889,
"grad_norm": 0.09033203125,
"learning_rate": 5.085e-06,
"loss": 0.008,
"step": 2950
},
{
"epoch": 246.7111111111111,
"grad_norm": 0.0908203125,
"learning_rate": 5.068333333333334e-06,
"loss": 0.0071,
"step": 2960
},
{
"epoch": 247.53333333333333,
"grad_norm": 0.1259765625,
"learning_rate": 5.051666666666667e-06,
"loss": 0.0079,
"step": 2970
},
{
"epoch": 248.35555555555555,
"grad_norm": 0.11767578125,
"learning_rate": 5.035e-06,
"loss": 0.0075,
"step": 2980
},
{
"epoch": 249.17777777777778,
"grad_norm": 0.0947265625,
"learning_rate": 5.018333333333334e-06,
"loss": 0.0078,
"step": 2990
},
{
"epoch": 250.0,
"grad_norm": 0.2265625,
"learning_rate": 5.0016666666666665e-06,
"loss": 0.0076,
"step": 3000
},
{
"epoch": 250.88888888888889,
"grad_norm": 0.0791015625,
"learning_rate": 4.9850000000000006e-06,
"loss": 0.0078,
"step": 3010
},
{
"epoch": 251.7111111111111,
"grad_norm": 0.0859375,
"learning_rate": 4.968333333333334e-06,
"loss": 0.0078,
"step": 3020
},
{
"epoch": 252.53333333333333,
"grad_norm": 0.1630859375,
"learning_rate": 4.951666666666667e-06,
"loss": 0.0076,
"step": 3030
},
{
"epoch": 253.35555555555555,
"grad_norm": 0.103515625,
"learning_rate": 4.935e-06,
"loss": 0.0076,
"step": 3040
},
{
"epoch": 254.17777777777778,
"grad_norm": 0.1064453125,
"learning_rate": 4.918333333333334e-06,
"loss": 0.0077,
"step": 3050
},
{
"epoch": 255.0,
"grad_norm": 0.318359375,
"learning_rate": 4.901666666666667e-06,
"loss": 0.0079,
"step": 3060
},
{
"epoch": 255.88888888888889,
"grad_norm": 0.1328125,
"learning_rate": 4.885000000000001e-06,
"loss": 0.0077,
"step": 3070
},
{
"epoch": 256.7111111111111,
"grad_norm": 0.0654296875,
"learning_rate": 4.868333333333334e-06,
"loss": 0.0077,
"step": 3080
},
{
"epoch": 257.53333333333336,
"grad_norm": 0.11669921875,
"learning_rate": 4.851666666666667e-06,
"loss": 0.0078,
"step": 3090
},
{
"epoch": 258.35555555555555,
"grad_norm": 0.0986328125,
"learning_rate": 4.835e-06,
"loss": 0.0078,
"step": 3100
},
{
"epoch": 259.1777777777778,
"grad_norm": 0.10546875,
"learning_rate": 4.8183333333333335e-06,
"loss": 0.0076,
"step": 3110
},
{
"epoch": 260.0,
"grad_norm": 0.2109375,
"learning_rate": 4.8016666666666676e-06,
"loss": 0.0079,
"step": 3120
},
{
"epoch": 260.8888888888889,
"grad_norm": 0.1259765625,
"learning_rate": 4.785e-06,
"loss": 0.0076,
"step": 3130
},
{
"epoch": 261.7111111111111,
"grad_norm": 0.056640625,
"learning_rate": 4.768333333333334e-06,
"loss": 0.0079,
"step": 3140
},
{
"epoch": 262.53333333333336,
"grad_norm": 0.07861328125,
"learning_rate": 4.751666666666667e-06,
"loss": 0.0074,
"step": 3150
},
{
"epoch": 263.35555555555555,
"grad_norm": 0.1015625,
"learning_rate": 4.735e-06,
"loss": 0.0078,
"step": 3160
},
{
"epoch": 264.1777777777778,
"grad_norm": 0.10986328125,
"learning_rate": 4.718333333333334e-06,
"loss": 0.008,
"step": 3170
},
{
"epoch": 265.0,
"grad_norm": 0.1357421875,
"learning_rate": 4.701666666666667e-06,
"loss": 0.0077,
"step": 3180
},
{
"epoch": 265.8888888888889,
"grad_norm": 0.1201171875,
"learning_rate": 4.685000000000001e-06,
"loss": 0.0077,
"step": 3190
},
{
"epoch": 266.7111111111111,
"grad_norm": 0.10107421875,
"learning_rate": 4.668333333333333e-06,
"loss": 0.0099,
"step": 3200
},
{
"epoch": 267.53333333333336,
"grad_norm": 0.07666015625,
"learning_rate": 4.651666666666667e-06,
"loss": 0.0079,
"step": 3210
},
{
"epoch": 268.35555555555555,
"grad_norm": 0.09033203125,
"learning_rate": 4.6350000000000005e-06,
"loss": 0.0077,
"step": 3220
},
{
"epoch": 269.1777777777778,
"grad_norm": 0.09130859375,
"learning_rate": 4.618333333333334e-06,
"loss": 0.0077,
"step": 3230
},
{
"epoch": 270.0,
"grad_norm": 0.171875,
"learning_rate": 4.601666666666667e-06,
"loss": 0.0077,
"step": 3240
},
{
"epoch": 270.8888888888889,
"grad_norm": 0.06689453125,
"learning_rate": 4.585e-06,
"loss": 0.0077,
"step": 3250
},
{
"epoch": 271.7111111111111,
"grad_norm": 0.09521484375,
"learning_rate": 4.568333333333333e-06,
"loss": 0.0079,
"step": 3260
},
{
"epoch": 272.53333333333336,
"grad_norm": 0.08349609375,
"learning_rate": 4.551666666666667e-06,
"loss": 0.0075,
"step": 3270
},
{
"epoch": 273.35555555555555,
"grad_norm": 0.103515625,
"learning_rate": 4.535000000000001e-06,
"loss": 0.008,
"step": 3280
},
{
"epoch": 274.1777777777778,
"grad_norm": 0.07080078125,
"learning_rate": 4.518333333333334e-06,
"loss": 0.0102,
"step": 3290
},
{
"epoch": 275.0,
"grad_norm": 0.20703125,
"learning_rate": 4.501666666666667e-06,
"loss": 0.0077,
"step": 3300
},
{
"epoch": 275.8888888888889,
"grad_norm": 0.07373046875,
"learning_rate": 4.485e-06,
"loss": 0.0076,
"step": 3310
},
{
"epoch": 276.7111111111111,
"grad_norm": 0.150390625,
"learning_rate": 4.468333333333334e-06,
"loss": 0.0078,
"step": 3320
},
{
"epoch": 277.53333333333336,
"grad_norm": 0.107421875,
"learning_rate": 4.451666666666667e-06,
"loss": 0.0082,
"step": 3330
},
{
"epoch": 278.35555555555555,
"grad_norm": 0.10888671875,
"learning_rate": 4.435000000000001e-06,
"loss": 0.0073,
"step": 3340
},
{
"epoch": 279.1777777777778,
"grad_norm": 0.1005859375,
"learning_rate": 4.418333333333334e-06,
"loss": 0.0077,
"step": 3350
},
{
"epoch": 280.0,
"grad_norm": 0.17578125,
"learning_rate": 4.401666666666667e-06,
"loss": 0.0077,
"step": 3360
},
{
"epoch": 280.8888888888889,
"grad_norm": 0.080078125,
"learning_rate": 4.385e-06,
"loss": 0.0079,
"step": 3370
},
{
"epoch": 281.7111111111111,
"grad_norm": 0.07763671875,
"learning_rate": 4.368333333333334e-06,
"loss": 0.0073,
"step": 3380
},
{
"epoch": 282.53333333333336,
"grad_norm": 0.06982421875,
"learning_rate": 4.351666666666667e-06,
"loss": 0.0078,
"step": 3390
},
{
"epoch": 283.35555555555555,
"grad_norm": 0.12158203125,
"learning_rate": 4.335e-06,
"loss": 0.0075,
"step": 3400
},
{
"epoch": 284.1777777777778,
"grad_norm": 0.09130859375,
"learning_rate": 4.318333333333334e-06,
"loss": 0.0081,
"step": 3410
},
{
"epoch": 285.0,
"grad_norm": 0.1806640625,
"learning_rate": 4.301666666666666e-06,
"loss": 0.0076,
"step": 3420
},
{
"epoch": 285.8888888888889,
"grad_norm": 0.150390625,
"learning_rate": 4.2850000000000005e-06,
"loss": 0.0077,
"step": 3430
},
{
"epoch": 286.7111111111111,
"grad_norm": 0.08154296875,
"learning_rate": 4.268333333333334e-06,
"loss": 0.0077,
"step": 3440
},
{
"epoch": 287.53333333333336,
"grad_norm": 0.08203125,
"learning_rate": 4.251666666666667e-06,
"loss": 0.0079,
"step": 3450
},
{
"epoch": 288.35555555555555,
"grad_norm": 0.080078125,
"learning_rate": 4.235e-06,
"loss": 0.0077,
"step": 3460
},
{
"epoch": 289.1777777777778,
"grad_norm": 0.0732421875,
"learning_rate": 4.218333333333333e-06,
"loss": 0.0076,
"step": 3470
},
{
"epoch": 290.0,
"grad_norm": 0.2158203125,
"learning_rate": 4.201666666666667e-06,
"loss": 0.0078,
"step": 3480
},
{
"epoch": 290.8888888888889,
"grad_norm": 0.0947265625,
"learning_rate": 4.185000000000001e-06,
"loss": 0.0077,
"step": 3490
},
{
"epoch": 291.7111111111111,
"grad_norm": 0.126953125,
"learning_rate": 4.168333333333334e-06,
"loss": 0.0077,
"step": 3500
},
{
"epoch": 292.53333333333336,
"grad_norm": 0.11083984375,
"learning_rate": 4.151666666666667e-06,
"loss": 0.0077,
"step": 3510
},
{
"epoch": 293.35555555555555,
"grad_norm": 0.08837890625,
"learning_rate": 4.135e-06,
"loss": 0.0077,
"step": 3520
},
{
"epoch": 294.1777777777778,
"grad_norm": 0.08642578125,
"learning_rate": 4.1183333333333334e-06,
"loss": 0.0078,
"step": 3530
},
{
"epoch": 295.0,
"grad_norm": 0.2734375,
"learning_rate": 4.1016666666666675e-06,
"loss": 0.0076,
"step": 3540
},
{
"epoch": 295.8888888888889,
"grad_norm": 0.056396484375,
"learning_rate": 4.085e-06,
"loss": 0.0078,
"step": 3550
},
{
"epoch": 296.7111111111111,
"grad_norm": 0.109375,
"learning_rate": 4.068333333333334e-06,
"loss": 0.0075,
"step": 3560
},
{
"epoch": 297.53333333333336,
"grad_norm": 0.06640625,
"learning_rate": 4.051666666666667e-06,
"loss": 0.0078,
"step": 3570
},
{
"epoch": 298.35555555555555,
"grad_norm": 0.1376953125,
"learning_rate": 4.035e-06,
"loss": 0.0077,
"step": 3580
},
{
"epoch": 299.1777777777778,
"grad_norm": 0.080078125,
"learning_rate": 4.0183333333333335e-06,
"loss": 0.0077,
"step": 3590
},
{
"epoch": 300.0,
"grad_norm": 0.212890625,
"learning_rate": 4.001666666666667e-06,
"loss": 0.0078,
"step": 3600
},
{
"epoch": 300.8888888888889,
"grad_norm": 0.09521484375,
"learning_rate": 3.985000000000001e-06,
"loss": 0.0077,
"step": 3610
},
{
"epoch": 301.7111111111111,
"grad_norm": 0.0791015625,
"learning_rate": 3.968333333333333e-06,
"loss": 0.0078,
"step": 3620
},
{
"epoch": 302.53333333333336,
"grad_norm": 0.07275390625,
"learning_rate": 3.951666666666667e-06,
"loss": 0.0079,
"step": 3630
},
{
"epoch": 303.35555555555555,
"grad_norm": 0.12255859375,
"learning_rate": 3.9350000000000004e-06,
"loss": 0.0078,
"step": 3640
},
{
"epoch": 304.1777777777778,
"grad_norm": 0.1083984375,
"learning_rate": 3.918333333333334e-06,
"loss": 0.0079,
"step": 3650
},
{
"epoch": 305.0,
"grad_norm": 0.2236328125,
"learning_rate": 3.901666666666667e-06,
"loss": 0.0077,
"step": 3660
},
{
"epoch": 305.8888888888889,
"grad_norm": 0.0859375,
"learning_rate": 3.885e-06,
"loss": 0.0076,
"step": 3670
},
{
"epoch": 306.7111111111111,
"grad_norm": 0.091796875,
"learning_rate": 3.868333333333333e-06,
"loss": 0.0079,
"step": 3680
},
{
"epoch": 307.53333333333336,
"grad_norm": 0.08740234375,
"learning_rate": 3.8516666666666665e-06,
"loss": 0.0078,
"step": 3690
},
{
"epoch": 308.35555555555555,
"grad_norm": 0.1728515625,
"learning_rate": 3.8350000000000006e-06,
"loss": 0.0078,
"step": 3700
},
{
"epoch": 309.1777777777778,
"grad_norm": 0.1708984375,
"learning_rate": 3.818333333333334e-06,
"loss": 0.0075,
"step": 3710
},
{
"epoch": 310.0,
"grad_norm": 0.171875,
"learning_rate": 3.801666666666667e-06,
"loss": 0.0078,
"step": 3720
},
{
"epoch": 310.8888888888889,
"grad_norm": 0.087890625,
"learning_rate": 3.785e-06,
"loss": 0.0078,
"step": 3730
},
{
"epoch": 311.7111111111111,
"grad_norm": 0.1416015625,
"learning_rate": 3.768333333333334e-06,
"loss": 0.0077,
"step": 3740
},
{
"epoch": 312.53333333333336,
"grad_norm": 0.09326171875,
"learning_rate": 3.7516666666666666e-06,
"loss": 0.0079,
"step": 3750
},
{
"epoch": 313.35555555555555,
"grad_norm": 0.09521484375,
"learning_rate": 3.7350000000000002e-06,
"loss": 0.0077,
"step": 3760
},
{
"epoch": 314.1777777777778,
"grad_norm": 0.09033203125,
"learning_rate": 3.718333333333334e-06,
"loss": 0.008,
"step": 3770
},
{
"epoch": 315.0,
"grad_norm": 0.1689453125,
"learning_rate": 3.7016666666666667e-06,
"loss": 0.0075,
"step": 3780
},
{
"epoch": 315.8888888888889,
"grad_norm": 0.1181640625,
"learning_rate": 3.6850000000000003e-06,
"loss": 0.0077,
"step": 3790
},
{
"epoch": 316.7111111111111,
"grad_norm": 0.1015625,
"learning_rate": 3.668333333333334e-06,
"loss": 0.0079,
"step": 3800
},
{
"epoch": 317.53333333333336,
"grad_norm": 0.138671875,
"learning_rate": 3.6516666666666667e-06,
"loss": 0.0099,
"step": 3810
},
{
"epoch": 318.35555555555555,
"grad_norm": 0.08740234375,
"learning_rate": 3.6350000000000003e-06,
"loss": 0.0079,
"step": 3820
},
{
"epoch": 319.1777777777778,
"grad_norm": 0.1279296875,
"learning_rate": 3.6183333333333336e-06,
"loss": 0.0077,
"step": 3830
},
{
"epoch": 320.0,
"grad_norm": 0.3515625,
"learning_rate": 3.601666666666667e-06,
"loss": 0.0079,
"step": 3840
},
{
"epoch": 320.8888888888889,
"grad_norm": 0.07470703125,
"learning_rate": 3.585e-06,
"loss": 0.0078,
"step": 3850
},
{
"epoch": 321.7111111111111,
"grad_norm": 0.07958984375,
"learning_rate": 3.5683333333333336e-06,
"loss": 0.0078,
"step": 3860
},
{
"epoch": 322.53333333333336,
"grad_norm": 0.111328125,
"learning_rate": 3.5516666666666672e-06,
"loss": 0.0076,
"step": 3870
},
{
"epoch": 323.35555555555555,
"grad_norm": 0.08349609375,
"learning_rate": 3.535e-06,
"loss": 0.008,
"step": 3880
},
{
"epoch": 324.1777777777778,
"grad_norm": 0.08642578125,
"learning_rate": 3.5183333333333337e-06,
"loss": 0.0077,
"step": 3890
},
{
"epoch": 325.0,
"grad_norm": 0.1767578125,
"learning_rate": 3.5016666666666673e-06,
"loss": 0.0077,
"step": 3900
},
{
"epoch": 325.8888888888889,
"grad_norm": 0.0771484375,
"learning_rate": 3.485e-06,
"loss": 0.0077,
"step": 3910
},
{
"epoch": 326.7111111111111,
"grad_norm": 0.0693359375,
"learning_rate": 3.4683333333333337e-06,
"loss": 0.0077,
"step": 3920
},
{
"epoch": 327.53333333333336,
"grad_norm": 0.08447265625,
"learning_rate": 3.451666666666667e-06,
"loss": 0.0079,
"step": 3930
},
{
"epoch": 328.35555555555555,
"grad_norm": 0.08984375,
"learning_rate": 3.4350000000000006e-06,
"loss": 0.0079,
"step": 3940
},
{
"epoch": 329.1777777777778,
"grad_norm": 0.068359375,
"learning_rate": 3.4183333333333334e-06,
"loss": 0.0077,
"step": 3950
},
{
"epoch": 330.0,
"grad_norm": 0.1728515625,
"learning_rate": 3.401666666666667e-06,
"loss": 0.0077,
"step": 3960
},
{
"epoch": 330.8888888888889,
"grad_norm": 0.04345703125,
"learning_rate": 3.3850000000000006e-06,
"loss": 0.0077,
"step": 3970
},
{
"epoch": 331.7111111111111,
"grad_norm": 0.05908203125,
"learning_rate": 3.3683333333333334e-06,
"loss": 0.0078,
"step": 3980
},
{
"epoch": 332.53333333333336,
"grad_norm": 0.09521484375,
"learning_rate": 3.351666666666667e-06,
"loss": 0.0077,
"step": 3990
},
{
"epoch": 333.35555555555555,
"grad_norm": 0.11572265625,
"learning_rate": 3.3350000000000003e-06,
"loss": 0.0077,
"step": 4000
},
{
"epoch": 334.1777777777778,
"grad_norm": 0.10205078125,
"learning_rate": 3.3183333333333335e-06,
"loss": 0.0078,
"step": 4010
},
{
"epoch": 335.0,
"grad_norm": 0.173828125,
"learning_rate": 3.301666666666667e-06,
"loss": 0.0078,
"step": 4020
},
{
"epoch": 335.8888888888889,
"grad_norm": 0.09326171875,
"learning_rate": 3.2850000000000003e-06,
"loss": 0.0077,
"step": 4030
},
{
"epoch": 336.7111111111111,
"grad_norm": 0.10986328125,
"learning_rate": 3.2683333333333335e-06,
"loss": 0.0078,
"step": 4040
},
{
"epoch": 337.53333333333336,
"grad_norm": 0.07373046875,
"learning_rate": 3.2516666666666667e-06,
"loss": 0.0073,
"step": 4050
},
{
"epoch": 338.35555555555555,
"grad_norm": 0.06494140625,
"learning_rate": 3.2350000000000004e-06,
"loss": 0.0079,
"step": 4060
},
{
"epoch": 339.1777777777778,
"grad_norm": 0.06494140625,
"learning_rate": 3.218333333333334e-06,
"loss": 0.0077,
"step": 4070
},
{
"epoch": 340.0,
"grad_norm": 0.2041015625,
"learning_rate": 3.201666666666667e-06,
"loss": 0.0076,
"step": 4080
},
{
"epoch": 340.8888888888889,
"grad_norm": 0.08447265625,
"learning_rate": 3.1850000000000004e-06,
"loss": 0.0076,
"step": 4090
},
{
"epoch": 341.7111111111111,
"grad_norm": 0.072265625,
"learning_rate": 3.1683333333333336e-06,
"loss": 0.0078,
"step": 4100
},
{
"epoch": 342.53333333333336,
"grad_norm": 0.06591796875,
"learning_rate": 3.151666666666667e-06,
"loss": 0.0076,
"step": 4110
},
{
"epoch": 343.35555555555555,
"grad_norm": 0.10888671875,
"learning_rate": 3.135e-06,
"loss": 0.0078,
"step": 4120
},
{
"epoch": 344.1777777777778,
"grad_norm": 0.07470703125,
"learning_rate": 3.1183333333333337e-06,
"loss": 0.0077,
"step": 4130
},
{
"epoch": 345.0,
"grad_norm": 0.177734375,
"learning_rate": 3.101666666666667e-06,
"loss": 0.0078,
"step": 4140
},
{
"epoch": 345.8888888888889,
"grad_norm": 0.10205078125,
"learning_rate": 3.085e-06,
"loss": 0.0076,
"step": 4150
},
{
"epoch": 346.7111111111111,
"grad_norm": 0.078125,
"learning_rate": 3.0683333333333337e-06,
"loss": 0.0077,
"step": 4160
},
{
"epoch": 347.53333333333336,
"grad_norm": 0.06787109375,
"learning_rate": 3.0516666666666665e-06,
"loss": 0.008,
"step": 4170
},
{
"epoch": 348.35555555555555,
"grad_norm": 0.11865234375,
"learning_rate": 3.035e-06,
"loss": 0.0074,
"step": 4180
},
{
"epoch": 349.1777777777778,
"grad_norm": 0.11962890625,
"learning_rate": 3.018333333333334e-06,
"loss": 0.0077,
"step": 4190
},
{
"epoch": 350.0,
"grad_norm": 0.2275390625,
"learning_rate": 3.001666666666667e-06,
"loss": 0.0077,
"step": 4200
},
{
"epoch": 350.8888888888889,
"grad_norm": 0.1376953125,
"learning_rate": 2.9850000000000002e-06,
"loss": 0.0077,
"step": 4210
},
{
"epoch": 351.7111111111111,
"grad_norm": 0.09716796875,
"learning_rate": 2.9683333333333334e-06,
"loss": 0.0077,
"step": 4220
},
{
"epoch": 352.53333333333336,
"grad_norm": 0.06884765625,
"learning_rate": 2.951666666666667e-06,
"loss": 0.0079,
"step": 4230
},
{
"epoch": 353.35555555555555,
"grad_norm": 0.0576171875,
"learning_rate": 2.9350000000000003e-06,
"loss": 0.0076,
"step": 4240
},
{
"epoch": 354.1777777777778,
"grad_norm": 0.0986328125,
"learning_rate": 2.9183333333333335e-06,
"loss": 0.0075,
"step": 4250
},
{
"epoch": 355.0,
"grad_norm": 0.208984375,
"learning_rate": 2.901666666666667e-06,
"loss": 0.0079,
"step": 4260
},
{
"epoch": 355.8888888888889,
"grad_norm": 0.111328125,
"learning_rate": 2.885e-06,
"loss": 0.0076,
"step": 4270
},
{
"epoch": 356.7111111111111,
"grad_norm": 0.07421875,
"learning_rate": 2.8683333333333335e-06,
"loss": 0.0078,
"step": 4280
},
{
"epoch": 357.53333333333336,
"grad_norm": 0.061279296875,
"learning_rate": 2.851666666666667e-06,
"loss": 0.0076,
"step": 4290
},
{
"epoch": 358.35555555555555,
"grad_norm": 0.10400390625,
"learning_rate": 2.835e-06,
"loss": 0.0076,
"step": 4300
},
{
"epoch": 359.1777777777778,
"grad_norm": 0.09228515625,
"learning_rate": 2.8183333333333336e-06,
"loss": 0.0076,
"step": 4310
},
{
"epoch": 360.0,
"grad_norm": 0.2099609375,
"learning_rate": 2.801666666666667e-06,
"loss": 0.0079,
"step": 4320
},
{
"epoch": 360.8888888888889,
"grad_norm": 0.11474609375,
"learning_rate": 2.7850000000000004e-06,
"loss": 0.0077,
"step": 4330
},
{
"epoch": 361.7111111111111,
"grad_norm": 0.15625,
"learning_rate": 2.7683333333333332e-06,
"loss": 0.0079,
"step": 4340
},
{
"epoch": 362.53333333333336,
"grad_norm": 0.080078125,
"learning_rate": 2.751666666666667e-06,
"loss": 0.0075,
"step": 4350
},
{
"epoch": 363.35555555555555,
"grad_norm": 0.1259765625,
"learning_rate": 2.7350000000000005e-06,
"loss": 0.0077,
"step": 4360
},
{
"epoch": 364.1777777777778,
"grad_norm": 0.068359375,
"learning_rate": 2.7183333333333333e-06,
"loss": 0.0104,
"step": 4370
},
{
"epoch": 365.0,
"grad_norm": 0.208984375,
"learning_rate": 2.701666666666667e-06,
"loss": 0.0077,
"step": 4380
},
{
"epoch": 365.8888888888889,
"grad_norm": 0.0654296875,
"learning_rate": 2.6850000000000006e-06,
"loss": 0.0078,
"step": 4390
},
{
"epoch": 366.7111111111111,
"grad_norm": 0.0888671875,
"learning_rate": 2.6683333333333333e-06,
"loss": 0.0076,
"step": 4400
},
{
"epoch": 367.53333333333336,
"grad_norm": 0.12060546875,
"learning_rate": 2.651666666666667e-06,
"loss": 0.0076,
"step": 4410
},
{
"epoch": 368.35555555555555,
"grad_norm": 0.0791015625,
"learning_rate": 2.635e-06,
"loss": 0.0076,
"step": 4420
},
{
"epoch": 369.1777777777778,
"grad_norm": 0.09814453125,
"learning_rate": 2.6183333333333334e-06,
"loss": 0.0078,
"step": 4430
},
{
"epoch": 370.0,
"grad_norm": 0.271484375,
"learning_rate": 2.6016666666666666e-06,
"loss": 0.0076,
"step": 4440
},
{
"epoch": 370.8888888888889,
"grad_norm": 0.07958984375,
"learning_rate": 2.5850000000000002e-06,
"loss": 0.0077,
"step": 4450
},
{
"epoch": 371.7111111111111,
"grad_norm": 0.07763671875,
"learning_rate": 2.568333333333334e-06,
"loss": 0.0075,
"step": 4460
},
{
"epoch": 372.53333333333336,
"grad_norm": 0.09033203125,
"learning_rate": 2.5516666666666667e-06,
"loss": 0.0078,
"step": 4470
},
{
"epoch": 373.35555555555555,
"grad_norm": 0.091796875,
"learning_rate": 2.5350000000000003e-06,
"loss": 0.0077,
"step": 4480
},
{
"epoch": 374.1777777777778,
"grad_norm": 0.1015625,
"learning_rate": 2.518333333333334e-06,
"loss": 0.0077,
"step": 4490
},
{
"epoch": 375.0,
"grad_norm": 0.1318359375,
"learning_rate": 2.5016666666666667e-06,
"loss": 0.0076,
"step": 4500
},
{
"epoch": 375.8888888888889,
"grad_norm": 0.09619140625,
"learning_rate": 2.4850000000000003e-06,
"loss": 0.0078,
"step": 4510
},
{
"epoch": 376.7111111111111,
"grad_norm": 0.095703125,
"learning_rate": 2.4683333333333336e-06,
"loss": 0.0078,
"step": 4520
},
{
"epoch": 377.53333333333336,
"grad_norm": 0.051025390625,
"learning_rate": 2.4516666666666668e-06,
"loss": 0.0077,
"step": 4530
},
{
"epoch": 378.35555555555555,
"grad_norm": 0.08447265625,
"learning_rate": 2.435e-06,
"loss": 0.0076,
"step": 4540
},
{
"epoch": 379.1777777777778,
"grad_norm": 0.048583984375,
"learning_rate": 2.4183333333333336e-06,
"loss": 0.0077,
"step": 4550
},
{
"epoch": 380.0,
"grad_norm": 0.1728515625,
"learning_rate": 2.401666666666667e-06,
"loss": 0.0079,
"step": 4560
},
{
"epoch": 380.8888888888889,
"grad_norm": 0.1015625,
"learning_rate": 2.385e-06,
"loss": 0.0077,
"step": 4570
},
{
"epoch": 381.7111111111111,
"grad_norm": 0.111328125,
"learning_rate": 2.3683333333333337e-06,
"loss": 0.008,
"step": 4580
},
{
"epoch": 382.53333333333336,
"grad_norm": 0.130859375,
"learning_rate": 2.351666666666667e-06,
"loss": 0.0075,
"step": 4590
},
{
"epoch": 383.35555555555555,
"grad_norm": 0.15234375,
"learning_rate": 2.3350000000000005e-06,
"loss": 0.0082,
"step": 4600
},
{
"epoch": 384.1777777777778,
"grad_norm": 0.07275390625,
"learning_rate": 2.3183333333333337e-06,
"loss": 0.0076,
"step": 4610
},
{
"epoch": 385.0,
"grad_norm": 0.1318359375,
"learning_rate": 2.301666666666667e-06,
"loss": 0.0077,
"step": 4620
},
{
"epoch": 385.8888888888889,
"grad_norm": 0.1005859375,
"learning_rate": 2.285e-06,
"loss": 0.0078,
"step": 4630
},
{
"epoch": 386.7111111111111,
"grad_norm": 0.109375,
"learning_rate": 2.2683333333333334e-06,
"loss": 0.0078,
"step": 4640
},
{
"epoch": 387.53333333333336,
"grad_norm": 0.12353515625,
"learning_rate": 2.2516666666666666e-06,
"loss": 0.0102,
"step": 4650
},
{
"epoch": 388.35555555555555,
"grad_norm": 0.087890625,
"learning_rate": 2.235e-06,
"loss": 0.0077,
"step": 4660
},
{
"epoch": 389.1777777777778,
"grad_norm": 0.09765625,
"learning_rate": 2.2183333333333334e-06,
"loss": 0.0079,
"step": 4670
},
{
"epoch": 390.0,
"grad_norm": 0.0,
"learning_rate": 2.201666666666667e-06,
"loss": 0.0102,
"step": 4680
},
{
"epoch": 390.8888888888889,
"grad_norm": 0.059814453125,
"learning_rate": 2.1850000000000003e-06,
"loss": 0.0078,
"step": 4690
},
{
"epoch": 391.7111111111111,
"grad_norm": 0.11279296875,
"learning_rate": 2.1683333333333335e-06,
"loss": 0.0076,
"step": 4700
},
{
"epoch": 392.53333333333336,
"grad_norm": 0.05859375,
"learning_rate": 2.151666666666667e-06,
"loss": 0.0079,
"step": 4710
},
{
"epoch": 393.35555555555555,
"grad_norm": 0.1142578125,
"learning_rate": 2.1350000000000003e-06,
"loss": 0.0078,
"step": 4720
},
{
"epoch": 394.1777777777778,
"grad_norm": 0.09716796875,
"learning_rate": 2.1183333333333335e-06,
"loss": 0.0077,
"step": 4730
},
{
"epoch": 395.0,
"grad_norm": 0.27734375,
"learning_rate": 2.1016666666666667e-06,
"loss": 0.0074,
"step": 4740
},
{
"epoch": 395.8888888888889,
"grad_norm": 0.1005859375,
"learning_rate": 2.085e-06,
"loss": 0.0077,
"step": 4750
},
{
"epoch": 396.7111111111111,
"grad_norm": 0.09423828125,
"learning_rate": 2.0683333333333336e-06,
"loss": 0.0079,
"step": 4760
},
{
"epoch": 397.53333333333336,
"grad_norm": 0.0859375,
"learning_rate": 2.0516666666666668e-06,
"loss": 0.0077,
"step": 4770
},
{
"epoch": 398.35555555555555,
"grad_norm": 0.126953125,
"learning_rate": 2.035e-06,
"loss": 0.0078,
"step": 4780
},
{
"epoch": 399.1777777777778,
"grad_norm": 0.10400390625,
"learning_rate": 2.0183333333333336e-06,
"loss": 0.0079,
"step": 4790
},
{
"epoch": 400.0,
"grad_norm": 0.298828125,
"learning_rate": 2.001666666666667e-06,
"loss": 0.0078,
"step": 4800
},
{
"epoch": 400.8888888888889,
"grad_norm": 0.095703125,
"learning_rate": 1.985e-06,
"loss": 0.0076,
"step": 4810
},
{
"epoch": 401.7111111111111,
"grad_norm": 0.11572265625,
"learning_rate": 1.9683333333333337e-06,
"loss": 0.0078,
"step": 4820
},
{
"epoch": 402.53333333333336,
"grad_norm": 0.08984375,
"learning_rate": 1.951666666666667e-06,
"loss": 0.0078,
"step": 4830
},
{
"epoch": 403.35555555555555,
"grad_norm": 0.173828125,
"learning_rate": 1.935e-06,
"loss": 0.0075,
"step": 4840
},
{
"epoch": 404.1777777777778,
"grad_norm": 0.08642578125,
"learning_rate": 1.9183333333333333e-06,
"loss": 0.0079,
"step": 4850
},
{
"epoch": 405.0,
"grad_norm": 0.1787109375,
"learning_rate": 1.901666666666667e-06,
"loss": 0.0077,
"step": 4860
},
{
"epoch": 405.8888888888889,
"grad_norm": 0.06787109375,
"learning_rate": 1.8850000000000002e-06,
"loss": 0.0077,
"step": 4870
},
{
"epoch": 406.7111111111111,
"grad_norm": 0.0927734375,
"learning_rate": 1.8683333333333334e-06,
"loss": 0.0078,
"step": 4880
},
{
"epoch": 407.53333333333336,
"grad_norm": 0.10498046875,
"learning_rate": 1.8516666666666668e-06,
"loss": 0.0076,
"step": 4890
},
{
"epoch": 408.35555555555555,
"grad_norm": 0.11181640625,
"learning_rate": 1.8350000000000002e-06,
"loss": 0.0078,
"step": 4900
},
{
"epoch": 409.1777777777778,
"grad_norm": 0.1494140625,
"learning_rate": 1.8183333333333336e-06,
"loss": 0.0078,
"step": 4910
},
{
"epoch": 410.0,
"grad_norm": 0.21484375,
"learning_rate": 1.8016666666666669e-06,
"loss": 0.0078,
"step": 4920
},
{
"epoch": 410.8888888888889,
"grad_norm": 0.049560546875,
"learning_rate": 1.785e-06,
"loss": 0.0077,
"step": 4930
},
{
"epoch": 411.7111111111111,
"grad_norm": 0.10546875,
"learning_rate": 1.7683333333333335e-06,
"loss": 0.0079,
"step": 4940
},
{
"epoch": 412.53333333333336,
"grad_norm": 0.09716796875,
"learning_rate": 1.7516666666666667e-06,
"loss": 0.0078,
"step": 4950
},
{
"epoch": 413.35555555555555,
"grad_norm": 0.115234375,
"learning_rate": 1.7350000000000001e-06,
"loss": 0.0077,
"step": 4960
},
{
"epoch": 414.1777777777778,
"grad_norm": 0.123046875,
"learning_rate": 1.7183333333333335e-06,
"loss": 0.0078,
"step": 4970
},
{
"epoch": 415.0,
"grad_norm": 0.2314453125,
"learning_rate": 1.7016666666666668e-06,
"loss": 0.0079,
"step": 4980
},
{
"epoch": 415.8888888888889,
"grad_norm": 0.07568359375,
"learning_rate": 1.6850000000000002e-06,
"loss": 0.0077,
"step": 4990
},
{
"epoch": 416.7111111111111,
"grad_norm": 0.08642578125,
"learning_rate": 1.6683333333333334e-06,
"loss": 0.0078,
"step": 5000
},
{
"epoch": 417.53333333333336,
"grad_norm": 0.15625,
"learning_rate": 1.6516666666666666e-06,
"loss": 0.0079,
"step": 5010
},
{
"epoch": 418.35555555555555,
"grad_norm": 0.126953125,
"learning_rate": 1.6350000000000002e-06,
"loss": 0.0071,
"step": 5020
},
{
"epoch": 419.1777777777778,
"grad_norm": 0.0927734375,
"learning_rate": 1.6183333333333334e-06,
"loss": 0.008,
"step": 5030
},
{
"epoch": 420.0,
"grad_norm": 0.2158203125,
"learning_rate": 1.6016666666666669e-06,
"loss": 0.0078,
"step": 5040
},
{
"epoch": 420.8888888888889,
"grad_norm": 0.08056640625,
"learning_rate": 1.585e-06,
"loss": 0.0077,
"step": 5050
},
{
"epoch": 421.7111111111111,
"grad_norm": 0.076171875,
"learning_rate": 1.5683333333333333e-06,
"loss": 0.0078,
"step": 5060
},
{
"epoch": 422.53333333333336,
"grad_norm": 0.1357421875,
"learning_rate": 1.551666666666667e-06,
"loss": 0.0077,
"step": 5070
},
{
"epoch": 423.35555555555555,
"grad_norm": 0.07666015625,
"learning_rate": 1.5350000000000001e-06,
"loss": 0.0075,
"step": 5080
},
{
"epoch": 424.1777777777778,
"grad_norm": 0.06396484375,
"learning_rate": 1.5183333333333333e-06,
"loss": 0.008,
"step": 5090
},
{
"epoch": 425.0,
"grad_norm": 0.193359375,
"learning_rate": 1.5016666666666668e-06,
"loss": 0.0074,
"step": 5100
},
{
"epoch": 425.8888888888889,
"grad_norm": 0.1083984375,
"learning_rate": 1.485e-06,
"loss": 0.0077,
"step": 5110
},
{
"epoch": 426.7111111111111,
"grad_norm": 0.04931640625,
"learning_rate": 1.4683333333333336e-06,
"loss": 0.0075,
"step": 5120
},
{
"epoch": 427.53333333333336,
"grad_norm": 0.10546875,
"learning_rate": 1.4516666666666668e-06,
"loss": 0.008,
"step": 5130
},
{
"epoch": 428.35555555555555,
"grad_norm": 0.10205078125,
"learning_rate": 1.435e-06,
"loss": 0.0078,
"step": 5140
},
{
"epoch": 429.1777777777778,
"grad_norm": 0.14453125,
"learning_rate": 1.4183333333333334e-06,
"loss": 0.0078,
"step": 5150
},
{
"epoch": 430.0,
"grad_norm": 0.189453125,
"learning_rate": 1.4016666666666667e-06,
"loss": 0.0076,
"step": 5160
},
{
"epoch": 430.8888888888889,
"grad_norm": 0.08203125,
"learning_rate": 1.3850000000000003e-06,
"loss": 0.0077,
"step": 5170
},
{
"epoch": 431.7111111111111,
"grad_norm": 0.09423828125,
"learning_rate": 1.3683333333333335e-06,
"loss": 0.0075,
"step": 5180
},
{
"epoch": 432.53333333333336,
"grad_norm": 0.11474609375,
"learning_rate": 1.3516666666666667e-06,
"loss": 0.0078,
"step": 5190
},
{
"epoch": 433.35555555555555,
"grad_norm": 0.05078125,
"learning_rate": 1.3350000000000001e-06,
"loss": 0.0074,
"step": 5200
},
{
"epoch": 434.1777777777778,
"grad_norm": 0.134765625,
"learning_rate": 1.3183333333333333e-06,
"loss": 0.0074,
"step": 5210
},
{
"epoch": 435.0,
"grad_norm": 0.1689453125,
"learning_rate": 1.301666666666667e-06,
"loss": 0.0077,
"step": 5220
},
{
"epoch": 435.8888888888889,
"grad_norm": 0.0830078125,
"learning_rate": 1.2850000000000002e-06,
"loss": 0.0077,
"step": 5230
},
{
"epoch": 436.7111111111111,
"grad_norm": 0.060791015625,
"learning_rate": 1.2683333333333334e-06,
"loss": 0.0076,
"step": 5240
},
{
"epoch": 437.53333333333336,
"grad_norm": 0.07568359375,
"learning_rate": 1.2516666666666668e-06,
"loss": 0.0078,
"step": 5250
},
{
"epoch": 438.35555555555555,
"grad_norm": 0.0830078125,
"learning_rate": 1.235e-06,
"loss": 0.0078,
"step": 5260
},
{
"epoch": 439.1777777777778,
"grad_norm": 0.09619140625,
"learning_rate": 1.2183333333333335e-06,
"loss": 0.0077,
"step": 5270
},
{
"epoch": 440.0,
"grad_norm": 0.2734375,
"learning_rate": 1.2016666666666669e-06,
"loss": 0.0075,
"step": 5280
},
{
"epoch": 440.8888888888889,
"grad_norm": 0.072265625,
"learning_rate": 1.185e-06,
"loss": 0.0077,
"step": 5290
},
{
"epoch": 441.7111111111111,
"grad_norm": 0.1123046875,
"learning_rate": 1.1683333333333333e-06,
"loss": 0.0077,
"step": 5300
},
{
"epoch": 442.53333333333336,
"grad_norm": 0.1064453125,
"learning_rate": 1.1516666666666667e-06,
"loss": 0.0075,
"step": 5310
},
{
"epoch": 443.35555555555555,
"grad_norm": 0.09375,
"learning_rate": 1.1350000000000001e-06,
"loss": 0.0077,
"step": 5320
},
{
"epoch": 444.1777777777778,
"grad_norm": 0.1044921875,
"learning_rate": 1.1183333333333336e-06,
"loss": 0.008,
"step": 5330
},
{
"epoch": 445.0,
"grad_norm": 0.314453125,
"learning_rate": 1.1016666666666668e-06,
"loss": 0.0077,
"step": 5340
},
{
"epoch": 445.8888888888889,
"grad_norm": 0.05224609375,
"learning_rate": 1.085e-06,
"loss": 0.0077,
"step": 5350
},
{
"epoch": 446.7111111111111,
"grad_norm": 0.1328125,
"learning_rate": 1.0683333333333334e-06,
"loss": 0.0078,
"step": 5360
},
{
"epoch": 447.53333333333336,
"grad_norm": 0.1533203125,
"learning_rate": 1.0516666666666668e-06,
"loss": 0.0078,
"step": 5370
},
{
"epoch": 448.35555555555555,
"grad_norm": 0.10546875,
"learning_rate": 1.035e-06,
"loss": 0.0078,
"step": 5380
},
{
"epoch": 449.1777777777778,
"grad_norm": 0.1435546875,
"learning_rate": 1.0183333333333335e-06,
"loss": 0.0079,
"step": 5390
},
{
"epoch": 450.0,
"grad_norm": 0.23046875,
"learning_rate": 1.0016666666666667e-06,
"loss": 0.0078,
"step": 5400
},
{
"epoch": 450.8888888888889,
"grad_norm": 0.1201171875,
"learning_rate": 9.85e-07,
"loss": 0.0077,
"step": 5410
},
{
"epoch": 451.7111111111111,
"grad_norm": 0.10107421875,
"learning_rate": 9.683333333333333e-07,
"loss": 0.0076,
"step": 5420
},
{
"epoch": 452.53333333333336,
"grad_norm": 0.0810546875,
"learning_rate": 9.516666666666667e-07,
"loss": 0.0078,
"step": 5430
},
{
"epoch": 453.35555555555555,
"grad_norm": 0.059814453125,
"learning_rate": 9.35e-07,
"loss": 0.0077,
"step": 5440
},
{
"epoch": 454.1777777777778,
"grad_norm": 0.12890625,
"learning_rate": 9.183333333333335e-07,
"loss": 0.0078,
"step": 5450
},
{
"epoch": 455.0,
"grad_norm": 0.150390625,
"learning_rate": 9.016666666666668e-07,
"loss": 0.0077,
"step": 5460
},
{
"epoch": 455.8888888888889,
"grad_norm": 0.126953125,
"learning_rate": 8.85e-07,
"loss": 0.0077,
"step": 5470
},
{
"epoch": 456.7111111111111,
"grad_norm": 0.0732421875,
"learning_rate": 8.683333333333334e-07,
"loss": 0.0076,
"step": 5480
},
{
"epoch": 457.53333333333336,
"grad_norm": 0.12451171875,
"learning_rate": 8.516666666666667e-07,
"loss": 0.008,
"step": 5490
},
{
"epoch": 458.35555555555555,
"grad_norm": 0.130859375,
"learning_rate": 8.350000000000002e-07,
"loss": 0.0075,
"step": 5500
},
{
"epoch": 459.1777777777778,
"grad_norm": 0.11181640625,
"learning_rate": 8.183333333333334e-07,
"loss": 0.0077,
"step": 5510
},
{
"epoch": 460.0,
"grad_norm": 0.1865234375,
"learning_rate": 8.016666666666667e-07,
"loss": 0.0079,
"step": 5520
},
{
"epoch": 460.8888888888889,
"grad_norm": 0.07568359375,
"learning_rate": 7.850000000000001e-07,
"loss": 0.0077,
"step": 5530
},
{
"epoch": 461.7111111111111,
"grad_norm": 0.05908203125,
"learning_rate": 7.683333333333334e-07,
"loss": 0.0079,
"step": 5540
},
{
"epoch": 462.53333333333336,
"grad_norm": 0.060546875,
"learning_rate": 7.516666666666668e-07,
"loss": 0.0076,
"step": 5550
},
{
"epoch": 463.35555555555555,
"grad_norm": 0.080078125,
"learning_rate": 7.350000000000001e-07,
"loss": 0.0079,
"step": 5560
},
{
"epoch": 464.1777777777778,
"grad_norm": 0.099609375,
"learning_rate": 7.183333333333334e-07,
"loss": 0.0079,
"step": 5570
},
{
"epoch": 465.0,
"grad_norm": 0.0,
"learning_rate": 7.016666666666668e-07,
"loss": 0.01,
"step": 5580
},
{
"epoch": 465.8888888888889,
"grad_norm": 0.0859375,
"learning_rate": 6.850000000000001e-07,
"loss": 0.0077,
"step": 5590
},
{
"epoch": 466.7111111111111,
"grad_norm": 0.109375,
"learning_rate": 6.683333333333333e-07,
"loss": 0.0072,
"step": 5600
},
{
"epoch": 467.53333333333336,
"grad_norm": 0.091796875,
"learning_rate": 6.516666666666667e-07,
"loss": 0.008,
"step": 5610
},
{
"epoch": 468.35555555555555,
"grad_norm": 0.10888671875,
"learning_rate": 6.350000000000001e-07,
"loss": 0.0077,
"step": 5620
},
{
"epoch": 469.1777777777778,
"grad_norm": 0.08935546875,
"learning_rate": 6.183333333333334e-07,
"loss": 0.0079,
"step": 5630
},
{
"epoch": 470.0,
"grad_norm": 0.2734375,
"learning_rate": 6.016666666666667e-07,
"loss": 0.0074,
"step": 5640
},
{
"epoch": 470.8888888888889,
"grad_norm": 0.068359375,
"learning_rate": 5.850000000000001e-07,
"loss": 0.0077,
"step": 5650
},
{
"epoch": 471.7111111111111,
"grad_norm": 0.140625,
"learning_rate": 5.683333333333333e-07,
"loss": 0.0078,
"step": 5660
},
{
"epoch": 472.53333333333336,
"grad_norm": 0.12890625,
"learning_rate": 5.516666666666667e-07,
"loss": 0.008,
"step": 5670
},
{
"epoch": 473.35555555555555,
"grad_norm": 0.130859375,
"learning_rate": 5.350000000000001e-07,
"loss": 0.0078,
"step": 5680
},
{
"epoch": 474.1777777777778,
"grad_norm": 0.09619140625,
"learning_rate": 5.183333333333334e-07,
"loss": 0.0078,
"step": 5690
},
{
"epoch": 475.0,
"grad_norm": 0.17578125,
"learning_rate": 5.016666666666667e-07,
"loss": 0.0078,
"step": 5700
},
{
"epoch": 475.8888888888889,
"grad_norm": 0.126953125,
"learning_rate": 4.85e-07,
"loss": 0.0076,
"step": 5710
},
{
"epoch": 476.7111111111111,
"grad_norm": 0.1318359375,
"learning_rate": 4.6833333333333333e-07,
"loss": 0.0078,
"step": 5720
},
{
"epoch": 477.53333333333336,
"grad_norm": 0.1123046875,
"learning_rate": 4.516666666666667e-07,
"loss": 0.0079,
"step": 5730
},
{
"epoch": 478.35555555555555,
"grad_norm": 0.16796875,
"learning_rate": 4.35e-07,
"loss": 0.0078,
"step": 5740
},
{
"epoch": 479.1777777777778,
"grad_norm": 0.1083984375,
"learning_rate": 4.183333333333334e-07,
"loss": 0.0076,
"step": 5750
},
{
"epoch": 480.0,
"grad_norm": 0.322265625,
"learning_rate": 4.0166666666666676e-07,
"loss": 0.0077,
"step": 5760
},
{
"epoch": 480.8888888888889,
"grad_norm": 0.1142578125,
"learning_rate": 3.85e-07,
"loss": 0.0078,
"step": 5770
},
{
"epoch": 481.7111111111111,
"grad_norm": 0.125,
"learning_rate": 3.683333333333334e-07,
"loss": 0.0075,
"step": 5780
},
{
"epoch": 482.53333333333336,
"grad_norm": 0.076171875,
"learning_rate": 3.516666666666667e-07,
"loss": 0.0077,
"step": 5790
},
{
"epoch": 483.35555555555555,
"grad_norm": 0.0986328125,
"learning_rate": 3.35e-07,
"loss": 0.0079,
"step": 5800
},
{
"epoch": 484.1777777777778,
"grad_norm": 0.06494140625,
"learning_rate": 3.1833333333333334e-07,
"loss": 0.0079,
"step": 5810
},
{
"epoch": 485.0,
"grad_norm": 0.1865234375,
"learning_rate": 3.016666666666667e-07,
"loss": 0.0076,
"step": 5820
},
{
"epoch": 485.8888888888889,
"grad_norm": 0.107421875,
"learning_rate": 2.85e-07,
"loss": 0.0076,
"step": 5830
},
{
"epoch": 486.7111111111111,
"grad_norm": 0.09423828125,
"learning_rate": 2.6833333333333334e-07,
"loss": 0.0078,
"step": 5840
},
{
"epoch": 487.53333333333336,
"grad_norm": 0.06298828125,
"learning_rate": 2.516666666666667e-07,
"loss": 0.0076,
"step": 5850
},
{
"epoch": 488.35555555555555,
"grad_norm": 0.0673828125,
"learning_rate": 2.3500000000000003e-07,
"loss": 0.008,
"step": 5860
},
{
"epoch": 489.1777777777778,
"grad_norm": 0.06396484375,
"learning_rate": 2.1833333333333334e-07,
"loss": 0.0077,
"step": 5870
},
{
"epoch": 490.0,
"grad_norm": 0.1689453125,
"learning_rate": 2.0166666666666669e-07,
"loss": 0.0076,
"step": 5880
},
{
"epoch": 490.8888888888889,
"grad_norm": 0.12890625,
"learning_rate": 1.85e-07,
"loss": 0.0077,
"step": 5890
},
{
"epoch": 491.7111111111111,
"grad_norm": 0.08251953125,
"learning_rate": 1.6833333333333335e-07,
"loss": 0.0077,
"step": 5900
},
{
"epoch": 492.53333333333336,
"grad_norm": 0.08544921875,
"learning_rate": 1.516666666666667e-07,
"loss": 0.0076,
"step": 5910
},
{
"epoch": 493.35555555555555,
"grad_norm": 0.078125,
"learning_rate": 1.35e-07,
"loss": 0.0075,
"step": 5920
},
{
"epoch": 494.1777777777778,
"grad_norm": 0.1552734375,
"learning_rate": 1.1833333333333333e-07,
"loss": 0.0081,
"step": 5930
},
{
"epoch": 495.0,
"grad_norm": 0.224609375,
"learning_rate": 1.0166666666666666e-07,
"loss": 0.0077,
"step": 5940
},
{
"epoch": 495.8888888888889,
"grad_norm": 0.12451171875,
"learning_rate": 8.500000000000001e-08,
"loss": 0.0077,
"step": 5950
},
{
"epoch": 496.7111111111111,
"grad_norm": 0.08056640625,
"learning_rate": 6.833333333333334e-08,
"loss": 0.0079,
"step": 5960
},
{
"epoch": 497.53333333333336,
"grad_norm": 0.0908203125,
"learning_rate": 5.166666666666667e-08,
"loss": 0.0078,
"step": 5970
},
{
"epoch": 498.35555555555555,
"grad_norm": 0.1494140625,
"learning_rate": 3.5e-08,
"loss": 0.0077,
"step": 5980
},
{
"epoch": 499.1777777777778,
"grad_norm": 0.078125,
"learning_rate": 1.8333333333333335e-08,
"loss": 0.0075,
"step": 5990
},
{
"epoch": 500.0,
"grad_norm": 0.177734375,
"learning_rate": 1.6666666666666667e-09,
"loss": 0.0077,
"step": 6000
}
],
"logging_steps": 10,
"max_steps": 6000,
"num_input_tokens_seen": 0,
"num_train_epochs": 500,
"save_steps": 100,
"stateful_callbacks": {
"TrainerControl": {
"args": {
"should_epoch_stop": false,
"should_evaluate": false,
"should_log": false,
"should_save": true,
"should_training_stop": true
},
"attributes": {}
}
},
"total_flos": 6.22488471994368e+18,
"train_batch_size": 1,
"trial_name": null,
"trial_params": null
}
{
"best_global_step": null,
"best_metric": null,
"best_model_checkpoint": null,
"epoch": 500.0,
"eval_steps": 500,
"global_step": 6000,
"is_hyper_param_search": false,
"is_local_process_zero": true,
"is_world_process_zero": true,
"log_history": [
{
"epoch": 0.8888888888888888,
"grad_norm": 0.1865234375,
"learning_rate": 9.985000000000002e-06,
"loss": 0.0904,
"step": 10
},
{
"epoch": 1.7111111111111112,
"grad_norm": 0.23828125,
"learning_rate": 9.968333333333334e-06,
"loss": 0.0084,
"step": 20
},
{
"epoch": 2.533333333333333,
"grad_norm": 0.1630859375,
"learning_rate": 9.951666666666667e-06,
"loss": 0.008,
"step": 30
},
{
"epoch": 3.3555555555555556,
"grad_norm": 0.140625,
"learning_rate": 9.935e-06,
"loss": 0.0079,
"step": 40
},
{
"epoch": 4.177777777777778,
"grad_norm": 0.2197265625,
"learning_rate": 9.918333333333335e-06,
"loss": 0.0084,
"step": 50
},
{
"epoch": 5.0,
"grad_norm": 0.19921875,
"learning_rate": 9.901666666666667e-06,
"loss": 0.0082,
"step": 60
},
{
"epoch": 5.888888888888889,
"grad_norm": 0.07666015625,
"learning_rate": 9.885000000000001e-06,
"loss": 0.0081,
"step": 70
},
{
"epoch": 6.711111111111111,
"grad_norm": 0.162109375,
"learning_rate": 9.868333333333333e-06,
"loss": 0.0076,
"step": 80
},
{
"epoch": 7.533333333333333,
"grad_norm": 0.078125,
"learning_rate": 9.851666666666667e-06,
"loss": 0.0079,
"step": 90
},
{
"epoch": 8.355555555555556,
"grad_norm": 0.1240234375,
"learning_rate": 9.835000000000002e-06,
"loss": 0.0076,
"step": 100
},
{
"epoch": 9.177777777777777,
"grad_norm": 0.19921875,
"learning_rate": 9.818333333333334e-06,
"loss": 0.0079,
"step": 110
},
{
"epoch": 10.0,
"grad_norm": 0.1728515625,
"learning_rate": 9.801666666666666e-06,
"loss": 0.0078,
"step": 120
},
{
"epoch": 10.88888888888889,
"grad_norm": 0.140625,
"learning_rate": 9.785e-06,
"loss": 0.0078,