{ "best_global_step": null, "best_metric": null, "best_model_checkpoint": null, "epoch": 500.0, "eval_steps": 500, "global_step": 6000, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.8888888888888888, "grad_norm": 0.1865234375, "learning_rate": 9.985000000000002e-06, "loss": 0.0904, "step": 10 }, { "epoch": 1.7111111111111112, "grad_norm": 0.23828125, "learning_rate": 9.968333333333334e-06, "loss": 0.0084, "step": 20 }, { "epoch": 2.533333333333333, "grad_norm": 0.1630859375, "learning_rate": 9.951666666666667e-06, "loss": 0.008, "step": 30 }, { "epoch": 3.3555555555555556, "grad_norm": 0.140625, "learning_rate": 9.935e-06, "loss": 0.0079, "step": 40 }, { "epoch": 4.177777777777778, "grad_norm": 0.2197265625, "learning_rate": 9.918333333333335e-06, "loss": 0.0084, "step": 50 }, { "epoch": 5.0, "grad_norm": 0.19921875, "learning_rate": 9.901666666666667e-06, "loss": 0.0082, "step": 60 }, { "epoch": 5.888888888888889, "grad_norm": 0.07666015625, "learning_rate": 9.885000000000001e-06, "loss": 0.0081, "step": 70 }, { "epoch": 6.711111111111111, "grad_norm": 0.162109375, "learning_rate": 9.868333333333333e-06, "loss": 0.0076, "step": 80 }, { "epoch": 7.533333333333333, "grad_norm": 0.078125, "learning_rate": 9.851666666666667e-06, "loss": 0.0079, "step": 90 }, { "epoch": 8.355555555555556, "grad_norm": 0.1240234375, "learning_rate": 9.835000000000002e-06, "loss": 0.0076, "step": 100 }, { "epoch": 9.177777777777777, "grad_norm": 0.19921875, "learning_rate": 9.818333333333334e-06, "loss": 0.0079, "step": 110 }, { "epoch": 10.0, "grad_norm": 0.1728515625, "learning_rate": 9.801666666666666e-06, "loss": 0.0078, "step": 120 }, { "epoch": 10.88888888888889, "grad_norm": 0.140625, "learning_rate": 9.785e-06, "loss": 0.0078, "step": 130 }, { "epoch": 11.71111111111111, "grad_norm": 0.138671875, "learning_rate": 9.768333333333334e-06, "loss": 0.0077, "step": 140 }, { "epoch": 12.533333333333333, "grad_norm": 0.162109375, "learning_rate": 9.751666666666667e-06, "loss": 0.008, "step": 150 }, { "epoch": 13.355555555555556, "grad_norm": 0.208984375, "learning_rate": 9.735e-06, "loss": 0.0077, "step": 160 }, { "epoch": 14.177777777777777, "grad_norm": 0.0859375, "learning_rate": 9.718333333333335e-06, "loss": 0.0079, "step": 170 }, { "epoch": 15.0, "grad_norm": 0.0, "learning_rate": 9.701666666666667e-06, "loss": 0.0102, "step": 180 }, { "epoch": 15.88888888888889, "grad_norm": 0.1064453125, "learning_rate": 9.685000000000001e-06, "loss": 0.0077, "step": 190 }, { "epoch": 16.711111111111112, "grad_norm": 0.08935546875, "learning_rate": 9.668333333333334e-06, "loss": 0.0082, "step": 200 }, { "epoch": 17.533333333333335, "grad_norm": 0.1171875, "learning_rate": 9.651666666666668e-06, "loss": 0.008, "step": 210 }, { "epoch": 18.355555555555554, "grad_norm": 0.1337890625, "learning_rate": 9.635000000000002e-06, "loss": 0.0081, "step": 220 }, { "epoch": 19.177777777777777, "grad_norm": 0.07275390625, "learning_rate": 9.618333333333334e-06, "loss": 0.0078, "step": 230 }, { "epoch": 20.0, "grad_norm": 0.2138671875, "learning_rate": 9.601666666666666e-06, "loss": 0.008, "step": 240 }, { "epoch": 20.88888888888889, "grad_norm": 0.09521484375, "learning_rate": 9.585e-06, "loss": 0.0076, "step": 250 }, { "epoch": 21.711111111111112, "grad_norm": 0.2177734375, "learning_rate": 9.568333333333335e-06, "loss": 0.008, "step": 260 }, { "epoch": 22.533333333333335, "grad_norm": 0.10498046875, "learning_rate": 9.551666666666669e-06, "loss": 0.0102, "step": 270 }, { "epoch": 23.355555555555554, "grad_norm": 0.0830078125, "learning_rate": 9.535000000000001e-06, "loss": 0.0101, "step": 280 }, { "epoch": 24.177777777777777, "grad_norm": 0.1455078125, "learning_rate": 9.518333333333333e-06, "loss": 0.008, "step": 290 }, { "epoch": 25.0, "grad_norm": 0.154296875, "learning_rate": 9.501666666666667e-06, "loss": 0.0077, "step": 300 }, { "epoch": 25.88888888888889, "grad_norm": 0.0771484375, "learning_rate": 9.485000000000002e-06, "loss": 0.0078, "step": 310 }, { "epoch": 26.711111111111112, "grad_norm": 0.1640625, "learning_rate": 9.468333333333334e-06, "loss": 0.0075, "step": 320 }, { "epoch": 27.533333333333335, "grad_norm": 0.1494140625, "learning_rate": 9.451666666666668e-06, "loss": 0.0081, "step": 330 }, { "epoch": 28.355555555555554, "grad_norm": 0.1689453125, "learning_rate": 9.435e-06, "loss": 0.0078, "step": 340 }, { "epoch": 29.177777777777777, "grad_norm": 0.103515625, "learning_rate": 9.418333333333334e-06, "loss": 0.0079, "step": 350 }, { "epoch": 30.0, "grad_norm": 0.384765625, "learning_rate": 9.401666666666668e-06, "loss": 0.0077, "step": 360 }, { "epoch": 30.88888888888889, "grad_norm": 0.12353515625, "learning_rate": 9.385e-06, "loss": 0.0078, "step": 370 }, { "epoch": 31.711111111111112, "grad_norm": 0.1591796875, "learning_rate": 9.368333333333333e-06, "loss": 0.0078, "step": 380 }, { "epoch": 32.53333333333333, "grad_norm": 0.08642578125, "learning_rate": 9.351666666666667e-06, "loss": 0.0077, "step": 390 }, { "epoch": 33.355555555555554, "grad_norm": 0.19140625, "learning_rate": 9.335000000000001e-06, "loss": 0.0079, "step": 400 }, { "epoch": 34.17777777777778, "grad_norm": 0.142578125, "learning_rate": 9.318333333333334e-06, "loss": 0.0079, "step": 410 }, { "epoch": 35.0, "grad_norm": 0.353515625, "learning_rate": 9.301666666666668e-06, "loss": 0.0079, "step": 420 }, { "epoch": 35.888888888888886, "grad_norm": 0.10400390625, "learning_rate": 9.285e-06, "loss": 0.0077, "step": 430 }, { "epoch": 36.71111111111111, "grad_norm": 0.10498046875, "learning_rate": 9.268333333333334e-06, "loss": 0.008, "step": 440 }, { "epoch": 37.53333333333333, "grad_norm": 0.07373046875, "learning_rate": 9.251666666666668e-06, "loss": 0.0078, "step": 450 }, { "epoch": 38.355555555555554, "grad_norm": 0.1171875, "learning_rate": 9.235e-06, "loss": 0.0077, "step": 460 }, { "epoch": 39.17777777777778, "grad_norm": 0.10009765625, "learning_rate": 9.218333333333333e-06, "loss": 0.0076, "step": 470 }, { "epoch": 40.0, "grad_norm": 0.298828125, "learning_rate": 9.201666666666667e-06, "loss": 0.0074, "step": 480 }, { "epoch": 40.888888888888886, "grad_norm": 0.059814453125, "learning_rate": 9.185000000000001e-06, "loss": 0.0078, "step": 490 }, { "epoch": 41.71111111111111, "grad_norm": 0.11669921875, "learning_rate": 9.168333333333333e-06, "loss": 0.0078, "step": 500 }, { "epoch": 42.53333333333333, "grad_norm": 0.095703125, "learning_rate": 9.151666666666667e-06, "loss": 0.0077, "step": 510 }, { "epoch": 43.355555555555554, "grad_norm": 0.0859375, "learning_rate": 9.135e-06, "loss": 0.0076, "step": 520 }, { "epoch": 44.17777777777778, "grad_norm": 0.10693359375, "learning_rate": 9.118333333333334e-06, "loss": 0.0077, "step": 530 }, { "epoch": 45.0, "grad_norm": 0.26953125, "learning_rate": 9.101666666666668e-06, "loss": 0.0079, "step": 540 }, { "epoch": 45.888888888888886, "grad_norm": 0.08984375, "learning_rate": 9.085e-06, "loss": 0.0078, "step": 550 }, { "epoch": 46.71111111111111, "grad_norm": 0.07373046875, "learning_rate": 9.068333333333334e-06, "loss": 0.0078, "step": 560 }, { "epoch": 47.53333333333333, "grad_norm": 0.08544921875, "learning_rate": 9.051666666666667e-06, "loss": 0.0078, "step": 570 }, { "epoch": 48.355555555555554, "grad_norm": 0.103515625, "learning_rate": 9.035e-06, "loss": 0.0077, "step": 580 }, { "epoch": 49.17777777777778, "grad_norm": 0.1240234375, "learning_rate": 9.018333333333335e-06, "loss": 0.0078, "step": 590 }, { "epoch": 50.0, "grad_norm": 0.314453125, "learning_rate": 9.001666666666667e-06, "loss": 0.0075, "step": 600 }, { "epoch": 50.888888888888886, "grad_norm": 0.1357421875, "learning_rate": 8.985000000000001e-06, "loss": 0.0079, "step": 610 }, { "epoch": 51.71111111111111, "grad_norm": 0.11279296875, "learning_rate": 8.968333333333335e-06, "loss": 0.0075, "step": 620 }, { "epoch": 52.53333333333333, "grad_norm": 0.13671875, "learning_rate": 8.951666666666668e-06, "loss": 0.0102, "step": 630 }, { "epoch": 53.355555555555554, "grad_norm": 0.0458984375, "learning_rate": 8.935e-06, "loss": 0.0078, "step": 640 }, { "epoch": 54.17777777777778, "grad_norm": 0.1572265625, "learning_rate": 8.918333333333334e-06, "loss": 0.0077, "step": 650 }, { "epoch": 55.0, "grad_norm": 0.1875, "learning_rate": 8.901666666666668e-06, "loss": 0.0079, "step": 660 }, { "epoch": 55.888888888888886, "grad_norm": 0.146484375, "learning_rate": 8.885e-06, "loss": 0.0079, "step": 670 }, { "epoch": 56.71111111111111, "grad_norm": 0.1044921875, "learning_rate": 8.868333333333335e-06, "loss": 0.0077, "step": 680 }, { "epoch": 57.53333333333333, "grad_norm": 0.083984375, "learning_rate": 8.851666666666667e-06, "loss": 0.0073, "step": 690 }, { "epoch": 58.355555555555554, "grad_norm": 0.146484375, "learning_rate": 8.835000000000001e-06, "loss": 0.0082, "step": 700 }, { "epoch": 59.17777777777778, "grad_norm": 0.1474609375, "learning_rate": 8.818333333333335e-06, "loss": 0.0078, "step": 710 }, { "epoch": 60.0, "grad_norm": 0.1806640625, "learning_rate": 8.801666666666667e-06, "loss": 0.0078, "step": 720 }, { "epoch": 60.888888888888886, "grad_norm": 0.08984375, "learning_rate": 8.785e-06, "loss": 0.0077, "step": 730 }, { "epoch": 61.71111111111111, "grad_norm": 0.0859375, "learning_rate": 8.768333333333334e-06, "loss": 0.0077, "step": 740 }, { "epoch": 62.53333333333333, "grad_norm": 0.058349609375, "learning_rate": 8.751666666666668e-06, "loss": 0.0079, "step": 750 }, { "epoch": 63.355555555555554, "grad_norm": 0.0732421875, "learning_rate": 8.735000000000002e-06, "loss": 0.0078, "step": 760 }, { "epoch": 64.17777777777778, "grad_norm": 0.10546875, "learning_rate": 8.718333333333334e-06, "loss": 0.0077, "step": 770 }, { "epoch": 65.0, "grad_norm": 0.404296875, "learning_rate": 8.701666666666667e-06, "loss": 0.0078, "step": 780 }, { "epoch": 65.88888888888889, "grad_norm": 0.06884765625, "learning_rate": 8.685e-06, "loss": 0.0078, "step": 790 }, { "epoch": 66.71111111111111, "grad_norm": 0.09521484375, "learning_rate": 8.668333333333335e-06, "loss": 0.0079, "step": 800 }, { "epoch": 67.53333333333333, "grad_norm": 0.1259765625, "learning_rate": 8.651666666666667e-06, "loss": 0.0075, "step": 810 }, { "epoch": 68.35555555555555, "grad_norm": 0.08984375, "learning_rate": 8.635000000000001e-06, "loss": 0.0078, "step": 820 }, { "epoch": 69.17777777777778, "grad_norm": 0.08447265625, "learning_rate": 8.618333333333334e-06, "loss": 0.0075, "step": 830 }, { "epoch": 70.0, "grad_norm": 0.1630859375, "learning_rate": 8.601666666666668e-06, "loss": 0.0078, "step": 840 }, { "epoch": 70.88888888888889, "grad_norm": 0.12353515625, "learning_rate": 8.585000000000002e-06, "loss": 0.0077, "step": 850 }, { "epoch": 71.71111111111111, "grad_norm": 0.06494140625, "learning_rate": 8.568333333333334e-06, "loss": 0.0101, "step": 860 }, { "epoch": 72.53333333333333, "grad_norm": 0.11376953125, "learning_rate": 8.551666666666666e-06, "loss": 0.0077, "step": 870 }, { "epoch": 73.35555555555555, "grad_norm": 0.052490234375, "learning_rate": 8.535e-06, "loss": 0.0078, "step": 880 }, { "epoch": 74.17777777777778, "grad_norm": 0.080078125, "learning_rate": 8.518333333333335e-06, "loss": 0.0079, "step": 890 }, { "epoch": 75.0, "grad_norm": 0.189453125, "learning_rate": 8.501666666666667e-06, "loss": 0.0076, "step": 900 }, { "epoch": 75.88888888888889, "grad_norm": 0.140625, "learning_rate": 8.485000000000001e-06, "loss": 0.0077, "step": 910 }, { "epoch": 76.71111111111111, "grad_norm": 0.103515625, "learning_rate": 8.468333333333333e-06, "loss": 0.008, "step": 920 }, { "epoch": 77.53333333333333, "grad_norm": 0.09326171875, "learning_rate": 8.451666666666667e-06, "loss": 0.0075, "step": 930 }, { "epoch": 78.35555555555555, "grad_norm": 0.07666015625, "learning_rate": 8.435000000000001e-06, "loss": 0.0076, "step": 940 }, { "epoch": 79.17777777777778, "grad_norm": 0.11865234375, "learning_rate": 8.418333333333334e-06, "loss": 0.0079, "step": 950 }, { "epoch": 80.0, "grad_norm": 0.2265625, "learning_rate": 8.401666666666666e-06, "loss": 0.0077, "step": 960 }, { "epoch": 80.88888888888889, "grad_norm": 0.09619140625, "learning_rate": 8.385e-06, "loss": 0.0078, "step": 970 }, { "epoch": 81.71111111111111, "grad_norm": 0.08544921875, "learning_rate": 8.368333333333334e-06, "loss": 0.0076, "step": 980 }, { "epoch": 82.53333333333333, "grad_norm": 0.08935546875, "learning_rate": 8.351666666666667e-06, "loss": 0.0075, "step": 990 }, { "epoch": 83.35555555555555, "grad_norm": 0.140625, "learning_rate": 8.335e-06, "loss": 0.0083, "step": 1000 }, { "epoch": 84.17777777777778, "grad_norm": 0.1240234375, "learning_rate": 8.318333333333333e-06, "loss": 0.0077, "step": 1010 }, { "epoch": 85.0, "grad_norm": 0.20703125, "learning_rate": 8.301666666666667e-06, "loss": 0.0078, "step": 1020 }, { "epoch": 85.88888888888889, "grad_norm": 0.126953125, "learning_rate": 8.285000000000001e-06, "loss": 0.0078, "step": 1030 }, { "epoch": 86.71111111111111, "grad_norm": 0.07275390625, "learning_rate": 8.268333333333334e-06, "loss": 0.0075, "step": 1040 }, { "epoch": 87.53333333333333, "grad_norm": 0.07666015625, "learning_rate": 8.251666666666668e-06, "loss": 0.008, "step": 1050 }, { "epoch": 88.35555555555555, "grad_norm": 0.1005859375, "learning_rate": 8.235e-06, "loss": 0.0077, "step": 1060 }, { "epoch": 89.17777777777778, "grad_norm": 0.072265625, "learning_rate": 8.218333333333334e-06, "loss": 0.0079, "step": 1070 }, { "epoch": 90.0, "grad_norm": 0.306640625, "learning_rate": 8.201666666666668e-06, "loss": 0.0078, "step": 1080 }, { "epoch": 90.88888888888889, "grad_norm": 0.1318359375, "learning_rate": 8.185e-06, "loss": 0.0078, "step": 1090 }, { "epoch": 91.71111111111111, "grad_norm": 0.1025390625, "learning_rate": 8.168333333333334e-06, "loss": 0.008, "step": 1100 }, { "epoch": 92.53333333333333, "grad_norm": 0.08544921875, "learning_rate": 8.151666666666669e-06, "loss": 0.0072, "step": 1110 }, { "epoch": 93.35555555555555, "grad_norm": 0.146484375, "learning_rate": 8.135000000000001e-06, "loss": 0.0079, "step": 1120 }, { "epoch": 94.17777777777778, "grad_norm": 0.1650390625, "learning_rate": 8.118333333333333e-06, "loss": 0.0076, "step": 1130 }, { "epoch": 95.0, "grad_norm": 0.33203125, "learning_rate": 8.101666666666667e-06, "loss": 0.0079, "step": 1140 }, { "epoch": 95.88888888888889, "grad_norm": 0.1162109375, "learning_rate": 8.085000000000001e-06, "loss": 0.0077, "step": 1150 }, { "epoch": 96.71111111111111, "grad_norm": 0.09228515625, "learning_rate": 8.068333333333334e-06, "loss": 0.008, "step": 1160 }, { "epoch": 97.53333333333333, "grad_norm": 0.154296875, "learning_rate": 8.051666666666668e-06, "loss": 0.0078, "step": 1170 }, { "epoch": 98.35555555555555, "grad_norm": 0.10693359375, "learning_rate": 8.035e-06, "loss": 0.0077, "step": 1180 }, { "epoch": 99.17777777777778, "grad_norm": 0.0908203125, "learning_rate": 8.018333333333334e-06, "loss": 0.0078, "step": 1190 }, { "epoch": 100.0, "grad_norm": 0.2734375, "learning_rate": 8.001666666666668e-06, "loss": 0.0076, "step": 1200 }, { "epoch": 100.88888888888889, "grad_norm": 0.10986328125, "learning_rate": 7.985e-06, "loss": 0.0079, "step": 1210 }, { "epoch": 101.71111111111111, "grad_norm": 0.08447265625, "learning_rate": 7.968333333333333e-06, "loss": 0.0075, "step": 1220 }, { "epoch": 102.53333333333333, "grad_norm": 0.0966796875, "learning_rate": 7.951666666666667e-06, "loss": 0.0078, "step": 1230 }, { "epoch": 103.35555555555555, "grad_norm": 0.052978515625, "learning_rate": 7.935000000000001e-06, "loss": 0.0077, "step": 1240 }, { "epoch": 104.17777777777778, "grad_norm": 0.146484375, "learning_rate": 7.918333333333333e-06, "loss": 0.0081, "step": 1250 }, { "epoch": 105.0, "grad_norm": 0.283203125, "learning_rate": 7.901666666666668e-06, "loss": 0.0074, "step": 1260 }, { "epoch": 105.88888888888889, "grad_norm": 0.08251953125, "learning_rate": 7.885e-06, "loss": 0.0078, "step": 1270 }, { "epoch": 106.71111111111111, "grad_norm": 0.08740234375, "learning_rate": 7.868333333333334e-06, "loss": 0.0076, "step": 1280 }, { "epoch": 107.53333333333333, "grad_norm": 0.0908203125, "learning_rate": 7.851666666666668e-06, "loss": 0.0076, "step": 1290 }, { "epoch": 108.35555555555555, "grad_norm": 0.1259765625, "learning_rate": 7.835e-06, "loss": 0.0078, "step": 1300 }, { "epoch": 109.17777777777778, "grad_norm": 0.1103515625, "learning_rate": 7.818333333333334e-06, "loss": 0.0075, "step": 1310 }, { "epoch": 110.0, "grad_norm": 0.1845703125, "learning_rate": 7.801666666666667e-06, "loss": 0.0079, "step": 1320 }, { "epoch": 110.88888888888889, "grad_norm": 0.10009765625, "learning_rate": 7.785000000000001e-06, "loss": 0.0078, "step": 1330 }, { "epoch": 111.71111111111111, "grad_norm": 0.07470703125, "learning_rate": 7.768333333333335e-06, "loss": 0.0078, "step": 1340 }, { "epoch": 112.53333333333333, "grad_norm": 0.1572265625, "learning_rate": 7.751666666666667e-06, "loss": 0.0076, "step": 1350 }, { "epoch": 113.35555555555555, "grad_norm": 0.1875, "learning_rate": 7.735e-06, "loss": 0.0076, "step": 1360 }, { "epoch": 114.17777777777778, "grad_norm": 0.10888671875, "learning_rate": 7.718333333333334e-06, "loss": 0.0078, "step": 1370 }, { "epoch": 115.0, "grad_norm": 0.369140625, "learning_rate": 7.701666666666668e-06, "loss": 0.0079, "step": 1380 }, { "epoch": 115.88888888888889, "grad_norm": 0.095703125, "learning_rate": 7.685e-06, "loss": 0.0078, "step": 1390 }, { "epoch": 116.71111111111111, "grad_norm": 0.09619140625, "learning_rate": 7.668333333333334e-06, "loss": 0.0078, "step": 1400 }, { "epoch": 117.53333333333333, "grad_norm": 0.1318359375, "learning_rate": 7.651666666666667e-06, "loss": 0.008, "step": 1410 }, { "epoch": 118.35555555555555, "grad_norm": 0.1279296875, "learning_rate": 7.635e-06, "loss": 0.0078, "step": 1420 }, { "epoch": 119.17777777777778, "grad_norm": 0.11572265625, "learning_rate": 7.618333333333335e-06, "loss": 0.0077, "step": 1430 }, { "epoch": 120.0, "grad_norm": 0.185546875, "learning_rate": 7.601666666666667e-06, "loss": 0.0076, "step": 1440 }, { "epoch": 120.88888888888889, "grad_norm": 0.103515625, "learning_rate": 7.585e-06, "loss": 0.0079, "step": 1450 }, { "epoch": 121.71111111111111, "grad_norm": 0.08447265625, "learning_rate": 7.568333333333334e-06, "loss": 0.0076, "step": 1460 }, { "epoch": 122.53333333333333, "grad_norm": 0.1005859375, "learning_rate": 7.5516666666666675e-06, "loss": 0.0078, "step": 1470 }, { "epoch": 123.35555555555555, "grad_norm": 0.1748046875, "learning_rate": 7.535e-06, "loss": 0.0099, "step": 1480 }, { "epoch": 124.17777777777778, "grad_norm": 0.107421875, "learning_rate": 7.518333333333334e-06, "loss": 0.0079, "step": 1490 }, { "epoch": 125.0, "grad_norm": 0.28515625, "learning_rate": 7.501666666666667e-06, "loss": 0.0074, "step": 1500 }, { "epoch": 125.88888888888889, "grad_norm": 0.07470703125, "learning_rate": 7.485000000000001e-06, "loss": 0.0078, "step": 1510 }, { "epoch": 126.71111111111111, "grad_norm": 0.11328125, "learning_rate": 7.468333333333334e-06, "loss": 0.0077, "step": 1520 }, { "epoch": 127.53333333333333, "grad_norm": 0.064453125, "learning_rate": 7.451666666666667e-06, "loss": 0.0077, "step": 1530 }, { "epoch": 128.35555555555555, "grad_norm": 0.0732421875, "learning_rate": 7.435000000000001e-06, "loss": 0.0078, "step": 1540 }, { "epoch": 129.17777777777778, "grad_norm": 0.08544921875, "learning_rate": 7.418333333333334e-06, "loss": 0.0103, "step": 1550 }, { "epoch": 130.0, "grad_norm": 0.216796875, "learning_rate": 7.401666666666667e-06, "loss": 0.0077, "step": 1560 }, { "epoch": 130.88888888888889, "grad_norm": 0.07568359375, "learning_rate": 7.385000000000001e-06, "loss": 0.0078, "step": 1570 }, { "epoch": 131.7111111111111, "grad_norm": 0.1220703125, "learning_rate": 7.368333333333334e-06, "loss": 0.0079, "step": 1580 }, { "epoch": 132.53333333333333, "grad_norm": 0.07275390625, "learning_rate": 7.351666666666667e-06, "loss": 0.0075, "step": 1590 }, { "epoch": 133.35555555555555, "grad_norm": 0.1123046875, "learning_rate": 7.335000000000001e-06, "loss": 0.0081, "step": 1600 }, { "epoch": 134.17777777777778, "grad_norm": 0.07373046875, "learning_rate": 7.318333333333334e-06, "loss": 0.0076, "step": 1610 }, { "epoch": 135.0, "grad_norm": 0.21875, "learning_rate": 7.3016666666666665e-06, "loss": 0.008, "step": 1620 }, { "epoch": 135.88888888888889, "grad_norm": 0.103515625, "learning_rate": 7.2850000000000006e-06, "loss": 0.0077, "step": 1630 }, { "epoch": 136.7111111111111, "grad_norm": 0.125, "learning_rate": 7.268333333333334e-06, "loss": 0.0099, "step": 1640 }, { "epoch": 137.53333333333333, "grad_norm": 0.09130859375, "learning_rate": 7.251666666666667e-06, "loss": 0.0079, "step": 1650 }, { "epoch": 138.35555555555555, "grad_norm": 0.07861328125, "learning_rate": 7.235000000000001e-06, "loss": 0.0076, "step": 1660 }, { "epoch": 139.17777777777778, "grad_norm": 0.08251953125, "learning_rate": 7.218333333333334e-06, "loss": 0.0077, "step": 1670 }, { "epoch": 140.0, "grad_norm": 0.17578125, "learning_rate": 7.201666666666667e-06, "loss": 0.0076, "step": 1680 }, { "epoch": 140.88888888888889, "grad_norm": 0.05419921875, "learning_rate": 7.185000000000001e-06, "loss": 0.0077, "step": 1690 }, { "epoch": 141.7111111111111, "grad_norm": 0.12890625, "learning_rate": 7.168333333333334e-06, "loss": 0.0077, "step": 1700 }, { "epoch": 142.53333333333333, "grad_norm": 0.08642578125, "learning_rate": 7.151666666666667e-06, "loss": 0.0079, "step": 1710 }, { "epoch": 143.35555555555555, "grad_norm": 0.0927734375, "learning_rate": 7.135000000000001e-06, "loss": 0.0077, "step": 1720 }, { "epoch": 144.17777777777778, "grad_norm": 0.11279296875, "learning_rate": 7.1183333333333335e-06, "loss": 0.0077, "step": 1730 }, { "epoch": 145.0, "grad_norm": 0.146484375, "learning_rate": 7.101666666666667e-06, "loss": 0.0077, "step": 1740 }, { "epoch": 145.88888888888889, "grad_norm": 0.0859375, "learning_rate": 7.085000000000001e-06, "loss": 0.0076, "step": 1750 }, { "epoch": 146.7111111111111, "grad_norm": 0.12890625, "learning_rate": 7.068333333333334e-06, "loss": 0.008, "step": 1760 }, { "epoch": 147.53333333333333, "grad_norm": 0.0810546875, "learning_rate": 7.051666666666668e-06, "loss": 0.0072, "step": 1770 }, { "epoch": 148.35555555555555, "grad_norm": 0.158203125, "learning_rate": 7.035e-06, "loss": 0.0078, "step": 1780 }, { "epoch": 149.17777777777778, "grad_norm": 0.06787109375, "learning_rate": 7.018333333333334e-06, "loss": 0.0076, "step": 1790 }, { "epoch": 150.0, "grad_norm": 0.1787109375, "learning_rate": 7.001666666666668e-06, "loss": 0.0076, "step": 1800 }, { "epoch": 150.88888888888889, "grad_norm": 0.07568359375, "learning_rate": 6.985000000000001e-06, "loss": 0.0077, "step": 1810 }, { "epoch": 151.7111111111111, "grad_norm": 0.08837890625, "learning_rate": 6.968333333333333e-06, "loss": 0.008, "step": 1820 }, { "epoch": 152.53333333333333, "grad_norm": 0.09130859375, "learning_rate": 6.951666666666667e-06, "loss": 0.0076, "step": 1830 }, { "epoch": 153.35555555555555, "grad_norm": 0.13671875, "learning_rate": 6.9350000000000005e-06, "loss": 0.0077, "step": 1840 }, { "epoch": 154.17777777777778, "grad_norm": 0.087890625, "learning_rate": 6.918333333333334e-06, "loss": 0.0078, "step": 1850 }, { "epoch": 155.0, "grad_norm": 0.330078125, "learning_rate": 6.901666666666668e-06, "loss": 0.0079, "step": 1860 }, { "epoch": 155.88888888888889, "grad_norm": 0.10693359375, "learning_rate": 6.885e-06, "loss": 0.0078, "step": 1870 }, { "epoch": 156.7111111111111, "grad_norm": 0.08203125, "learning_rate": 6.868333333333333e-06, "loss": 0.0077, "step": 1880 }, { "epoch": 157.53333333333333, "grad_norm": 0.09033203125, "learning_rate": 6.851666666666667e-06, "loss": 0.0077, "step": 1890 }, { "epoch": 158.35555555555555, "grad_norm": 0.150390625, "learning_rate": 6.835000000000001e-06, "loss": 0.0079, "step": 1900 }, { "epoch": 159.17777777777778, "grad_norm": 0.0986328125, "learning_rate": 6.818333333333334e-06, "loss": 0.0077, "step": 1910 }, { "epoch": 160.0, "grad_norm": 0.31640625, "learning_rate": 6.801666666666668e-06, "loss": 0.0078, "step": 1920 }, { "epoch": 160.88888888888889, "grad_norm": 0.10595703125, "learning_rate": 6.785e-06, "loss": 0.0078, "step": 1930 }, { "epoch": 161.7111111111111, "grad_norm": 0.07861328125, "learning_rate": 6.7683333333333335e-06, "loss": 0.0079, "step": 1940 }, { "epoch": 162.53333333333333, "grad_norm": 0.1103515625, "learning_rate": 6.7516666666666675e-06, "loss": 0.0076, "step": 1950 }, { "epoch": 163.35555555555555, "grad_norm": 0.1142578125, "learning_rate": 6.735000000000001e-06, "loss": 0.008, "step": 1960 }, { "epoch": 164.17777777777778, "grad_norm": 0.0830078125, "learning_rate": 6.718333333333333e-06, "loss": 0.0078, "step": 1970 }, { "epoch": 165.0, "grad_norm": 0.1953125, "learning_rate": 6.701666666666667e-06, "loss": 0.0075, "step": 1980 }, { "epoch": 165.88888888888889, "grad_norm": 0.11474609375, "learning_rate": 6.685e-06, "loss": 0.0078, "step": 1990 }, { "epoch": 166.7111111111111, "grad_norm": 0.12255859375, "learning_rate": 6.668333333333334e-06, "loss": 0.0075, "step": 2000 }, { "epoch": 167.53333333333333, "grad_norm": 0.0986328125, "learning_rate": 6.651666666666668e-06, "loss": 0.0079, "step": 2010 }, { "epoch": 168.35555555555555, "grad_norm": 0.091796875, "learning_rate": 6.635e-06, "loss": 0.0075, "step": 2020 }, { "epoch": 169.17777777777778, "grad_norm": 0.078125, "learning_rate": 6.618333333333334e-06, "loss": 0.0078, "step": 2030 }, { "epoch": 170.0, "grad_norm": 0.23046875, "learning_rate": 6.601666666666667e-06, "loss": 0.0077, "step": 2040 }, { "epoch": 170.88888888888889, "grad_norm": 0.059326171875, "learning_rate": 6.5850000000000005e-06, "loss": 0.0077, "step": 2050 }, { "epoch": 171.7111111111111, "grad_norm": 0.1328125, "learning_rate": 6.5683333333333345e-06, "loss": 0.008, "step": 2060 }, { "epoch": 172.53333333333333, "grad_norm": 0.0693359375, "learning_rate": 6.551666666666667e-06, "loss": 0.0076, "step": 2070 }, { "epoch": 173.35555555555555, "grad_norm": 0.09912109375, "learning_rate": 6.535e-06, "loss": 0.0075, "step": 2080 }, { "epoch": 174.17777777777778, "grad_norm": 0.0693359375, "learning_rate": 6.518333333333334e-06, "loss": 0.0079, "step": 2090 }, { "epoch": 175.0, "grad_norm": 0.1806640625, "learning_rate": 6.501666666666667e-06, "loss": 0.0077, "step": 2100 }, { "epoch": 175.88888888888889, "grad_norm": 0.11328125, "learning_rate": 6.485000000000001e-06, "loss": 0.0077, "step": 2110 }, { "epoch": 176.7111111111111, "grad_norm": 0.08740234375, "learning_rate": 6.468333333333335e-06, "loss": 0.0078, "step": 2120 }, { "epoch": 177.53333333333333, "grad_norm": 0.140625, "learning_rate": 6.451666666666667e-06, "loss": 0.008, "step": 2130 }, { "epoch": 178.35555555555555, "grad_norm": 0.04833984375, "learning_rate": 6.435e-06, "loss": 0.0075, "step": 2140 }, { "epoch": 179.17777777777778, "grad_norm": 0.1328125, "learning_rate": 6.418333333333334e-06, "loss": 0.0077, "step": 2150 }, { "epoch": 180.0, "grad_norm": 0.0, "learning_rate": 6.4016666666666675e-06, "loss": 0.0101, "step": 2160 }, { "epoch": 180.88888888888889, "grad_norm": 0.0908203125, "learning_rate": 6.385e-06, "loss": 0.0077, "step": 2170 }, { "epoch": 181.7111111111111, "grad_norm": 0.10302734375, "learning_rate": 6.368333333333334e-06, "loss": 0.0074, "step": 2180 }, { "epoch": 182.53333333333333, "grad_norm": 0.072265625, "learning_rate": 6.351666666666667e-06, "loss": 0.0078, "step": 2190 }, { "epoch": 183.35555555555555, "grad_norm": 0.080078125, "learning_rate": 6.335e-06, "loss": 0.0079, "step": 2200 }, { "epoch": 184.17777777777778, "grad_norm": 0.08740234375, "learning_rate": 6.318333333333334e-06, "loss": 0.0077, "step": 2210 }, { "epoch": 185.0, "grad_norm": 0.2216796875, "learning_rate": 6.301666666666667e-06, "loss": 0.0078, "step": 2220 }, { "epoch": 185.88888888888889, "grad_norm": 0.09033203125, "learning_rate": 6.285e-06, "loss": 0.0079, "step": 2230 }, { "epoch": 186.7111111111111, "grad_norm": 0.1435546875, "learning_rate": 6.268333333333334e-06, "loss": 0.0076, "step": 2240 }, { "epoch": 187.53333333333333, "grad_norm": 0.09521484375, "learning_rate": 6.251666666666667e-06, "loss": 0.0077, "step": 2250 }, { "epoch": 188.35555555555555, "grad_norm": 0.10400390625, "learning_rate": 6.235000000000001e-06, "loss": 0.0081, "step": 2260 }, { "epoch": 189.17777777777778, "grad_norm": 0.11181640625, "learning_rate": 6.218333333333334e-06, "loss": 0.0075, "step": 2270 }, { "epoch": 190.0, "grad_norm": 0.2119140625, "learning_rate": 6.201666666666667e-06, "loss": 0.0078, "step": 2280 }, { "epoch": 190.88888888888889, "grad_norm": 0.0966796875, "learning_rate": 6.185000000000001e-06, "loss": 0.0077, "step": 2290 }, { "epoch": 191.7111111111111, "grad_norm": 0.1142578125, "learning_rate": 6.168333333333334e-06, "loss": 0.0078, "step": 2300 }, { "epoch": 192.53333333333333, "grad_norm": 0.07080078125, "learning_rate": 6.1516666666666665e-06, "loss": 0.0076, "step": 2310 }, { "epoch": 193.35555555555555, "grad_norm": 0.12158203125, "learning_rate": 6.1350000000000006e-06, "loss": 0.0077, "step": 2320 }, { "epoch": 194.17777777777778, "grad_norm": 0.07861328125, "learning_rate": 6.118333333333334e-06, "loss": 0.0077, "step": 2330 }, { "epoch": 195.0, "grad_norm": 0.298828125, "learning_rate": 6.101666666666667e-06, "loss": 0.0078, "step": 2340 }, { "epoch": 195.88888888888889, "grad_norm": 0.10107421875, "learning_rate": 6.085000000000001e-06, "loss": 0.0076, "step": 2350 }, { "epoch": 196.7111111111111, "grad_norm": 0.115234375, "learning_rate": 6.068333333333334e-06, "loss": 0.0102, "step": 2360 }, { "epoch": 197.53333333333333, "grad_norm": 0.1162109375, "learning_rate": 6.051666666666667e-06, "loss": 0.0078, "step": 2370 }, { "epoch": 198.35555555555555, "grad_norm": 0.08837890625, "learning_rate": 6.035000000000001e-06, "loss": 0.0078, "step": 2380 }, { "epoch": 199.17777777777778, "grad_norm": 0.0625, "learning_rate": 6.018333333333334e-06, "loss": 0.0101, "step": 2390 }, { "epoch": 200.0, "grad_norm": 0.1748046875, "learning_rate": 6.001666666666667e-06, "loss": 0.0077, "step": 2400 }, { "epoch": 200.88888888888889, "grad_norm": 0.0927734375, "learning_rate": 5.985000000000001e-06, "loss": 0.0077, "step": 2410 }, { "epoch": 201.7111111111111, "grad_norm": 0.053466796875, "learning_rate": 5.9683333333333335e-06, "loss": 0.0073, "step": 2420 }, { "epoch": 202.53333333333333, "grad_norm": 0.08544921875, "learning_rate": 5.951666666666667e-06, "loss": 0.0081, "step": 2430 }, { "epoch": 203.35555555555555, "grad_norm": 0.076171875, "learning_rate": 5.935000000000001e-06, "loss": 0.0075, "step": 2440 }, { "epoch": 204.17777777777778, "grad_norm": 0.11083984375, "learning_rate": 5.918333333333334e-06, "loss": 0.0077, "step": 2450 }, { "epoch": 205.0, "grad_norm": 0.263671875, "learning_rate": 5.901666666666666e-06, "loss": 0.0073, "step": 2460 }, { "epoch": 205.88888888888889, "grad_norm": 0.09423828125, "learning_rate": 5.885e-06, "loss": 0.0076, "step": 2470 }, { "epoch": 206.7111111111111, "grad_norm": 0.06689453125, "learning_rate": 5.868333333333334e-06, "loss": 0.0078, "step": 2480 }, { "epoch": 207.53333333333333, "grad_norm": 0.09716796875, "learning_rate": 5.851666666666667e-06, "loss": 0.0077, "step": 2490 }, { "epoch": 208.35555555555555, "grad_norm": 0.09765625, "learning_rate": 5.835000000000001e-06, "loss": 0.0077, "step": 2500 }, { "epoch": 209.17777777777778, "grad_norm": 0.0947265625, "learning_rate": 5.818333333333333e-06, "loss": 0.0078, "step": 2510 }, { "epoch": 210.0, "grad_norm": 0.21875, "learning_rate": 5.801666666666667e-06, "loss": 0.0079, "step": 2520 }, { "epoch": 210.88888888888889, "grad_norm": 0.052978515625, "learning_rate": 5.7850000000000005e-06, "loss": 0.0078, "step": 2530 }, { "epoch": 211.7111111111111, "grad_norm": 0.15625, "learning_rate": 5.768333333333334e-06, "loss": 0.0077, "step": 2540 }, { "epoch": 212.53333333333333, "grad_norm": 0.12158203125, "learning_rate": 5.751666666666668e-06, "loss": 0.008, "step": 2550 }, { "epoch": 213.35555555555555, "grad_norm": 0.076171875, "learning_rate": 5.735e-06, "loss": 0.0077, "step": 2560 }, { "epoch": 214.17777777777778, "grad_norm": 0.11474609375, "learning_rate": 5.718333333333333e-06, "loss": 0.0075, "step": 2570 }, { "epoch": 215.0, "grad_norm": 0.2236328125, "learning_rate": 5.701666666666667e-06, "loss": 0.0079, "step": 2580 }, { "epoch": 215.88888888888889, "grad_norm": 0.064453125, "learning_rate": 5.685000000000001e-06, "loss": 0.0077, "step": 2590 }, { "epoch": 216.7111111111111, "grad_norm": 0.138671875, "learning_rate": 5.668333333333334e-06, "loss": 0.0078, "step": 2600 }, { "epoch": 217.53333333333333, "grad_norm": 0.1318359375, "learning_rate": 5.651666666666668e-06, "loss": 0.0078, "step": 2610 }, { "epoch": 218.35555555555555, "grad_norm": 0.07568359375, "learning_rate": 5.635e-06, "loss": 0.0076, "step": 2620 }, { "epoch": 219.17777777777778, "grad_norm": 0.06982421875, "learning_rate": 5.6183333333333335e-06, "loss": 0.0076, "step": 2630 }, { "epoch": 220.0, "grad_norm": 0.265625, "learning_rate": 5.6016666666666675e-06, "loss": 0.0074, "step": 2640 }, { "epoch": 220.88888888888889, "grad_norm": 0.07568359375, "learning_rate": 5.585000000000001e-06, "loss": 0.0077, "step": 2650 }, { "epoch": 221.7111111111111, "grad_norm": 0.0927734375, "learning_rate": 5.568333333333333e-06, "loss": 0.0076, "step": 2660 }, { "epoch": 222.53333333333333, "grad_norm": 0.0732421875, "learning_rate": 5.551666666666667e-06, "loss": 0.0078, "step": 2670 }, { "epoch": 223.35555555555555, "grad_norm": 0.07177734375, "learning_rate": 5.535e-06, "loss": 0.0076, "step": 2680 }, { "epoch": 224.17777777777778, "grad_norm": 0.078125, "learning_rate": 5.518333333333334e-06, "loss": 0.008, "step": 2690 }, { "epoch": 225.0, "grad_norm": 0.1796875, "learning_rate": 5.501666666666668e-06, "loss": 0.0076, "step": 2700 }, { "epoch": 225.88888888888889, "grad_norm": 0.0673828125, "learning_rate": 5.485e-06, "loss": 0.0078, "step": 2710 }, { "epoch": 226.7111111111111, "grad_norm": 0.126953125, "learning_rate": 5.468333333333333e-06, "loss": 0.0078, "step": 2720 }, { "epoch": 227.53333333333333, "grad_norm": 0.134765625, "learning_rate": 5.451666666666667e-06, "loss": 0.0104, "step": 2730 }, { "epoch": 228.35555555555555, "grad_norm": 0.09228515625, "learning_rate": 5.4350000000000005e-06, "loss": 0.0077, "step": 2740 }, { "epoch": 229.17777777777778, "grad_norm": 0.07861328125, "learning_rate": 5.418333333333333e-06, "loss": 0.0077, "step": 2750 }, { "epoch": 230.0, "grad_norm": 0.236328125, "learning_rate": 5.401666666666667e-06, "loss": 0.0077, "step": 2760 }, { "epoch": 230.88888888888889, "grad_norm": 0.07421875, "learning_rate": 5.385e-06, "loss": 0.0077, "step": 2770 }, { "epoch": 231.7111111111111, "grad_norm": 0.1171875, "learning_rate": 5.368333333333334e-06, "loss": 0.0074, "step": 2780 }, { "epoch": 232.53333333333333, "grad_norm": 0.0869140625, "learning_rate": 5.351666666666667e-06, "loss": 0.008, "step": 2790 }, { "epoch": 233.35555555555555, "grad_norm": 0.11572265625, "learning_rate": 5.335000000000001e-06, "loss": 0.0076, "step": 2800 }, { "epoch": 234.17777777777778, "grad_norm": 0.1337890625, "learning_rate": 5.318333333333335e-06, "loss": 0.0102, "step": 2810 }, { "epoch": 235.0, "grad_norm": 0.1787109375, "learning_rate": 5.301666666666667e-06, "loss": 0.0077, "step": 2820 }, { "epoch": 235.88888888888889, "grad_norm": 0.0634765625, "learning_rate": 5.285e-06, "loss": 0.0076, "step": 2830 }, { "epoch": 236.7111111111111, "grad_norm": 0.09130859375, "learning_rate": 5.268333333333334e-06, "loss": 0.008, "step": 2840 }, { "epoch": 237.53333333333333, "grad_norm": 0.1142578125, "learning_rate": 5.2516666666666675e-06, "loss": 0.0073, "step": 2850 }, { "epoch": 238.35555555555555, "grad_norm": 0.09375, "learning_rate": 5.235e-06, "loss": 0.0079, "step": 2860 }, { "epoch": 239.17777777777778, "grad_norm": 0.11328125, "learning_rate": 5.218333333333334e-06, "loss": 0.0076, "step": 2870 }, { "epoch": 240.0, "grad_norm": 0.22265625, "learning_rate": 5.201666666666667e-06, "loss": 0.0078, "step": 2880 }, { "epoch": 240.88888888888889, "grad_norm": 0.109375, "learning_rate": 5.185e-06, "loss": 0.0079, "step": 2890 }, { "epoch": 241.7111111111111, "grad_norm": 0.0859375, "learning_rate": 5.168333333333334e-06, "loss": 0.0073, "step": 2900 }, { "epoch": 242.53333333333333, "grad_norm": 0.0791015625, "learning_rate": 5.151666666666667e-06, "loss": 0.0078, "step": 2910 }, { "epoch": 243.35555555555555, "grad_norm": 0.0859375, "learning_rate": 5.135e-06, "loss": 0.0077, "step": 2920 }, { "epoch": 244.17777777777778, "grad_norm": 0.10498046875, "learning_rate": 5.118333333333334e-06, "loss": 0.0076, "step": 2930 }, { "epoch": 245.0, "grad_norm": 0.30078125, "learning_rate": 5.101666666666667e-06, "loss": 0.0078, "step": 2940 }, { "epoch": 245.88888888888889, "grad_norm": 0.09033203125, "learning_rate": 5.085e-06, "loss": 0.008, "step": 2950 }, { "epoch": 246.7111111111111, "grad_norm": 0.0908203125, "learning_rate": 5.068333333333334e-06, "loss": 0.0071, "step": 2960 }, { "epoch": 247.53333333333333, "grad_norm": 0.1259765625, "learning_rate": 5.051666666666667e-06, "loss": 0.0079, "step": 2970 }, { "epoch": 248.35555555555555, "grad_norm": 0.11767578125, "learning_rate": 5.035e-06, "loss": 0.0075, "step": 2980 }, { "epoch": 249.17777777777778, "grad_norm": 0.0947265625, "learning_rate": 5.018333333333334e-06, "loss": 0.0078, "step": 2990 }, { "epoch": 250.0, "grad_norm": 0.2265625, "learning_rate": 5.0016666666666665e-06, "loss": 0.0076, "step": 3000 }, { "epoch": 250.88888888888889, "grad_norm": 0.0791015625, "learning_rate": 4.9850000000000006e-06, "loss": 0.0078, "step": 3010 }, { "epoch": 251.7111111111111, "grad_norm": 0.0859375, "learning_rate": 4.968333333333334e-06, "loss": 0.0078, "step": 3020 }, { "epoch": 252.53333333333333, "grad_norm": 0.1630859375, "learning_rate": 4.951666666666667e-06, "loss": 0.0076, "step": 3030 }, { "epoch": 253.35555555555555, "grad_norm": 0.103515625, "learning_rate": 4.935e-06, "loss": 0.0076, "step": 3040 }, { "epoch": 254.17777777777778, "grad_norm": 0.1064453125, "learning_rate": 4.918333333333334e-06, "loss": 0.0077, "step": 3050 }, { "epoch": 255.0, "grad_norm": 0.318359375, "learning_rate": 4.901666666666667e-06, "loss": 0.0079, "step": 3060 }, { "epoch": 255.88888888888889, "grad_norm": 0.1328125, "learning_rate": 4.885000000000001e-06, "loss": 0.0077, "step": 3070 }, { "epoch": 256.7111111111111, "grad_norm": 0.0654296875, "learning_rate": 4.868333333333334e-06, "loss": 0.0077, "step": 3080 }, { "epoch": 257.53333333333336, "grad_norm": 0.11669921875, "learning_rate": 4.851666666666667e-06, "loss": 0.0078, "step": 3090 }, { "epoch": 258.35555555555555, "grad_norm": 0.0986328125, "learning_rate": 4.835e-06, "loss": 0.0078, "step": 3100 }, { "epoch": 259.1777777777778, "grad_norm": 0.10546875, "learning_rate": 4.8183333333333335e-06, "loss": 0.0076, "step": 3110 }, { "epoch": 260.0, "grad_norm": 0.2109375, "learning_rate": 4.8016666666666676e-06, "loss": 0.0079, "step": 3120 }, { "epoch": 260.8888888888889, "grad_norm": 0.1259765625, "learning_rate": 4.785e-06, "loss": 0.0076, "step": 3130 }, { "epoch": 261.7111111111111, "grad_norm": 0.056640625, "learning_rate": 4.768333333333334e-06, "loss": 0.0079, "step": 3140 }, { "epoch": 262.53333333333336, "grad_norm": 0.07861328125, "learning_rate": 4.751666666666667e-06, "loss": 0.0074, "step": 3150 }, { "epoch": 263.35555555555555, "grad_norm": 0.1015625, "learning_rate": 4.735e-06, "loss": 0.0078, "step": 3160 }, { "epoch": 264.1777777777778, "grad_norm": 0.10986328125, "learning_rate": 4.718333333333334e-06, "loss": 0.008, "step": 3170 }, { "epoch": 265.0, "grad_norm": 0.1357421875, "learning_rate": 4.701666666666667e-06, "loss": 0.0077, "step": 3180 }, { "epoch": 265.8888888888889, "grad_norm": 0.1201171875, "learning_rate": 4.685000000000001e-06, "loss": 0.0077, "step": 3190 }, { "epoch": 266.7111111111111, "grad_norm": 0.10107421875, "learning_rate": 4.668333333333333e-06, "loss": 0.0099, "step": 3200 }, { "epoch": 267.53333333333336, "grad_norm": 0.07666015625, "learning_rate": 4.651666666666667e-06, "loss": 0.0079, "step": 3210 }, { "epoch": 268.35555555555555, "grad_norm": 0.09033203125, "learning_rate": 4.6350000000000005e-06, "loss": 0.0077, "step": 3220 }, { "epoch": 269.1777777777778, "grad_norm": 0.09130859375, "learning_rate": 4.618333333333334e-06, "loss": 0.0077, "step": 3230 }, { "epoch": 270.0, "grad_norm": 0.171875, "learning_rate": 4.601666666666667e-06, "loss": 0.0077, "step": 3240 }, { "epoch": 270.8888888888889, "grad_norm": 0.06689453125, "learning_rate": 4.585e-06, "loss": 0.0077, "step": 3250 }, { "epoch": 271.7111111111111, "grad_norm": 0.09521484375, "learning_rate": 4.568333333333333e-06, "loss": 0.0079, "step": 3260 }, { "epoch": 272.53333333333336, "grad_norm": 0.08349609375, "learning_rate": 4.551666666666667e-06, "loss": 0.0075, "step": 3270 }, { "epoch": 273.35555555555555, "grad_norm": 0.103515625, "learning_rate": 4.535000000000001e-06, "loss": 0.008, "step": 3280 }, { "epoch": 274.1777777777778, "grad_norm": 0.07080078125, "learning_rate": 4.518333333333334e-06, "loss": 0.0102, "step": 3290 }, { "epoch": 275.0, "grad_norm": 0.20703125, "learning_rate": 4.501666666666667e-06, "loss": 0.0077, "step": 3300 }, { "epoch": 275.8888888888889, "grad_norm": 0.07373046875, "learning_rate": 4.485e-06, "loss": 0.0076, "step": 3310 }, { "epoch": 276.7111111111111, "grad_norm": 0.150390625, "learning_rate": 4.468333333333334e-06, "loss": 0.0078, "step": 3320 }, { "epoch": 277.53333333333336, "grad_norm": 0.107421875, "learning_rate": 4.451666666666667e-06, "loss": 0.0082, "step": 3330 }, { "epoch": 278.35555555555555, "grad_norm": 0.10888671875, "learning_rate": 4.435000000000001e-06, "loss": 0.0073, "step": 3340 }, { "epoch": 279.1777777777778, "grad_norm": 0.1005859375, "learning_rate": 4.418333333333334e-06, "loss": 0.0077, "step": 3350 }, { "epoch": 280.0, "grad_norm": 0.17578125, "learning_rate": 4.401666666666667e-06, "loss": 0.0077, "step": 3360 }, { "epoch": 280.8888888888889, "grad_norm": 0.080078125, "learning_rate": 4.385e-06, "loss": 0.0079, "step": 3370 }, { "epoch": 281.7111111111111, "grad_norm": 0.07763671875, "learning_rate": 4.368333333333334e-06, "loss": 0.0073, "step": 3380 }, { "epoch": 282.53333333333336, "grad_norm": 0.06982421875, "learning_rate": 4.351666666666667e-06, "loss": 0.0078, "step": 3390 }, { "epoch": 283.35555555555555, "grad_norm": 0.12158203125, "learning_rate": 4.335e-06, "loss": 0.0075, "step": 3400 }, { "epoch": 284.1777777777778, "grad_norm": 0.09130859375, "learning_rate": 4.318333333333334e-06, "loss": 0.0081, "step": 3410 }, { "epoch": 285.0, "grad_norm": 0.1806640625, "learning_rate": 4.301666666666666e-06, "loss": 0.0076, "step": 3420 }, { "epoch": 285.8888888888889, "grad_norm": 0.150390625, "learning_rate": 4.2850000000000005e-06, "loss": 0.0077, "step": 3430 }, { "epoch": 286.7111111111111, "grad_norm": 0.08154296875, "learning_rate": 4.268333333333334e-06, "loss": 0.0077, "step": 3440 }, { "epoch": 287.53333333333336, "grad_norm": 0.08203125, "learning_rate": 4.251666666666667e-06, "loss": 0.0079, "step": 3450 }, { "epoch": 288.35555555555555, "grad_norm": 0.080078125, "learning_rate": 4.235e-06, "loss": 0.0077, "step": 3460 }, { "epoch": 289.1777777777778, "grad_norm": 0.0732421875, "learning_rate": 4.218333333333333e-06, "loss": 0.0076, "step": 3470 }, { "epoch": 290.0, "grad_norm": 0.2158203125, "learning_rate": 4.201666666666667e-06, "loss": 0.0078, "step": 3480 }, { "epoch": 290.8888888888889, "grad_norm": 0.0947265625, "learning_rate": 4.185000000000001e-06, "loss": 0.0077, "step": 3490 }, { "epoch": 291.7111111111111, "grad_norm": 0.126953125, "learning_rate": 4.168333333333334e-06, "loss": 0.0077, "step": 3500 }, { "epoch": 292.53333333333336, "grad_norm": 0.11083984375, "learning_rate": 4.151666666666667e-06, "loss": 0.0077, "step": 3510 }, { "epoch": 293.35555555555555, "grad_norm": 0.08837890625, "learning_rate": 4.135e-06, "loss": 0.0077, "step": 3520 }, { "epoch": 294.1777777777778, "grad_norm": 0.08642578125, "learning_rate": 4.1183333333333334e-06, "loss": 0.0078, "step": 3530 }, { "epoch": 295.0, "grad_norm": 0.2734375, "learning_rate": 4.1016666666666675e-06, "loss": 0.0076, "step": 3540 }, { "epoch": 295.8888888888889, "grad_norm": 0.056396484375, "learning_rate": 4.085e-06, "loss": 0.0078, "step": 3550 }, { "epoch": 296.7111111111111, "grad_norm": 0.109375, "learning_rate": 4.068333333333334e-06, "loss": 0.0075, "step": 3560 }, { "epoch": 297.53333333333336, "grad_norm": 0.06640625, "learning_rate": 4.051666666666667e-06, "loss": 0.0078, "step": 3570 }, { "epoch": 298.35555555555555, "grad_norm": 0.1376953125, "learning_rate": 4.035e-06, "loss": 0.0077, "step": 3580 }, { "epoch": 299.1777777777778, "grad_norm": 0.080078125, "learning_rate": 4.0183333333333335e-06, "loss": 0.0077, "step": 3590 }, { "epoch": 300.0, "grad_norm": 0.212890625, "learning_rate": 4.001666666666667e-06, "loss": 0.0078, "step": 3600 }, { "epoch": 300.8888888888889, "grad_norm": 0.09521484375, "learning_rate": 3.985000000000001e-06, "loss": 0.0077, "step": 3610 }, { "epoch": 301.7111111111111, "grad_norm": 0.0791015625, "learning_rate": 3.968333333333333e-06, "loss": 0.0078, "step": 3620 }, { "epoch": 302.53333333333336, "grad_norm": 0.07275390625, "learning_rate": 3.951666666666667e-06, "loss": 0.0079, "step": 3630 }, { "epoch": 303.35555555555555, "grad_norm": 0.12255859375, "learning_rate": 3.9350000000000004e-06, "loss": 0.0078, "step": 3640 }, { "epoch": 304.1777777777778, "grad_norm": 0.1083984375, "learning_rate": 3.918333333333334e-06, "loss": 0.0079, "step": 3650 }, { "epoch": 305.0, "grad_norm": 0.2236328125, "learning_rate": 3.901666666666667e-06, "loss": 0.0077, "step": 3660 }, { "epoch": 305.8888888888889, "grad_norm": 0.0859375, "learning_rate": 3.885e-06, "loss": 0.0076, "step": 3670 }, { "epoch": 306.7111111111111, "grad_norm": 0.091796875, "learning_rate": 3.868333333333333e-06, "loss": 0.0079, "step": 3680 }, { "epoch": 307.53333333333336, "grad_norm": 0.08740234375, "learning_rate": 3.8516666666666665e-06, "loss": 0.0078, "step": 3690 }, { "epoch": 308.35555555555555, "grad_norm": 0.1728515625, "learning_rate": 3.8350000000000006e-06, "loss": 0.0078, "step": 3700 }, { "epoch": 309.1777777777778, "grad_norm": 0.1708984375, "learning_rate": 3.818333333333334e-06, "loss": 0.0075, "step": 3710 }, { "epoch": 310.0, "grad_norm": 0.171875, "learning_rate": 3.801666666666667e-06, "loss": 0.0078, "step": 3720 }, { "epoch": 310.8888888888889, "grad_norm": 0.087890625, "learning_rate": 3.785e-06, "loss": 0.0078, "step": 3730 }, { "epoch": 311.7111111111111, "grad_norm": 0.1416015625, "learning_rate": 3.768333333333334e-06, "loss": 0.0077, "step": 3740 }, { "epoch": 312.53333333333336, "grad_norm": 0.09326171875, "learning_rate": 3.7516666666666666e-06, "loss": 0.0079, "step": 3750 }, { "epoch": 313.35555555555555, "grad_norm": 0.09521484375, "learning_rate": 3.7350000000000002e-06, "loss": 0.0077, "step": 3760 }, { "epoch": 314.1777777777778, "grad_norm": 0.09033203125, "learning_rate": 3.718333333333334e-06, "loss": 0.008, "step": 3770 }, { "epoch": 315.0, "grad_norm": 0.1689453125, "learning_rate": 3.7016666666666667e-06, "loss": 0.0075, "step": 3780 }, { "epoch": 315.8888888888889, "grad_norm": 0.1181640625, "learning_rate": 3.6850000000000003e-06, "loss": 0.0077, "step": 3790 }, { "epoch": 316.7111111111111, "grad_norm": 0.1015625, "learning_rate": 3.668333333333334e-06, "loss": 0.0079, "step": 3800 }, { "epoch": 317.53333333333336, "grad_norm": 0.138671875, "learning_rate": 3.6516666666666667e-06, "loss": 0.0099, "step": 3810 }, { "epoch": 318.35555555555555, "grad_norm": 0.08740234375, "learning_rate": 3.6350000000000003e-06, "loss": 0.0079, "step": 3820 }, { "epoch": 319.1777777777778, "grad_norm": 0.1279296875, "learning_rate": 3.6183333333333336e-06, "loss": 0.0077, "step": 3830 }, { "epoch": 320.0, "grad_norm": 0.3515625, "learning_rate": 3.601666666666667e-06, "loss": 0.0079, "step": 3840 }, { "epoch": 320.8888888888889, "grad_norm": 0.07470703125, "learning_rate": 3.585e-06, "loss": 0.0078, "step": 3850 }, { "epoch": 321.7111111111111, "grad_norm": 0.07958984375, "learning_rate": 3.5683333333333336e-06, "loss": 0.0078, "step": 3860 }, { "epoch": 322.53333333333336, "grad_norm": 0.111328125, "learning_rate": 3.5516666666666672e-06, "loss": 0.0076, "step": 3870 }, { "epoch": 323.35555555555555, "grad_norm": 0.08349609375, "learning_rate": 3.535e-06, "loss": 0.008, "step": 3880 }, { "epoch": 324.1777777777778, "grad_norm": 0.08642578125, "learning_rate": 3.5183333333333337e-06, "loss": 0.0077, "step": 3890 }, { "epoch": 325.0, "grad_norm": 0.1767578125, "learning_rate": 3.5016666666666673e-06, "loss": 0.0077, "step": 3900 }, { "epoch": 325.8888888888889, "grad_norm": 0.0771484375, "learning_rate": 3.485e-06, "loss": 0.0077, "step": 3910 }, { "epoch": 326.7111111111111, "grad_norm": 0.0693359375, "learning_rate": 3.4683333333333337e-06, "loss": 0.0077, "step": 3920 }, { "epoch": 327.53333333333336, "grad_norm": 0.08447265625, "learning_rate": 3.451666666666667e-06, "loss": 0.0079, "step": 3930 }, { "epoch": 328.35555555555555, "grad_norm": 0.08984375, "learning_rate": 3.4350000000000006e-06, "loss": 0.0079, "step": 3940 }, { "epoch": 329.1777777777778, "grad_norm": 0.068359375, "learning_rate": 3.4183333333333334e-06, "loss": 0.0077, "step": 3950 }, { "epoch": 330.0, "grad_norm": 0.1728515625, "learning_rate": 3.401666666666667e-06, "loss": 0.0077, "step": 3960 }, { "epoch": 330.8888888888889, "grad_norm": 0.04345703125, "learning_rate": 3.3850000000000006e-06, "loss": 0.0077, "step": 3970 }, { "epoch": 331.7111111111111, "grad_norm": 0.05908203125, "learning_rate": 3.3683333333333334e-06, "loss": 0.0078, "step": 3980 }, { "epoch": 332.53333333333336, "grad_norm": 0.09521484375, "learning_rate": 3.351666666666667e-06, "loss": 0.0077, "step": 3990 }, { "epoch": 333.35555555555555, "grad_norm": 0.11572265625, "learning_rate": 3.3350000000000003e-06, "loss": 0.0077, "step": 4000 }, { "epoch": 334.1777777777778, "grad_norm": 0.10205078125, "learning_rate": 3.3183333333333335e-06, "loss": 0.0078, "step": 4010 }, { "epoch": 335.0, "grad_norm": 0.173828125, "learning_rate": 3.301666666666667e-06, "loss": 0.0078, "step": 4020 }, { "epoch": 335.8888888888889, "grad_norm": 0.09326171875, "learning_rate": 3.2850000000000003e-06, "loss": 0.0077, "step": 4030 }, { "epoch": 336.7111111111111, "grad_norm": 0.10986328125, "learning_rate": 3.2683333333333335e-06, "loss": 0.0078, "step": 4040 }, { "epoch": 337.53333333333336, "grad_norm": 0.07373046875, "learning_rate": 3.2516666666666667e-06, "loss": 0.0073, "step": 4050 }, { "epoch": 338.35555555555555, "grad_norm": 0.06494140625, "learning_rate": 3.2350000000000004e-06, "loss": 0.0079, "step": 4060 }, { "epoch": 339.1777777777778, "grad_norm": 0.06494140625, "learning_rate": 3.218333333333334e-06, "loss": 0.0077, "step": 4070 }, { "epoch": 340.0, "grad_norm": 0.2041015625, "learning_rate": 3.201666666666667e-06, "loss": 0.0076, "step": 4080 }, { "epoch": 340.8888888888889, "grad_norm": 0.08447265625, "learning_rate": 3.1850000000000004e-06, "loss": 0.0076, "step": 4090 }, { "epoch": 341.7111111111111, "grad_norm": 0.072265625, "learning_rate": 3.1683333333333336e-06, "loss": 0.0078, "step": 4100 }, { "epoch": 342.53333333333336, "grad_norm": 0.06591796875, "learning_rate": 3.151666666666667e-06, "loss": 0.0076, "step": 4110 }, { "epoch": 343.35555555555555, "grad_norm": 0.10888671875, "learning_rate": 3.135e-06, "loss": 0.0078, "step": 4120 }, { "epoch": 344.1777777777778, "grad_norm": 0.07470703125, "learning_rate": 3.1183333333333337e-06, "loss": 0.0077, "step": 4130 }, { "epoch": 345.0, "grad_norm": 0.177734375, "learning_rate": 3.101666666666667e-06, "loss": 0.0078, "step": 4140 }, { "epoch": 345.8888888888889, "grad_norm": 0.10205078125, "learning_rate": 3.085e-06, "loss": 0.0076, "step": 4150 }, { "epoch": 346.7111111111111, "grad_norm": 0.078125, "learning_rate": 3.0683333333333337e-06, "loss": 0.0077, "step": 4160 }, { "epoch": 347.53333333333336, "grad_norm": 0.06787109375, "learning_rate": 3.0516666666666665e-06, "loss": 0.008, "step": 4170 }, { "epoch": 348.35555555555555, "grad_norm": 0.11865234375, "learning_rate": 3.035e-06, "loss": 0.0074, "step": 4180 }, { "epoch": 349.1777777777778, "grad_norm": 0.11962890625, "learning_rate": 3.018333333333334e-06, "loss": 0.0077, "step": 4190 }, { "epoch": 350.0, "grad_norm": 0.2275390625, "learning_rate": 3.001666666666667e-06, "loss": 0.0077, "step": 4200 }, { "epoch": 350.8888888888889, "grad_norm": 0.1376953125, "learning_rate": 2.9850000000000002e-06, "loss": 0.0077, "step": 4210 }, { "epoch": 351.7111111111111, "grad_norm": 0.09716796875, "learning_rate": 2.9683333333333334e-06, "loss": 0.0077, "step": 4220 }, { "epoch": 352.53333333333336, "grad_norm": 0.06884765625, "learning_rate": 2.951666666666667e-06, "loss": 0.0079, "step": 4230 }, { "epoch": 353.35555555555555, "grad_norm": 0.0576171875, "learning_rate": 2.9350000000000003e-06, "loss": 0.0076, "step": 4240 }, { "epoch": 354.1777777777778, "grad_norm": 0.0986328125, "learning_rate": 2.9183333333333335e-06, "loss": 0.0075, "step": 4250 }, { "epoch": 355.0, "grad_norm": 0.208984375, "learning_rate": 2.901666666666667e-06, "loss": 0.0079, "step": 4260 }, { "epoch": 355.8888888888889, "grad_norm": 0.111328125, "learning_rate": 2.885e-06, "loss": 0.0076, "step": 4270 }, { "epoch": 356.7111111111111, "grad_norm": 0.07421875, "learning_rate": 2.8683333333333335e-06, "loss": 0.0078, "step": 4280 }, { "epoch": 357.53333333333336, "grad_norm": 0.061279296875, "learning_rate": 2.851666666666667e-06, "loss": 0.0076, "step": 4290 }, { "epoch": 358.35555555555555, "grad_norm": 0.10400390625, "learning_rate": 2.835e-06, "loss": 0.0076, "step": 4300 }, { "epoch": 359.1777777777778, "grad_norm": 0.09228515625, "learning_rate": 2.8183333333333336e-06, "loss": 0.0076, "step": 4310 }, { "epoch": 360.0, "grad_norm": 0.2099609375, "learning_rate": 2.801666666666667e-06, "loss": 0.0079, "step": 4320 }, { "epoch": 360.8888888888889, "grad_norm": 0.11474609375, "learning_rate": 2.7850000000000004e-06, "loss": 0.0077, "step": 4330 }, { "epoch": 361.7111111111111, "grad_norm": 0.15625, "learning_rate": 2.7683333333333332e-06, "loss": 0.0079, "step": 4340 }, { "epoch": 362.53333333333336, "grad_norm": 0.080078125, "learning_rate": 2.751666666666667e-06, "loss": 0.0075, "step": 4350 }, { "epoch": 363.35555555555555, "grad_norm": 0.1259765625, "learning_rate": 2.7350000000000005e-06, "loss": 0.0077, "step": 4360 }, { "epoch": 364.1777777777778, "grad_norm": 0.068359375, "learning_rate": 2.7183333333333333e-06, "loss": 0.0104, "step": 4370 }, { "epoch": 365.0, "grad_norm": 0.208984375, "learning_rate": 2.701666666666667e-06, "loss": 0.0077, "step": 4380 }, { "epoch": 365.8888888888889, "grad_norm": 0.0654296875, "learning_rate": 2.6850000000000006e-06, "loss": 0.0078, "step": 4390 }, { "epoch": 366.7111111111111, "grad_norm": 0.0888671875, "learning_rate": 2.6683333333333333e-06, "loss": 0.0076, "step": 4400 }, { "epoch": 367.53333333333336, "grad_norm": 0.12060546875, "learning_rate": 2.651666666666667e-06, "loss": 0.0076, "step": 4410 }, { "epoch": 368.35555555555555, "grad_norm": 0.0791015625, "learning_rate": 2.635e-06, "loss": 0.0076, "step": 4420 }, { "epoch": 369.1777777777778, "grad_norm": 0.09814453125, "learning_rate": 2.6183333333333334e-06, "loss": 0.0078, "step": 4430 }, { "epoch": 370.0, "grad_norm": 0.271484375, "learning_rate": 2.6016666666666666e-06, "loss": 0.0076, "step": 4440 }, { "epoch": 370.8888888888889, "grad_norm": 0.07958984375, "learning_rate": 2.5850000000000002e-06, "loss": 0.0077, "step": 4450 }, { "epoch": 371.7111111111111, "grad_norm": 0.07763671875, "learning_rate": 2.568333333333334e-06, "loss": 0.0075, "step": 4460 }, { "epoch": 372.53333333333336, "grad_norm": 0.09033203125, "learning_rate": 2.5516666666666667e-06, "loss": 0.0078, "step": 4470 }, { "epoch": 373.35555555555555, "grad_norm": 0.091796875, "learning_rate": 2.5350000000000003e-06, "loss": 0.0077, "step": 4480 }, { "epoch": 374.1777777777778, "grad_norm": 0.1015625, "learning_rate": 2.518333333333334e-06, "loss": 0.0077, "step": 4490 }, { "epoch": 375.0, "grad_norm": 0.1318359375, "learning_rate": 2.5016666666666667e-06, "loss": 0.0076, "step": 4500 }, { "epoch": 375.8888888888889, "grad_norm": 0.09619140625, "learning_rate": 2.4850000000000003e-06, "loss": 0.0078, "step": 4510 }, { "epoch": 376.7111111111111, "grad_norm": 0.095703125, "learning_rate": 2.4683333333333336e-06, "loss": 0.0078, "step": 4520 }, { "epoch": 377.53333333333336, "grad_norm": 0.051025390625, "learning_rate": 2.4516666666666668e-06, "loss": 0.0077, "step": 4530 }, { "epoch": 378.35555555555555, "grad_norm": 0.08447265625, "learning_rate": 2.435e-06, "loss": 0.0076, "step": 4540 }, { "epoch": 379.1777777777778, "grad_norm": 0.048583984375, "learning_rate": 2.4183333333333336e-06, "loss": 0.0077, "step": 4550 }, { "epoch": 380.0, "grad_norm": 0.1728515625, "learning_rate": 2.401666666666667e-06, "loss": 0.0079, "step": 4560 }, { "epoch": 380.8888888888889, "grad_norm": 0.1015625, "learning_rate": 2.385e-06, "loss": 0.0077, "step": 4570 }, { "epoch": 381.7111111111111, "grad_norm": 0.111328125, "learning_rate": 2.3683333333333337e-06, "loss": 0.008, "step": 4580 }, { "epoch": 382.53333333333336, "grad_norm": 0.130859375, "learning_rate": 2.351666666666667e-06, "loss": 0.0075, "step": 4590 }, { "epoch": 383.35555555555555, "grad_norm": 0.15234375, "learning_rate": 2.3350000000000005e-06, "loss": 0.0082, "step": 4600 }, { "epoch": 384.1777777777778, "grad_norm": 0.07275390625, "learning_rate": 2.3183333333333337e-06, "loss": 0.0076, "step": 4610 }, { "epoch": 385.0, "grad_norm": 0.1318359375, "learning_rate": 2.301666666666667e-06, "loss": 0.0077, "step": 4620 }, { "epoch": 385.8888888888889, "grad_norm": 0.1005859375, "learning_rate": 2.285e-06, "loss": 0.0078, "step": 4630 }, { "epoch": 386.7111111111111, "grad_norm": 0.109375, "learning_rate": 2.2683333333333334e-06, "loss": 0.0078, "step": 4640 }, { "epoch": 387.53333333333336, "grad_norm": 0.12353515625, "learning_rate": 2.2516666666666666e-06, "loss": 0.0102, "step": 4650 }, { "epoch": 388.35555555555555, "grad_norm": 0.087890625, "learning_rate": 2.235e-06, "loss": 0.0077, "step": 4660 }, { "epoch": 389.1777777777778, "grad_norm": 0.09765625, "learning_rate": 2.2183333333333334e-06, "loss": 0.0079, "step": 4670 }, { "epoch": 390.0, "grad_norm": 0.0, "learning_rate": 2.201666666666667e-06, "loss": 0.0102, "step": 4680 }, { "epoch": 390.8888888888889, "grad_norm": 0.059814453125, "learning_rate": 2.1850000000000003e-06, "loss": 0.0078, "step": 4690 }, { "epoch": 391.7111111111111, "grad_norm": 0.11279296875, "learning_rate": 2.1683333333333335e-06, "loss": 0.0076, "step": 4700 }, { "epoch": 392.53333333333336, "grad_norm": 0.05859375, "learning_rate": 2.151666666666667e-06, "loss": 0.0079, "step": 4710 }, { "epoch": 393.35555555555555, "grad_norm": 0.1142578125, "learning_rate": 2.1350000000000003e-06, "loss": 0.0078, "step": 4720 }, { "epoch": 394.1777777777778, "grad_norm": 0.09716796875, "learning_rate": 2.1183333333333335e-06, "loss": 0.0077, "step": 4730 }, { "epoch": 395.0, "grad_norm": 0.27734375, "learning_rate": 2.1016666666666667e-06, "loss": 0.0074, "step": 4740 }, { "epoch": 395.8888888888889, "grad_norm": 0.1005859375, "learning_rate": 2.085e-06, "loss": 0.0077, "step": 4750 }, { "epoch": 396.7111111111111, "grad_norm": 0.09423828125, "learning_rate": 2.0683333333333336e-06, "loss": 0.0079, "step": 4760 }, { "epoch": 397.53333333333336, "grad_norm": 0.0859375, "learning_rate": 2.0516666666666668e-06, "loss": 0.0077, "step": 4770 }, { "epoch": 398.35555555555555, "grad_norm": 0.126953125, "learning_rate": 2.035e-06, "loss": 0.0078, "step": 4780 }, { "epoch": 399.1777777777778, "grad_norm": 0.10400390625, "learning_rate": 2.0183333333333336e-06, "loss": 0.0079, "step": 4790 }, { "epoch": 400.0, "grad_norm": 0.298828125, "learning_rate": 2.001666666666667e-06, "loss": 0.0078, "step": 4800 }, { "epoch": 400.8888888888889, "grad_norm": 0.095703125, "learning_rate": 1.985e-06, "loss": 0.0076, "step": 4810 }, { "epoch": 401.7111111111111, "grad_norm": 0.11572265625, "learning_rate": 1.9683333333333337e-06, "loss": 0.0078, "step": 4820 }, { "epoch": 402.53333333333336, "grad_norm": 0.08984375, "learning_rate": 1.951666666666667e-06, "loss": 0.0078, "step": 4830 }, { "epoch": 403.35555555555555, "grad_norm": 0.173828125, "learning_rate": 1.935e-06, "loss": 0.0075, "step": 4840 }, { "epoch": 404.1777777777778, "grad_norm": 0.08642578125, "learning_rate": 1.9183333333333333e-06, "loss": 0.0079, "step": 4850 }, { "epoch": 405.0, "grad_norm": 0.1787109375, "learning_rate": 1.901666666666667e-06, "loss": 0.0077, "step": 4860 }, { "epoch": 405.8888888888889, "grad_norm": 0.06787109375, "learning_rate": 1.8850000000000002e-06, "loss": 0.0077, "step": 4870 }, { "epoch": 406.7111111111111, "grad_norm": 0.0927734375, "learning_rate": 1.8683333333333334e-06, "loss": 0.0078, "step": 4880 }, { "epoch": 407.53333333333336, "grad_norm": 0.10498046875, "learning_rate": 1.8516666666666668e-06, "loss": 0.0076, "step": 4890 }, { "epoch": 408.35555555555555, "grad_norm": 0.11181640625, "learning_rate": 1.8350000000000002e-06, "loss": 0.0078, "step": 4900 }, { "epoch": 409.1777777777778, "grad_norm": 0.1494140625, "learning_rate": 1.8183333333333336e-06, "loss": 0.0078, "step": 4910 }, { "epoch": 410.0, "grad_norm": 0.21484375, "learning_rate": 1.8016666666666669e-06, "loss": 0.0078, "step": 4920 }, { "epoch": 410.8888888888889, "grad_norm": 0.049560546875, "learning_rate": 1.785e-06, "loss": 0.0077, "step": 4930 }, { "epoch": 411.7111111111111, "grad_norm": 0.10546875, "learning_rate": 1.7683333333333335e-06, "loss": 0.0079, "step": 4940 }, { "epoch": 412.53333333333336, "grad_norm": 0.09716796875, "learning_rate": 1.7516666666666667e-06, "loss": 0.0078, "step": 4950 }, { "epoch": 413.35555555555555, "grad_norm": 0.115234375, "learning_rate": 1.7350000000000001e-06, "loss": 0.0077, "step": 4960 }, { "epoch": 414.1777777777778, "grad_norm": 0.123046875, "learning_rate": 1.7183333333333335e-06, "loss": 0.0078, "step": 4970 }, { "epoch": 415.0, "grad_norm": 0.2314453125, "learning_rate": 1.7016666666666668e-06, "loss": 0.0079, "step": 4980 }, { "epoch": 415.8888888888889, "grad_norm": 0.07568359375, "learning_rate": 1.6850000000000002e-06, "loss": 0.0077, "step": 4990 }, { "epoch": 416.7111111111111, "grad_norm": 0.08642578125, "learning_rate": 1.6683333333333334e-06, "loss": 0.0078, "step": 5000 }, { "epoch": 417.53333333333336, "grad_norm": 0.15625, "learning_rate": 1.6516666666666666e-06, "loss": 0.0079, "step": 5010 }, { "epoch": 418.35555555555555, "grad_norm": 0.126953125, "learning_rate": 1.6350000000000002e-06, "loss": 0.0071, "step": 5020 }, { "epoch": 419.1777777777778, "grad_norm": 0.0927734375, "learning_rate": 1.6183333333333334e-06, "loss": 0.008, "step": 5030 }, { "epoch": 420.0, "grad_norm": 0.2158203125, "learning_rate": 1.6016666666666669e-06, "loss": 0.0078, "step": 5040 }, { "epoch": 420.8888888888889, "grad_norm": 0.08056640625, "learning_rate": 1.585e-06, "loss": 0.0077, "step": 5050 }, { "epoch": 421.7111111111111, "grad_norm": 0.076171875, "learning_rate": 1.5683333333333333e-06, "loss": 0.0078, "step": 5060 }, { "epoch": 422.53333333333336, "grad_norm": 0.1357421875, "learning_rate": 1.551666666666667e-06, "loss": 0.0077, "step": 5070 }, { "epoch": 423.35555555555555, "grad_norm": 0.07666015625, "learning_rate": 1.5350000000000001e-06, "loss": 0.0075, "step": 5080 }, { "epoch": 424.1777777777778, "grad_norm": 0.06396484375, "learning_rate": 1.5183333333333333e-06, "loss": 0.008, "step": 5090 }, { "epoch": 425.0, "grad_norm": 0.193359375, "learning_rate": 1.5016666666666668e-06, "loss": 0.0074, "step": 5100 }, { "epoch": 425.8888888888889, "grad_norm": 0.1083984375, "learning_rate": 1.485e-06, "loss": 0.0077, "step": 5110 }, { "epoch": 426.7111111111111, "grad_norm": 0.04931640625, "learning_rate": 1.4683333333333336e-06, "loss": 0.0075, "step": 5120 }, { "epoch": 427.53333333333336, "grad_norm": 0.10546875, "learning_rate": 1.4516666666666668e-06, "loss": 0.008, "step": 5130 }, { "epoch": 428.35555555555555, "grad_norm": 0.10205078125, "learning_rate": 1.435e-06, "loss": 0.0078, "step": 5140 }, { "epoch": 429.1777777777778, "grad_norm": 0.14453125, "learning_rate": 1.4183333333333334e-06, "loss": 0.0078, "step": 5150 }, { "epoch": 430.0, "grad_norm": 0.189453125, "learning_rate": 1.4016666666666667e-06, "loss": 0.0076, "step": 5160 }, { "epoch": 430.8888888888889, "grad_norm": 0.08203125, "learning_rate": 1.3850000000000003e-06, "loss": 0.0077, "step": 5170 }, { "epoch": 431.7111111111111, "grad_norm": 0.09423828125, "learning_rate": 1.3683333333333335e-06, "loss": 0.0075, "step": 5180 }, { "epoch": 432.53333333333336, "grad_norm": 0.11474609375, "learning_rate": 1.3516666666666667e-06, "loss": 0.0078, "step": 5190 }, { "epoch": 433.35555555555555, "grad_norm": 0.05078125, "learning_rate": 1.3350000000000001e-06, "loss": 0.0074, "step": 5200 }, { "epoch": 434.1777777777778, "grad_norm": 0.134765625, "learning_rate": 1.3183333333333333e-06, "loss": 0.0074, "step": 5210 }, { "epoch": 435.0, "grad_norm": 0.1689453125, "learning_rate": 1.301666666666667e-06, "loss": 0.0077, "step": 5220 }, { "epoch": 435.8888888888889, "grad_norm": 0.0830078125, "learning_rate": 1.2850000000000002e-06, "loss": 0.0077, "step": 5230 }, { "epoch": 436.7111111111111, "grad_norm": 0.060791015625, "learning_rate": 1.2683333333333334e-06, "loss": 0.0076, "step": 5240 }, { "epoch": 437.53333333333336, "grad_norm": 0.07568359375, "learning_rate": 1.2516666666666668e-06, "loss": 0.0078, "step": 5250 }, { "epoch": 438.35555555555555, "grad_norm": 0.0830078125, "learning_rate": 1.235e-06, "loss": 0.0078, "step": 5260 }, { "epoch": 439.1777777777778, "grad_norm": 0.09619140625, "learning_rate": 1.2183333333333335e-06, "loss": 0.0077, "step": 5270 }, { "epoch": 440.0, "grad_norm": 0.2734375, "learning_rate": 1.2016666666666669e-06, "loss": 0.0075, "step": 5280 }, { "epoch": 440.8888888888889, "grad_norm": 0.072265625, "learning_rate": 1.185e-06, "loss": 0.0077, "step": 5290 }, { "epoch": 441.7111111111111, "grad_norm": 0.1123046875, "learning_rate": 1.1683333333333333e-06, "loss": 0.0077, "step": 5300 }, { "epoch": 442.53333333333336, "grad_norm": 0.1064453125, "learning_rate": 1.1516666666666667e-06, "loss": 0.0075, "step": 5310 }, { "epoch": 443.35555555555555, "grad_norm": 0.09375, "learning_rate": 1.1350000000000001e-06, "loss": 0.0077, "step": 5320 }, { "epoch": 444.1777777777778, "grad_norm": 0.1044921875, "learning_rate": 1.1183333333333336e-06, "loss": 0.008, "step": 5330 }, { "epoch": 445.0, "grad_norm": 0.314453125, "learning_rate": 1.1016666666666668e-06, "loss": 0.0077, "step": 5340 }, { "epoch": 445.8888888888889, "grad_norm": 0.05224609375, "learning_rate": 1.085e-06, "loss": 0.0077, "step": 5350 }, { "epoch": 446.7111111111111, "grad_norm": 0.1328125, "learning_rate": 1.0683333333333334e-06, "loss": 0.0078, "step": 5360 }, { "epoch": 447.53333333333336, "grad_norm": 0.1533203125, "learning_rate": 1.0516666666666668e-06, "loss": 0.0078, "step": 5370 }, { "epoch": 448.35555555555555, "grad_norm": 0.10546875, "learning_rate": 1.035e-06, "loss": 0.0078, "step": 5380 }, { "epoch": 449.1777777777778, "grad_norm": 0.1435546875, "learning_rate": 1.0183333333333335e-06, "loss": 0.0079, "step": 5390 }, { "epoch": 450.0, "grad_norm": 0.23046875, "learning_rate": 1.0016666666666667e-06, "loss": 0.0078, "step": 5400 }, { "epoch": 450.8888888888889, "grad_norm": 0.1201171875, "learning_rate": 9.85e-07, "loss": 0.0077, "step": 5410 }, { "epoch": 451.7111111111111, "grad_norm": 0.10107421875, "learning_rate": 9.683333333333333e-07, "loss": 0.0076, "step": 5420 }, { "epoch": 452.53333333333336, "grad_norm": 0.0810546875, "learning_rate": 9.516666666666667e-07, "loss": 0.0078, "step": 5430 }, { "epoch": 453.35555555555555, "grad_norm": 0.059814453125, "learning_rate": 9.35e-07, "loss": 0.0077, "step": 5440 }, { "epoch": 454.1777777777778, "grad_norm": 0.12890625, "learning_rate": 9.183333333333335e-07, "loss": 0.0078, "step": 5450 }, { "epoch": 455.0, "grad_norm": 0.150390625, "learning_rate": 9.016666666666668e-07, "loss": 0.0077, "step": 5460 }, { "epoch": 455.8888888888889, "grad_norm": 0.126953125, "learning_rate": 8.85e-07, "loss": 0.0077, "step": 5470 }, { "epoch": 456.7111111111111, "grad_norm": 0.0732421875, "learning_rate": 8.683333333333334e-07, "loss": 0.0076, "step": 5480 }, { "epoch": 457.53333333333336, "grad_norm": 0.12451171875, "learning_rate": 8.516666666666667e-07, "loss": 0.008, "step": 5490 }, { "epoch": 458.35555555555555, "grad_norm": 0.130859375, "learning_rate": 8.350000000000002e-07, "loss": 0.0075, "step": 5500 }, { "epoch": 459.1777777777778, "grad_norm": 0.11181640625, "learning_rate": 8.183333333333334e-07, "loss": 0.0077, "step": 5510 }, { "epoch": 460.0, "grad_norm": 0.1865234375, "learning_rate": 8.016666666666667e-07, "loss": 0.0079, "step": 5520 }, { "epoch": 460.8888888888889, "grad_norm": 0.07568359375, "learning_rate": 7.850000000000001e-07, "loss": 0.0077, "step": 5530 }, { "epoch": 461.7111111111111, "grad_norm": 0.05908203125, "learning_rate": 7.683333333333334e-07, "loss": 0.0079, "step": 5540 }, { "epoch": 462.53333333333336, "grad_norm": 0.060546875, "learning_rate": 7.516666666666668e-07, "loss": 0.0076, "step": 5550 }, { "epoch": 463.35555555555555, "grad_norm": 0.080078125, "learning_rate": 7.350000000000001e-07, "loss": 0.0079, "step": 5560 }, { "epoch": 464.1777777777778, "grad_norm": 0.099609375, "learning_rate": 7.183333333333334e-07, "loss": 0.0079, "step": 5570 }, { "epoch": 465.0, "grad_norm": 0.0, "learning_rate": 7.016666666666668e-07, "loss": 0.01, "step": 5580 }, { "epoch": 465.8888888888889, "grad_norm": 0.0859375, "learning_rate": 6.850000000000001e-07, "loss": 0.0077, "step": 5590 }, { "epoch": 466.7111111111111, "grad_norm": 0.109375, "learning_rate": 6.683333333333333e-07, "loss": 0.0072, "step": 5600 }, { "epoch": 467.53333333333336, "grad_norm": 0.091796875, "learning_rate": 6.516666666666667e-07, "loss": 0.008, "step": 5610 }, { "epoch": 468.35555555555555, "grad_norm": 0.10888671875, "learning_rate": 6.350000000000001e-07, "loss": 0.0077, "step": 5620 }, { "epoch": 469.1777777777778, "grad_norm": 0.08935546875, "learning_rate": 6.183333333333334e-07, "loss": 0.0079, "step": 5630 }, { "epoch": 470.0, "grad_norm": 0.2734375, "learning_rate": 6.016666666666667e-07, "loss": 0.0074, "step": 5640 }, { "epoch": 470.8888888888889, "grad_norm": 0.068359375, "learning_rate": 5.850000000000001e-07, "loss": 0.0077, "step": 5650 }, { "epoch": 471.7111111111111, "grad_norm": 0.140625, "learning_rate": 5.683333333333333e-07, "loss": 0.0078, "step": 5660 }, { "epoch": 472.53333333333336, "grad_norm": 0.12890625, "learning_rate": 5.516666666666667e-07, "loss": 0.008, "step": 5670 }, { "epoch": 473.35555555555555, "grad_norm": 0.130859375, "learning_rate": 5.350000000000001e-07, "loss": 0.0078, "step": 5680 }, { "epoch": 474.1777777777778, "grad_norm": 0.09619140625, "learning_rate": 5.183333333333334e-07, "loss": 0.0078, "step": 5690 }, { "epoch": 475.0, "grad_norm": 0.17578125, "learning_rate": 5.016666666666667e-07, "loss": 0.0078, "step": 5700 }, { "epoch": 475.8888888888889, "grad_norm": 0.126953125, "learning_rate": 4.85e-07, "loss": 0.0076, "step": 5710 }, { "epoch": 476.7111111111111, "grad_norm": 0.1318359375, "learning_rate": 4.6833333333333333e-07, "loss": 0.0078, "step": 5720 }, { "epoch": 477.53333333333336, "grad_norm": 0.1123046875, "learning_rate": 4.516666666666667e-07, "loss": 0.0079, "step": 5730 }, { "epoch": 478.35555555555555, "grad_norm": 0.16796875, "learning_rate": 4.35e-07, "loss": 0.0078, "step": 5740 }, { "epoch": 479.1777777777778, "grad_norm": 0.1083984375, "learning_rate": 4.183333333333334e-07, "loss": 0.0076, "step": 5750 }, { "epoch": 480.0, "grad_norm": 0.322265625, "learning_rate": 4.0166666666666676e-07, "loss": 0.0077, "step": 5760 }, { "epoch": 480.8888888888889, "grad_norm": 0.1142578125, "learning_rate": 3.85e-07, "loss": 0.0078, "step": 5770 }, { "epoch": 481.7111111111111, "grad_norm": 0.125, "learning_rate": 3.683333333333334e-07, "loss": 0.0075, "step": 5780 }, { "epoch": 482.53333333333336, "grad_norm": 0.076171875, "learning_rate": 3.516666666666667e-07, "loss": 0.0077, "step": 5790 }, { "epoch": 483.35555555555555, "grad_norm": 0.0986328125, "learning_rate": 3.35e-07, "loss": 0.0079, "step": 5800 }, { "epoch": 484.1777777777778, "grad_norm": 0.06494140625, "learning_rate": 3.1833333333333334e-07, "loss": 0.0079, "step": 5810 }, { "epoch": 485.0, "grad_norm": 0.1865234375, "learning_rate": 3.016666666666667e-07, "loss": 0.0076, "step": 5820 }, { "epoch": 485.8888888888889, "grad_norm": 0.107421875, "learning_rate": 2.85e-07, "loss": 0.0076, "step": 5830 }, { "epoch": 486.7111111111111, "grad_norm": 0.09423828125, "learning_rate": 2.6833333333333334e-07, "loss": 0.0078, "step": 5840 }, { "epoch": 487.53333333333336, "grad_norm": 0.06298828125, "learning_rate": 2.516666666666667e-07, "loss": 0.0076, "step": 5850 }, { "epoch": 488.35555555555555, "grad_norm": 0.0673828125, "learning_rate": 2.3500000000000003e-07, "loss": 0.008, "step": 5860 }, { "epoch": 489.1777777777778, "grad_norm": 0.06396484375, "learning_rate": 2.1833333333333334e-07, "loss": 0.0077, "step": 5870 }, { "epoch": 490.0, "grad_norm": 0.1689453125, "learning_rate": 2.0166666666666669e-07, "loss": 0.0076, "step": 5880 }, { "epoch": 490.8888888888889, "grad_norm": 0.12890625, "learning_rate": 1.85e-07, "loss": 0.0077, "step": 5890 }, { "epoch": 491.7111111111111, "grad_norm": 0.08251953125, "learning_rate": 1.6833333333333335e-07, "loss": 0.0077, "step": 5900 }, { "epoch": 492.53333333333336, "grad_norm": 0.08544921875, "learning_rate": 1.516666666666667e-07, "loss": 0.0076, "step": 5910 }, { "epoch": 493.35555555555555, "grad_norm": 0.078125, "learning_rate": 1.35e-07, "loss": 0.0075, "step": 5920 }, { "epoch": 494.1777777777778, "grad_norm": 0.1552734375, "learning_rate": 1.1833333333333333e-07, "loss": 0.0081, "step": 5930 }, { "epoch": 495.0, "grad_norm": 0.224609375, "learning_rate": 1.0166666666666666e-07, "loss": 0.0077, "step": 5940 }, { "epoch": 495.8888888888889, "grad_norm": 0.12451171875, "learning_rate": 8.500000000000001e-08, "loss": 0.0077, "step": 5950 }, { "epoch": 496.7111111111111, "grad_norm": 0.08056640625, "learning_rate": 6.833333333333334e-08, "loss": 0.0079, "step": 5960 }, { "epoch": 497.53333333333336, "grad_norm": 0.0908203125, "learning_rate": 5.166666666666667e-08, "loss": 0.0078, "step": 5970 }, { "epoch": 498.35555555555555, "grad_norm": 0.1494140625, "learning_rate": 3.5e-08, "loss": 0.0077, "step": 5980 }, { "epoch": 499.1777777777778, "grad_norm": 0.078125, "learning_rate": 1.8333333333333335e-08, "loss": 0.0075, "step": 5990 }, { "epoch": 500.0, "grad_norm": 0.177734375, "learning_rate": 1.6666666666666667e-09, "loss": 0.0077, "step": 6000 } ], "logging_steps": 10, "max_steps": 6000, "num_input_tokens_seen": 0, "num_train_epochs": 500, "save_steps": 100, "stateful_callbacks": { "TrainerControl": { "args": { "should_epoch_stop": false, "should_evaluate": false, "should_log": false, "should_save": true, "should_training_stop": true }, "attributes": {} } }, "total_flos": 6.22488471994368e+18, "train_batch_size": 1, "trial_name": null, "trial_params": null }