diff --git "a/trainer_state.json" "b/trainer_state.json" new file mode 100644--- /dev/null +++ "b/trainer_state.json" @@ -0,0 +1,4234 @@ +{ + "best_global_step": null, + "best_metric": null, + "best_model_checkpoint": null, + "epoch": 500.0, + "eval_steps": 500, + "global_step": 6000, + "is_hyper_param_search": false, + "is_local_process_zero": true, + "is_world_process_zero": true, + "log_history": [ + { + "epoch": 0.8888888888888888, + "grad_norm": 0.1865234375, + "learning_rate": 9.985000000000002e-06, + "loss": 0.0904, + "step": 10 + }, + { + "epoch": 1.7111111111111112, + "grad_norm": 0.23828125, + "learning_rate": 9.968333333333334e-06, + "loss": 0.0084, + "step": 20 + }, + { + "epoch": 2.533333333333333, + "grad_norm": 0.1630859375, + "learning_rate": 9.951666666666667e-06, + "loss": 0.008, + "step": 30 + }, + { + "epoch": 3.3555555555555556, + "grad_norm": 0.140625, + "learning_rate": 9.935e-06, + "loss": 0.0079, + "step": 40 + }, + { + "epoch": 4.177777777777778, + "grad_norm": 0.2197265625, + "learning_rate": 9.918333333333335e-06, + "loss": 0.0084, + "step": 50 + }, + { + "epoch": 5.0, + "grad_norm": 0.19921875, + "learning_rate": 9.901666666666667e-06, + "loss": 0.0082, + "step": 60 + }, + { + "epoch": 5.888888888888889, + "grad_norm": 0.07666015625, + "learning_rate": 9.885000000000001e-06, + "loss": 0.0081, + "step": 70 + }, + { + "epoch": 6.711111111111111, + "grad_norm": 0.162109375, + "learning_rate": 9.868333333333333e-06, + "loss": 0.0076, + "step": 80 + }, + { + "epoch": 7.533333333333333, + "grad_norm": 0.078125, + "learning_rate": 9.851666666666667e-06, + "loss": 0.0079, + "step": 90 + }, + { + "epoch": 8.355555555555556, + "grad_norm": 0.1240234375, + "learning_rate": 9.835000000000002e-06, + "loss": 0.0076, + "step": 100 + }, + { + "epoch": 9.177777777777777, + "grad_norm": 0.19921875, + "learning_rate": 9.818333333333334e-06, + "loss": 0.0079, + "step": 110 + }, + { + "epoch": 10.0, + "grad_norm": 0.1728515625, + "learning_rate": 9.801666666666666e-06, + "loss": 0.0078, + "step": 120 + }, + { + "epoch": 10.88888888888889, + "grad_norm": 0.140625, + "learning_rate": 9.785e-06, + "loss": 0.0078, + "step": 130 + }, + { + "epoch": 11.71111111111111, + "grad_norm": 0.138671875, + "learning_rate": 9.768333333333334e-06, + "loss": 0.0077, + "step": 140 + }, + { + "epoch": 12.533333333333333, + "grad_norm": 0.162109375, + "learning_rate": 9.751666666666667e-06, + "loss": 0.008, + "step": 150 + }, + { + "epoch": 13.355555555555556, + "grad_norm": 0.208984375, + "learning_rate": 9.735e-06, + "loss": 0.0077, + "step": 160 + }, + { + "epoch": 14.177777777777777, + "grad_norm": 0.0859375, + "learning_rate": 9.718333333333335e-06, + "loss": 0.0079, + "step": 170 + }, + { + "epoch": 15.0, + "grad_norm": 0.0, + "learning_rate": 9.701666666666667e-06, + "loss": 0.0102, + "step": 180 + }, + { + "epoch": 15.88888888888889, + "grad_norm": 0.1064453125, + "learning_rate": 9.685000000000001e-06, + "loss": 0.0077, + "step": 190 + }, + { + "epoch": 16.711111111111112, + "grad_norm": 0.08935546875, + "learning_rate": 9.668333333333334e-06, + "loss": 0.0082, + "step": 200 + }, + { + "epoch": 17.533333333333335, + "grad_norm": 0.1171875, + "learning_rate": 9.651666666666668e-06, + "loss": 0.008, + "step": 210 + }, + { + "epoch": 18.355555555555554, + "grad_norm": 0.1337890625, + "learning_rate": 9.635000000000002e-06, + "loss": 0.0081, + "step": 220 + }, + { + "epoch": 19.177777777777777, + "grad_norm": 0.07275390625, + "learning_rate": 9.618333333333334e-06, + "loss": 0.0078, + "step": 230 + }, + { + "epoch": 20.0, + "grad_norm": 0.2138671875, + "learning_rate": 9.601666666666666e-06, + "loss": 0.008, + "step": 240 + }, + { + "epoch": 20.88888888888889, + "grad_norm": 0.09521484375, + "learning_rate": 9.585e-06, + "loss": 0.0076, + "step": 250 + }, + { + "epoch": 21.711111111111112, + "grad_norm": 0.2177734375, + "learning_rate": 9.568333333333335e-06, + "loss": 0.008, + "step": 260 + }, + { + "epoch": 22.533333333333335, + "grad_norm": 0.10498046875, + "learning_rate": 9.551666666666669e-06, + "loss": 0.0102, + "step": 270 + }, + { + "epoch": 23.355555555555554, + "grad_norm": 0.0830078125, + "learning_rate": 9.535000000000001e-06, + "loss": 0.0101, + "step": 280 + }, + { + "epoch": 24.177777777777777, + "grad_norm": 0.1455078125, + "learning_rate": 9.518333333333333e-06, + "loss": 0.008, + "step": 290 + }, + { + "epoch": 25.0, + "grad_norm": 0.154296875, + "learning_rate": 9.501666666666667e-06, + "loss": 0.0077, + "step": 300 + }, + { + "epoch": 25.88888888888889, + "grad_norm": 0.0771484375, + "learning_rate": 9.485000000000002e-06, + "loss": 0.0078, + "step": 310 + }, + { + "epoch": 26.711111111111112, + "grad_norm": 0.1640625, + "learning_rate": 9.468333333333334e-06, + "loss": 0.0075, + "step": 320 + }, + { + "epoch": 27.533333333333335, + "grad_norm": 0.1494140625, + "learning_rate": 9.451666666666668e-06, + "loss": 0.0081, + "step": 330 + }, + { + "epoch": 28.355555555555554, + "grad_norm": 0.1689453125, + "learning_rate": 9.435e-06, + "loss": 0.0078, + "step": 340 + }, + { + "epoch": 29.177777777777777, + "grad_norm": 0.103515625, + "learning_rate": 9.418333333333334e-06, + "loss": 0.0079, + "step": 350 + }, + { + "epoch": 30.0, + "grad_norm": 0.384765625, + "learning_rate": 9.401666666666668e-06, + "loss": 0.0077, + "step": 360 + }, + { + "epoch": 30.88888888888889, + "grad_norm": 0.12353515625, + "learning_rate": 9.385e-06, + "loss": 0.0078, + "step": 370 + }, + { + "epoch": 31.711111111111112, + "grad_norm": 0.1591796875, + "learning_rate": 9.368333333333333e-06, + "loss": 0.0078, + "step": 380 + }, + { + "epoch": 32.53333333333333, + "grad_norm": 0.08642578125, + "learning_rate": 9.351666666666667e-06, + "loss": 0.0077, + "step": 390 + }, + { + "epoch": 33.355555555555554, + "grad_norm": 0.19140625, + "learning_rate": 9.335000000000001e-06, + "loss": 0.0079, + "step": 400 + }, + { + "epoch": 34.17777777777778, + "grad_norm": 0.142578125, + "learning_rate": 9.318333333333334e-06, + "loss": 0.0079, + "step": 410 + }, + { + "epoch": 35.0, + "grad_norm": 0.353515625, + "learning_rate": 9.301666666666668e-06, + "loss": 0.0079, + "step": 420 + }, + { + "epoch": 35.888888888888886, + "grad_norm": 0.10400390625, + "learning_rate": 9.285e-06, + "loss": 0.0077, + "step": 430 + }, + { + "epoch": 36.71111111111111, + "grad_norm": 0.10498046875, + "learning_rate": 9.268333333333334e-06, + "loss": 0.008, + "step": 440 + }, + { + "epoch": 37.53333333333333, + "grad_norm": 0.07373046875, + "learning_rate": 9.251666666666668e-06, + "loss": 0.0078, + "step": 450 + }, + { + "epoch": 38.355555555555554, + "grad_norm": 0.1171875, + "learning_rate": 9.235e-06, + "loss": 0.0077, + "step": 460 + }, + { + "epoch": 39.17777777777778, + "grad_norm": 0.10009765625, + "learning_rate": 9.218333333333333e-06, + "loss": 0.0076, + "step": 470 + }, + { + "epoch": 40.0, + "grad_norm": 0.298828125, + "learning_rate": 9.201666666666667e-06, + "loss": 0.0074, + "step": 480 + }, + { + "epoch": 40.888888888888886, + "grad_norm": 0.059814453125, + "learning_rate": 9.185000000000001e-06, + "loss": 0.0078, + "step": 490 + }, + { + "epoch": 41.71111111111111, + "grad_norm": 0.11669921875, + "learning_rate": 9.168333333333333e-06, + "loss": 0.0078, + "step": 500 + }, + { + "epoch": 42.53333333333333, + "grad_norm": 0.095703125, + "learning_rate": 9.151666666666667e-06, + "loss": 0.0077, + "step": 510 + }, + { + "epoch": 43.355555555555554, + "grad_norm": 0.0859375, + "learning_rate": 9.135e-06, + "loss": 0.0076, + "step": 520 + }, + { + "epoch": 44.17777777777778, + "grad_norm": 0.10693359375, + "learning_rate": 9.118333333333334e-06, + "loss": 0.0077, + "step": 530 + }, + { + "epoch": 45.0, + "grad_norm": 0.26953125, + "learning_rate": 9.101666666666668e-06, + "loss": 0.0079, + "step": 540 + }, + { + "epoch": 45.888888888888886, + "grad_norm": 0.08984375, + "learning_rate": 9.085e-06, + "loss": 0.0078, + "step": 550 + }, + { + "epoch": 46.71111111111111, + "grad_norm": 0.07373046875, + "learning_rate": 9.068333333333334e-06, + "loss": 0.0078, + "step": 560 + }, + { + "epoch": 47.53333333333333, + "grad_norm": 0.08544921875, + "learning_rate": 9.051666666666667e-06, + "loss": 0.0078, + "step": 570 + }, + { + "epoch": 48.355555555555554, + "grad_norm": 0.103515625, + "learning_rate": 9.035e-06, + "loss": 0.0077, + "step": 580 + }, + { + "epoch": 49.17777777777778, + "grad_norm": 0.1240234375, + "learning_rate": 9.018333333333335e-06, + "loss": 0.0078, + "step": 590 + }, + { + "epoch": 50.0, + "grad_norm": 0.314453125, + "learning_rate": 9.001666666666667e-06, + "loss": 0.0075, + "step": 600 + }, + { + "epoch": 50.888888888888886, + "grad_norm": 0.1357421875, + "learning_rate": 8.985000000000001e-06, + "loss": 0.0079, + "step": 610 + }, + { + "epoch": 51.71111111111111, + "grad_norm": 0.11279296875, + "learning_rate": 8.968333333333335e-06, + "loss": 0.0075, + "step": 620 + }, + { + "epoch": 52.53333333333333, + "grad_norm": 0.13671875, + "learning_rate": 8.951666666666668e-06, + "loss": 0.0102, + "step": 630 + }, + { + "epoch": 53.355555555555554, + "grad_norm": 0.0458984375, + "learning_rate": 8.935e-06, + "loss": 0.0078, + "step": 640 + }, + { + "epoch": 54.17777777777778, + "grad_norm": 0.1572265625, + "learning_rate": 8.918333333333334e-06, + "loss": 0.0077, + "step": 650 + }, + { + "epoch": 55.0, + "grad_norm": 0.1875, + "learning_rate": 8.901666666666668e-06, + "loss": 0.0079, + "step": 660 + }, + { + "epoch": 55.888888888888886, + "grad_norm": 0.146484375, + "learning_rate": 8.885e-06, + "loss": 0.0079, + "step": 670 + }, + { + "epoch": 56.71111111111111, + "grad_norm": 0.1044921875, + "learning_rate": 8.868333333333335e-06, + "loss": 0.0077, + "step": 680 + }, + { + "epoch": 57.53333333333333, + "grad_norm": 0.083984375, + "learning_rate": 8.851666666666667e-06, + "loss": 0.0073, + "step": 690 + }, + { + "epoch": 58.355555555555554, + "grad_norm": 0.146484375, + "learning_rate": 8.835000000000001e-06, + "loss": 0.0082, + "step": 700 + }, + { + "epoch": 59.17777777777778, + "grad_norm": 0.1474609375, + "learning_rate": 8.818333333333335e-06, + "loss": 0.0078, + "step": 710 + }, + { + "epoch": 60.0, + "grad_norm": 0.1806640625, + "learning_rate": 8.801666666666667e-06, + "loss": 0.0078, + "step": 720 + }, + { + "epoch": 60.888888888888886, + "grad_norm": 0.08984375, + "learning_rate": 8.785e-06, + "loss": 0.0077, + "step": 730 + }, + { + "epoch": 61.71111111111111, + "grad_norm": 0.0859375, + "learning_rate": 8.768333333333334e-06, + "loss": 0.0077, + "step": 740 + }, + { + "epoch": 62.53333333333333, + "grad_norm": 0.058349609375, + "learning_rate": 8.751666666666668e-06, + "loss": 0.0079, + "step": 750 + }, + { + "epoch": 63.355555555555554, + "grad_norm": 0.0732421875, + "learning_rate": 8.735000000000002e-06, + "loss": 0.0078, + "step": 760 + }, + { + "epoch": 64.17777777777778, + "grad_norm": 0.10546875, + "learning_rate": 8.718333333333334e-06, + "loss": 0.0077, + "step": 770 + }, + { + "epoch": 65.0, + "grad_norm": 0.404296875, + "learning_rate": 8.701666666666667e-06, + "loss": 0.0078, + "step": 780 + }, + { + "epoch": 65.88888888888889, + "grad_norm": 0.06884765625, + "learning_rate": 8.685e-06, + "loss": 0.0078, + "step": 790 + }, + { + "epoch": 66.71111111111111, + "grad_norm": 0.09521484375, + "learning_rate": 8.668333333333335e-06, + "loss": 0.0079, + "step": 800 + }, + { + "epoch": 67.53333333333333, + "grad_norm": 0.1259765625, + "learning_rate": 8.651666666666667e-06, + "loss": 0.0075, + "step": 810 + }, + { + "epoch": 68.35555555555555, + "grad_norm": 0.08984375, + "learning_rate": 8.635000000000001e-06, + "loss": 0.0078, + "step": 820 + }, + { + "epoch": 69.17777777777778, + "grad_norm": 0.08447265625, + "learning_rate": 8.618333333333334e-06, + "loss": 0.0075, + "step": 830 + }, + { + "epoch": 70.0, + "grad_norm": 0.1630859375, + "learning_rate": 8.601666666666668e-06, + "loss": 0.0078, + "step": 840 + }, + { + "epoch": 70.88888888888889, + "grad_norm": 0.12353515625, + "learning_rate": 8.585000000000002e-06, + "loss": 0.0077, + "step": 850 + }, + { + "epoch": 71.71111111111111, + "grad_norm": 0.06494140625, + "learning_rate": 8.568333333333334e-06, + "loss": 0.0101, + "step": 860 + }, + { + "epoch": 72.53333333333333, + "grad_norm": 0.11376953125, + "learning_rate": 8.551666666666666e-06, + "loss": 0.0077, + "step": 870 + }, + { + "epoch": 73.35555555555555, + "grad_norm": 0.052490234375, + "learning_rate": 8.535e-06, + "loss": 0.0078, + "step": 880 + }, + { + "epoch": 74.17777777777778, + "grad_norm": 0.080078125, + "learning_rate": 8.518333333333335e-06, + "loss": 0.0079, + "step": 890 + }, + { + "epoch": 75.0, + "grad_norm": 0.189453125, + "learning_rate": 8.501666666666667e-06, + "loss": 0.0076, + "step": 900 + }, + { + "epoch": 75.88888888888889, + "grad_norm": 0.140625, + "learning_rate": 8.485000000000001e-06, + "loss": 0.0077, + "step": 910 + }, + { + "epoch": 76.71111111111111, + "grad_norm": 0.103515625, + "learning_rate": 8.468333333333333e-06, + "loss": 0.008, + "step": 920 + }, + { + "epoch": 77.53333333333333, + "grad_norm": 0.09326171875, + "learning_rate": 8.451666666666667e-06, + "loss": 0.0075, + "step": 930 + }, + { + "epoch": 78.35555555555555, + "grad_norm": 0.07666015625, + "learning_rate": 8.435000000000001e-06, + "loss": 0.0076, + "step": 940 + }, + { + "epoch": 79.17777777777778, + "grad_norm": 0.11865234375, + "learning_rate": 8.418333333333334e-06, + "loss": 0.0079, + "step": 950 + }, + { + "epoch": 80.0, + "grad_norm": 0.2265625, + "learning_rate": 8.401666666666666e-06, + "loss": 0.0077, + "step": 960 + }, + { + "epoch": 80.88888888888889, + "grad_norm": 0.09619140625, + "learning_rate": 8.385e-06, + "loss": 0.0078, + "step": 970 + }, + { + "epoch": 81.71111111111111, + "grad_norm": 0.08544921875, + "learning_rate": 8.368333333333334e-06, + "loss": 0.0076, + "step": 980 + }, + { + "epoch": 82.53333333333333, + "grad_norm": 0.08935546875, + "learning_rate": 8.351666666666667e-06, + "loss": 0.0075, + "step": 990 + }, + { + "epoch": 83.35555555555555, + "grad_norm": 0.140625, + "learning_rate": 8.335e-06, + "loss": 0.0083, + "step": 1000 + }, + { + "epoch": 84.17777777777778, + "grad_norm": 0.1240234375, + "learning_rate": 8.318333333333333e-06, + "loss": 0.0077, + "step": 1010 + }, + { + "epoch": 85.0, + "grad_norm": 0.20703125, + "learning_rate": 8.301666666666667e-06, + "loss": 0.0078, + "step": 1020 + }, + { + "epoch": 85.88888888888889, + "grad_norm": 0.126953125, + "learning_rate": 8.285000000000001e-06, + "loss": 0.0078, + "step": 1030 + }, + { + "epoch": 86.71111111111111, + "grad_norm": 0.07275390625, + "learning_rate": 8.268333333333334e-06, + "loss": 0.0075, + "step": 1040 + }, + { + "epoch": 87.53333333333333, + "grad_norm": 0.07666015625, + "learning_rate": 8.251666666666668e-06, + "loss": 0.008, + "step": 1050 + }, + { + "epoch": 88.35555555555555, + "grad_norm": 0.1005859375, + "learning_rate": 8.235e-06, + "loss": 0.0077, + "step": 1060 + }, + { + "epoch": 89.17777777777778, + "grad_norm": 0.072265625, + "learning_rate": 8.218333333333334e-06, + "loss": 0.0079, + "step": 1070 + }, + { + "epoch": 90.0, + "grad_norm": 0.306640625, + "learning_rate": 8.201666666666668e-06, + "loss": 0.0078, + "step": 1080 + }, + { + "epoch": 90.88888888888889, + "grad_norm": 0.1318359375, + "learning_rate": 8.185e-06, + "loss": 0.0078, + "step": 1090 + }, + { + "epoch": 91.71111111111111, + "grad_norm": 0.1025390625, + "learning_rate": 8.168333333333334e-06, + "loss": 0.008, + "step": 1100 + }, + { + "epoch": 92.53333333333333, + "grad_norm": 0.08544921875, + "learning_rate": 8.151666666666669e-06, + "loss": 0.0072, + "step": 1110 + }, + { + "epoch": 93.35555555555555, + "grad_norm": 0.146484375, + "learning_rate": 8.135000000000001e-06, + "loss": 0.0079, + "step": 1120 + }, + { + "epoch": 94.17777777777778, + "grad_norm": 0.1650390625, + "learning_rate": 8.118333333333333e-06, + "loss": 0.0076, + "step": 1130 + }, + { + "epoch": 95.0, + "grad_norm": 0.33203125, + "learning_rate": 8.101666666666667e-06, + "loss": 0.0079, + "step": 1140 + }, + { + "epoch": 95.88888888888889, + "grad_norm": 0.1162109375, + "learning_rate": 8.085000000000001e-06, + "loss": 0.0077, + "step": 1150 + }, + { + "epoch": 96.71111111111111, + "grad_norm": 0.09228515625, + "learning_rate": 8.068333333333334e-06, + "loss": 0.008, + "step": 1160 + }, + { + "epoch": 97.53333333333333, + "grad_norm": 0.154296875, + "learning_rate": 8.051666666666668e-06, + "loss": 0.0078, + "step": 1170 + }, + { + "epoch": 98.35555555555555, + "grad_norm": 0.10693359375, + "learning_rate": 8.035e-06, + "loss": 0.0077, + "step": 1180 + }, + { + "epoch": 99.17777777777778, + "grad_norm": 0.0908203125, + "learning_rate": 8.018333333333334e-06, + "loss": 0.0078, + "step": 1190 + }, + { + "epoch": 100.0, + "grad_norm": 0.2734375, + "learning_rate": 8.001666666666668e-06, + "loss": 0.0076, + "step": 1200 + }, + { + "epoch": 100.88888888888889, + "grad_norm": 0.10986328125, + "learning_rate": 7.985e-06, + "loss": 0.0079, + "step": 1210 + }, + { + "epoch": 101.71111111111111, + "grad_norm": 0.08447265625, + "learning_rate": 7.968333333333333e-06, + "loss": 0.0075, + "step": 1220 + }, + { + "epoch": 102.53333333333333, + "grad_norm": 0.0966796875, + "learning_rate": 7.951666666666667e-06, + "loss": 0.0078, + "step": 1230 + }, + { + "epoch": 103.35555555555555, + "grad_norm": 0.052978515625, + "learning_rate": 7.935000000000001e-06, + "loss": 0.0077, + "step": 1240 + }, + { + "epoch": 104.17777777777778, + "grad_norm": 0.146484375, + "learning_rate": 7.918333333333333e-06, + "loss": 0.0081, + "step": 1250 + }, + { + "epoch": 105.0, + "grad_norm": 0.283203125, + "learning_rate": 7.901666666666668e-06, + "loss": 0.0074, + "step": 1260 + }, + { + "epoch": 105.88888888888889, + "grad_norm": 0.08251953125, + "learning_rate": 7.885e-06, + "loss": 0.0078, + "step": 1270 + }, + { + "epoch": 106.71111111111111, + "grad_norm": 0.08740234375, + "learning_rate": 7.868333333333334e-06, + "loss": 0.0076, + "step": 1280 + }, + { + "epoch": 107.53333333333333, + "grad_norm": 0.0908203125, + "learning_rate": 7.851666666666668e-06, + "loss": 0.0076, + "step": 1290 + }, + { + "epoch": 108.35555555555555, + "grad_norm": 0.1259765625, + "learning_rate": 7.835e-06, + "loss": 0.0078, + "step": 1300 + }, + { + "epoch": 109.17777777777778, + "grad_norm": 0.1103515625, + "learning_rate": 7.818333333333334e-06, + "loss": 0.0075, + "step": 1310 + }, + { + "epoch": 110.0, + "grad_norm": 0.1845703125, + "learning_rate": 7.801666666666667e-06, + "loss": 0.0079, + "step": 1320 + }, + { + "epoch": 110.88888888888889, + "grad_norm": 0.10009765625, + "learning_rate": 7.785000000000001e-06, + "loss": 0.0078, + "step": 1330 + }, + { + "epoch": 111.71111111111111, + "grad_norm": 0.07470703125, + "learning_rate": 7.768333333333335e-06, + "loss": 0.0078, + "step": 1340 + }, + { + "epoch": 112.53333333333333, + "grad_norm": 0.1572265625, + "learning_rate": 7.751666666666667e-06, + "loss": 0.0076, + "step": 1350 + }, + { + "epoch": 113.35555555555555, + "grad_norm": 0.1875, + "learning_rate": 7.735e-06, + "loss": 0.0076, + "step": 1360 + }, + { + "epoch": 114.17777777777778, + "grad_norm": 0.10888671875, + "learning_rate": 7.718333333333334e-06, + "loss": 0.0078, + "step": 1370 + }, + { + "epoch": 115.0, + "grad_norm": 0.369140625, + "learning_rate": 7.701666666666668e-06, + "loss": 0.0079, + "step": 1380 + }, + { + "epoch": 115.88888888888889, + "grad_norm": 0.095703125, + "learning_rate": 7.685e-06, + "loss": 0.0078, + "step": 1390 + }, + { + "epoch": 116.71111111111111, + "grad_norm": 0.09619140625, + "learning_rate": 7.668333333333334e-06, + "loss": 0.0078, + "step": 1400 + }, + { + "epoch": 117.53333333333333, + "grad_norm": 0.1318359375, + "learning_rate": 7.651666666666667e-06, + "loss": 0.008, + "step": 1410 + }, + { + "epoch": 118.35555555555555, + "grad_norm": 0.1279296875, + "learning_rate": 7.635e-06, + "loss": 0.0078, + "step": 1420 + }, + { + "epoch": 119.17777777777778, + "grad_norm": 0.11572265625, + "learning_rate": 7.618333333333335e-06, + "loss": 0.0077, + "step": 1430 + }, + { + "epoch": 120.0, + "grad_norm": 0.185546875, + "learning_rate": 7.601666666666667e-06, + "loss": 0.0076, + "step": 1440 + }, + { + "epoch": 120.88888888888889, + "grad_norm": 0.103515625, + "learning_rate": 7.585e-06, + "loss": 0.0079, + "step": 1450 + }, + { + "epoch": 121.71111111111111, + "grad_norm": 0.08447265625, + "learning_rate": 7.568333333333334e-06, + "loss": 0.0076, + "step": 1460 + }, + { + "epoch": 122.53333333333333, + "grad_norm": 0.1005859375, + "learning_rate": 7.5516666666666675e-06, + "loss": 0.0078, + "step": 1470 + }, + { + "epoch": 123.35555555555555, + "grad_norm": 0.1748046875, + "learning_rate": 7.535e-06, + "loss": 0.0099, + "step": 1480 + }, + { + "epoch": 124.17777777777778, + "grad_norm": 0.107421875, + "learning_rate": 7.518333333333334e-06, + "loss": 0.0079, + "step": 1490 + }, + { + "epoch": 125.0, + "grad_norm": 0.28515625, + "learning_rate": 7.501666666666667e-06, + "loss": 0.0074, + "step": 1500 + }, + { + "epoch": 125.88888888888889, + "grad_norm": 0.07470703125, + "learning_rate": 7.485000000000001e-06, + "loss": 0.0078, + "step": 1510 + }, + { + "epoch": 126.71111111111111, + "grad_norm": 0.11328125, + "learning_rate": 7.468333333333334e-06, + "loss": 0.0077, + "step": 1520 + }, + { + "epoch": 127.53333333333333, + "grad_norm": 0.064453125, + "learning_rate": 7.451666666666667e-06, + "loss": 0.0077, + "step": 1530 + }, + { + "epoch": 128.35555555555555, + "grad_norm": 0.0732421875, + "learning_rate": 7.435000000000001e-06, + "loss": 0.0078, + "step": 1540 + }, + { + "epoch": 129.17777777777778, + "grad_norm": 0.08544921875, + "learning_rate": 7.418333333333334e-06, + "loss": 0.0103, + "step": 1550 + }, + { + "epoch": 130.0, + "grad_norm": 0.216796875, + "learning_rate": 7.401666666666667e-06, + "loss": 0.0077, + "step": 1560 + }, + { + "epoch": 130.88888888888889, + "grad_norm": 0.07568359375, + "learning_rate": 7.385000000000001e-06, + "loss": 0.0078, + "step": 1570 + }, + { + "epoch": 131.7111111111111, + "grad_norm": 0.1220703125, + "learning_rate": 7.368333333333334e-06, + "loss": 0.0079, + "step": 1580 + }, + { + "epoch": 132.53333333333333, + "grad_norm": 0.07275390625, + "learning_rate": 7.351666666666667e-06, + "loss": 0.0075, + "step": 1590 + }, + { + "epoch": 133.35555555555555, + "grad_norm": 0.1123046875, + "learning_rate": 7.335000000000001e-06, + "loss": 0.0081, + "step": 1600 + }, + { + "epoch": 134.17777777777778, + "grad_norm": 0.07373046875, + "learning_rate": 7.318333333333334e-06, + "loss": 0.0076, + "step": 1610 + }, + { + "epoch": 135.0, + "grad_norm": 0.21875, + "learning_rate": 7.3016666666666665e-06, + "loss": 0.008, + "step": 1620 + }, + { + "epoch": 135.88888888888889, + "grad_norm": 0.103515625, + "learning_rate": 7.2850000000000006e-06, + "loss": 0.0077, + "step": 1630 + }, + { + "epoch": 136.7111111111111, + "grad_norm": 0.125, + "learning_rate": 7.268333333333334e-06, + "loss": 0.0099, + "step": 1640 + }, + { + "epoch": 137.53333333333333, + "grad_norm": 0.09130859375, + "learning_rate": 7.251666666666667e-06, + "loss": 0.0079, + "step": 1650 + }, + { + "epoch": 138.35555555555555, + "grad_norm": 0.07861328125, + "learning_rate": 7.235000000000001e-06, + "loss": 0.0076, + "step": 1660 + }, + { + "epoch": 139.17777777777778, + "grad_norm": 0.08251953125, + "learning_rate": 7.218333333333334e-06, + "loss": 0.0077, + "step": 1670 + }, + { + "epoch": 140.0, + "grad_norm": 0.17578125, + "learning_rate": 7.201666666666667e-06, + "loss": 0.0076, + "step": 1680 + }, + { + "epoch": 140.88888888888889, + "grad_norm": 0.05419921875, + "learning_rate": 7.185000000000001e-06, + "loss": 0.0077, + "step": 1690 + }, + { + "epoch": 141.7111111111111, + "grad_norm": 0.12890625, + "learning_rate": 7.168333333333334e-06, + "loss": 0.0077, + "step": 1700 + }, + { + "epoch": 142.53333333333333, + "grad_norm": 0.08642578125, + "learning_rate": 7.151666666666667e-06, + "loss": 0.0079, + "step": 1710 + }, + { + "epoch": 143.35555555555555, + "grad_norm": 0.0927734375, + "learning_rate": 7.135000000000001e-06, + "loss": 0.0077, + "step": 1720 + }, + { + "epoch": 144.17777777777778, + "grad_norm": 0.11279296875, + "learning_rate": 7.1183333333333335e-06, + "loss": 0.0077, + "step": 1730 + }, + { + "epoch": 145.0, + "grad_norm": 0.146484375, + "learning_rate": 7.101666666666667e-06, + "loss": 0.0077, + "step": 1740 + }, + { + "epoch": 145.88888888888889, + "grad_norm": 0.0859375, + "learning_rate": 7.085000000000001e-06, + "loss": 0.0076, + "step": 1750 + }, + { + "epoch": 146.7111111111111, + "grad_norm": 0.12890625, + "learning_rate": 7.068333333333334e-06, + "loss": 0.008, + "step": 1760 + }, + { + "epoch": 147.53333333333333, + "grad_norm": 0.0810546875, + "learning_rate": 7.051666666666668e-06, + "loss": 0.0072, + "step": 1770 + }, + { + "epoch": 148.35555555555555, + "grad_norm": 0.158203125, + "learning_rate": 7.035e-06, + "loss": 0.0078, + "step": 1780 + }, + { + "epoch": 149.17777777777778, + "grad_norm": 0.06787109375, + "learning_rate": 7.018333333333334e-06, + "loss": 0.0076, + "step": 1790 + }, + { + "epoch": 150.0, + "grad_norm": 0.1787109375, + "learning_rate": 7.001666666666668e-06, + "loss": 0.0076, + "step": 1800 + }, + { + "epoch": 150.88888888888889, + "grad_norm": 0.07568359375, + "learning_rate": 6.985000000000001e-06, + "loss": 0.0077, + "step": 1810 + }, + { + "epoch": 151.7111111111111, + "grad_norm": 0.08837890625, + "learning_rate": 6.968333333333333e-06, + "loss": 0.008, + "step": 1820 + }, + { + "epoch": 152.53333333333333, + "grad_norm": 0.09130859375, + "learning_rate": 6.951666666666667e-06, + "loss": 0.0076, + "step": 1830 + }, + { + "epoch": 153.35555555555555, + "grad_norm": 0.13671875, + "learning_rate": 6.9350000000000005e-06, + "loss": 0.0077, + "step": 1840 + }, + { + "epoch": 154.17777777777778, + "grad_norm": 0.087890625, + "learning_rate": 6.918333333333334e-06, + "loss": 0.0078, + "step": 1850 + }, + { + "epoch": 155.0, + "grad_norm": 0.330078125, + "learning_rate": 6.901666666666668e-06, + "loss": 0.0079, + "step": 1860 + }, + { + "epoch": 155.88888888888889, + "grad_norm": 0.10693359375, + "learning_rate": 6.885e-06, + "loss": 0.0078, + "step": 1870 + }, + { + "epoch": 156.7111111111111, + "grad_norm": 0.08203125, + "learning_rate": 6.868333333333333e-06, + "loss": 0.0077, + "step": 1880 + }, + { + "epoch": 157.53333333333333, + "grad_norm": 0.09033203125, + "learning_rate": 6.851666666666667e-06, + "loss": 0.0077, + "step": 1890 + }, + { + "epoch": 158.35555555555555, + "grad_norm": 0.150390625, + "learning_rate": 6.835000000000001e-06, + "loss": 0.0079, + "step": 1900 + }, + { + "epoch": 159.17777777777778, + "grad_norm": 0.0986328125, + "learning_rate": 6.818333333333334e-06, + "loss": 0.0077, + "step": 1910 + }, + { + "epoch": 160.0, + "grad_norm": 0.31640625, + "learning_rate": 6.801666666666668e-06, + "loss": 0.0078, + "step": 1920 + }, + { + "epoch": 160.88888888888889, + "grad_norm": 0.10595703125, + "learning_rate": 6.785e-06, + "loss": 0.0078, + "step": 1930 + }, + { + "epoch": 161.7111111111111, + "grad_norm": 0.07861328125, + "learning_rate": 6.7683333333333335e-06, + "loss": 0.0079, + "step": 1940 + }, + { + "epoch": 162.53333333333333, + "grad_norm": 0.1103515625, + "learning_rate": 6.7516666666666675e-06, + "loss": 0.0076, + "step": 1950 + }, + { + "epoch": 163.35555555555555, + "grad_norm": 0.1142578125, + "learning_rate": 6.735000000000001e-06, + "loss": 0.008, + "step": 1960 + }, + { + "epoch": 164.17777777777778, + "grad_norm": 0.0830078125, + "learning_rate": 6.718333333333333e-06, + "loss": 0.0078, + "step": 1970 + }, + { + "epoch": 165.0, + "grad_norm": 0.1953125, + "learning_rate": 6.701666666666667e-06, + "loss": 0.0075, + "step": 1980 + }, + { + "epoch": 165.88888888888889, + "grad_norm": 0.11474609375, + "learning_rate": 6.685e-06, + "loss": 0.0078, + "step": 1990 + }, + { + "epoch": 166.7111111111111, + "grad_norm": 0.12255859375, + "learning_rate": 6.668333333333334e-06, + "loss": 0.0075, + "step": 2000 + }, + { + "epoch": 167.53333333333333, + "grad_norm": 0.0986328125, + "learning_rate": 6.651666666666668e-06, + "loss": 0.0079, + "step": 2010 + }, + { + "epoch": 168.35555555555555, + "grad_norm": 0.091796875, + "learning_rate": 6.635e-06, + "loss": 0.0075, + "step": 2020 + }, + { + "epoch": 169.17777777777778, + "grad_norm": 0.078125, + "learning_rate": 6.618333333333334e-06, + "loss": 0.0078, + "step": 2030 + }, + { + "epoch": 170.0, + "grad_norm": 0.23046875, + "learning_rate": 6.601666666666667e-06, + "loss": 0.0077, + "step": 2040 + }, + { + "epoch": 170.88888888888889, + "grad_norm": 0.059326171875, + "learning_rate": 6.5850000000000005e-06, + "loss": 0.0077, + "step": 2050 + }, + { + "epoch": 171.7111111111111, + "grad_norm": 0.1328125, + "learning_rate": 6.5683333333333345e-06, + "loss": 0.008, + "step": 2060 + }, + { + "epoch": 172.53333333333333, + "grad_norm": 0.0693359375, + "learning_rate": 6.551666666666667e-06, + "loss": 0.0076, + "step": 2070 + }, + { + "epoch": 173.35555555555555, + "grad_norm": 0.09912109375, + "learning_rate": 6.535e-06, + "loss": 0.0075, + "step": 2080 + }, + { + "epoch": 174.17777777777778, + "grad_norm": 0.0693359375, + "learning_rate": 6.518333333333334e-06, + "loss": 0.0079, + "step": 2090 + }, + { + "epoch": 175.0, + "grad_norm": 0.1806640625, + "learning_rate": 6.501666666666667e-06, + "loss": 0.0077, + "step": 2100 + }, + { + "epoch": 175.88888888888889, + "grad_norm": 0.11328125, + "learning_rate": 6.485000000000001e-06, + "loss": 0.0077, + "step": 2110 + }, + { + "epoch": 176.7111111111111, + "grad_norm": 0.08740234375, + "learning_rate": 6.468333333333335e-06, + "loss": 0.0078, + "step": 2120 + }, + { + "epoch": 177.53333333333333, + "grad_norm": 0.140625, + "learning_rate": 6.451666666666667e-06, + "loss": 0.008, + "step": 2130 + }, + { + "epoch": 178.35555555555555, + "grad_norm": 0.04833984375, + "learning_rate": 6.435e-06, + "loss": 0.0075, + "step": 2140 + }, + { + "epoch": 179.17777777777778, + "grad_norm": 0.1328125, + "learning_rate": 6.418333333333334e-06, + "loss": 0.0077, + "step": 2150 + }, + { + "epoch": 180.0, + "grad_norm": 0.0, + "learning_rate": 6.4016666666666675e-06, + "loss": 0.0101, + "step": 2160 + }, + { + "epoch": 180.88888888888889, + "grad_norm": 0.0908203125, + "learning_rate": 6.385e-06, + "loss": 0.0077, + "step": 2170 + }, + { + "epoch": 181.7111111111111, + "grad_norm": 0.10302734375, + "learning_rate": 6.368333333333334e-06, + "loss": 0.0074, + "step": 2180 + }, + { + "epoch": 182.53333333333333, + "grad_norm": 0.072265625, + "learning_rate": 6.351666666666667e-06, + "loss": 0.0078, + "step": 2190 + }, + { + "epoch": 183.35555555555555, + "grad_norm": 0.080078125, + "learning_rate": 6.335e-06, + "loss": 0.0079, + "step": 2200 + }, + { + "epoch": 184.17777777777778, + "grad_norm": 0.08740234375, + "learning_rate": 6.318333333333334e-06, + "loss": 0.0077, + "step": 2210 + }, + { + "epoch": 185.0, + "grad_norm": 0.2216796875, + "learning_rate": 6.301666666666667e-06, + "loss": 0.0078, + "step": 2220 + }, + { + "epoch": 185.88888888888889, + "grad_norm": 0.09033203125, + "learning_rate": 6.285e-06, + "loss": 0.0079, + "step": 2230 + }, + { + "epoch": 186.7111111111111, + "grad_norm": 0.1435546875, + "learning_rate": 6.268333333333334e-06, + "loss": 0.0076, + "step": 2240 + }, + { + "epoch": 187.53333333333333, + "grad_norm": 0.09521484375, + "learning_rate": 6.251666666666667e-06, + "loss": 0.0077, + "step": 2250 + }, + { + "epoch": 188.35555555555555, + "grad_norm": 0.10400390625, + "learning_rate": 6.235000000000001e-06, + "loss": 0.0081, + "step": 2260 + }, + { + "epoch": 189.17777777777778, + "grad_norm": 0.11181640625, + "learning_rate": 6.218333333333334e-06, + "loss": 0.0075, + "step": 2270 + }, + { + "epoch": 190.0, + "grad_norm": 0.2119140625, + "learning_rate": 6.201666666666667e-06, + "loss": 0.0078, + "step": 2280 + }, + { + "epoch": 190.88888888888889, + "grad_norm": 0.0966796875, + "learning_rate": 6.185000000000001e-06, + "loss": 0.0077, + "step": 2290 + }, + { + "epoch": 191.7111111111111, + "grad_norm": 0.1142578125, + "learning_rate": 6.168333333333334e-06, + "loss": 0.0078, + "step": 2300 + }, + { + "epoch": 192.53333333333333, + "grad_norm": 0.07080078125, + "learning_rate": 6.1516666666666665e-06, + "loss": 0.0076, + "step": 2310 + }, + { + "epoch": 193.35555555555555, + "grad_norm": 0.12158203125, + "learning_rate": 6.1350000000000006e-06, + "loss": 0.0077, + "step": 2320 + }, + { + "epoch": 194.17777777777778, + "grad_norm": 0.07861328125, + "learning_rate": 6.118333333333334e-06, + "loss": 0.0077, + "step": 2330 + }, + { + "epoch": 195.0, + "grad_norm": 0.298828125, + "learning_rate": 6.101666666666667e-06, + "loss": 0.0078, + "step": 2340 + }, + { + "epoch": 195.88888888888889, + "grad_norm": 0.10107421875, + "learning_rate": 6.085000000000001e-06, + "loss": 0.0076, + "step": 2350 + }, + { + "epoch": 196.7111111111111, + "grad_norm": 0.115234375, + "learning_rate": 6.068333333333334e-06, + "loss": 0.0102, + "step": 2360 + }, + { + "epoch": 197.53333333333333, + "grad_norm": 0.1162109375, + "learning_rate": 6.051666666666667e-06, + "loss": 0.0078, + "step": 2370 + }, + { + "epoch": 198.35555555555555, + "grad_norm": 0.08837890625, + "learning_rate": 6.035000000000001e-06, + "loss": 0.0078, + "step": 2380 + }, + { + "epoch": 199.17777777777778, + "grad_norm": 0.0625, + "learning_rate": 6.018333333333334e-06, + "loss": 0.0101, + "step": 2390 + }, + { + "epoch": 200.0, + "grad_norm": 0.1748046875, + "learning_rate": 6.001666666666667e-06, + "loss": 0.0077, + "step": 2400 + }, + { + "epoch": 200.88888888888889, + "grad_norm": 0.0927734375, + "learning_rate": 5.985000000000001e-06, + "loss": 0.0077, + "step": 2410 + }, + { + "epoch": 201.7111111111111, + "grad_norm": 0.053466796875, + "learning_rate": 5.9683333333333335e-06, + "loss": 0.0073, + "step": 2420 + }, + { + "epoch": 202.53333333333333, + "grad_norm": 0.08544921875, + "learning_rate": 5.951666666666667e-06, + "loss": 0.0081, + "step": 2430 + }, + { + "epoch": 203.35555555555555, + "grad_norm": 0.076171875, + "learning_rate": 5.935000000000001e-06, + "loss": 0.0075, + "step": 2440 + }, + { + "epoch": 204.17777777777778, + "grad_norm": 0.11083984375, + "learning_rate": 5.918333333333334e-06, + "loss": 0.0077, + "step": 2450 + }, + { + "epoch": 205.0, + "grad_norm": 0.263671875, + "learning_rate": 5.901666666666666e-06, + "loss": 0.0073, + "step": 2460 + }, + { + "epoch": 205.88888888888889, + "grad_norm": 0.09423828125, + "learning_rate": 5.885e-06, + "loss": 0.0076, + "step": 2470 + }, + { + "epoch": 206.7111111111111, + "grad_norm": 0.06689453125, + "learning_rate": 5.868333333333334e-06, + "loss": 0.0078, + "step": 2480 + }, + { + "epoch": 207.53333333333333, + "grad_norm": 0.09716796875, + "learning_rate": 5.851666666666667e-06, + "loss": 0.0077, + "step": 2490 + }, + { + "epoch": 208.35555555555555, + "grad_norm": 0.09765625, + "learning_rate": 5.835000000000001e-06, + "loss": 0.0077, + "step": 2500 + }, + { + "epoch": 209.17777777777778, + "grad_norm": 0.0947265625, + "learning_rate": 5.818333333333333e-06, + "loss": 0.0078, + "step": 2510 + }, + { + "epoch": 210.0, + "grad_norm": 0.21875, + "learning_rate": 5.801666666666667e-06, + "loss": 0.0079, + "step": 2520 + }, + { + "epoch": 210.88888888888889, + "grad_norm": 0.052978515625, + "learning_rate": 5.7850000000000005e-06, + "loss": 0.0078, + "step": 2530 + }, + { + "epoch": 211.7111111111111, + "grad_norm": 0.15625, + "learning_rate": 5.768333333333334e-06, + "loss": 0.0077, + "step": 2540 + }, + { + "epoch": 212.53333333333333, + "grad_norm": 0.12158203125, + "learning_rate": 5.751666666666668e-06, + "loss": 0.008, + "step": 2550 + }, + { + "epoch": 213.35555555555555, + "grad_norm": 0.076171875, + "learning_rate": 5.735e-06, + "loss": 0.0077, + "step": 2560 + }, + { + "epoch": 214.17777777777778, + "grad_norm": 0.11474609375, + "learning_rate": 5.718333333333333e-06, + "loss": 0.0075, + "step": 2570 + }, + { + "epoch": 215.0, + "grad_norm": 0.2236328125, + "learning_rate": 5.701666666666667e-06, + "loss": 0.0079, + "step": 2580 + }, + { + "epoch": 215.88888888888889, + "grad_norm": 0.064453125, + "learning_rate": 5.685000000000001e-06, + "loss": 0.0077, + "step": 2590 + }, + { + "epoch": 216.7111111111111, + "grad_norm": 0.138671875, + "learning_rate": 5.668333333333334e-06, + "loss": 0.0078, + "step": 2600 + }, + { + "epoch": 217.53333333333333, + "grad_norm": 0.1318359375, + "learning_rate": 5.651666666666668e-06, + "loss": 0.0078, + "step": 2610 + }, + { + "epoch": 218.35555555555555, + "grad_norm": 0.07568359375, + "learning_rate": 5.635e-06, + "loss": 0.0076, + "step": 2620 + }, + { + "epoch": 219.17777777777778, + "grad_norm": 0.06982421875, + "learning_rate": 5.6183333333333335e-06, + "loss": 0.0076, + "step": 2630 + }, + { + "epoch": 220.0, + "grad_norm": 0.265625, + "learning_rate": 5.6016666666666675e-06, + "loss": 0.0074, + "step": 2640 + }, + { + "epoch": 220.88888888888889, + "grad_norm": 0.07568359375, + "learning_rate": 5.585000000000001e-06, + "loss": 0.0077, + "step": 2650 + }, + { + "epoch": 221.7111111111111, + "grad_norm": 0.0927734375, + "learning_rate": 5.568333333333333e-06, + "loss": 0.0076, + "step": 2660 + }, + { + "epoch": 222.53333333333333, + "grad_norm": 0.0732421875, + "learning_rate": 5.551666666666667e-06, + "loss": 0.0078, + "step": 2670 + }, + { + "epoch": 223.35555555555555, + "grad_norm": 0.07177734375, + "learning_rate": 5.535e-06, + "loss": 0.0076, + "step": 2680 + }, + { + "epoch": 224.17777777777778, + "grad_norm": 0.078125, + "learning_rate": 5.518333333333334e-06, + "loss": 0.008, + "step": 2690 + }, + { + "epoch": 225.0, + "grad_norm": 0.1796875, + "learning_rate": 5.501666666666668e-06, + "loss": 0.0076, + "step": 2700 + }, + { + "epoch": 225.88888888888889, + "grad_norm": 0.0673828125, + "learning_rate": 5.485e-06, + "loss": 0.0078, + "step": 2710 + }, + { + "epoch": 226.7111111111111, + "grad_norm": 0.126953125, + "learning_rate": 5.468333333333333e-06, + "loss": 0.0078, + "step": 2720 + }, + { + "epoch": 227.53333333333333, + "grad_norm": 0.134765625, + "learning_rate": 5.451666666666667e-06, + "loss": 0.0104, + "step": 2730 + }, + { + "epoch": 228.35555555555555, + "grad_norm": 0.09228515625, + "learning_rate": 5.4350000000000005e-06, + "loss": 0.0077, + "step": 2740 + }, + { + "epoch": 229.17777777777778, + "grad_norm": 0.07861328125, + "learning_rate": 5.418333333333333e-06, + "loss": 0.0077, + "step": 2750 + }, + { + "epoch": 230.0, + "grad_norm": 0.236328125, + "learning_rate": 5.401666666666667e-06, + "loss": 0.0077, + "step": 2760 + }, + { + "epoch": 230.88888888888889, + "grad_norm": 0.07421875, + "learning_rate": 5.385e-06, + "loss": 0.0077, + "step": 2770 + }, + { + "epoch": 231.7111111111111, + "grad_norm": 0.1171875, + "learning_rate": 5.368333333333334e-06, + "loss": 0.0074, + "step": 2780 + }, + { + "epoch": 232.53333333333333, + "grad_norm": 0.0869140625, + "learning_rate": 5.351666666666667e-06, + "loss": 0.008, + "step": 2790 + }, + { + "epoch": 233.35555555555555, + "grad_norm": 0.11572265625, + "learning_rate": 5.335000000000001e-06, + "loss": 0.0076, + "step": 2800 + }, + { + "epoch": 234.17777777777778, + "grad_norm": 0.1337890625, + "learning_rate": 5.318333333333335e-06, + "loss": 0.0102, + "step": 2810 + }, + { + "epoch": 235.0, + "grad_norm": 0.1787109375, + "learning_rate": 5.301666666666667e-06, + "loss": 0.0077, + "step": 2820 + }, + { + "epoch": 235.88888888888889, + "grad_norm": 0.0634765625, + "learning_rate": 5.285e-06, + "loss": 0.0076, + "step": 2830 + }, + { + "epoch": 236.7111111111111, + "grad_norm": 0.09130859375, + "learning_rate": 5.268333333333334e-06, + "loss": 0.008, + "step": 2840 + }, + { + "epoch": 237.53333333333333, + "grad_norm": 0.1142578125, + "learning_rate": 5.2516666666666675e-06, + "loss": 0.0073, + "step": 2850 + }, + { + "epoch": 238.35555555555555, + "grad_norm": 0.09375, + "learning_rate": 5.235e-06, + "loss": 0.0079, + "step": 2860 + }, + { + "epoch": 239.17777777777778, + "grad_norm": 0.11328125, + "learning_rate": 5.218333333333334e-06, + "loss": 0.0076, + "step": 2870 + }, + { + "epoch": 240.0, + "grad_norm": 0.22265625, + "learning_rate": 5.201666666666667e-06, + "loss": 0.0078, + "step": 2880 + }, + { + "epoch": 240.88888888888889, + "grad_norm": 0.109375, + "learning_rate": 5.185e-06, + "loss": 0.0079, + "step": 2890 + }, + { + "epoch": 241.7111111111111, + "grad_norm": 0.0859375, + "learning_rate": 5.168333333333334e-06, + "loss": 0.0073, + "step": 2900 + }, + { + "epoch": 242.53333333333333, + "grad_norm": 0.0791015625, + "learning_rate": 5.151666666666667e-06, + "loss": 0.0078, + "step": 2910 + }, + { + "epoch": 243.35555555555555, + "grad_norm": 0.0859375, + "learning_rate": 5.135e-06, + "loss": 0.0077, + "step": 2920 + }, + { + "epoch": 244.17777777777778, + "grad_norm": 0.10498046875, + "learning_rate": 5.118333333333334e-06, + "loss": 0.0076, + "step": 2930 + }, + { + "epoch": 245.0, + "grad_norm": 0.30078125, + "learning_rate": 5.101666666666667e-06, + "loss": 0.0078, + "step": 2940 + }, + { + "epoch": 245.88888888888889, + "grad_norm": 0.09033203125, + "learning_rate": 5.085e-06, + "loss": 0.008, + "step": 2950 + }, + { + "epoch": 246.7111111111111, + "grad_norm": 0.0908203125, + "learning_rate": 5.068333333333334e-06, + "loss": 0.0071, + "step": 2960 + }, + { + "epoch": 247.53333333333333, + "grad_norm": 0.1259765625, + "learning_rate": 5.051666666666667e-06, + "loss": 0.0079, + "step": 2970 + }, + { + "epoch": 248.35555555555555, + "grad_norm": 0.11767578125, + "learning_rate": 5.035e-06, + "loss": 0.0075, + "step": 2980 + }, + { + "epoch": 249.17777777777778, + "grad_norm": 0.0947265625, + "learning_rate": 5.018333333333334e-06, + "loss": 0.0078, + "step": 2990 + }, + { + "epoch": 250.0, + "grad_norm": 0.2265625, + "learning_rate": 5.0016666666666665e-06, + "loss": 0.0076, + "step": 3000 + }, + { + "epoch": 250.88888888888889, + "grad_norm": 0.0791015625, + "learning_rate": 4.9850000000000006e-06, + "loss": 0.0078, + "step": 3010 + }, + { + "epoch": 251.7111111111111, + "grad_norm": 0.0859375, + "learning_rate": 4.968333333333334e-06, + "loss": 0.0078, + "step": 3020 + }, + { + "epoch": 252.53333333333333, + "grad_norm": 0.1630859375, + "learning_rate": 4.951666666666667e-06, + "loss": 0.0076, + "step": 3030 + }, + { + "epoch": 253.35555555555555, + "grad_norm": 0.103515625, + "learning_rate": 4.935e-06, + "loss": 0.0076, + "step": 3040 + }, + { + "epoch": 254.17777777777778, + "grad_norm": 0.1064453125, + "learning_rate": 4.918333333333334e-06, + "loss": 0.0077, + "step": 3050 + }, + { + "epoch": 255.0, + "grad_norm": 0.318359375, + "learning_rate": 4.901666666666667e-06, + "loss": 0.0079, + "step": 3060 + }, + { + "epoch": 255.88888888888889, + "grad_norm": 0.1328125, + "learning_rate": 4.885000000000001e-06, + "loss": 0.0077, + "step": 3070 + }, + { + "epoch": 256.7111111111111, + "grad_norm": 0.0654296875, + "learning_rate": 4.868333333333334e-06, + "loss": 0.0077, + "step": 3080 + }, + { + "epoch": 257.53333333333336, + "grad_norm": 0.11669921875, + "learning_rate": 4.851666666666667e-06, + "loss": 0.0078, + "step": 3090 + }, + { + "epoch": 258.35555555555555, + "grad_norm": 0.0986328125, + "learning_rate": 4.835e-06, + "loss": 0.0078, + "step": 3100 + }, + { + "epoch": 259.1777777777778, + "grad_norm": 0.10546875, + "learning_rate": 4.8183333333333335e-06, + "loss": 0.0076, + "step": 3110 + }, + { + "epoch": 260.0, + "grad_norm": 0.2109375, + "learning_rate": 4.8016666666666676e-06, + "loss": 0.0079, + "step": 3120 + }, + { + "epoch": 260.8888888888889, + "grad_norm": 0.1259765625, + "learning_rate": 4.785e-06, + "loss": 0.0076, + "step": 3130 + }, + { + "epoch": 261.7111111111111, + "grad_norm": 0.056640625, + "learning_rate": 4.768333333333334e-06, + "loss": 0.0079, + "step": 3140 + }, + { + "epoch": 262.53333333333336, + "grad_norm": 0.07861328125, + "learning_rate": 4.751666666666667e-06, + "loss": 0.0074, + "step": 3150 + }, + { + "epoch": 263.35555555555555, + "grad_norm": 0.1015625, + "learning_rate": 4.735e-06, + "loss": 0.0078, + "step": 3160 + }, + { + "epoch": 264.1777777777778, + "grad_norm": 0.10986328125, + "learning_rate": 4.718333333333334e-06, + "loss": 0.008, + "step": 3170 + }, + { + "epoch": 265.0, + "grad_norm": 0.1357421875, + "learning_rate": 4.701666666666667e-06, + "loss": 0.0077, + "step": 3180 + }, + { + "epoch": 265.8888888888889, + "grad_norm": 0.1201171875, + "learning_rate": 4.685000000000001e-06, + "loss": 0.0077, + "step": 3190 + }, + { + "epoch": 266.7111111111111, + "grad_norm": 0.10107421875, + "learning_rate": 4.668333333333333e-06, + "loss": 0.0099, + "step": 3200 + }, + { + "epoch": 267.53333333333336, + "grad_norm": 0.07666015625, + "learning_rate": 4.651666666666667e-06, + "loss": 0.0079, + "step": 3210 + }, + { + "epoch": 268.35555555555555, + "grad_norm": 0.09033203125, + "learning_rate": 4.6350000000000005e-06, + "loss": 0.0077, + "step": 3220 + }, + { + "epoch": 269.1777777777778, + "grad_norm": 0.09130859375, + "learning_rate": 4.618333333333334e-06, + "loss": 0.0077, + "step": 3230 + }, + { + "epoch": 270.0, + "grad_norm": 0.171875, + "learning_rate": 4.601666666666667e-06, + "loss": 0.0077, + "step": 3240 + }, + { + "epoch": 270.8888888888889, + "grad_norm": 0.06689453125, + "learning_rate": 4.585e-06, + "loss": 0.0077, + "step": 3250 + }, + { + "epoch": 271.7111111111111, + "grad_norm": 0.09521484375, + "learning_rate": 4.568333333333333e-06, + "loss": 0.0079, + "step": 3260 + }, + { + "epoch": 272.53333333333336, + "grad_norm": 0.08349609375, + "learning_rate": 4.551666666666667e-06, + "loss": 0.0075, + "step": 3270 + }, + { + "epoch": 273.35555555555555, + "grad_norm": 0.103515625, + "learning_rate": 4.535000000000001e-06, + "loss": 0.008, + "step": 3280 + }, + { + "epoch": 274.1777777777778, + "grad_norm": 0.07080078125, + "learning_rate": 4.518333333333334e-06, + "loss": 0.0102, + "step": 3290 + }, + { + "epoch": 275.0, + "grad_norm": 0.20703125, + "learning_rate": 4.501666666666667e-06, + "loss": 0.0077, + "step": 3300 + }, + { + "epoch": 275.8888888888889, + "grad_norm": 0.07373046875, + "learning_rate": 4.485e-06, + "loss": 0.0076, + "step": 3310 + }, + { + "epoch": 276.7111111111111, + "grad_norm": 0.150390625, + "learning_rate": 4.468333333333334e-06, + "loss": 0.0078, + "step": 3320 + }, + { + "epoch": 277.53333333333336, + "grad_norm": 0.107421875, + "learning_rate": 4.451666666666667e-06, + "loss": 0.0082, + "step": 3330 + }, + { + "epoch": 278.35555555555555, + "grad_norm": 0.10888671875, + "learning_rate": 4.435000000000001e-06, + "loss": 0.0073, + "step": 3340 + }, + { + "epoch": 279.1777777777778, + "grad_norm": 0.1005859375, + "learning_rate": 4.418333333333334e-06, + "loss": 0.0077, + "step": 3350 + }, + { + "epoch": 280.0, + "grad_norm": 0.17578125, + "learning_rate": 4.401666666666667e-06, + "loss": 0.0077, + "step": 3360 + }, + { + "epoch": 280.8888888888889, + "grad_norm": 0.080078125, + "learning_rate": 4.385e-06, + "loss": 0.0079, + "step": 3370 + }, + { + "epoch": 281.7111111111111, + "grad_norm": 0.07763671875, + "learning_rate": 4.368333333333334e-06, + "loss": 0.0073, + "step": 3380 + }, + { + "epoch": 282.53333333333336, + "grad_norm": 0.06982421875, + "learning_rate": 4.351666666666667e-06, + "loss": 0.0078, + "step": 3390 + }, + { + "epoch": 283.35555555555555, + "grad_norm": 0.12158203125, + "learning_rate": 4.335e-06, + "loss": 0.0075, + "step": 3400 + }, + { + "epoch": 284.1777777777778, + "grad_norm": 0.09130859375, + "learning_rate": 4.318333333333334e-06, + "loss": 0.0081, + "step": 3410 + }, + { + "epoch": 285.0, + "grad_norm": 0.1806640625, + "learning_rate": 4.301666666666666e-06, + "loss": 0.0076, + "step": 3420 + }, + { + "epoch": 285.8888888888889, + "grad_norm": 0.150390625, + "learning_rate": 4.2850000000000005e-06, + "loss": 0.0077, + "step": 3430 + }, + { + "epoch": 286.7111111111111, + "grad_norm": 0.08154296875, + "learning_rate": 4.268333333333334e-06, + "loss": 0.0077, + "step": 3440 + }, + { + "epoch": 287.53333333333336, + "grad_norm": 0.08203125, + "learning_rate": 4.251666666666667e-06, + "loss": 0.0079, + "step": 3450 + }, + { + "epoch": 288.35555555555555, + "grad_norm": 0.080078125, + "learning_rate": 4.235e-06, + "loss": 0.0077, + "step": 3460 + }, + { + "epoch": 289.1777777777778, + "grad_norm": 0.0732421875, + "learning_rate": 4.218333333333333e-06, + "loss": 0.0076, + "step": 3470 + }, + { + "epoch": 290.0, + "grad_norm": 0.2158203125, + "learning_rate": 4.201666666666667e-06, + "loss": 0.0078, + "step": 3480 + }, + { + "epoch": 290.8888888888889, + "grad_norm": 0.0947265625, + "learning_rate": 4.185000000000001e-06, + "loss": 0.0077, + "step": 3490 + }, + { + "epoch": 291.7111111111111, + "grad_norm": 0.126953125, + "learning_rate": 4.168333333333334e-06, + "loss": 0.0077, + "step": 3500 + }, + { + "epoch": 292.53333333333336, + "grad_norm": 0.11083984375, + "learning_rate": 4.151666666666667e-06, + "loss": 0.0077, + "step": 3510 + }, + { + "epoch": 293.35555555555555, + "grad_norm": 0.08837890625, + "learning_rate": 4.135e-06, + "loss": 0.0077, + "step": 3520 + }, + { + "epoch": 294.1777777777778, + "grad_norm": 0.08642578125, + "learning_rate": 4.1183333333333334e-06, + "loss": 0.0078, + "step": 3530 + }, + { + "epoch": 295.0, + "grad_norm": 0.2734375, + "learning_rate": 4.1016666666666675e-06, + "loss": 0.0076, + "step": 3540 + }, + { + "epoch": 295.8888888888889, + "grad_norm": 0.056396484375, + "learning_rate": 4.085e-06, + "loss": 0.0078, + "step": 3550 + }, + { + "epoch": 296.7111111111111, + "grad_norm": 0.109375, + "learning_rate": 4.068333333333334e-06, + "loss": 0.0075, + "step": 3560 + }, + { + "epoch": 297.53333333333336, + "grad_norm": 0.06640625, + "learning_rate": 4.051666666666667e-06, + "loss": 0.0078, + "step": 3570 + }, + { + "epoch": 298.35555555555555, + "grad_norm": 0.1376953125, + "learning_rate": 4.035e-06, + "loss": 0.0077, + "step": 3580 + }, + { + "epoch": 299.1777777777778, + "grad_norm": 0.080078125, + "learning_rate": 4.0183333333333335e-06, + "loss": 0.0077, + "step": 3590 + }, + { + "epoch": 300.0, + "grad_norm": 0.212890625, + "learning_rate": 4.001666666666667e-06, + "loss": 0.0078, + "step": 3600 + }, + { + "epoch": 300.8888888888889, + "grad_norm": 0.09521484375, + "learning_rate": 3.985000000000001e-06, + "loss": 0.0077, + "step": 3610 + }, + { + "epoch": 301.7111111111111, + "grad_norm": 0.0791015625, + "learning_rate": 3.968333333333333e-06, + "loss": 0.0078, + "step": 3620 + }, + { + "epoch": 302.53333333333336, + "grad_norm": 0.07275390625, + "learning_rate": 3.951666666666667e-06, + "loss": 0.0079, + "step": 3630 + }, + { + "epoch": 303.35555555555555, + "grad_norm": 0.12255859375, + "learning_rate": 3.9350000000000004e-06, + "loss": 0.0078, + "step": 3640 + }, + { + "epoch": 304.1777777777778, + "grad_norm": 0.1083984375, + "learning_rate": 3.918333333333334e-06, + "loss": 0.0079, + "step": 3650 + }, + { + "epoch": 305.0, + "grad_norm": 0.2236328125, + "learning_rate": 3.901666666666667e-06, + "loss": 0.0077, + "step": 3660 + }, + { + "epoch": 305.8888888888889, + "grad_norm": 0.0859375, + "learning_rate": 3.885e-06, + "loss": 0.0076, + "step": 3670 + }, + { + "epoch": 306.7111111111111, + "grad_norm": 0.091796875, + "learning_rate": 3.868333333333333e-06, + "loss": 0.0079, + "step": 3680 + }, + { + "epoch": 307.53333333333336, + "grad_norm": 0.08740234375, + "learning_rate": 3.8516666666666665e-06, + "loss": 0.0078, + "step": 3690 + }, + { + "epoch": 308.35555555555555, + "grad_norm": 0.1728515625, + "learning_rate": 3.8350000000000006e-06, + "loss": 0.0078, + "step": 3700 + }, + { + "epoch": 309.1777777777778, + "grad_norm": 0.1708984375, + "learning_rate": 3.818333333333334e-06, + "loss": 0.0075, + "step": 3710 + }, + { + "epoch": 310.0, + "grad_norm": 0.171875, + "learning_rate": 3.801666666666667e-06, + "loss": 0.0078, + "step": 3720 + }, + { + "epoch": 310.8888888888889, + "grad_norm": 0.087890625, + "learning_rate": 3.785e-06, + "loss": 0.0078, + "step": 3730 + }, + { + "epoch": 311.7111111111111, + "grad_norm": 0.1416015625, + "learning_rate": 3.768333333333334e-06, + "loss": 0.0077, + "step": 3740 + }, + { + "epoch": 312.53333333333336, + "grad_norm": 0.09326171875, + "learning_rate": 3.7516666666666666e-06, + "loss": 0.0079, + "step": 3750 + }, + { + "epoch": 313.35555555555555, + "grad_norm": 0.09521484375, + "learning_rate": 3.7350000000000002e-06, + "loss": 0.0077, + "step": 3760 + }, + { + "epoch": 314.1777777777778, + "grad_norm": 0.09033203125, + "learning_rate": 3.718333333333334e-06, + "loss": 0.008, + "step": 3770 + }, + { + "epoch": 315.0, + "grad_norm": 0.1689453125, + "learning_rate": 3.7016666666666667e-06, + "loss": 0.0075, + "step": 3780 + }, + { + "epoch": 315.8888888888889, + "grad_norm": 0.1181640625, + "learning_rate": 3.6850000000000003e-06, + "loss": 0.0077, + "step": 3790 + }, + { + "epoch": 316.7111111111111, + "grad_norm": 0.1015625, + "learning_rate": 3.668333333333334e-06, + "loss": 0.0079, + "step": 3800 + }, + { + "epoch": 317.53333333333336, + "grad_norm": 0.138671875, + "learning_rate": 3.6516666666666667e-06, + "loss": 0.0099, + "step": 3810 + }, + { + "epoch": 318.35555555555555, + "grad_norm": 0.08740234375, + "learning_rate": 3.6350000000000003e-06, + "loss": 0.0079, + "step": 3820 + }, + { + "epoch": 319.1777777777778, + "grad_norm": 0.1279296875, + "learning_rate": 3.6183333333333336e-06, + "loss": 0.0077, + "step": 3830 + }, + { + "epoch": 320.0, + "grad_norm": 0.3515625, + "learning_rate": 3.601666666666667e-06, + "loss": 0.0079, + "step": 3840 + }, + { + "epoch": 320.8888888888889, + "grad_norm": 0.07470703125, + "learning_rate": 3.585e-06, + "loss": 0.0078, + "step": 3850 + }, + { + "epoch": 321.7111111111111, + "grad_norm": 0.07958984375, + "learning_rate": 3.5683333333333336e-06, + "loss": 0.0078, + "step": 3860 + }, + { + "epoch": 322.53333333333336, + "grad_norm": 0.111328125, + "learning_rate": 3.5516666666666672e-06, + "loss": 0.0076, + "step": 3870 + }, + { + "epoch": 323.35555555555555, + "grad_norm": 0.08349609375, + "learning_rate": 3.535e-06, + "loss": 0.008, + "step": 3880 + }, + { + "epoch": 324.1777777777778, + "grad_norm": 0.08642578125, + "learning_rate": 3.5183333333333337e-06, + "loss": 0.0077, + "step": 3890 + }, + { + "epoch": 325.0, + "grad_norm": 0.1767578125, + "learning_rate": 3.5016666666666673e-06, + "loss": 0.0077, + "step": 3900 + }, + { + "epoch": 325.8888888888889, + "grad_norm": 0.0771484375, + "learning_rate": 3.485e-06, + "loss": 0.0077, + "step": 3910 + }, + { + "epoch": 326.7111111111111, + "grad_norm": 0.0693359375, + "learning_rate": 3.4683333333333337e-06, + "loss": 0.0077, + "step": 3920 + }, + { + "epoch": 327.53333333333336, + "grad_norm": 0.08447265625, + "learning_rate": 3.451666666666667e-06, + "loss": 0.0079, + "step": 3930 + }, + { + "epoch": 328.35555555555555, + "grad_norm": 0.08984375, + "learning_rate": 3.4350000000000006e-06, + "loss": 0.0079, + "step": 3940 + }, + { + "epoch": 329.1777777777778, + "grad_norm": 0.068359375, + "learning_rate": 3.4183333333333334e-06, + "loss": 0.0077, + "step": 3950 + }, + { + "epoch": 330.0, + "grad_norm": 0.1728515625, + "learning_rate": 3.401666666666667e-06, + "loss": 0.0077, + "step": 3960 + }, + { + "epoch": 330.8888888888889, + "grad_norm": 0.04345703125, + "learning_rate": 3.3850000000000006e-06, + "loss": 0.0077, + "step": 3970 + }, + { + "epoch": 331.7111111111111, + "grad_norm": 0.05908203125, + "learning_rate": 3.3683333333333334e-06, + "loss": 0.0078, + "step": 3980 + }, + { + "epoch": 332.53333333333336, + "grad_norm": 0.09521484375, + "learning_rate": 3.351666666666667e-06, + "loss": 0.0077, + "step": 3990 + }, + { + "epoch": 333.35555555555555, + "grad_norm": 0.11572265625, + "learning_rate": 3.3350000000000003e-06, + "loss": 0.0077, + "step": 4000 + }, + { + "epoch": 334.1777777777778, + "grad_norm": 0.10205078125, + "learning_rate": 3.3183333333333335e-06, + "loss": 0.0078, + "step": 4010 + }, + { + "epoch": 335.0, + "grad_norm": 0.173828125, + "learning_rate": 3.301666666666667e-06, + "loss": 0.0078, + "step": 4020 + }, + { + "epoch": 335.8888888888889, + "grad_norm": 0.09326171875, + "learning_rate": 3.2850000000000003e-06, + "loss": 0.0077, + "step": 4030 + }, + { + "epoch": 336.7111111111111, + "grad_norm": 0.10986328125, + "learning_rate": 3.2683333333333335e-06, + "loss": 0.0078, + "step": 4040 + }, + { + "epoch": 337.53333333333336, + "grad_norm": 0.07373046875, + "learning_rate": 3.2516666666666667e-06, + "loss": 0.0073, + "step": 4050 + }, + { + "epoch": 338.35555555555555, + "grad_norm": 0.06494140625, + "learning_rate": 3.2350000000000004e-06, + "loss": 0.0079, + "step": 4060 + }, + { + "epoch": 339.1777777777778, + "grad_norm": 0.06494140625, + "learning_rate": 3.218333333333334e-06, + "loss": 0.0077, + "step": 4070 + }, + { + "epoch": 340.0, + "grad_norm": 0.2041015625, + "learning_rate": 3.201666666666667e-06, + "loss": 0.0076, + "step": 4080 + }, + { + "epoch": 340.8888888888889, + "grad_norm": 0.08447265625, + "learning_rate": 3.1850000000000004e-06, + "loss": 0.0076, + "step": 4090 + }, + { + "epoch": 341.7111111111111, + "grad_norm": 0.072265625, + "learning_rate": 3.1683333333333336e-06, + "loss": 0.0078, + "step": 4100 + }, + { + "epoch": 342.53333333333336, + "grad_norm": 0.06591796875, + "learning_rate": 3.151666666666667e-06, + "loss": 0.0076, + "step": 4110 + }, + { + "epoch": 343.35555555555555, + "grad_norm": 0.10888671875, + "learning_rate": 3.135e-06, + "loss": 0.0078, + "step": 4120 + }, + { + "epoch": 344.1777777777778, + "grad_norm": 0.07470703125, + "learning_rate": 3.1183333333333337e-06, + "loss": 0.0077, + "step": 4130 + }, + { + "epoch": 345.0, + "grad_norm": 0.177734375, + "learning_rate": 3.101666666666667e-06, + "loss": 0.0078, + "step": 4140 + }, + { + "epoch": 345.8888888888889, + "grad_norm": 0.10205078125, + "learning_rate": 3.085e-06, + "loss": 0.0076, + "step": 4150 + }, + { + "epoch": 346.7111111111111, + "grad_norm": 0.078125, + "learning_rate": 3.0683333333333337e-06, + "loss": 0.0077, + "step": 4160 + }, + { + "epoch": 347.53333333333336, + "grad_norm": 0.06787109375, + "learning_rate": 3.0516666666666665e-06, + "loss": 0.008, + "step": 4170 + }, + { + "epoch": 348.35555555555555, + "grad_norm": 0.11865234375, + "learning_rate": 3.035e-06, + "loss": 0.0074, + "step": 4180 + }, + { + "epoch": 349.1777777777778, + "grad_norm": 0.11962890625, + "learning_rate": 3.018333333333334e-06, + "loss": 0.0077, + "step": 4190 + }, + { + "epoch": 350.0, + "grad_norm": 0.2275390625, + "learning_rate": 3.001666666666667e-06, + "loss": 0.0077, + "step": 4200 + }, + { + "epoch": 350.8888888888889, + "grad_norm": 0.1376953125, + "learning_rate": 2.9850000000000002e-06, + "loss": 0.0077, + "step": 4210 + }, + { + "epoch": 351.7111111111111, + "grad_norm": 0.09716796875, + "learning_rate": 2.9683333333333334e-06, + "loss": 0.0077, + "step": 4220 + }, + { + "epoch": 352.53333333333336, + "grad_norm": 0.06884765625, + "learning_rate": 2.951666666666667e-06, + "loss": 0.0079, + "step": 4230 + }, + { + "epoch": 353.35555555555555, + "grad_norm": 0.0576171875, + "learning_rate": 2.9350000000000003e-06, + "loss": 0.0076, + "step": 4240 + }, + { + "epoch": 354.1777777777778, + "grad_norm": 0.0986328125, + "learning_rate": 2.9183333333333335e-06, + "loss": 0.0075, + "step": 4250 + }, + { + "epoch": 355.0, + "grad_norm": 0.208984375, + "learning_rate": 2.901666666666667e-06, + "loss": 0.0079, + "step": 4260 + }, + { + "epoch": 355.8888888888889, + "grad_norm": 0.111328125, + "learning_rate": 2.885e-06, + "loss": 0.0076, + "step": 4270 + }, + { + "epoch": 356.7111111111111, + "grad_norm": 0.07421875, + "learning_rate": 2.8683333333333335e-06, + "loss": 0.0078, + "step": 4280 + }, + { + "epoch": 357.53333333333336, + "grad_norm": 0.061279296875, + "learning_rate": 2.851666666666667e-06, + "loss": 0.0076, + "step": 4290 + }, + { + "epoch": 358.35555555555555, + "grad_norm": 0.10400390625, + "learning_rate": 2.835e-06, + "loss": 0.0076, + "step": 4300 + }, + { + "epoch": 359.1777777777778, + "grad_norm": 0.09228515625, + "learning_rate": 2.8183333333333336e-06, + "loss": 0.0076, + "step": 4310 + }, + { + "epoch": 360.0, + "grad_norm": 0.2099609375, + "learning_rate": 2.801666666666667e-06, + "loss": 0.0079, + "step": 4320 + }, + { + "epoch": 360.8888888888889, + "grad_norm": 0.11474609375, + "learning_rate": 2.7850000000000004e-06, + "loss": 0.0077, + "step": 4330 + }, + { + "epoch": 361.7111111111111, + "grad_norm": 0.15625, + "learning_rate": 2.7683333333333332e-06, + "loss": 0.0079, + "step": 4340 + }, + { + "epoch": 362.53333333333336, + "grad_norm": 0.080078125, + "learning_rate": 2.751666666666667e-06, + "loss": 0.0075, + "step": 4350 + }, + { + "epoch": 363.35555555555555, + "grad_norm": 0.1259765625, + "learning_rate": 2.7350000000000005e-06, + "loss": 0.0077, + "step": 4360 + }, + { + "epoch": 364.1777777777778, + "grad_norm": 0.068359375, + "learning_rate": 2.7183333333333333e-06, + "loss": 0.0104, + "step": 4370 + }, + { + "epoch": 365.0, + "grad_norm": 0.208984375, + "learning_rate": 2.701666666666667e-06, + "loss": 0.0077, + "step": 4380 + }, + { + "epoch": 365.8888888888889, + "grad_norm": 0.0654296875, + "learning_rate": 2.6850000000000006e-06, + "loss": 0.0078, + "step": 4390 + }, + { + "epoch": 366.7111111111111, + "grad_norm": 0.0888671875, + "learning_rate": 2.6683333333333333e-06, + "loss": 0.0076, + "step": 4400 + }, + { + "epoch": 367.53333333333336, + "grad_norm": 0.12060546875, + "learning_rate": 2.651666666666667e-06, + "loss": 0.0076, + "step": 4410 + }, + { + "epoch": 368.35555555555555, + "grad_norm": 0.0791015625, + "learning_rate": 2.635e-06, + "loss": 0.0076, + "step": 4420 + }, + { + "epoch": 369.1777777777778, + "grad_norm": 0.09814453125, + "learning_rate": 2.6183333333333334e-06, + "loss": 0.0078, + "step": 4430 + }, + { + "epoch": 370.0, + "grad_norm": 0.271484375, + "learning_rate": 2.6016666666666666e-06, + "loss": 0.0076, + "step": 4440 + }, + { + "epoch": 370.8888888888889, + "grad_norm": 0.07958984375, + "learning_rate": 2.5850000000000002e-06, + "loss": 0.0077, + "step": 4450 + }, + { + "epoch": 371.7111111111111, + "grad_norm": 0.07763671875, + "learning_rate": 2.568333333333334e-06, + "loss": 0.0075, + "step": 4460 + }, + { + "epoch": 372.53333333333336, + "grad_norm": 0.09033203125, + "learning_rate": 2.5516666666666667e-06, + "loss": 0.0078, + "step": 4470 + }, + { + "epoch": 373.35555555555555, + "grad_norm": 0.091796875, + "learning_rate": 2.5350000000000003e-06, + "loss": 0.0077, + "step": 4480 + }, + { + "epoch": 374.1777777777778, + "grad_norm": 0.1015625, + "learning_rate": 2.518333333333334e-06, + "loss": 0.0077, + "step": 4490 + }, + { + "epoch": 375.0, + "grad_norm": 0.1318359375, + "learning_rate": 2.5016666666666667e-06, + "loss": 0.0076, + "step": 4500 + }, + { + "epoch": 375.8888888888889, + "grad_norm": 0.09619140625, + "learning_rate": 2.4850000000000003e-06, + "loss": 0.0078, + "step": 4510 + }, + { + "epoch": 376.7111111111111, + "grad_norm": 0.095703125, + "learning_rate": 2.4683333333333336e-06, + "loss": 0.0078, + "step": 4520 + }, + { + "epoch": 377.53333333333336, + "grad_norm": 0.051025390625, + "learning_rate": 2.4516666666666668e-06, + "loss": 0.0077, + "step": 4530 + }, + { + "epoch": 378.35555555555555, + "grad_norm": 0.08447265625, + "learning_rate": 2.435e-06, + "loss": 0.0076, + "step": 4540 + }, + { + "epoch": 379.1777777777778, + "grad_norm": 0.048583984375, + "learning_rate": 2.4183333333333336e-06, + "loss": 0.0077, + "step": 4550 + }, + { + "epoch": 380.0, + "grad_norm": 0.1728515625, + "learning_rate": 2.401666666666667e-06, + "loss": 0.0079, + "step": 4560 + }, + { + "epoch": 380.8888888888889, + "grad_norm": 0.1015625, + "learning_rate": 2.385e-06, + "loss": 0.0077, + "step": 4570 + }, + { + "epoch": 381.7111111111111, + "grad_norm": 0.111328125, + "learning_rate": 2.3683333333333337e-06, + "loss": 0.008, + "step": 4580 + }, + { + "epoch": 382.53333333333336, + "grad_norm": 0.130859375, + "learning_rate": 2.351666666666667e-06, + "loss": 0.0075, + "step": 4590 + }, + { + "epoch": 383.35555555555555, + "grad_norm": 0.15234375, + "learning_rate": 2.3350000000000005e-06, + "loss": 0.0082, + "step": 4600 + }, + { + "epoch": 384.1777777777778, + "grad_norm": 0.07275390625, + "learning_rate": 2.3183333333333337e-06, + "loss": 0.0076, + "step": 4610 + }, + { + "epoch": 385.0, + "grad_norm": 0.1318359375, + "learning_rate": 2.301666666666667e-06, + "loss": 0.0077, + "step": 4620 + }, + { + "epoch": 385.8888888888889, + "grad_norm": 0.1005859375, + "learning_rate": 2.285e-06, + "loss": 0.0078, + "step": 4630 + }, + { + "epoch": 386.7111111111111, + "grad_norm": 0.109375, + "learning_rate": 2.2683333333333334e-06, + "loss": 0.0078, + "step": 4640 + }, + { + "epoch": 387.53333333333336, + "grad_norm": 0.12353515625, + "learning_rate": 2.2516666666666666e-06, + "loss": 0.0102, + "step": 4650 + }, + { + "epoch": 388.35555555555555, + "grad_norm": 0.087890625, + "learning_rate": 2.235e-06, + "loss": 0.0077, + "step": 4660 + }, + { + "epoch": 389.1777777777778, + "grad_norm": 0.09765625, + "learning_rate": 2.2183333333333334e-06, + "loss": 0.0079, + "step": 4670 + }, + { + "epoch": 390.0, + "grad_norm": 0.0, + "learning_rate": 2.201666666666667e-06, + "loss": 0.0102, + "step": 4680 + }, + { + "epoch": 390.8888888888889, + "grad_norm": 0.059814453125, + "learning_rate": 2.1850000000000003e-06, + "loss": 0.0078, + "step": 4690 + }, + { + "epoch": 391.7111111111111, + "grad_norm": 0.11279296875, + "learning_rate": 2.1683333333333335e-06, + "loss": 0.0076, + "step": 4700 + }, + { + "epoch": 392.53333333333336, + "grad_norm": 0.05859375, + "learning_rate": 2.151666666666667e-06, + "loss": 0.0079, + "step": 4710 + }, + { + "epoch": 393.35555555555555, + "grad_norm": 0.1142578125, + "learning_rate": 2.1350000000000003e-06, + "loss": 0.0078, + "step": 4720 + }, + { + "epoch": 394.1777777777778, + "grad_norm": 0.09716796875, + "learning_rate": 2.1183333333333335e-06, + "loss": 0.0077, + "step": 4730 + }, + { + "epoch": 395.0, + "grad_norm": 0.27734375, + "learning_rate": 2.1016666666666667e-06, + "loss": 0.0074, + "step": 4740 + }, + { + "epoch": 395.8888888888889, + "grad_norm": 0.1005859375, + "learning_rate": 2.085e-06, + "loss": 0.0077, + "step": 4750 + }, + { + "epoch": 396.7111111111111, + "grad_norm": 0.09423828125, + "learning_rate": 2.0683333333333336e-06, + "loss": 0.0079, + "step": 4760 + }, + { + "epoch": 397.53333333333336, + "grad_norm": 0.0859375, + "learning_rate": 2.0516666666666668e-06, + "loss": 0.0077, + "step": 4770 + }, + { + "epoch": 398.35555555555555, + "grad_norm": 0.126953125, + "learning_rate": 2.035e-06, + "loss": 0.0078, + "step": 4780 + }, + { + "epoch": 399.1777777777778, + "grad_norm": 0.10400390625, + "learning_rate": 2.0183333333333336e-06, + "loss": 0.0079, + "step": 4790 + }, + { + "epoch": 400.0, + "grad_norm": 0.298828125, + "learning_rate": 2.001666666666667e-06, + "loss": 0.0078, + "step": 4800 + }, + { + "epoch": 400.8888888888889, + "grad_norm": 0.095703125, + "learning_rate": 1.985e-06, + "loss": 0.0076, + "step": 4810 + }, + { + "epoch": 401.7111111111111, + "grad_norm": 0.11572265625, + "learning_rate": 1.9683333333333337e-06, + "loss": 0.0078, + "step": 4820 + }, + { + "epoch": 402.53333333333336, + "grad_norm": 0.08984375, + "learning_rate": 1.951666666666667e-06, + "loss": 0.0078, + "step": 4830 + }, + { + "epoch": 403.35555555555555, + "grad_norm": 0.173828125, + "learning_rate": 1.935e-06, + "loss": 0.0075, + "step": 4840 + }, + { + "epoch": 404.1777777777778, + "grad_norm": 0.08642578125, + "learning_rate": 1.9183333333333333e-06, + "loss": 0.0079, + "step": 4850 + }, + { + "epoch": 405.0, + "grad_norm": 0.1787109375, + "learning_rate": 1.901666666666667e-06, + "loss": 0.0077, + "step": 4860 + }, + { + "epoch": 405.8888888888889, + "grad_norm": 0.06787109375, + "learning_rate": 1.8850000000000002e-06, + "loss": 0.0077, + "step": 4870 + }, + { + "epoch": 406.7111111111111, + "grad_norm": 0.0927734375, + "learning_rate": 1.8683333333333334e-06, + "loss": 0.0078, + "step": 4880 + }, + { + "epoch": 407.53333333333336, + "grad_norm": 0.10498046875, + "learning_rate": 1.8516666666666668e-06, + "loss": 0.0076, + "step": 4890 + }, + { + "epoch": 408.35555555555555, + "grad_norm": 0.11181640625, + "learning_rate": 1.8350000000000002e-06, + "loss": 0.0078, + "step": 4900 + }, + { + "epoch": 409.1777777777778, + "grad_norm": 0.1494140625, + "learning_rate": 1.8183333333333336e-06, + "loss": 0.0078, + "step": 4910 + }, + { + "epoch": 410.0, + "grad_norm": 0.21484375, + "learning_rate": 1.8016666666666669e-06, + "loss": 0.0078, + "step": 4920 + }, + { + "epoch": 410.8888888888889, + "grad_norm": 0.049560546875, + "learning_rate": 1.785e-06, + "loss": 0.0077, + "step": 4930 + }, + { + "epoch": 411.7111111111111, + "grad_norm": 0.10546875, + "learning_rate": 1.7683333333333335e-06, + "loss": 0.0079, + "step": 4940 + }, + { + "epoch": 412.53333333333336, + "grad_norm": 0.09716796875, + "learning_rate": 1.7516666666666667e-06, + "loss": 0.0078, + "step": 4950 + }, + { + "epoch": 413.35555555555555, + "grad_norm": 0.115234375, + "learning_rate": 1.7350000000000001e-06, + "loss": 0.0077, + "step": 4960 + }, + { + "epoch": 414.1777777777778, + "grad_norm": 0.123046875, + "learning_rate": 1.7183333333333335e-06, + "loss": 0.0078, + "step": 4970 + }, + { + "epoch": 415.0, + "grad_norm": 0.2314453125, + "learning_rate": 1.7016666666666668e-06, + "loss": 0.0079, + "step": 4980 + }, + { + "epoch": 415.8888888888889, + "grad_norm": 0.07568359375, + "learning_rate": 1.6850000000000002e-06, + "loss": 0.0077, + "step": 4990 + }, + { + "epoch": 416.7111111111111, + "grad_norm": 0.08642578125, + "learning_rate": 1.6683333333333334e-06, + "loss": 0.0078, + "step": 5000 + }, + { + "epoch": 417.53333333333336, + "grad_norm": 0.15625, + "learning_rate": 1.6516666666666666e-06, + "loss": 0.0079, + "step": 5010 + }, + { + "epoch": 418.35555555555555, + "grad_norm": 0.126953125, + "learning_rate": 1.6350000000000002e-06, + "loss": 0.0071, + "step": 5020 + }, + { + "epoch": 419.1777777777778, + "grad_norm": 0.0927734375, + "learning_rate": 1.6183333333333334e-06, + "loss": 0.008, + "step": 5030 + }, + { + "epoch": 420.0, + "grad_norm": 0.2158203125, + "learning_rate": 1.6016666666666669e-06, + "loss": 0.0078, + "step": 5040 + }, + { + "epoch": 420.8888888888889, + "grad_norm": 0.08056640625, + "learning_rate": 1.585e-06, + "loss": 0.0077, + "step": 5050 + }, + { + "epoch": 421.7111111111111, + "grad_norm": 0.076171875, + "learning_rate": 1.5683333333333333e-06, + "loss": 0.0078, + "step": 5060 + }, + { + "epoch": 422.53333333333336, + "grad_norm": 0.1357421875, + "learning_rate": 1.551666666666667e-06, + "loss": 0.0077, + "step": 5070 + }, + { + "epoch": 423.35555555555555, + "grad_norm": 0.07666015625, + "learning_rate": 1.5350000000000001e-06, + "loss": 0.0075, + "step": 5080 + }, + { + "epoch": 424.1777777777778, + "grad_norm": 0.06396484375, + "learning_rate": 1.5183333333333333e-06, + "loss": 0.008, + "step": 5090 + }, + { + "epoch": 425.0, + "grad_norm": 0.193359375, + "learning_rate": 1.5016666666666668e-06, + "loss": 0.0074, + "step": 5100 + }, + { + "epoch": 425.8888888888889, + "grad_norm": 0.1083984375, + "learning_rate": 1.485e-06, + "loss": 0.0077, + "step": 5110 + }, + { + "epoch": 426.7111111111111, + "grad_norm": 0.04931640625, + "learning_rate": 1.4683333333333336e-06, + "loss": 0.0075, + "step": 5120 + }, + { + "epoch": 427.53333333333336, + "grad_norm": 0.10546875, + "learning_rate": 1.4516666666666668e-06, + "loss": 0.008, + "step": 5130 + }, + { + "epoch": 428.35555555555555, + "grad_norm": 0.10205078125, + "learning_rate": 1.435e-06, + "loss": 0.0078, + "step": 5140 + }, + { + "epoch": 429.1777777777778, + "grad_norm": 0.14453125, + "learning_rate": 1.4183333333333334e-06, + "loss": 0.0078, + "step": 5150 + }, + { + "epoch": 430.0, + "grad_norm": 0.189453125, + "learning_rate": 1.4016666666666667e-06, + "loss": 0.0076, + "step": 5160 + }, + { + "epoch": 430.8888888888889, + "grad_norm": 0.08203125, + "learning_rate": 1.3850000000000003e-06, + "loss": 0.0077, + "step": 5170 + }, + { + "epoch": 431.7111111111111, + "grad_norm": 0.09423828125, + "learning_rate": 1.3683333333333335e-06, + "loss": 0.0075, + "step": 5180 + }, + { + "epoch": 432.53333333333336, + "grad_norm": 0.11474609375, + "learning_rate": 1.3516666666666667e-06, + "loss": 0.0078, + "step": 5190 + }, + { + "epoch": 433.35555555555555, + "grad_norm": 0.05078125, + "learning_rate": 1.3350000000000001e-06, + "loss": 0.0074, + "step": 5200 + }, + { + "epoch": 434.1777777777778, + "grad_norm": 0.134765625, + "learning_rate": 1.3183333333333333e-06, + "loss": 0.0074, + "step": 5210 + }, + { + "epoch": 435.0, + "grad_norm": 0.1689453125, + "learning_rate": 1.301666666666667e-06, + "loss": 0.0077, + "step": 5220 + }, + { + "epoch": 435.8888888888889, + "grad_norm": 0.0830078125, + "learning_rate": 1.2850000000000002e-06, + "loss": 0.0077, + "step": 5230 + }, + { + "epoch": 436.7111111111111, + "grad_norm": 0.060791015625, + "learning_rate": 1.2683333333333334e-06, + "loss": 0.0076, + "step": 5240 + }, + { + "epoch": 437.53333333333336, + "grad_norm": 0.07568359375, + "learning_rate": 1.2516666666666668e-06, + "loss": 0.0078, + "step": 5250 + }, + { + "epoch": 438.35555555555555, + "grad_norm": 0.0830078125, + "learning_rate": 1.235e-06, + "loss": 0.0078, + "step": 5260 + }, + { + "epoch": 439.1777777777778, + "grad_norm": 0.09619140625, + "learning_rate": 1.2183333333333335e-06, + "loss": 0.0077, + "step": 5270 + }, + { + "epoch": 440.0, + "grad_norm": 0.2734375, + "learning_rate": 1.2016666666666669e-06, + "loss": 0.0075, + "step": 5280 + }, + { + "epoch": 440.8888888888889, + "grad_norm": 0.072265625, + "learning_rate": 1.185e-06, + "loss": 0.0077, + "step": 5290 + }, + { + "epoch": 441.7111111111111, + "grad_norm": 0.1123046875, + "learning_rate": 1.1683333333333333e-06, + "loss": 0.0077, + "step": 5300 + }, + { + "epoch": 442.53333333333336, + "grad_norm": 0.1064453125, + "learning_rate": 1.1516666666666667e-06, + "loss": 0.0075, + "step": 5310 + }, + { + "epoch": 443.35555555555555, + "grad_norm": 0.09375, + "learning_rate": 1.1350000000000001e-06, + "loss": 0.0077, + "step": 5320 + }, + { + "epoch": 444.1777777777778, + "grad_norm": 0.1044921875, + "learning_rate": 1.1183333333333336e-06, + "loss": 0.008, + "step": 5330 + }, + { + "epoch": 445.0, + "grad_norm": 0.314453125, + "learning_rate": 1.1016666666666668e-06, + "loss": 0.0077, + "step": 5340 + }, + { + "epoch": 445.8888888888889, + "grad_norm": 0.05224609375, + "learning_rate": 1.085e-06, + "loss": 0.0077, + "step": 5350 + }, + { + "epoch": 446.7111111111111, + "grad_norm": 0.1328125, + "learning_rate": 1.0683333333333334e-06, + "loss": 0.0078, + "step": 5360 + }, + { + "epoch": 447.53333333333336, + "grad_norm": 0.1533203125, + "learning_rate": 1.0516666666666668e-06, + "loss": 0.0078, + "step": 5370 + }, + { + "epoch": 448.35555555555555, + "grad_norm": 0.10546875, + "learning_rate": 1.035e-06, + "loss": 0.0078, + "step": 5380 + }, + { + "epoch": 449.1777777777778, + "grad_norm": 0.1435546875, + "learning_rate": 1.0183333333333335e-06, + "loss": 0.0079, + "step": 5390 + }, + { + "epoch": 450.0, + "grad_norm": 0.23046875, + "learning_rate": 1.0016666666666667e-06, + "loss": 0.0078, + "step": 5400 + }, + { + "epoch": 450.8888888888889, + "grad_norm": 0.1201171875, + "learning_rate": 9.85e-07, + "loss": 0.0077, + "step": 5410 + }, + { + "epoch": 451.7111111111111, + "grad_norm": 0.10107421875, + "learning_rate": 9.683333333333333e-07, + "loss": 0.0076, + "step": 5420 + }, + { + "epoch": 452.53333333333336, + "grad_norm": 0.0810546875, + "learning_rate": 9.516666666666667e-07, + "loss": 0.0078, + "step": 5430 + }, + { + "epoch": 453.35555555555555, + "grad_norm": 0.059814453125, + "learning_rate": 9.35e-07, + "loss": 0.0077, + "step": 5440 + }, + { + "epoch": 454.1777777777778, + "grad_norm": 0.12890625, + "learning_rate": 9.183333333333335e-07, + "loss": 0.0078, + "step": 5450 + }, + { + "epoch": 455.0, + "grad_norm": 0.150390625, + "learning_rate": 9.016666666666668e-07, + "loss": 0.0077, + "step": 5460 + }, + { + "epoch": 455.8888888888889, + "grad_norm": 0.126953125, + "learning_rate": 8.85e-07, + "loss": 0.0077, + "step": 5470 + }, + { + "epoch": 456.7111111111111, + "grad_norm": 0.0732421875, + "learning_rate": 8.683333333333334e-07, + "loss": 0.0076, + "step": 5480 + }, + { + "epoch": 457.53333333333336, + "grad_norm": 0.12451171875, + "learning_rate": 8.516666666666667e-07, + "loss": 0.008, + "step": 5490 + }, + { + "epoch": 458.35555555555555, + "grad_norm": 0.130859375, + "learning_rate": 8.350000000000002e-07, + "loss": 0.0075, + "step": 5500 + }, + { + "epoch": 459.1777777777778, + "grad_norm": 0.11181640625, + "learning_rate": 8.183333333333334e-07, + "loss": 0.0077, + "step": 5510 + }, + { + "epoch": 460.0, + "grad_norm": 0.1865234375, + "learning_rate": 8.016666666666667e-07, + "loss": 0.0079, + "step": 5520 + }, + { + "epoch": 460.8888888888889, + "grad_norm": 0.07568359375, + "learning_rate": 7.850000000000001e-07, + "loss": 0.0077, + "step": 5530 + }, + { + "epoch": 461.7111111111111, + "grad_norm": 0.05908203125, + "learning_rate": 7.683333333333334e-07, + "loss": 0.0079, + "step": 5540 + }, + { + "epoch": 462.53333333333336, + "grad_norm": 0.060546875, + "learning_rate": 7.516666666666668e-07, + "loss": 0.0076, + "step": 5550 + }, + { + "epoch": 463.35555555555555, + "grad_norm": 0.080078125, + "learning_rate": 7.350000000000001e-07, + "loss": 0.0079, + "step": 5560 + }, + { + "epoch": 464.1777777777778, + "grad_norm": 0.099609375, + "learning_rate": 7.183333333333334e-07, + "loss": 0.0079, + "step": 5570 + }, + { + "epoch": 465.0, + "grad_norm": 0.0, + "learning_rate": 7.016666666666668e-07, + "loss": 0.01, + "step": 5580 + }, + { + "epoch": 465.8888888888889, + "grad_norm": 0.0859375, + "learning_rate": 6.850000000000001e-07, + "loss": 0.0077, + "step": 5590 + }, + { + "epoch": 466.7111111111111, + "grad_norm": 0.109375, + "learning_rate": 6.683333333333333e-07, + "loss": 0.0072, + "step": 5600 + }, + { + "epoch": 467.53333333333336, + "grad_norm": 0.091796875, + "learning_rate": 6.516666666666667e-07, + "loss": 0.008, + "step": 5610 + }, + { + "epoch": 468.35555555555555, + "grad_norm": 0.10888671875, + "learning_rate": 6.350000000000001e-07, + "loss": 0.0077, + "step": 5620 + }, + { + "epoch": 469.1777777777778, + "grad_norm": 0.08935546875, + "learning_rate": 6.183333333333334e-07, + "loss": 0.0079, + "step": 5630 + }, + { + "epoch": 470.0, + "grad_norm": 0.2734375, + "learning_rate": 6.016666666666667e-07, + "loss": 0.0074, + "step": 5640 + }, + { + "epoch": 470.8888888888889, + "grad_norm": 0.068359375, + "learning_rate": 5.850000000000001e-07, + "loss": 0.0077, + "step": 5650 + }, + { + "epoch": 471.7111111111111, + "grad_norm": 0.140625, + "learning_rate": 5.683333333333333e-07, + "loss": 0.0078, + "step": 5660 + }, + { + "epoch": 472.53333333333336, + "grad_norm": 0.12890625, + "learning_rate": 5.516666666666667e-07, + "loss": 0.008, + "step": 5670 + }, + { + "epoch": 473.35555555555555, + "grad_norm": 0.130859375, + "learning_rate": 5.350000000000001e-07, + "loss": 0.0078, + "step": 5680 + }, + { + "epoch": 474.1777777777778, + "grad_norm": 0.09619140625, + "learning_rate": 5.183333333333334e-07, + "loss": 0.0078, + "step": 5690 + }, + { + "epoch": 475.0, + "grad_norm": 0.17578125, + "learning_rate": 5.016666666666667e-07, + "loss": 0.0078, + "step": 5700 + }, + { + "epoch": 475.8888888888889, + "grad_norm": 0.126953125, + "learning_rate": 4.85e-07, + "loss": 0.0076, + "step": 5710 + }, + { + "epoch": 476.7111111111111, + "grad_norm": 0.1318359375, + "learning_rate": 4.6833333333333333e-07, + "loss": 0.0078, + "step": 5720 + }, + { + "epoch": 477.53333333333336, + "grad_norm": 0.1123046875, + "learning_rate": 4.516666666666667e-07, + "loss": 0.0079, + "step": 5730 + }, + { + "epoch": 478.35555555555555, + "grad_norm": 0.16796875, + "learning_rate": 4.35e-07, + "loss": 0.0078, + "step": 5740 + }, + { + "epoch": 479.1777777777778, + "grad_norm": 0.1083984375, + "learning_rate": 4.183333333333334e-07, + "loss": 0.0076, + "step": 5750 + }, + { + "epoch": 480.0, + "grad_norm": 0.322265625, + "learning_rate": 4.0166666666666676e-07, + "loss": 0.0077, + "step": 5760 + }, + { + "epoch": 480.8888888888889, + "grad_norm": 0.1142578125, + "learning_rate": 3.85e-07, + "loss": 0.0078, + "step": 5770 + }, + { + "epoch": 481.7111111111111, + "grad_norm": 0.125, + "learning_rate": 3.683333333333334e-07, + "loss": 0.0075, + "step": 5780 + }, + { + "epoch": 482.53333333333336, + "grad_norm": 0.076171875, + "learning_rate": 3.516666666666667e-07, + "loss": 0.0077, + "step": 5790 + }, + { + "epoch": 483.35555555555555, + "grad_norm": 0.0986328125, + "learning_rate": 3.35e-07, + "loss": 0.0079, + "step": 5800 + }, + { + "epoch": 484.1777777777778, + "grad_norm": 0.06494140625, + "learning_rate": 3.1833333333333334e-07, + "loss": 0.0079, + "step": 5810 + }, + { + "epoch": 485.0, + "grad_norm": 0.1865234375, + "learning_rate": 3.016666666666667e-07, + "loss": 0.0076, + "step": 5820 + }, + { + "epoch": 485.8888888888889, + "grad_norm": 0.107421875, + "learning_rate": 2.85e-07, + "loss": 0.0076, + "step": 5830 + }, + { + "epoch": 486.7111111111111, + "grad_norm": 0.09423828125, + "learning_rate": 2.6833333333333334e-07, + "loss": 0.0078, + "step": 5840 + }, + { + "epoch": 487.53333333333336, + "grad_norm": 0.06298828125, + "learning_rate": 2.516666666666667e-07, + "loss": 0.0076, + "step": 5850 + }, + { + "epoch": 488.35555555555555, + "grad_norm": 0.0673828125, + "learning_rate": 2.3500000000000003e-07, + "loss": 0.008, + "step": 5860 + }, + { + "epoch": 489.1777777777778, + "grad_norm": 0.06396484375, + "learning_rate": 2.1833333333333334e-07, + "loss": 0.0077, + "step": 5870 + }, + { + "epoch": 490.0, + "grad_norm": 0.1689453125, + "learning_rate": 2.0166666666666669e-07, + "loss": 0.0076, + "step": 5880 + }, + { + "epoch": 490.8888888888889, + "grad_norm": 0.12890625, + "learning_rate": 1.85e-07, + "loss": 0.0077, + "step": 5890 + }, + { + "epoch": 491.7111111111111, + "grad_norm": 0.08251953125, + "learning_rate": 1.6833333333333335e-07, + "loss": 0.0077, + "step": 5900 + }, + { + "epoch": 492.53333333333336, + "grad_norm": 0.08544921875, + "learning_rate": 1.516666666666667e-07, + "loss": 0.0076, + "step": 5910 + }, + { + "epoch": 493.35555555555555, + "grad_norm": 0.078125, + "learning_rate": 1.35e-07, + "loss": 0.0075, + "step": 5920 + }, + { + "epoch": 494.1777777777778, + "grad_norm": 0.1552734375, + "learning_rate": 1.1833333333333333e-07, + "loss": 0.0081, + "step": 5930 + }, + { + "epoch": 495.0, + "grad_norm": 0.224609375, + "learning_rate": 1.0166666666666666e-07, + "loss": 0.0077, + "step": 5940 + }, + { + "epoch": 495.8888888888889, + "grad_norm": 0.12451171875, + "learning_rate": 8.500000000000001e-08, + "loss": 0.0077, + "step": 5950 + }, + { + "epoch": 496.7111111111111, + "grad_norm": 0.08056640625, + "learning_rate": 6.833333333333334e-08, + "loss": 0.0079, + "step": 5960 + }, + { + "epoch": 497.53333333333336, + "grad_norm": 0.0908203125, + "learning_rate": 5.166666666666667e-08, + "loss": 0.0078, + "step": 5970 + }, + { + "epoch": 498.35555555555555, + "grad_norm": 0.1494140625, + "learning_rate": 3.5e-08, + "loss": 0.0077, + "step": 5980 + }, + { + "epoch": 499.1777777777778, + "grad_norm": 0.078125, + "learning_rate": 1.8333333333333335e-08, + "loss": 0.0075, + "step": 5990 + }, + { + "epoch": 500.0, + "grad_norm": 0.177734375, + "learning_rate": 1.6666666666666667e-09, + "loss": 0.0077, + "step": 6000 + } + ], + "logging_steps": 10, + "max_steps": 6000, + "num_input_tokens_seen": 0, + "num_train_epochs": 500, + "save_steps": 100, + "stateful_callbacks": { + "TrainerControl": { + "args": { + "should_epoch_stop": false, + "should_evaluate": false, + "should_log": false, + "should_save": true, + "should_training_stop": true + }, + "attributes": {} + } + }, + "total_flos": 6.22488471994368e+18, + "train_batch_size": 1, + "trial_name": null, + "trial_params": null +}