{
"best_global_step": 1500,
"best_metric": 0.2072431445121765,
"best_model_checkpoint": "./results\\checkpoint-1500",
"epoch": 3.0,
"eval_steps": 500,
"global_step": 2250,
"is_hyper_param_search": false,
"is_local_process_zero": true,
"is_world_process_zero": true,
"log_history": [
{
"epoch": 0.0013333333333333333,
"grad_norm": 14.627123832702637,
"learning_rate": 1.999111111111111e-05,
"loss": 0.641,
"step": 1
},
{
"epoch": 0.0026666666666666666,
"grad_norm": 8.339805603027344,
"learning_rate": 1.9982222222222224e-05,
"loss": 0.607,
"step": 2
},
{
"epoch": 0.004,
"grad_norm": 19.532424926757812,
"learning_rate": 1.9973333333333334e-05,
"loss": 0.6549,
"step": 3
},
{
"epoch": 0.005333333333333333,
"grad_norm": 6.6504387855529785,
"learning_rate": 1.9964444444444447e-05,
"loss": 0.6999,
"step": 4
},
{
"epoch": 0.006666666666666667,
"grad_norm": 8.93764877319336,
"learning_rate": 1.9955555555555557e-05,
"loss": 0.633,
"step": 5
},
{
"epoch": 0.008,
"grad_norm": 14.934470176696777,
"learning_rate": 1.9946666666666667e-05,
"loss": 0.7584,
"step": 6
},
{
"epoch": 0.009333333333333334,
"grad_norm": 5.578488349914551,
"learning_rate": 1.993777777777778e-05,
"loss": 0.6476,
"step": 7
},
{
"epoch": 0.010666666666666666,
"grad_norm": 1.7294061183929443,
"learning_rate": 1.992888888888889e-05,
"loss": 0.6603,
"step": 8
},
{
"epoch": 0.012,
"grad_norm": 2.150653839111328,
"learning_rate": 1.9920000000000002e-05,
"loss": 0.7034,
"step": 9
},
{
"epoch": 0.013333333333333334,
"grad_norm": 5.418308258056641,
"learning_rate": 1.9911111111111112e-05,
"loss": 0.7293,
"step": 10
},
{
"epoch": 0.014666666666666666,
"grad_norm": 3.007488965988159,
"learning_rate": 1.9902222222222222e-05,
"loss": 0.7331,
"step": 11
},
{
"epoch": 0.016,
"grad_norm": 6.692118167877197,
"learning_rate": 1.9893333333333335e-05,
"loss": 0.6618,
"step": 12
},
{
"epoch": 0.017333333333333333,
"grad_norm": 2.7864668369293213,
"learning_rate": 1.9884444444444445e-05,
"loss": 0.6782,
"step": 13
},
{
"epoch": 0.018666666666666668,
"grad_norm": 2.2261343002319336,
"learning_rate": 1.9875555555555558e-05,
"loss": 0.7033,
"step": 14
},
{
"epoch": 0.02,
"grad_norm": 4.2621331214904785,
"learning_rate": 1.9866666666666667e-05,
"loss": 0.7,
"step": 15
},
{
"epoch": 0.021333333333333333,
"grad_norm": 2.4400110244750977,
"learning_rate": 1.985777777777778e-05,
"loss": 0.6917,
"step": 16
},
{
"epoch": 0.02266666666666667,
"grad_norm": 1.43474543094635,
"learning_rate": 1.984888888888889e-05,
"loss": 0.6723,
"step": 17
},
{
"epoch": 0.024,
"grad_norm": 2.127255439758301,
"learning_rate": 1.9840000000000003e-05,
"loss": 0.6943,
"step": 18
},
{
"epoch": 0.025333333333333333,
"grad_norm": 2.1291377544403076,
"learning_rate": 1.9831111111111113e-05,
"loss": 0.7033,
"step": 19
},
{
"epoch": 0.02666666666666667,
"grad_norm": 2.4452574253082275,
"learning_rate": 1.9822222222222226e-05,
"loss": 0.7183,
"step": 20
},
{
"epoch": 0.028,
"grad_norm": 2.547071933746338,
"learning_rate": 1.9813333333333336e-05,
"loss": 0.6713,
"step": 21
},
{
"epoch": 0.029333333333333333,
"grad_norm": 2.5004894733428955,
"learning_rate": 1.9804444444444445e-05,
"loss": 0.6804,
"step": 22
},
{
"epoch": 0.030666666666666665,
"grad_norm": 2.245891809463501,
"learning_rate": 1.979555555555556e-05,
"loss": 0.6819,
"step": 23
},
{
"epoch": 0.032,
"grad_norm": 3.817145347595215,
"learning_rate": 1.9786666666666668e-05,
"loss": 0.6791,
"step": 24
},
{
"epoch": 0.03333333333333333,
"grad_norm": 2.1110892295837402,
"learning_rate": 1.977777777777778e-05,
"loss": 0.7047,
"step": 25
},
{
"epoch": 0.034666666666666665,
"grad_norm": 2.3187880516052246,
"learning_rate": 1.976888888888889e-05,
"loss": 0.6859,
"step": 26
},
{
"epoch": 0.036,
"grad_norm": 1.3281068801879883,
"learning_rate": 1.976e-05,
"loss": 0.6727,
"step": 27
},
{
"epoch": 0.037333333333333336,
"grad_norm": 4.084102630615234,
"learning_rate": 1.9751111111111114e-05,
"loss": 0.6851,
"step": 28
},
{
"epoch": 0.03866666666666667,
"grad_norm": 1.8853222131729126,
"learning_rate": 1.9742222222222223e-05,
"loss": 0.6676,
"step": 29
},
{
"epoch": 0.04,
"grad_norm": 7.0090484619140625,
"learning_rate": 1.9733333333333336e-05,
"loss": 0.6784,
"step": 30
},
{
"epoch": 0.04133333333333333,
"grad_norm": 5.903691291809082,
"learning_rate": 1.9724444444444446e-05,
"loss": 0.7149,
"step": 31
},
{
"epoch": 0.042666666666666665,
"grad_norm": 4.953393459320068,
"learning_rate": 1.9715555555555556e-05,
"loss": 0.7093,
"step": 32
},
{
"epoch": 0.044,
"grad_norm": 3.9873998165130615,
"learning_rate": 1.970666666666667e-05,
"loss": 0.6346,
"step": 33
},
{
"epoch": 0.04533333333333334,
"grad_norm": 26.10811424255371,
"learning_rate": 1.969777777777778e-05,
"loss": 0.8086,
"step": 34
},
{
"epoch": 0.04666666666666667,
"grad_norm": 12.336629867553711,
"learning_rate": 1.968888888888889e-05,
"loss": 0.7103,
"step": 35
},
{
"epoch": 0.048,
"grad_norm": 15.208534240722656,
"learning_rate": 1.968e-05,
"loss": 0.7923,
"step": 36
},
{
"epoch": 0.04933333333333333,
"grad_norm": 4.430299282073975,
"learning_rate": 1.967111111111111e-05,
"loss": 0.6638,
"step": 37
},
{
"epoch": 0.050666666666666665,
"grad_norm": 3.1420223712921143,
"learning_rate": 1.9662222222222224e-05,
"loss": 0.6707,
"step": 38
},
{
"epoch": 0.052,
"grad_norm": 9.945216178894043,
"learning_rate": 1.9653333333333334e-05,
"loss": 0.6135,
"step": 39
},
{
"epoch": 0.05333333333333334,
"grad_norm": 5.429318904876709,
"learning_rate": 1.9644444444444447e-05,
"loss": 0.6783,
"step": 40
},
{
"epoch": 0.05466666666666667,
"grad_norm": 4.606677055358887,
"learning_rate": 1.9635555555555557e-05,
"loss": 0.6463,
"step": 41
},
{
"epoch": 0.056,
"grad_norm": 7.693625450134277,
"learning_rate": 1.9626666666666666e-05,
"loss": 0.716,
"step": 42
},
{
"epoch": 0.05733333333333333,
"grad_norm": 18.05965232849121,
"learning_rate": 1.961777777777778e-05,
"loss": 0.6252,
"step": 43
},
{
"epoch": 0.058666666666666666,
"grad_norm": 22.838586807250977,
"learning_rate": 1.960888888888889e-05,
"loss": 0.6246,
"step": 44
},
{
"epoch": 0.06,
"grad_norm": 35.062557220458984,
"learning_rate": 1.9600000000000002e-05,
"loss": 0.6546,
"step": 45
},
{
"epoch": 0.06133333333333333,
"grad_norm": 23.6820011138916,
"learning_rate": 1.9591111111111112e-05,
"loss": 0.6507,
"step": 46
},
{
"epoch": 0.06266666666666666,
"grad_norm": 37.164493560791016,
"learning_rate": 1.9582222222222225e-05,
"loss": 0.7308,
"step": 47
},
{
"epoch": 0.064,
"grad_norm": 34.39842987060547,
"learning_rate": 1.9573333333333335e-05,
"loss": 0.6238,
"step": 48
},
{
"epoch": 0.06533333333333333,
"grad_norm": 27.432872772216797,
"learning_rate": 1.9564444444444444e-05,
"loss": 0.5166,
"step": 49
},
{
"epoch": 0.06666666666666667,
"grad_norm": 20.374731063842773,
"learning_rate": 1.9555555555555557e-05,
"loss": 0.6095,
"step": 50
},
{
"epoch": 0.068,
"grad_norm": 11.77329158782959,
"learning_rate": 1.954666666666667e-05,
"loss": 0.448,
"step": 51
},
{
"epoch": 0.06933333333333333,
"grad_norm": 14.339151382446289,
"learning_rate": 1.953777777777778e-05,
"loss": 0.503,
"step": 52
},
{
"epoch": 0.07066666666666667,
"grad_norm": 12.430675506591797,
"learning_rate": 1.952888888888889e-05,
"loss": 0.389,
"step": 53
},
{
"epoch": 0.072,
"grad_norm": 20.04888343811035,
"learning_rate": 1.9520000000000003e-05,
"loss": 0.5957,
"step": 54
},
{
"epoch": 0.07333333333333333,
"grad_norm": 18.25558090209961,
"learning_rate": 1.9511111111111113e-05,
"loss": 0.5074,
"step": 55
},
{
"epoch": 0.07466666666666667,
"grad_norm": 17.257631301879883,
"learning_rate": 1.9502222222222226e-05,
"loss": 0.4241,
"step": 56
},
{
"epoch": 0.076,
"grad_norm": 22.133024215698242,
"learning_rate": 1.9493333333333335e-05,
"loss": 0.3963,
"step": 57
},
{
"epoch": 0.07733333333333334,
"grad_norm": 45.5373420715332,
"learning_rate": 1.9484444444444445e-05,
"loss": 0.4011,
"step": 58
},
{
"epoch": 0.07866666666666666,
"grad_norm": 10.581801414489746,
"learning_rate": 1.9475555555555558e-05,
"loss": 0.2981,
"step": 59
},
{
"epoch": 0.08,
"grad_norm": 12.735737800598145,
"learning_rate": 1.9466666666666668e-05,
"loss": 0.4726,
"step": 60
},
{
"epoch": 0.08133333333333333,
"grad_norm": 23.795799255371094,
"learning_rate": 1.945777777777778e-05,
"loss": 0.1834,
"step": 61
},
{
"epoch": 0.08266666666666667,
"grad_norm": 147.20193481445312,
"learning_rate": 1.944888888888889e-05,
"loss": 0.3594,
"step": 62
},
{
"epoch": 0.084,
"grad_norm": 30.774818420410156,
"learning_rate": 1.944e-05,
"loss": 0.6646,
"step": 63
},
{
"epoch": 0.08533333333333333,
"grad_norm": 106.9747314453125,
"learning_rate": 1.9431111111111113e-05,
"loss": 0.4138,
"step": 64
},
{
"epoch": 0.08666666666666667,
"grad_norm": 28.15129852294922,
"learning_rate": 1.9422222222222223e-05,
"loss": 0.1519,
"step": 65
},
{
"epoch": 0.088,
"grad_norm": 65.99510192871094,
"learning_rate": 1.9413333333333336e-05,
"loss": 0.4227,
"step": 66
},
{
"epoch": 0.08933333333333333,
"grad_norm": 26.523038864135742,
"learning_rate": 1.9404444444444446e-05,
"loss": 0.4324,
"step": 67
},
{
"epoch": 0.09066666666666667,
"grad_norm": 12.523640632629395,
"learning_rate": 1.9395555555555555e-05,
"loss": 0.2757,
"step": 68
},
{
"epoch": 0.092,
"grad_norm": 19.895227432250977,
"learning_rate": 1.938666666666667e-05,
"loss": 0.1715,
"step": 69
},
{
"epoch": 0.09333333333333334,
"grad_norm": 31.011396408081055,
"learning_rate": 1.9377777777777778e-05,
"loss": 0.5117,
"step": 70
},
{
"epoch": 0.09466666666666666,
"grad_norm": 39.200538635253906,
"learning_rate": 1.936888888888889e-05,
"loss": 0.2969,
"step": 71
},
{
"epoch": 0.096,
"grad_norm": 56.112220764160156,
"learning_rate": 1.936e-05,
"loss": 0.9901,
"step": 72
},
{
"epoch": 0.09733333333333333,
"grad_norm": 51.38960647583008,
"learning_rate": 1.935111111111111e-05,
"loss": 0.4334,
"step": 73
},
{
"epoch": 0.09866666666666667,
"grad_norm": 21.136308670043945,
"learning_rate": 1.9342222222222224e-05,
"loss": 0.4649,
"step": 74
},
{
"epoch": 0.1,
"grad_norm": 46.013893127441406,
"learning_rate": 1.9333333333333333e-05,
"loss": 0.2489,
"step": 75
},
{
"epoch": 0.10133333333333333,
"grad_norm": 14.146453857421875,
"learning_rate": 1.9324444444444447e-05,
"loss": 0.2653,
"step": 76
},
{
"epoch": 0.10266666666666667,
"grad_norm": 71.07035827636719,
"learning_rate": 1.9315555555555556e-05,
"loss": 0.4237,
"step": 77
},
{
"epoch": 0.104,
"grad_norm": 52.125553131103516,
"learning_rate": 1.930666666666667e-05,
"loss": 0.2287,
"step": 78
},
{
"epoch": 0.10533333333333333,
"grad_norm": 24.527158737182617,
"learning_rate": 1.929777777777778e-05,
"loss": 0.2826,
"step": 79
},
{
"epoch": 0.10666666666666667,
"grad_norm": 49.83603286743164,
"learning_rate": 1.928888888888889e-05,
"loss": 0.1461,
"step": 80
},
{
"epoch": 0.108,
"grad_norm": 110.55599975585938,
"learning_rate": 1.9280000000000002e-05,
"loss": 0.7141,
"step": 81
},
{
"epoch": 0.10933333333333334,
"grad_norm": 37.84483337402344,
"learning_rate": 1.9271111111111115e-05,
"loss": 0.3355,
"step": 82
},
{
"epoch": 0.11066666666666666,
"grad_norm": 27.611156463623047,
"learning_rate": 1.9262222222222225e-05,
"loss": 0.3372,
"step": 83
},
{
"epoch": 0.112,
"grad_norm": 70.65190887451172,
"learning_rate": 1.9253333333333334e-05,
"loss": 0.2155,
"step": 84
},
{
"epoch": 0.11333333333333333,
"grad_norm": 43.26824188232422,
"learning_rate": 1.9244444444444444e-05,
"loss": 0.4195,
"step": 85
},
{
"epoch": 0.11466666666666667,
"grad_norm": 13.488179206848145,
"learning_rate": 1.9235555555555557e-05,
"loss": 0.2769,
"step": 86
},
{
"epoch": 0.116,
"grad_norm": 76.66094970703125,
"learning_rate": 1.922666666666667e-05,
"loss": 0.5636,
"step": 87
},
{
"epoch": 0.11733333333333333,
"grad_norm": 51.19622802734375,
"learning_rate": 1.921777777777778e-05,
"loss": 0.2768,
"step": 88
},
{
"epoch": 0.11866666666666667,
"grad_norm": 65.36180114746094,
"learning_rate": 1.920888888888889e-05,
"loss": 0.5693,
"step": 89
},
{
"epoch": 0.12,
"grad_norm": 55.0505256652832,
"learning_rate": 1.9200000000000003e-05,
"loss": 0.8887,
"step": 90
},
{
"epoch": 0.12133333333333333,
"grad_norm": 99.0514907836914,
"learning_rate": 1.9191111111111112e-05,
"loss": 0.6066,
"step": 91
},
{
"epoch": 0.12266666666666666,
"grad_norm": 18.720666885375977,
"learning_rate": 1.9182222222222225e-05,
"loss": 0.4445,
"step": 92
},
{
"epoch": 0.124,
"grad_norm": 21.557336807250977,
"learning_rate": 1.9173333333333335e-05,
"loss": 0.4883,
"step": 93
},
{
"epoch": 0.12533333333333332,
"grad_norm": 33.96916198730469,
"learning_rate": 1.9164444444444445e-05,
"loss": 0.3203,
"step": 94
},
{
"epoch": 0.12666666666666668,
"grad_norm": 14.431241035461426,
"learning_rate": 1.9155555555555558e-05,
"loss": 0.2389,
"step": 95
},
{
"epoch": 0.128,
"grad_norm": 13.130929946899414,
"learning_rate": 1.9146666666666667e-05,
"loss": 0.3435,
"step": 96
},
{
"epoch": 0.12933333333333333,
"grad_norm": 10.08653450012207,
"learning_rate": 1.913777777777778e-05,
"loss": 0.1494,
"step": 97
},
{
"epoch": 0.13066666666666665,
"grad_norm": 44.454036712646484,
"learning_rate": 1.912888888888889e-05,
"loss": 0.3473,
"step": 98
},
{
"epoch": 0.132,
"grad_norm": 16.56328010559082,
"learning_rate": 1.912e-05,
"loss": 0.3318,
"step": 99
},
{
"epoch": 0.13333333333333333,
"grad_norm": 66.1546630859375,
"learning_rate": 1.9111111111111113e-05,
"loss": 0.7414,
"step": 100
},
{
"epoch": 0.13466666666666666,
"grad_norm": 27.151826858520508,
"learning_rate": 1.9102222222222223e-05,
"loss": 0.3135,
"step": 101
},
{
"epoch": 0.136,
"grad_norm": 40.466941833496094,
"learning_rate": 1.9093333333333336e-05,
"loss": 0.6338,
"step": 102
},
{
"epoch": 0.13733333333333334,
"grad_norm": 6.069929122924805,
"learning_rate": 1.9084444444444445e-05,
"loss": 0.2128,
"step": 103
},
{
"epoch": 0.13866666666666666,
"grad_norm": 13.290542602539062,
"learning_rate": 1.9075555555555555e-05,
"loss": 0.1863,
"step": 104
},
{
"epoch": 0.14,
"grad_norm": 7.77833890914917,
"learning_rate": 1.9066666666666668e-05,
"loss": 0.1553,
"step": 105
},
{
"epoch": 0.14133333333333334,
"grad_norm": 29.634456634521484,
"learning_rate": 1.9057777777777778e-05,
"loss": 0.1609,
"step": 106
},
{
"epoch": 0.14266666666666666,
"grad_norm": 15.491785049438477,
"learning_rate": 1.904888888888889e-05,
"loss": 0.3027,
"step": 107
},
{
"epoch": 0.144,
"grad_norm": 39.57001876831055,
"learning_rate": 1.904e-05,
"loss": 0.2733,
"step": 108
},
{
"epoch": 0.14533333333333334,
"grad_norm": 1527.8887939453125,
"learning_rate": 1.9031111111111114e-05,
"loss": 0.3483,
"step": 109
},
{
"epoch": 0.14666666666666667,
"grad_norm": 14.346165657043457,
"learning_rate": 1.9022222222222223e-05,
"loss": 0.2603,
"step": 110
},
{
"epoch": 0.148,
"grad_norm": 14.495599746704102,
"learning_rate": 1.9013333333333333e-05,
"loss": 0.6358,
"step": 111
},
{
"epoch": 0.14933333333333335,
"grad_norm": 93.30735778808594,
"learning_rate": 1.9004444444444446e-05,
"loss": 0.5965,
"step": 112
},
{
"epoch": 0.15066666666666667,
"grad_norm": 35.31761932373047,
"learning_rate": 1.899555555555556e-05,
"loss": 0.5956,
"step": 113
},
{
"epoch": 0.152,
"grad_norm": 24.461896896362305,
"learning_rate": 1.898666666666667e-05,
"loss": 0.5271,
"step": 114
},
{
"epoch": 0.15333333333333332,
"grad_norm": 44.11582946777344,
"learning_rate": 1.897777777777778e-05,
"loss": 0.3699,
"step": 115
},
{
"epoch": 0.15466666666666667,
"grad_norm": 39.06887435913086,
"learning_rate": 1.896888888888889e-05,
"loss": 0.4108,
"step": 116
},
{
"epoch": 0.156,
"grad_norm": 145.94923400878906,
"learning_rate": 1.896e-05,
"loss": 0.2984,
"step": 117
},
{
"epoch": 0.15733333333333333,
"grad_norm": 22.59219741821289,
"learning_rate": 1.8951111111111115e-05,
"loss": 0.1692,
"step": 118
},
{
"epoch": 0.15866666666666668,
"grad_norm": 26.94255256652832,
"learning_rate": 1.8942222222222224e-05,
"loss": 0.2579,
"step": 119
},
{
"epoch": 0.16,
"grad_norm": 20.52286720275879,
"learning_rate": 1.8933333333333334e-05,
"loss": 0.2975,
"step": 120
},
{
"epoch": 0.16133333333333333,
"grad_norm": 10.039375305175781,
"learning_rate": 1.8924444444444447e-05,
"loss": 0.0737,
"step": 121
},
{
"epoch": 0.16266666666666665,
"grad_norm": 18.642465591430664,
"learning_rate": 1.8915555555555557e-05,
"loss": 0.2514,
"step": 122
},
{
"epoch": 0.164,
"grad_norm": 42.480125427246094,
"learning_rate": 1.890666666666667e-05,
"loss": 0.2856,
"step": 123
},
{
"epoch": 0.16533333333333333,
"grad_norm": 52.896156311035156,
"learning_rate": 1.889777777777778e-05,
"loss": 0.3302,
"step": 124
},
{
"epoch": 0.16666666666666666,
"grad_norm": 50.55426788330078,
"learning_rate": 1.888888888888889e-05,
"loss": 0.4268,
"step": 125
},
{
"epoch": 0.168,
"grad_norm": 41.64912796020508,
"learning_rate": 1.8880000000000002e-05,
"loss": 0.6189,
"step": 126
},
{
"epoch": 0.16933333333333334,
"grad_norm": 13.792969703674316,
"learning_rate": 1.8871111111111112e-05,
"loss": 0.2548,
"step": 127
},
{
"epoch": 0.17066666666666666,
"grad_norm": 24.471569061279297,
"learning_rate": 1.8862222222222225e-05,
"loss": 0.1179,
"step": 128
},
{
"epoch": 0.172,
"grad_norm": 7.431952953338623,
"learning_rate": 1.8853333333333335e-05,
"loss": 0.0526,
"step": 129
},
{
"epoch": 0.17333333333333334,
"grad_norm": 64.0350570678711,
"learning_rate": 1.8844444444444444e-05,
"loss": 0.1595,
"step": 130
},
{
"epoch": 0.17466666666666666,
"grad_norm": 13.014350891113281,
"learning_rate": 1.8835555555555557e-05,
"loss": 0.3233,
"step": 131
},
{
"epoch": 0.176,
"grad_norm": 25.82568359375,
"learning_rate": 1.8826666666666667e-05,
"loss": 0.2804,
"step": 132
},
{
"epoch": 0.17733333333333334,
"grad_norm": 4.614621639251709,
"learning_rate": 1.881777777777778e-05,
"loss": 0.0416,
"step": 133
},
{
"epoch": 0.17866666666666667,
"grad_norm": 13.02204418182373,
"learning_rate": 1.880888888888889e-05,
"loss": 0.2377,
"step": 134
},
{
"epoch": 0.18,
"grad_norm": 30.01548957824707,
"learning_rate": 1.88e-05,
"loss": 0.2225,
"step": 135
},
{
"epoch": 0.18133333333333335,
"grad_norm": 44.04650115966797,
"learning_rate": 1.8791111111111113e-05,
"loss": 0.2938,
"step": 136
},
{
"epoch": 0.18266666666666667,
"grad_norm": 36.040340423583984,
"learning_rate": 1.8782222222222222e-05,
"loss": 0.6245,
"step": 137
},
{
"epoch": 0.184,
"grad_norm": 69.7017822265625,
"learning_rate": 1.8773333333333335e-05,
"loss": 0.2429,
"step": 138
},
{
"epoch": 0.18533333333333332,
"grad_norm": 16.8223876953125,
"learning_rate": 1.8764444444444445e-05,
"loss": 0.0419,
"step": 139
},
{
"epoch": 0.18666666666666668,
"grad_norm": 21.164058685302734,
"learning_rate": 1.8755555555555558e-05,
"loss": 0.2271,
"step": 140
},
{
"epoch": 0.188,
"grad_norm": 30.5648193359375,
"learning_rate": 1.8746666666666668e-05,
"loss": 0.1177,
"step": 141
},
{
"epoch": 0.18933333333333333,
"grad_norm": 7.340837001800537,
"learning_rate": 1.8737777777777778e-05,
"loss": 0.2376,
"step": 142
},
{
"epoch": 0.19066666666666668,
"grad_norm": 24.0690860748291,
"learning_rate": 1.872888888888889e-05,
"loss": 0.3533,
"step": 143
},
{
"epoch": 0.192,
"grad_norm": 21.582782745361328,
"learning_rate": 1.8720000000000004e-05,
"loss": 0.0612,
"step": 144
},
{
"epoch": 0.19333333333333333,
"grad_norm": 22.44994354248047,
"learning_rate": 1.8711111111111113e-05,
"loss": 0.5625,
"step": 145
},
{
"epoch": 0.19466666666666665,
"grad_norm": 4.906670570373535,
"learning_rate": 1.8702222222222223e-05,
"loss": 0.0562,
"step": 146
},
{
"epoch": 0.196,
"grad_norm": 115.6086654663086,
"learning_rate": 1.8693333333333333e-05,
"loss": 0.6454,
"step": 147
},
{
"epoch": 0.19733333333333333,
"grad_norm": 38.45610046386719,
"learning_rate": 1.8684444444444446e-05,
"loss": 0.323,
"step": 148
},
{
"epoch": 0.19866666666666666,
"grad_norm": 49.41714096069336,
"learning_rate": 1.867555555555556e-05,
"loss": 0.0995,
"step": 149
},
{
"epoch": 0.2,
"grad_norm": 34.208858489990234,
"learning_rate": 1.866666666666667e-05,
"loss": 0.2251,
"step": 150
},
{
"epoch": 0.20133333333333334,
"grad_norm": 58.0931396484375,
"learning_rate": 1.865777777777778e-05,
"loss": 0.5394,
"step": 151
},
{
"epoch": 0.20266666666666666,
"grad_norm": 124.47175598144531,
"learning_rate": 1.8648888888888888e-05,
"loss": 0.0985,
"step": 152
},
{
"epoch": 0.204,
"grad_norm": 148.10165405273438,
"learning_rate": 1.864e-05,
"loss": 0.1729,
"step": 153
},
{
"epoch": 0.20533333333333334,
"grad_norm": 87.4851303100586,
"learning_rate": 1.8631111111111114e-05,
"loss": 0.2575,
"step": 154
},
{
"epoch": 0.20666666666666667,
"grad_norm": 17.479164123535156,
"learning_rate": 1.8622222222222224e-05,
"loss": 0.6605,
"step": 155
},
{
"epoch": 0.208,
"grad_norm": 5.397349834442139,
"learning_rate": 1.8613333333333334e-05,
"loss": 0.0611,
"step": 156
},
{
"epoch": 0.20933333333333334,
"grad_norm": 31.238000869750977,
"learning_rate": 1.8604444444444447e-05,
"loss": 0.2066,
"step": 157
},
{
"epoch": 0.21066666666666667,
"grad_norm": 7.753409385681152,
"learning_rate": 1.8595555555555556e-05,
"loss": 0.3145,
"step": 158
},
{
"epoch": 0.212,
"grad_norm": 23.79139518737793,
"learning_rate": 1.858666666666667e-05,
"loss": 0.379,
"step": 159
},
{
"epoch": 0.21333333333333335,
"grad_norm": 9.529422760009766,
"learning_rate": 1.857777777777778e-05,
"loss": 0.105,
"step": 160
},
{
"epoch": 0.21466666666666667,
"grad_norm": 21.818645477294922,
"learning_rate": 1.856888888888889e-05,
"loss": 0.2623,
"step": 161
},
{
"epoch": 0.216,
"grad_norm": 134.34812927246094,
"learning_rate": 1.8560000000000002e-05,
"loss": 0.447,
"step": 162
},
{
"epoch": 0.21733333333333332,
"grad_norm": 22.48737907409668,
"learning_rate": 1.855111111111111e-05,
"loss": 0.3604,
"step": 163
},
{
"epoch": 0.21866666666666668,
"grad_norm": 8.137219429016113,
"learning_rate": 1.8542222222222225e-05,
"loss": 0.0699,
"step": 164
},
{
"epoch": 0.22,
"grad_norm": 7.612528324127197,
"learning_rate": 1.8533333333333334e-05,
"loss": 0.0756,
"step": 165
},
{
"epoch": 0.22133333333333333,
"grad_norm": 4.233839511871338,
"learning_rate": 1.8524444444444444e-05,
"loss": 0.044,
"step": 166
},
{
"epoch": 0.22266666666666668,
"grad_norm": 2.499749183654785,
"learning_rate": 1.8515555555555557e-05,
"loss": 0.0369,
"step": 167
},
{
"epoch": 0.224,
"grad_norm": 44.72653579711914,
"learning_rate": 1.8506666666666667e-05,
"loss": 0.5056,
"step": 168
},
{
"epoch": 0.22533333333333333,
"grad_norm": 94.48715209960938,
"learning_rate": 1.849777777777778e-05,
"loss": 0.9899,
"step": 169
},
{
"epoch": 0.22666666666666666,
"grad_norm": 50.759273529052734,
"learning_rate": 1.848888888888889e-05,
"loss": 0.4517,
"step": 170
},
{
"epoch": 0.228,
"grad_norm": 2.823085069656372,
"learning_rate": 1.8480000000000003e-05,
"loss": 0.0229,
"step": 171
},
{
"epoch": 0.22933333333333333,
"grad_norm": 10.095349311828613,
"learning_rate": 1.8471111111111112e-05,
"loss": 0.3415,
"step": 172
},
{
"epoch": 0.23066666666666666,
"grad_norm": 19.520004272460938,
"learning_rate": 1.8462222222222222e-05,
"loss": 0.9845,
"step": 173
},
{
"epoch": 0.232,
"grad_norm": 2.6272850036621094,
"learning_rate": 1.8453333333333335e-05,
"loss": 0.0246,
"step": 174
},
{
"epoch": 0.23333333333333334,
"grad_norm": 24.016042709350586,
"learning_rate": 1.8444444444444448e-05,
"loss": 0.2555,
"step": 175
},
{
"epoch": 0.23466666666666666,
"grad_norm": 7.339972496032715,
"learning_rate": 1.8435555555555558e-05,
"loss": 0.388,
"step": 176
},
{
"epoch": 0.236,
"grad_norm": 29.6446475982666,
"learning_rate": 1.8426666666666668e-05,
"loss": 0.6166,
"step": 177
},
{
"epoch": 0.23733333333333334,
"grad_norm": 74.16304016113281,
"learning_rate": 1.8417777777777777e-05,
"loss": 0.0331,
"step": 178
},
{
"epoch": 0.23866666666666667,
"grad_norm": 5.169797420501709,
"learning_rate": 1.840888888888889e-05,
"loss": 0.2821,
"step": 179
},
{
"epoch": 0.24,
"grad_norm": 11.803489685058594,
"learning_rate": 1.8400000000000003e-05,
"loss": 0.4419,
"step": 180
},
{
"epoch": 0.24133333333333334,
"grad_norm": 3.00130295753479,
"learning_rate": 1.8391111111111113e-05,
"loss": 0.0461,
"step": 181
},
{
"epoch": 0.24266666666666667,
"grad_norm": 2.33852219581604,
"learning_rate": 1.8382222222222223e-05,
"loss": 0.0413,
"step": 182
},
{
"epoch": 0.244,
"grad_norm": 37.422027587890625,
"learning_rate": 1.8373333333333332e-05,
"loss": 0.5966,
"step": 183
},
{
"epoch": 0.24533333333333332,
"grad_norm": 58.58165740966797,
"learning_rate": 1.8364444444444446e-05,
"loss": 0.1827,
"step": 184
},
{
"epoch": 0.24666666666666667,
"grad_norm": 20.952388763427734,
"learning_rate": 1.835555555555556e-05,
"loss": 0.5482,
"step": 185
},
{
"epoch": 0.248,
"grad_norm": 245.4321746826172,
"learning_rate": 1.834666666666667e-05,
"loss": 0.3842,
"step": 186
},
{
"epoch": 0.24933333333333332,
"grad_norm": 6.620431900024414,
"learning_rate": 1.8337777777777778e-05,
"loss": 0.0593,
"step": 187
},
{
"epoch": 0.25066666666666665,
"grad_norm": 40.56410217285156,
"learning_rate": 1.832888888888889e-05,
"loss": 0.0935,
"step": 188
},
{
"epoch": 0.252,
"grad_norm": 33.67024230957031,
"learning_rate": 1.832e-05,
"loss": 0.1794,
"step": 189
},
{
"epoch": 0.25333333333333335,
"grad_norm": 127.61767578125,
"learning_rate": 1.8311111111111114e-05,
"loss": 0.1994,
"step": 190
},
{
"epoch": 0.25466666666666665,
"grad_norm": 20.527280807495117,
"learning_rate": 1.8302222222222224e-05,
"loss": 0.2134,
"step": 191
},
{
"epoch": 0.256,
"grad_norm": 18.595436096191406,
"learning_rate": 1.8293333333333333e-05,
"loss": 0.1578,
"step": 192
},
{
"epoch": 0.25733333333333336,
"grad_norm": 266.69873046875,
"learning_rate": 1.8284444444444446e-05,
"loss": 0.4445,
"step": 193
},
{
"epoch": 0.25866666666666666,
"grad_norm": 2.982762098312378,
"learning_rate": 1.8275555555555556e-05,
"loss": 0.027,
"step": 194
},
{
"epoch": 0.26,
"grad_norm": 13.873507499694824,
"learning_rate": 1.826666666666667e-05,
"loss": 0.4022,
"step": 195
},
{
"epoch": 0.2613333333333333,
"grad_norm": 2.4256534576416016,
"learning_rate": 1.825777777777778e-05,
"loss": 0.0349,
"step": 196
},
{
"epoch": 0.26266666666666666,
"grad_norm": 17.277423858642578,
"learning_rate": 1.824888888888889e-05,
"loss": 0.2055,
"step": 197
},
{
"epoch": 0.264,
"grad_norm": 33.010581970214844,
"learning_rate": 1.824e-05,
"loss": 0.9487,
"step": 198
},
{
"epoch": 0.2653333333333333,
"grad_norm": 9.1439208984375,
"learning_rate": 1.823111111111111e-05,
"loss": 0.0511,
"step": 199
},
{
"epoch": 0.26666666666666666,
"grad_norm": 58.35274124145508,
"learning_rate": 1.8222222222222224e-05,
"loss": 0.2226,
"step": 200
},
{
"epoch": 0.268,
"grad_norm": 7.316181659698486,
"learning_rate": 1.8213333333333334e-05,
"loss": 0.0517,
"step": 201
},
{
"epoch": 0.2693333333333333,
"grad_norm": 17.394603729248047,
"learning_rate": 1.8204444444444447e-05,
"loss": 0.3034,
"step": 202
},
{
"epoch": 0.27066666666666667,
"grad_norm": 35.161983489990234,
"learning_rate": 1.8195555555555557e-05,
"loss": 0.4037,
"step": 203
},
{
"epoch": 0.272,
"grad_norm": 22.383846282958984,
"learning_rate": 1.8186666666666666e-05,
"loss": 0.3272,
"step": 204
},
{
"epoch": 0.2733333333333333,
"grad_norm": 0.9847931861877441,
"learning_rate": 1.817777777777778e-05,
"loss": 0.0149,
"step": 205
},
{
"epoch": 0.27466666666666667,
"grad_norm": 22.231000900268555,
"learning_rate": 1.8168888888888893e-05,
"loss": 0.3169,
"step": 206
},
{
"epoch": 0.276,
"grad_norm": 34.839412689208984,
"learning_rate": 1.8160000000000002e-05,
"loss": 0.0497,
"step": 207
},
{
"epoch": 0.2773333333333333,
"grad_norm": 16.957963943481445,
"learning_rate": 1.8151111111111112e-05,
"loss": 0.2793,
"step": 208
},
{
"epoch": 0.2786666666666667,
"grad_norm": 7.098817825317383,
"learning_rate": 1.814222222222222e-05,
"loss": 0.0322,
"step": 209
},
{
"epoch": 0.28,
"grad_norm": 17.51911163330078,
"learning_rate": 1.8133333333333335e-05,
"loss": 0.3463,
"step": 210
},
{
"epoch": 0.2813333333333333,
"grad_norm": 233.9532928466797,
"learning_rate": 1.8124444444444448e-05,
"loss": 0.4815,
"step": 211
},
{
"epoch": 0.2826666666666667,
"grad_norm": 33.82230758666992,
"learning_rate": 1.8115555555555558e-05,
"loss": 0.3326,
"step": 212
},
{
"epoch": 0.284,
"grad_norm": 2.750621795654297,
"learning_rate": 1.8106666666666667e-05,
"loss": 0.0204,
"step": 213
},
{
"epoch": 0.2853333333333333,
"grad_norm": 52.23008728027344,
"learning_rate": 1.8097777777777777e-05,
"loss": 0.024,
"step": 214
},
{
"epoch": 0.2866666666666667,
"grad_norm": 284.958740234375,
"learning_rate": 1.808888888888889e-05,
"loss": 0.4767,
"step": 215
},
{
"epoch": 0.288,
"grad_norm": 19.39361000061035,
"learning_rate": 1.8080000000000003e-05,
"loss": 0.215,
"step": 216
},
{
"epoch": 0.28933333333333333,
"grad_norm": 20.270641326904297,
"learning_rate": 1.8071111111111113e-05,
"loss": 0.1663,
"step": 217
},
{
"epoch": 0.2906666666666667,
"grad_norm": 2.4136362075805664,
"learning_rate": 1.8062222222222222e-05,
"loss": 0.0302,
"step": 218
},
{
"epoch": 0.292,
"grad_norm": 7.933583736419678,
"learning_rate": 1.8053333333333332e-05,
"loss": 0.0349,
"step": 219
},
{
"epoch": 0.29333333333333333,
"grad_norm": 10.698687553405762,
"learning_rate": 1.8044444444444445e-05,
"loss": 0.2286,
"step": 220
},
{
"epoch": 0.2946666666666667,
"grad_norm": 34.278446197509766,
"learning_rate": 1.803555555555556e-05,
"loss": 0.1602,
"step": 221
},
{
"epoch": 0.296,
"grad_norm": 19.786449432373047,
"learning_rate": 1.8026666666666668e-05,
"loss": 0.3549,
"step": 222
},
{
"epoch": 0.29733333333333334,
"grad_norm": 27.36318016052246,
"learning_rate": 1.8017777777777778e-05,
"loss": 0.2529,
"step": 223
},
{
"epoch": 0.2986666666666667,
"grad_norm": 29.068681716918945,
"learning_rate": 1.800888888888889e-05,
"loss": 0.3862,
"step": 224
},
{
"epoch": 0.3,
"grad_norm": 19.95208740234375,
"learning_rate": 1.8e-05,
"loss": 0.2392,
"step": 225
},
{
"epoch": 0.30133333333333334,
"grad_norm": 47.95585250854492,
"learning_rate": 1.7991111111111114e-05,
"loss": 0.0745,
"step": 226
},
{
"epoch": 0.30266666666666664,
"grad_norm": 3.48224139213562,
"learning_rate": 1.7982222222222223e-05,
"loss": 0.0214,
"step": 227
},
{
"epoch": 0.304,
"grad_norm": 12.369891166687012,
"learning_rate": 1.7973333333333333e-05,
"loss": 0.3466,
"step": 228
},
{
"epoch": 0.30533333333333335,
"grad_norm": 22.76944351196289,
"learning_rate": 1.7964444444444446e-05,
"loss": 0.1786,
"step": 229
},
{
"epoch": 0.30666666666666664,
"grad_norm": 234.60231018066406,
"learning_rate": 1.7955555555555556e-05,
"loss": 0.0615,
"step": 230
},
{
"epoch": 0.308,
"grad_norm": 19.848094940185547,
"learning_rate": 1.794666666666667e-05,
"loss": 0.3156,
"step": 231
},
{
"epoch": 0.30933333333333335,
"grad_norm": 25.010210037231445,
"learning_rate": 1.793777777777778e-05,
"loss": 0.2905,
"step": 232
},
{
"epoch": 0.31066666666666665,
"grad_norm": 42.725826263427734,
"learning_rate": 1.792888888888889e-05,
"loss": 0.0802,
"step": 233
},
{
"epoch": 0.312,
"grad_norm": 37.03154373168945,
"learning_rate": 1.792e-05,
"loss": 0.4213,
"step": 234
},
{
"epoch": 0.31333333333333335,
"grad_norm": 15.311205863952637,
"learning_rate": 1.791111111111111e-05,
"loss": 0.0476,
"step": 235
},
{
"epoch": 0.31466666666666665,
"grad_norm": 12.022018432617188,
"learning_rate": 1.7902222222222224e-05,
"loss": 0.2706,
"step": 236
},
{
"epoch": 0.316,
"grad_norm": 86.0662841796875,
"learning_rate": 1.7893333333333337e-05,
"loss": 0.5514,
"step": 237
},
{
"epoch": 0.31733333333333336,
"grad_norm": 12.067264556884766,
"learning_rate": 1.7884444444444447e-05,
"loss": 0.2213,
"step": 238
},
{
"epoch": 0.31866666666666665,
"grad_norm": 6.560802936553955,
"learning_rate": 1.7875555555555556e-05,
"loss": 0.055,
"step": 239
},
{
"epoch": 0.32,
"grad_norm": 3.3104169368743896,
"learning_rate": 1.7866666666666666e-05,
"loss": 0.0304,
"step": 240
},
{
"epoch": 0.32133333333333336,
"grad_norm": 22.006587982177734,
"learning_rate": 1.785777777777778e-05,
"loss": 0.2384,
"step": 241
},
{
"epoch": 0.32266666666666666,
"grad_norm": 2.7954185009002686,
"learning_rate": 1.7848888888888892e-05,
"loss": 0.033,
"step": 242
},
{
"epoch": 0.324,
"grad_norm": 18.05629539489746,
"learning_rate": 1.7840000000000002e-05,
"loss": 0.238,
"step": 243
},
{
"epoch": 0.3253333333333333,
"grad_norm": 180.05935668945312,
"learning_rate": 1.783111111111111e-05,
"loss": 0.4742,
"step": 244
},
{
"epoch": 0.32666666666666666,
"grad_norm": 25.477739334106445,
"learning_rate": 1.782222222222222e-05,
"loss": 0.3392,
"step": 245
},
{
"epoch": 0.328,
"grad_norm": 24.399242401123047,
"learning_rate": 1.7813333333333334e-05,
"loss": 0.5611,
"step": 246
},
{
"epoch": 0.3293333333333333,
"grad_norm": 32.40269470214844,
"learning_rate": 1.7804444444444448e-05,
"loss": 0.2195,
"step": 247
},
{
"epoch": 0.33066666666666666,
"grad_norm": 19.182676315307617,
"learning_rate": 1.7795555555555557e-05,
"loss": 0.351,
"step": 248
},
{
"epoch": 0.332,
"grad_norm": 61.42140579223633,
"learning_rate": 1.7786666666666667e-05,
"loss": 0.4096,
"step": 249
},
{
"epoch": 0.3333333333333333,
"grad_norm": 26.086057662963867,
"learning_rate": 1.7777777777777777e-05,
"loss": 0.2128,
"step": 250
},
{
"epoch": 0.33466666666666667,
"grad_norm": 19.716724395751953,
"learning_rate": 1.776888888888889e-05,
"loss": 0.4928,
"step": 251
},
{
"epoch": 0.336,
"grad_norm": 33.42515182495117,
"learning_rate": 1.7760000000000003e-05,
"loss": 0.5425,
"step": 252
},
{
"epoch": 0.3373333333333333,
"grad_norm": 38.710018157958984,
"learning_rate": 1.7751111111111112e-05,
"loss": 0.3258,
"step": 253
},
{
"epoch": 0.33866666666666667,
"grad_norm": 25.924890518188477,
"learning_rate": 1.7742222222222222e-05,
"loss": 0.5453,
"step": 254
},
{
"epoch": 0.34,
"grad_norm": 827.7050170898438,
"learning_rate": 1.7733333333333335e-05,
"loss": 0.5974,
"step": 255
},
{
"epoch": 0.3413333333333333,
"grad_norm": 369.217529296875,
"learning_rate": 1.7724444444444445e-05,
"loss": 0.2831,
"step": 256
},
{
"epoch": 0.3426666666666667,
"grad_norm": 27.43989372253418,
"learning_rate": 1.7715555555555558e-05,
"loss": 0.4867,
"step": 257
},
{
"epoch": 0.344,
"grad_norm": 174.02737426757812,
"learning_rate": 1.7706666666666668e-05,
"loss": 0.4243,
"step": 258
},
{
"epoch": 0.3453333333333333,
"grad_norm": 117.09225463867188,
"learning_rate": 1.7697777777777777e-05,
"loss": 0.7089,
"step": 259
},
{
"epoch": 0.3466666666666667,
"grad_norm": 46.31420135498047,
"learning_rate": 1.768888888888889e-05,
"loss": 0.4525,
"step": 260
},
{
"epoch": 0.348,
"grad_norm": 33.69447326660156,
"learning_rate": 1.768e-05,
"loss": 0.6255,
"step": 261
},
{
"epoch": 0.34933333333333333,
"grad_norm": 74.7444076538086,
"learning_rate": 1.7671111111111113e-05,
"loss": 0.4938,
"step": 262
},
{
"epoch": 0.3506666666666667,
"grad_norm": 11.275300025939941,
"learning_rate": 1.7662222222222223e-05,
"loss": 0.5376,
"step": 263
},
{
"epoch": 0.352,
"grad_norm": 8.177071571350098,
"learning_rate": 1.7653333333333336e-05,
"loss": 0.3807,
"step": 264
},
{
"epoch": 0.35333333333333333,
"grad_norm": 7.09719181060791,
"learning_rate": 1.7644444444444446e-05,
"loss": 0.4133,
"step": 265
},
{
"epoch": 0.3546666666666667,
"grad_norm": 14.261161804199219,
"learning_rate": 1.7635555555555555e-05,
"loss": 0.3916,
"step": 266
},
{
"epoch": 0.356,
"grad_norm": 71.0356216430664,
"learning_rate": 1.762666666666667e-05,
"loss": 0.3758,
"step": 267
},
{
"epoch": 0.35733333333333334,
"grad_norm": 41.849700927734375,
"learning_rate": 1.761777777777778e-05,
"loss": 0.3451,
"step": 268
},
{
"epoch": 0.3586666666666667,
"grad_norm": 24.682538986206055,
"learning_rate": 1.760888888888889e-05,
"loss": 0.4823,
"step": 269
},
{
"epoch": 0.36,
"grad_norm": 6.404449462890625,
"learning_rate": 1.76e-05,
"loss": 0.3063,
"step": 270
},
{
"epoch": 0.36133333333333334,
"grad_norm": 10.134682655334473,
"learning_rate": 1.759111111111111e-05,
"loss": 0.2112,
"step": 271
},
{
"epoch": 0.3626666666666667,
"grad_norm": 12.487289428710938,
"learning_rate": 1.7582222222222224e-05,
"loss": 0.154,
"step": 272
},
{
"epoch": 0.364,
"grad_norm": 59.23768997192383,
"learning_rate": 1.7573333333333337e-05,
"loss": 0.3952,
"step": 273
},
{
"epoch": 0.36533333333333334,
"grad_norm": 87.46177673339844,
"learning_rate": 1.7564444444444446e-05,
"loss": 0.3016,
"step": 274
},
{
"epoch": 0.36666666666666664,
"grad_norm": 92.79609680175781,
"learning_rate": 1.7555555555555556e-05,
"loss": 0.3693,
"step": 275
},
{
"epoch": 0.368,
"grad_norm": 11.168188095092773,
"learning_rate": 1.7546666666666666e-05,
"loss": 0.1655,
"step": 276
},
{
"epoch": 0.36933333333333335,
"grad_norm": 13.529358863830566,
"learning_rate": 1.753777777777778e-05,
"loss": 0.1907,
"step": 277
},
{
"epoch": 0.37066666666666664,
"grad_norm": 42.015201568603516,
"learning_rate": 1.7528888888888892e-05,
"loss": 0.3096,
"step": 278
},
{
"epoch": 0.372,
"grad_norm": 48.053428649902344,
"learning_rate": 1.752e-05,
"loss": 0.1381,
"step": 279
},
{
"epoch": 0.37333333333333335,
"grad_norm": 281.5953674316406,
"learning_rate": 1.751111111111111e-05,
"loss": 0.6973,
"step": 280
},
{
"epoch": 0.37466666666666665,
"grad_norm": 23.847620010375977,
"learning_rate": 1.750222222222222e-05,
"loss": 0.0819,
"step": 281
},
{
"epoch": 0.376,
"grad_norm": 14.743887901306152,
"learning_rate": 1.7493333333333334e-05,
"loss": 0.2407,
"step": 282
},
{
"epoch": 0.37733333333333335,
"grad_norm": 284.9918212890625,
"learning_rate": 1.7484444444444447e-05,
"loss": 0.2824,
"step": 283
},
{
"epoch": 0.37866666666666665,
"grad_norm": 6.147160530090332,
"learning_rate": 1.7475555555555557e-05,
"loss": 0.0677,
"step": 284
},
{
"epoch": 0.38,
"grad_norm": 15.07276725769043,
"learning_rate": 1.7466666666666667e-05,
"loss": 0.2067,
"step": 285
},
{
"epoch": 0.38133333333333336,
"grad_norm": 6.970149517059326,
"learning_rate": 1.745777777777778e-05,
"loss": 0.0474,
"step": 286
},
{
"epoch": 0.38266666666666665,
"grad_norm": 26.141712188720703,
"learning_rate": 1.744888888888889e-05,
"loss": 0.3266,
"step": 287
},
{
"epoch": 0.384,
"grad_norm": 25.952186584472656,
"learning_rate": 1.7440000000000002e-05,
"loss": 0.0827,
"step": 288
},
{
"epoch": 0.38533333333333336,
"grad_norm": 50.988216400146484,
"learning_rate": 1.7431111111111112e-05,
"loss": 0.0432,
"step": 289
},
{
"epoch": 0.38666666666666666,
"grad_norm": 189.57321166992188,
"learning_rate": 1.7422222222222222e-05,
"loss": 0.9796,
"step": 290
},
{
"epoch": 0.388,
"grad_norm": 78.50845336914062,
"learning_rate": 1.7413333333333335e-05,
"loss": 0.4486,
"step": 291
},
{
"epoch": 0.3893333333333333,
"grad_norm": 22.90538215637207,
"learning_rate": 1.7404444444444445e-05,
"loss": 0.5552,
"step": 292
},
{
"epoch": 0.39066666666666666,
"grad_norm": 37.782310485839844,
"learning_rate": 1.7395555555555558e-05,
"loss": 0.7857,
"step": 293
},
{
"epoch": 0.392,
"grad_norm": 45.343780517578125,
"learning_rate": 1.7386666666666667e-05,
"loss": 0.3732,
"step": 294
},
{
"epoch": 0.3933333333333333,
"grad_norm": 288.2884521484375,
"learning_rate": 1.737777777777778e-05,
"loss": 0.5145,
"step": 295
},
{
"epoch": 0.39466666666666667,
"grad_norm": 58.114498138427734,
"learning_rate": 1.736888888888889e-05,
"loss": 0.3083,
"step": 296
},
{
"epoch": 0.396,
"grad_norm": 27.61408042907715,
"learning_rate": 1.736e-05,
"loss": 0.6747,
"step": 297
},
{
"epoch": 0.3973333333333333,
"grad_norm": 11.23613452911377,
"learning_rate": 1.7351111111111113e-05,
"loss": 0.0703,
"step": 298
},
{
"epoch": 0.39866666666666667,
"grad_norm": 33.32169723510742,
"learning_rate": 1.7342222222222226e-05,
"loss": 0.7362,
"step": 299
},
{
"epoch": 0.4,
"grad_norm": 14.595995903015137,
"learning_rate": 1.7333333333333336e-05,
"loss": 0.0741,
"step": 300
},
{
"epoch": 0.4013333333333333,
"grad_norm": 14.165314674377441,
"learning_rate": 1.7324444444444445e-05,
"loss": 0.0568,
"step": 301
},
{
"epoch": 0.4026666666666667,
"grad_norm": 19.93703842163086,
"learning_rate": 1.7315555555555555e-05,
"loss": 0.2092,
"step": 302
},
{
"epoch": 0.404,
"grad_norm": 46.76519775390625,
"learning_rate": 1.7306666666666668e-05,
"loss": 0.274,
"step": 303
},
{
"epoch": 0.4053333333333333,
"grad_norm": 31.949569702148438,
"learning_rate": 1.729777777777778e-05,
"loss": 0.5386,
"step": 304
},
{
"epoch": 0.4066666666666667,
"grad_norm": 23.820602416992188,
"learning_rate": 1.728888888888889e-05,
"loss": 0.1407,
"step": 305
},
{
"epoch": 0.408,
"grad_norm": 180.520751953125,
"learning_rate": 1.728e-05,
"loss": 0.2582,
"step": 306
},
{
"epoch": 0.4093333333333333,
"grad_norm": 53.30815505981445,
"learning_rate": 1.727111111111111e-05,
"loss": 0.2567,
"step": 307
},
{
"epoch": 0.4106666666666667,
"grad_norm": 23.66790199279785,
"learning_rate": 1.7262222222222223e-05,
"loss": 0.1349,
"step": 308
},
{
"epoch": 0.412,
"grad_norm": 13.885927200317383,
"learning_rate": 1.7253333333333336e-05,
"loss": 0.128,
"step": 309
},
{
"epoch": 0.41333333333333333,
"grad_norm": 46.04557418823242,
"learning_rate": 1.7244444444444446e-05,
"loss": 0.4668,
"step": 310
},
{
"epoch": 0.4146666666666667,
"grad_norm": 53.88737106323242,
"learning_rate": 1.7235555555555556e-05,
"loss": 0.1294,
"step": 311
},
{
"epoch": 0.416,
"grad_norm": 182.98684692382812,
"learning_rate": 1.7226666666666665e-05,
"loss": 0.3089,
"step": 312
},
{
"epoch": 0.41733333333333333,
"grad_norm": 46.9910774230957,
"learning_rate": 1.721777777777778e-05,
"loss": 0.7143,
"step": 313
},
{
"epoch": 0.4186666666666667,
"grad_norm": 34.41313171386719,
"learning_rate": 1.720888888888889e-05,
"loss": 0.3975,
"step": 314
},
{
"epoch": 0.42,
"grad_norm": 32.03249740600586,
"learning_rate": 1.72e-05,
"loss": 0.6345,
"step": 315
},
{
"epoch": 0.42133333333333334,
"grad_norm": 3.419473886489868,
"learning_rate": 1.719111111111111e-05,
"loss": 0.0622,
"step": 316
},
{
"epoch": 0.4226666666666667,
"grad_norm": 19.916728973388672,
"learning_rate": 1.7182222222222224e-05,
"loss": 0.4867,
"step": 317
},
{
"epoch": 0.424,
"grad_norm": 17.86551284790039,
"learning_rate": 1.7173333333333334e-05,
"loss": 0.1368,
"step": 318
},
{
"epoch": 0.42533333333333334,
"grad_norm": 43.53690719604492,
"learning_rate": 1.7164444444444447e-05,
"loss": 0.1883,
"step": 319
},
{
"epoch": 0.4266666666666667,
"grad_norm": 55.465118408203125,
"learning_rate": 1.7155555555555557e-05,
"loss": 0.1869,
"step": 320
},
{
"epoch": 0.428,
"grad_norm": 18.021461486816406,
"learning_rate": 1.7146666666666666e-05,
"loss": 0.0782,
"step": 321
},
{
"epoch": 0.42933333333333334,
"grad_norm": 24.052791595458984,
"learning_rate": 1.713777777777778e-05,
"loss": 0.215,
"step": 322
},
{
"epoch": 0.43066666666666664,
"grad_norm": 64.57102966308594,
"learning_rate": 1.712888888888889e-05,
"loss": 0.6776,
"step": 323
},
{
"epoch": 0.432,
"grad_norm": 56.235496520996094,
"learning_rate": 1.7120000000000002e-05,
"loss": 0.3664,
"step": 324
},
{
"epoch": 0.43333333333333335,
"grad_norm": 24.880115509033203,
"learning_rate": 1.7111111111111112e-05,
"loss": 0.6736,
"step": 325
},
{
"epoch": 0.43466666666666665,
"grad_norm": 25.983304977416992,
"learning_rate": 1.7102222222222225e-05,
"loss": 0.3372,
"step": 326
},
{
"epoch": 0.436,
"grad_norm": 39.0350227355957,
"learning_rate": 1.7093333333333335e-05,
"loss": 0.1549,
"step": 327
},
{
"epoch": 0.43733333333333335,
"grad_norm": 60.73147964477539,
"learning_rate": 1.7084444444444444e-05,
"loss": 0.1894,
"step": 328
},
{
"epoch": 0.43866666666666665,
"grad_norm": 32.65517044067383,
"learning_rate": 1.7075555555555557e-05,
"loss": 0.1773,
"step": 329
},
{
"epoch": 0.44,
"grad_norm": 7.774807453155518,
"learning_rate": 1.706666666666667e-05,
"loss": 0.3081,
"step": 330
},
{
"epoch": 0.44133333333333336,
"grad_norm": 30.63202476501465,
"learning_rate": 1.705777777777778e-05,
"loss": 0.3665,
"step": 331
},
{
"epoch": 0.44266666666666665,
"grad_norm": 4.075716972351074,
"learning_rate": 1.704888888888889e-05,
"loss": 0.0595,
"step": 332
},
{
"epoch": 0.444,
"grad_norm": 55.83653259277344,
"learning_rate": 1.704e-05,
"loss": 0.4077,
"step": 333
},
{
"epoch": 0.44533333333333336,
"grad_norm": 14.701739311218262,
"learning_rate": 1.7031111111111113e-05,
"loss": 0.305,
"step": 334
},
{
"epoch": 0.44666666666666666,
"grad_norm": 2.745668649673462,
"learning_rate": 1.7022222222222226e-05,
"loss": 0.0373,
"step": 335
},
{
"epoch": 0.448,
"grad_norm": 4.234600067138672,
"learning_rate": 1.7013333333333335e-05,
"loss": 0.0528,
"step": 336
},
{
"epoch": 0.4493333333333333,
"grad_norm": 1.737822413444519,
"learning_rate": 1.7004444444444445e-05,
"loss": 0.036,
"step": 337
},
{
"epoch": 0.45066666666666666,
"grad_norm": 79.35819244384766,
"learning_rate": 1.6995555555555555e-05,
"loss": 0.186,
"step": 338
},
{
"epoch": 0.452,
"grad_norm": 90.3438949584961,
"learning_rate": 1.6986666666666668e-05,
"loss": 0.1738,
"step": 339
},
{
"epoch": 0.4533333333333333,
"grad_norm": 6.399804592132568,
"learning_rate": 1.697777777777778e-05,
"loss": 0.2824,
"step": 340
},
{
"epoch": 0.45466666666666666,
"grad_norm": 34.14095687866211,
"learning_rate": 1.696888888888889e-05,
"loss": 0.5652,
"step": 341
},
{
"epoch": 0.456,
"grad_norm": 7.133403301239014,
"learning_rate": 1.696e-05,
"loss": 0.33,
"step": 342
},
{
"epoch": 0.4573333333333333,
"grad_norm": 57.944828033447266,
"learning_rate": 1.695111111111111e-05,
"loss": 0.1089,
"step": 343
},
{
"epoch": 0.45866666666666667,
"grad_norm": 43.966346740722656,
"learning_rate": 1.6942222222222223e-05,
"loss": 0.5545,
"step": 344
},
{
"epoch": 0.46,
"grad_norm": 3.990805149078369,
"learning_rate": 1.6933333333333336e-05,
"loss": 0.0321,
"step": 345
},
{
"epoch": 0.4613333333333333,
"grad_norm": 43.71564483642578,
"learning_rate": 1.6924444444444446e-05,
"loss": 0.7703,
"step": 346
},
{
"epoch": 0.46266666666666667,
"grad_norm": 56.1742057800293,
"learning_rate": 1.6915555555555555e-05,
"loss": 0.4543,
"step": 347
},
{
"epoch": 0.464,
"grad_norm": 24.629106521606445,
"learning_rate": 1.690666666666667e-05,
"loss": 0.1364,
"step": 348
},
{
"epoch": 0.4653333333333333,
"grad_norm": 1.52285897731781,
"learning_rate": 1.6897777777777778e-05,
"loss": 0.0288,
"step": 349
},
{
"epoch": 0.4666666666666667,
"grad_norm": 11.193754196166992,
"learning_rate": 1.688888888888889e-05,
"loss": 0.6342,
"step": 350
},
{
"epoch": 0.468,
"grad_norm": 2.9235169887542725,
"learning_rate": 1.688e-05,
"loss": 0.0308,
"step": 351
},
{
"epoch": 0.4693333333333333,
"grad_norm": 22.250591278076172,
"learning_rate": 1.687111111111111e-05,
"loss": 0.2062,
"step": 352
},
{
"epoch": 0.4706666666666667,
"grad_norm": 65.51893615722656,
"learning_rate": 1.6862222222222224e-05,
"loss": 0.1219,
"step": 353
},
{
"epoch": 0.472,
"grad_norm": 1.9695253372192383,
"learning_rate": 1.6853333333333333e-05,
"loss": 0.0267,
"step": 354
},
{
"epoch": 0.47333333333333333,
"grad_norm": 41.16484832763672,
"learning_rate": 1.6844444444444447e-05,
"loss": 0.3747,
"step": 355
},
{
"epoch": 0.4746666666666667,
"grad_norm": 59.84547424316406,
"learning_rate": 1.6835555555555556e-05,
"loss": 0.1666,
"step": 356
},
{
"epoch": 0.476,
"grad_norm": 20.506546020507812,
"learning_rate": 1.682666666666667e-05,
"loss": 0.3325,
"step": 357
},
{
"epoch": 0.47733333333333333,
"grad_norm": 1.2213846445083618,
"learning_rate": 1.681777777777778e-05,
"loss": 0.0127,
"step": 358
},
{
"epoch": 0.4786666666666667,
"grad_norm": 2.5118396282196045,
"learning_rate": 1.680888888888889e-05,
"loss": 0.0186,
"step": 359
},
{
"epoch": 0.48,
"grad_norm": 39.39874267578125,
"learning_rate": 1.6800000000000002e-05,
"loss": 0.3088,
"step": 360
},
{
"epoch": 0.48133333333333334,
"grad_norm": 27.76407241821289,
"learning_rate": 1.6791111111111115e-05,
"loss": 1.0233,
"step": 361
},
{
"epoch": 0.4826666666666667,
"grad_norm": 34.02022171020508,
"learning_rate": 1.6782222222222225e-05,
"loss": 0.2557,
"step": 362
},
{
"epoch": 0.484,
"grad_norm": 267.3395690917969,
"learning_rate": 1.6773333333333334e-05,
"loss": 0.9249,
"step": 363
},
{
"epoch": 0.48533333333333334,
"grad_norm": 1.2267107963562012,
"learning_rate": 1.6764444444444444e-05,
"loss": 0.0129,
"step": 364
},
{
"epoch": 0.4866666666666667,
"grad_norm": 0.6880038380622864,
"learning_rate": 1.6755555555555557e-05,
"loss": 0.0079,
"step": 365
},
{
"epoch": 0.488,
"grad_norm": 84.12385559082031,
"learning_rate": 1.674666666666667e-05,
"loss": 0.2129,
"step": 366
},
{
"epoch": 0.48933333333333334,
"grad_norm": 70.79206848144531,
"learning_rate": 1.673777777777778e-05,
"loss": 0.8714,
"step": 367
},
{
"epoch": 0.49066666666666664,
"grad_norm": 92.06423950195312,
"learning_rate": 1.672888888888889e-05,
"loss": 0.9983,
"step": 368
},
{
"epoch": 0.492,
"grad_norm": 16.41324806213379,
"learning_rate": 1.672e-05,
"loss": 0.4104,
"step": 369
},
{
"epoch": 0.49333333333333335,
"grad_norm": 18.517337799072266,
"learning_rate": 1.6711111111111112e-05,
"loss": 0.4307,
"step": 370
},
{
"epoch": 0.49466666666666664,
"grad_norm": 0.6116989850997925,
"learning_rate": 1.6702222222222225e-05,
"loss": 0.0079,
"step": 371
},
{
"epoch": 0.496,
"grad_norm": 0.5906031727790833,
"learning_rate": 1.6693333333333335e-05,
"loss": 0.009,
"step": 372
},
{
"epoch": 0.49733333333333335,
"grad_norm": 0.40563252568244934,
"learning_rate": 1.6684444444444445e-05,
"loss": 0.0079,
"step": 373
},
{
"epoch": 0.49866666666666665,
"grad_norm": 99.43434143066406,
"learning_rate": 1.6675555555555554e-05,
"loss": 0.0799,
"step": 374
},
{
"epoch": 0.5,
"grad_norm": 94.07172393798828,
"learning_rate": 1.6666666666666667e-05,
"loss": 0.4407,
"step": 375
},
{
"epoch": 0.5013333333333333,
"grad_norm": 95.74668884277344,
"learning_rate": 1.665777777777778e-05,
"loss": 1.4446,
"step": 376
},
{
"epoch": 0.5026666666666667,
"grad_norm": 15.985678672790527,
"learning_rate": 1.664888888888889e-05,
"loss": 0.8306,
"step": 377
},
{
"epoch": 0.504,
"grad_norm": 298.76837158203125,
"learning_rate": 1.664e-05,
"loss": 0.3422,
"step": 378
},
{
"epoch": 0.5053333333333333,
"grad_norm": 36.80162811279297,
"learning_rate": 1.6631111111111113e-05,
"loss": 0.5058,
"step": 379
},
{
"epoch": 0.5066666666666667,
"grad_norm": 21.144271850585938,
"learning_rate": 1.6622222222222223e-05,
"loss": 0.0309,
"step": 380
},
{
"epoch": 0.508,
"grad_norm": 7.567387104034424,
"learning_rate": 1.6613333333333336e-05,
"loss": 0.4728,
"step": 381
},
{
"epoch": 0.5093333333333333,
"grad_norm": 26.494226455688477,
"learning_rate": 1.6604444444444445e-05,
"loss": 0.0867,
"step": 382
},
{
"epoch": 0.5106666666666667,
"grad_norm": 126.83513641357422,
"learning_rate": 1.6595555555555555e-05,
"loss": 0.8798,
"step": 383
},
{
"epoch": 0.512,
"grad_norm": 58.590965270996094,
"learning_rate": 1.6586666666666668e-05,
"loss": 0.1136,
"step": 384
},
{
"epoch": 0.5133333333333333,
"grad_norm": 31.592548370361328,
"learning_rate": 1.6577777777777778e-05,
"loss": 0.353,
"step": 385
},
{
"epoch": 0.5146666666666667,
"grad_norm": 12.600981712341309,
"learning_rate": 1.656888888888889e-05,
"loss": 0.0412,
"step": 386
},
{
"epoch": 0.516,
"grad_norm": 4.373597621917725,
"learning_rate": 1.656e-05,
"loss": 0.0208,
"step": 387
},
{
"epoch": 0.5173333333333333,
"grad_norm": 1.4264463186264038,
"learning_rate": 1.6551111111111114e-05,
"loss": 0.0176,
"step": 388
},
{
"epoch": 0.5186666666666667,
"grad_norm": 0.9098450541496277,
"learning_rate": 1.6542222222222223e-05,
"loss": 0.0123,
"step": 389
},
{
"epoch": 0.52,
"grad_norm": 0.44002705812454224,
"learning_rate": 1.6533333333333333e-05,
"loss": 0.0065,
"step": 390
},
{
"epoch": 0.5213333333333333,
"grad_norm": 11.295949935913086,
"learning_rate": 1.6524444444444446e-05,
"loss": 0.4225,
"step": 391
},
{
"epoch": 0.5226666666666666,
"grad_norm": 9.730602264404297,
"learning_rate": 1.651555555555556e-05,
"loss": 0.0279,
"step": 392
},
{
"epoch": 0.524,
"grad_norm": 36.07223129272461,
"learning_rate": 1.650666666666667e-05,
"loss": 0.0432,
"step": 393
},
{
"epoch": 0.5253333333333333,
"grad_norm": 82.18423461914062,
"learning_rate": 1.649777777777778e-05,
"loss": 0.1572,
"step": 394
},
{
"epoch": 0.5266666666666666,
"grad_norm": 0.6244869232177734,
"learning_rate": 1.648888888888889e-05,
"loss": 0.0068,
"step": 395
},
{
"epoch": 0.528,
"grad_norm": 0.3239281177520752,
"learning_rate": 1.648e-05,
"loss": 0.0054,
"step": 396
},
{
"epoch": 0.5293333333333333,
"grad_norm": 7.361968994140625,
"learning_rate": 1.6471111111111115e-05,
"loss": 0.4715,
"step": 397
},
{
"epoch": 0.5306666666666666,
"grad_norm": 29.584047317504883,
"learning_rate": 1.6462222222222224e-05,
"loss": 1.2635,
"step": 398
},
{
"epoch": 0.532,
"grad_norm": 0.8452209234237671,
"learning_rate": 1.6453333333333334e-05,
"loss": 0.0054,
"step": 399
},
{
"epoch": 0.5333333333333333,
"grad_norm": 0.3747219145298004,
"learning_rate": 1.6444444444444444e-05,
"loss": 0.0051,
"step": 400
},
{
"epoch": 0.5346666666666666,
"grad_norm": 14.766377449035645,
"learning_rate": 1.6435555555555557e-05,
"loss": 0.3855,
"step": 401
},
{
"epoch": 0.536,
"grad_norm": 35.21036911010742,
"learning_rate": 1.642666666666667e-05,
"loss": 0.0422,
"step": 402
},
{
"epoch": 0.5373333333333333,
"grad_norm": 17.602951049804688,
"learning_rate": 1.641777777777778e-05,
"loss": 0.0188,
"step": 403
},
{
"epoch": 0.5386666666666666,
"grad_norm": 6.351717472076416,
"learning_rate": 1.640888888888889e-05,
"loss": 0.466,
"step": 404
},
{
"epoch": 0.54,
"grad_norm": 0.3398309350013733,
"learning_rate": 1.64e-05,
"loss": 0.005,
"step": 405
},
{
"epoch": 0.5413333333333333,
"grad_norm": 163.7615203857422,
"learning_rate": 1.6391111111111112e-05,
"loss": 0.1587,
"step": 406
},
{
"epoch": 0.5426666666666666,
"grad_norm": 0.6235336661338806,
"learning_rate": 1.6382222222222225e-05,
"loss": 0.0088,
"step": 407
},
{
"epoch": 0.544,
"grad_norm": 150.38983154296875,
"learning_rate": 1.6373333333333335e-05,
"loss": 0.192,
"step": 408
},
{
"epoch": 0.5453333333333333,
"grad_norm": 55.88649368286133,
"learning_rate": 1.6364444444444444e-05,
"loss": 0.0832,
"step": 409
},
{
"epoch": 0.5466666666666666,
"grad_norm": 1.7112860679626465,
"learning_rate": 1.6355555555555557e-05,
"loss": 0.01,
"step": 410
},
{
"epoch": 0.548,
"grad_norm": 0.8538914322853088,
"learning_rate": 1.6346666666666667e-05,
"loss": 0.0063,
"step": 411
},
{
"epoch": 0.5493333333333333,
"grad_norm": 0.23169256746768951,
"learning_rate": 1.633777777777778e-05,
"loss": 0.0048,
"step": 412
},
{
"epoch": 0.5506666666666666,
"grad_norm": 0.34852316975593567,
"learning_rate": 1.632888888888889e-05,
"loss": 0.0057,
"step": 413
},
{
"epoch": 0.552,
"grad_norm": 15.184539794921875,
"learning_rate": 1.632e-05,
"loss": 0.4847,
"step": 414
},
{
"epoch": 0.5533333333333333,
"grad_norm": 1.8451186418533325,
"learning_rate": 1.6311111111111113e-05,
"loss": 0.0065,
"step": 415
},
{
"epoch": 0.5546666666666666,
"grad_norm": 75.28857421875,
"learning_rate": 1.6302222222222222e-05,
"loss": 1.4651,
"step": 416
},
{
"epoch": 0.556,
"grad_norm": 48.11509704589844,
"learning_rate": 1.6293333333333335e-05,
"loss": 0.4342,
"step": 417
},
{
"epoch": 0.5573333333333333,
"grad_norm": 695.0440673828125,
"learning_rate": 1.6284444444444445e-05,
"loss": 0.6185,
"step": 418
},
{
"epoch": 0.5586666666666666,
"grad_norm": 5.151619911193848,
"learning_rate": 1.6275555555555558e-05,
"loss": 0.0081,
"step": 419
},
{
"epoch": 0.56,
"grad_norm": 0.47942811250686646,
"learning_rate": 1.6266666666666668e-05,
"loss": 0.0034,
"step": 420
},
{
"epoch": 0.5613333333333334,
"grad_norm": 0.299633264541626,
"learning_rate": 1.6257777777777778e-05,
"loss": 0.0036,
"step": 421
},
{
"epoch": 0.5626666666666666,
"grad_norm": 0.1341838836669922,
"learning_rate": 1.624888888888889e-05,
"loss": 0.0026,
"step": 422
},
{
"epoch": 0.564,
"grad_norm": 5.8148345947265625,
"learning_rate": 1.6240000000000004e-05,
"loss": 0.4921,
"step": 423
},
{
"epoch": 0.5653333333333334,
"grad_norm": 92.06847381591797,
"learning_rate": 1.6231111111111113e-05,
"loss": 0.4398,
"step": 424
},
{
"epoch": 0.5666666666666667,
"grad_norm": 90.83396911621094,
"learning_rate": 1.6222222222222223e-05,
"loss": 0.2355,
"step": 425
},
{
"epoch": 0.568,
"grad_norm": 0.14604602754116058,
"learning_rate": 1.6213333333333333e-05,
"loss": 0.0032,
"step": 426
},
{
"epoch": 0.5693333333333334,
"grad_norm": 8.506234169006348,
"learning_rate": 1.6204444444444446e-05,
"loss": 0.4767,
"step": 427
},
{
"epoch": 0.5706666666666667,
"grad_norm": 2.6388230323791504,
"learning_rate": 1.619555555555556e-05,
"loss": 0.0151,
"step": 428
},
{
"epoch": 0.572,
"grad_norm": 0.7352663278579712,
"learning_rate": 1.618666666666667e-05,
"loss": 0.0057,
"step": 429
},
{
"epoch": 0.5733333333333334,
"grad_norm": 11.93177318572998,
"learning_rate": 1.617777777777778e-05,
"loss": 0.3565,
"step": 430
},
{
"epoch": 0.5746666666666667,
"grad_norm": 1.0510191917419434,
"learning_rate": 1.6168888888888888e-05,
"loss": 0.0087,
"step": 431
},
{
"epoch": 0.576,
"grad_norm": 9.897022247314453,
"learning_rate": 1.616e-05,
"loss": 0.3432,
"step": 432
},
{
"epoch": 0.5773333333333334,
"grad_norm": 21.137832641601562,
"learning_rate": 1.6151111111111114e-05,
"loss": 0.2775,
"step": 433
},
{
"epoch": 0.5786666666666667,
"grad_norm": 9.9161958694458,
"learning_rate": 1.6142222222222224e-05,
"loss": 0.3355,
"step": 434
},
{
"epoch": 0.58,
"grad_norm": 3.8584706783294678,
"learning_rate": 1.6133333333333334e-05,
"loss": 0.0265,
"step": 435
},
{
"epoch": 0.5813333333333334,
"grad_norm": 3.582775354385376,
"learning_rate": 1.6124444444444443e-05,
"loss": 0.0247,
"step": 436
},
{
"epoch": 0.5826666666666667,
"grad_norm": 32.9600944519043,
"learning_rate": 1.6115555555555556e-05,
"loss": 0.1991,
"step": 437
},
{
"epoch": 0.584,
"grad_norm": 7.211201190948486,
"learning_rate": 1.610666666666667e-05,
"loss": 0.0687,
"step": 438
},
{
"epoch": 0.5853333333333334,
"grad_norm": 11.30628490447998,
"learning_rate": 1.609777777777778e-05,
"loss": 0.6328,
"step": 439
},
{
"epoch": 0.5866666666666667,
"grad_norm": 4.940673828125,
"learning_rate": 1.608888888888889e-05,
"loss": 0.0498,
"step": 440
},
{
"epoch": 0.588,
"grad_norm": 0.8353086113929749,
"learning_rate": 1.6080000000000002e-05,
"loss": 0.0123,
"step": 441
},
{
"epoch": 0.5893333333333334,
"grad_norm": 1.4801274538040161,
"learning_rate": 1.607111111111111e-05,
"loss": 0.0184,
"step": 442
},
{
"epoch": 0.5906666666666667,
"grad_norm": 144.69313049316406,
"learning_rate": 1.6062222222222225e-05,
"loss": 0.1352,
"step": 443
},
{
"epoch": 0.592,
"grad_norm": 0.8882383108139038,
"learning_rate": 1.6053333333333334e-05,
"loss": 0.0105,
"step": 444
},
{
"epoch": 0.5933333333333334,
"grad_norm": 4.9518561363220215,
"learning_rate": 1.6044444444444444e-05,
"loss": 0.4543,
"step": 445
},
{
"epoch": 0.5946666666666667,
"grad_norm": 6.000964641571045,
"learning_rate": 1.6035555555555557e-05,
"loss": 0.4443,
"step": 446
},
{
"epoch": 0.596,
"grad_norm": 192.08148193359375,
"learning_rate": 1.6026666666666667e-05,
"loss": 0.4305,
"step": 447
},
{
"epoch": 0.5973333333333334,
"grad_norm": 30.50543212890625,
"learning_rate": 1.601777777777778e-05,
"loss": 0.0139,
"step": 448
},
{
"epoch": 0.5986666666666667,
"grad_norm": 38.68901062011719,
"learning_rate": 1.600888888888889e-05,
"loss": 0.353,
"step": 449
},
{
"epoch": 0.6,
"grad_norm": 6.430370807647705,
"learning_rate": 1.6000000000000003e-05,
"loss": 0.3726,
"step": 450
},
{
"epoch": 0.6013333333333334,
"grad_norm": 2.0896520614624023,
"learning_rate": 1.5991111111111112e-05,
"loss": 0.019,
"step": 451
},
{
"epoch": 0.6026666666666667,
"grad_norm": 12.255717277526855,
"learning_rate": 1.5982222222222222e-05,
"loss": 1.0324,
"step": 452
},
{
"epoch": 0.604,
"grad_norm": 1531.068603515625,
"learning_rate": 1.5973333333333335e-05,
"loss": 0.2266,
"step": 453
},
{
"epoch": 0.6053333333333333,
"grad_norm": 7.718644618988037,
"learning_rate": 1.5964444444444448e-05,
"loss": 0.4901,
"step": 454
},
{
"epoch": 0.6066666666666667,
"grad_norm": 30.948810577392578,
"learning_rate": 1.5955555555555558e-05,
"loss": 0.2895,
"step": 455
},
{
"epoch": 0.608,
"grad_norm": 4.588623523712158,
"learning_rate": 1.5946666666666668e-05,
"loss": 0.2993,
"step": 456
},
{
"epoch": 0.6093333333333333,
"grad_norm": 21.00495719909668,
"learning_rate": 1.5937777777777777e-05,
"loss": 0.2929,
"step": 457
},
{
"epoch": 0.6106666666666667,
"grad_norm": 18.039936065673828,
"learning_rate": 1.592888888888889e-05,
"loss": 0.3247,
"step": 458
},
{
"epoch": 0.612,
"grad_norm": 27.10317611694336,
"learning_rate": 1.5920000000000003e-05,
"loss": 0.575,
"step": 459
},
{
"epoch": 0.6133333333333333,
"grad_norm": 59.71908950805664,
"learning_rate": 1.5911111111111113e-05,
"loss": 0.2302,
"step": 460
},
{
"epoch": 0.6146666666666667,
"grad_norm": 6.468291282653809,
"learning_rate": 1.5902222222222223e-05,
"loss": 0.0704,
"step": 461
},
{
"epoch": 0.616,
"grad_norm": 6.852536201477051,
"learning_rate": 1.5893333333333333e-05,
"loss": 0.0758,
"step": 462
},
{
"epoch": 0.6173333333333333,
"grad_norm": 5.467730522155762,
"learning_rate": 1.5884444444444446e-05,
"loss": 0.0744,
"step": 463
},
{
"epoch": 0.6186666666666667,
"grad_norm": 33.81056213378906,
"learning_rate": 1.587555555555556e-05,
"loss": 0.0851,
"step": 464
},
{
"epoch": 0.62,
"grad_norm": 54.69092559814453,
"learning_rate": 1.586666666666667e-05,
"loss": 0.2549,
"step": 465
},
{
"epoch": 0.6213333333333333,
"grad_norm": 66.9840087890625,
"learning_rate": 1.5857777777777778e-05,
"loss": 0.5219,
"step": 466
},
{
"epoch": 0.6226666666666667,
"grad_norm": 152.1387481689453,
"learning_rate": 1.5848888888888888e-05,
"loss": 0.7371,
"step": 467
},
{
"epoch": 0.624,
"grad_norm": 41.37196350097656,
"learning_rate": 1.584e-05,
"loss": 0.101,
"step": 468
},
{
"epoch": 0.6253333333333333,
"grad_norm": 95.80058288574219,
"learning_rate": 1.5831111111111114e-05,
"loss": 0.7426,
"step": 469
},
{
"epoch": 0.6266666666666667,
"grad_norm": 77.90318298339844,
"learning_rate": 1.5822222222222224e-05,
"loss": 0.6606,
"step": 470
},
{
"epoch": 0.628,
"grad_norm": 1.419073462486267,
"learning_rate": 1.5813333333333333e-05,
"loss": 0.035,
"step": 471
},
{
"epoch": 0.6293333333333333,
"grad_norm": 57.34606170654297,
"learning_rate": 1.5804444444444446e-05,
"loss": 0.3481,
"step": 472
},
{
"epoch": 0.6306666666666667,
"grad_norm": 41.00575256347656,
"learning_rate": 1.5795555555555556e-05,
"loss": 0.4179,
"step": 473
},
{
"epoch": 0.632,
"grad_norm": 9.139270782470703,
"learning_rate": 1.578666666666667e-05,
"loss": 0.1765,
"step": 474
},
{
"epoch": 0.6333333333333333,
"grad_norm": 39.54038619995117,
"learning_rate": 1.577777777777778e-05,
"loss": 0.3153,
"step": 475
},
{
"epoch": 0.6346666666666667,
"grad_norm": 56.17218780517578,
"learning_rate": 1.576888888888889e-05,
"loss": 0.0638,
"step": 476
},
{
"epoch": 0.636,
"grad_norm": 22.6376895904541,
"learning_rate": 1.576e-05,
"loss": 0.3546,
"step": 477
},
{
"epoch": 0.6373333333333333,
"grad_norm": 4.79631233215332,
"learning_rate": 1.575111111111111e-05,
"loss": 0.2847,
"step": 478
},
{
"epoch": 0.6386666666666667,
"grad_norm": 13.064446449279785,
"learning_rate": 1.5742222222222224e-05,
"loss": 0.2872,
"step": 479
},
{
"epoch": 0.64,
"grad_norm": 93.45035552978516,
"learning_rate": 1.5733333333333334e-05,
"loss": 0.9595,
"step": 480
},
{
"epoch": 0.6413333333333333,
"grad_norm": 58.496395111083984,
"learning_rate": 1.5724444444444447e-05,
"loss": 0.5208,
"step": 481
},
{
"epoch": 0.6426666666666667,
"grad_norm": 395.58599853515625,
"learning_rate": 1.5715555555555557e-05,
"loss": 0.9958,
"step": 482
},
{
"epoch": 0.644,
"grad_norm": 20.389188766479492,
"learning_rate": 1.5706666666666666e-05,
"loss": 0.3198,
"step": 483
},
{
"epoch": 0.6453333333333333,
"grad_norm": 82.8431625366211,
"learning_rate": 1.569777777777778e-05,
"loss": 0.3409,
"step": 484
},
{
"epoch": 0.6466666666666666,
"grad_norm": 23.467159271240234,
"learning_rate": 1.5688888888888893e-05,
"loss": 0.2477,
"step": 485
},
{
"epoch": 0.648,
"grad_norm": 37.725948333740234,
"learning_rate": 1.5680000000000002e-05,
"loss": 0.588,
"step": 486
},
{
"epoch": 0.6493333333333333,
"grad_norm": 19.586387634277344,
"learning_rate": 1.5671111111111112e-05,
"loss": 0.0594,
"step": 487
},
{
"epoch": 0.6506666666666666,
"grad_norm": 5.975935459136963,
"learning_rate": 1.5662222222222222e-05,
"loss": 0.3105,
"step": 488
},
{
"epoch": 0.652,
"grad_norm": 18.773696899414062,
"learning_rate": 1.5653333333333335e-05,
"loss": 0.3031,
"step": 489
},
{
"epoch": 0.6533333333333333,
"grad_norm": 31.22116470336914,
"learning_rate": 1.5644444444444448e-05,
"loss": 0.118,
"step": 490
},
{
"epoch": 0.6546666666666666,
"grad_norm": 41.45954895019531,
"learning_rate": 1.5635555555555558e-05,
"loss": 0.2721,
"step": 491
},
{
"epoch": 0.656,
"grad_norm": 17.413455963134766,
"learning_rate": 1.5626666666666667e-05,
"loss": 0.0804,
"step": 492
},
{
"epoch": 0.6573333333333333,
"grad_norm": 58.417236328125,
"learning_rate": 1.5617777777777777e-05,
"loss": 0.0678,
"step": 493
},
{
"epoch": 0.6586666666666666,
"grad_norm": 155.69955444335938,
"learning_rate": 1.560888888888889e-05,
"loss": 0.4444,
"step": 494
},
{
"epoch": 0.66,
"grad_norm": 39.25685501098633,
"learning_rate": 1.5600000000000003e-05,
"loss": 0.2145,
"step": 495
},
{
"epoch": 0.6613333333333333,
"grad_norm": 20.140029907226562,
"learning_rate": 1.5591111111111113e-05,
"loss": 0.0743,
"step": 496
},
{
"epoch": 0.6626666666666666,
"grad_norm": 327.0036926269531,
"learning_rate": 1.5582222222222222e-05,
"loss": 0.4372,
"step": 497
},
{
"epoch": 0.664,
"grad_norm": 118.68206787109375,
"learning_rate": 1.5573333333333332e-05,
"loss": 0.1729,
"step": 498
},
{
"epoch": 0.6653333333333333,
"grad_norm": 7.200020790100098,
"learning_rate": 1.5564444444444445e-05,
"loss": 0.0582,
"step": 499
},
{
"epoch": 0.6666666666666666,
"grad_norm": 45.35590362548828,
"learning_rate": 1.555555555555556e-05,
"loss": 0.3621,
"step": 500
},
{
"epoch": 0.668,
"grad_norm": 2.685757875442505,
"learning_rate": 1.5546666666666668e-05,
"loss": 0.0325,
"step": 501
},
{
"epoch": 0.6693333333333333,
"grad_norm": 48.73164749145508,
"learning_rate": 1.5537777777777778e-05,
"loss": 0.2718,
"step": 502
},
{
"epoch": 0.6706666666666666,
"grad_norm": 11.607429504394531,
"learning_rate": 1.552888888888889e-05,
"loss": 0.2085,
"step": 503
},
{
"epoch": 0.672,
"grad_norm": 6.8460164070129395,
"learning_rate": 1.552e-05,
"loss": 0.059,
"step": 504
},
{
"epoch": 0.6733333333333333,
"grad_norm": 18.40593910217285,
"learning_rate": 1.5511111111111114e-05,
"loss": 0.3699,
"step": 505
},
{
"epoch": 0.6746666666666666,
"grad_norm": 64.14971160888672,
"learning_rate": 1.5502222222222223e-05,
"loss": 0.0513,
"step": 506
},
{
"epoch": 0.676,
"grad_norm": 4.932974338531494,
"learning_rate": 1.5493333333333333e-05,
"loss": 0.0453,
"step": 507
},
{
"epoch": 0.6773333333333333,
"grad_norm": 36.308570861816406,
"learning_rate": 1.5484444444444446e-05,
"loss": 0.3024,
"step": 508
},
{
"epoch": 0.6786666666666666,
"grad_norm": 53.45915985107422,
"learning_rate": 1.5475555555555556e-05,
"loss": 0.5699,
"step": 509
},
{
"epoch": 0.68,
"grad_norm": 3.9167819023132324,
"learning_rate": 1.546666666666667e-05,
"loss": 0.0334,
"step": 510
},
{
"epoch": 0.6813333333333333,
"grad_norm": 14.153958320617676,
"learning_rate": 1.545777777777778e-05,
"loss": 0.3914,
"step": 511
},
{
"epoch": 0.6826666666666666,
"grad_norm": 31.98660659790039,
"learning_rate": 1.544888888888889e-05,
"loss": 0.2675,
"step": 512
},
{
"epoch": 0.684,
"grad_norm": 4.5382080078125,
"learning_rate": 1.544e-05,
"loss": 0.037,
"step": 513
},
{
"epoch": 0.6853333333333333,
"grad_norm": 47.25726318359375,
"learning_rate": 1.543111111111111e-05,
"loss": 0.2256,
"step": 514
},
{
"epoch": 0.6866666666666666,
"grad_norm": 21.551340103149414,
"learning_rate": 1.5422222222222224e-05,
"loss": 0.0282,
"step": 515
},
{
"epoch": 0.688,
"grad_norm": 6.829284191131592,
"learning_rate": 1.5413333333333337e-05,
"loss": 0.0298,
"step": 516
},
{
"epoch": 0.6893333333333334,
"grad_norm": 66.61030578613281,
"learning_rate": 1.5404444444444447e-05,
"loss": 0.14,
"step": 517
},
{
"epoch": 0.6906666666666667,
"grad_norm": 24.75452995300293,
"learning_rate": 1.5395555555555556e-05,
"loss": 0.0703,
"step": 518
},
{
"epoch": 0.692,
"grad_norm": 19.0056209564209,
"learning_rate": 1.5386666666666666e-05,
"loss": 0.0475,
"step": 519
},
{
"epoch": 0.6933333333333334,
"grad_norm": 15.497206687927246,
"learning_rate": 1.537777777777778e-05,
"loss": 0.3868,
"step": 520
},
{
"epoch": 0.6946666666666667,
"grad_norm": 22.020931243896484,
"learning_rate": 1.5368888888888892e-05,
"loss": 0.2283,
"step": 521
},
{
"epoch": 0.696,
"grad_norm": 1.1743708848953247,
"learning_rate": 1.5360000000000002e-05,
"loss": 0.0129,
"step": 522
},
{
"epoch": 0.6973333333333334,
"grad_norm": 3.0380542278289795,
"learning_rate": 1.5351111111111112e-05,
"loss": 0.0222,
"step": 523
},
{
"epoch": 0.6986666666666667,
"grad_norm": 517.7556762695312,
"learning_rate": 1.534222222222222e-05,
"loss": 0.1896,
"step": 524
},
{
"epoch": 0.7,
"grad_norm": 18.8843936920166,
"learning_rate": 1.5333333333333334e-05,
"loss": 0.1162,
"step": 525
},
{
"epoch": 0.7013333333333334,
"grad_norm": 485.10577392578125,
"learning_rate": 1.5324444444444448e-05,
"loss": 0.4503,
"step": 526
},
{
"epoch": 0.7026666666666667,
"grad_norm": 14.825898170471191,
"learning_rate": 1.5315555555555557e-05,
"loss": 0.0256,
"step": 527
},
{
"epoch": 0.704,
"grad_norm": 19.143966674804688,
"learning_rate": 1.5306666666666667e-05,
"loss": 0.3837,
"step": 528
},
{
"epoch": 0.7053333333333334,
"grad_norm": 99.0759048461914,
"learning_rate": 1.5297777777777777e-05,
"loss": 0.1893,
"step": 529
},
{
"epoch": 0.7066666666666667,
"grad_norm": 24.80434226989746,
"learning_rate": 1.528888888888889e-05,
"loss": 0.0717,
"step": 530
},
{
"epoch": 0.708,
"grad_norm": 0.7176944017410278,
"learning_rate": 1.5280000000000003e-05,
"loss": 0.0088,
"step": 531
},
{
"epoch": 0.7093333333333334,
"grad_norm": 18.233673095703125,
"learning_rate": 1.5271111111111112e-05,
"loss": 0.3459,
"step": 532
},
{
"epoch": 0.7106666666666667,
"grad_norm": 87.71961975097656,
"learning_rate": 1.5262222222222222e-05,
"loss": 1.083,
"step": 533
},
{
"epoch": 0.712,
"grad_norm": 81.94210815429688,
"learning_rate": 1.5253333333333335e-05,
"loss": 0.398,
"step": 534
},
{
"epoch": 0.7133333333333334,
"grad_norm": 25.385360717773438,
"learning_rate": 1.5244444444444447e-05,
"loss": 0.0598,
"step": 535
},
{
"epoch": 0.7146666666666667,
"grad_norm": 22.733335494995117,
"learning_rate": 1.5235555555555556e-05,
"loss": 0.2829,
"step": 536
},
{
"epoch": 0.716,
"grad_norm": 28.56426429748535,
"learning_rate": 1.5226666666666668e-05,
"loss": 0.2213,
"step": 537
},
{
"epoch": 0.7173333333333334,
"grad_norm": 2.311807155609131,
"learning_rate": 1.5217777777777777e-05,
"loss": 0.0144,
"step": 538
},
{
"epoch": 0.7186666666666667,
"grad_norm": 54.28264236450195,
"learning_rate": 1.520888888888889e-05,
"loss": 0.5976,
"step": 539
},
{
"epoch": 0.72,
"grad_norm": 0.5071966052055359,
"learning_rate": 1.5200000000000002e-05,
"loss": 0.0067,
"step": 540
},
{
"epoch": 0.7213333333333334,
"grad_norm": 92.36091613769531,
"learning_rate": 1.5191111111111112e-05,
"loss": 0.065,
"step": 541
},
{
"epoch": 0.7226666666666667,
"grad_norm": 49.756309509277344,
"learning_rate": 1.5182222222222223e-05,
"loss": 0.5455,
"step": 542
},
{
"epoch": 0.724,
"grad_norm": 12.686720848083496,
"learning_rate": 1.5173333333333336e-05,
"loss": 0.5099,
"step": 543
},
{
"epoch": 0.7253333333333334,
"grad_norm": 0.342751145362854,
"learning_rate": 1.5164444444444446e-05,
"loss": 0.0051,
"step": 544
},
{
"epoch": 0.7266666666666667,
"grad_norm": 0.7254379987716675,
"learning_rate": 1.5155555555555557e-05,
"loss": 0.0069,
"step": 545
},
{
"epoch": 0.728,
"grad_norm": 3.126568555831909,
"learning_rate": 1.5146666666666667e-05,
"loss": 0.0153,
"step": 546
},
{
"epoch": 0.7293333333333333,
"grad_norm": 0.7411602735519409,
"learning_rate": 1.513777777777778e-05,
"loss": 0.0062,
"step": 547
},
{
"epoch": 0.7306666666666667,
"grad_norm": 15.793583869934082,
"learning_rate": 1.5128888888888891e-05,
"loss": 0.0212,
"step": 548
},
{
"epoch": 0.732,
"grad_norm": 25.394554138183594,
"learning_rate": 1.5120000000000001e-05,
"loss": 0.4654,
"step": 549
},
{
"epoch": 0.7333333333333333,
"grad_norm": 0.46709954738616943,
"learning_rate": 1.5111111111111112e-05,
"loss": 0.0033,
"step": 550
},
{
"epoch": 0.7346666666666667,
"grad_norm": 15.044448852539062,
"learning_rate": 1.5102222222222222e-05,
"loss": 0.2347,
"step": 551
},
{
"epoch": 0.736,
"grad_norm": 43.96204376220703,
"learning_rate": 1.5093333333333335e-05,
"loss": 0.2297,
"step": 552
},
{
"epoch": 0.7373333333333333,
"grad_norm": 1.031826376914978,
"learning_rate": 1.5084444444444446e-05,
"loss": 0.0064,
"step": 553
},
{
"epoch": 0.7386666666666667,
"grad_norm": 1.6380364894866943,
"learning_rate": 1.5075555555555556e-05,
"loss": 0.0088,
"step": 554
},
{
"epoch": 0.74,
"grad_norm": 117.55204772949219,
"learning_rate": 1.5066666666666668e-05,
"loss": 0.152,
"step": 555
},
{
"epoch": 0.7413333333333333,
"grad_norm": 19.951438903808594,
"learning_rate": 1.505777777777778e-05,
"loss": 0.8698,
"step": 556
},
{
"epoch": 0.7426666666666667,
"grad_norm": 19.266027450561523,
"learning_rate": 1.504888888888889e-05,
"loss": 0.4189,
"step": 557
},
{
"epoch": 0.744,
"grad_norm": 1.7079962491989136,
"learning_rate": 1.5040000000000002e-05,
"loss": 0.0053,
"step": 558
},
{
"epoch": 0.7453333333333333,
"grad_norm": 6.839558124542236,
"learning_rate": 1.5031111111111111e-05,
"loss": 0.5149,
"step": 559
},
{
"epoch": 0.7466666666666667,
"grad_norm": 45.2992057800293,
"learning_rate": 1.5022222222222223e-05,
"loss": 1.4541,
"step": 560
},
{
"epoch": 0.748,
"grad_norm": 5.1155195236206055,
"learning_rate": 1.5013333333333336e-05,
"loss": 0.4816,
"step": 561
},
{
"epoch": 0.7493333333333333,
"grad_norm": 1.703602910041809,
"learning_rate": 1.5004444444444446e-05,
"loss": 0.0085,
"step": 562
},
{
"epoch": 0.7506666666666667,
"grad_norm": 8.983227729797363,
"learning_rate": 1.4995555555555557e-05,
"loss": 0.3089,
"step": 563
},
{
"epoch": 0.752,
"grad_norm": 9.243966102600098,
"learning_rate": 1.4986666666666667e-05,
"loss": 0.3994,
"step": 564
},
{
"epoch": 0.7533333333333333,
"grad_norm": 10.324238777160645,
"learning_rate": 1.497777777777778e-05,
"loss": 0.2995,
"step": 565
},
{
"epoch": 0.7546666666666667,
"grad_norm": 86.90589904785156,
"learning_rate": 1.4968888888888891e-05,
"loss": 0.6332,
"step": 566
},
{
"epoch": 0.756,
"grad_norm": 7.942810535430908,
"learning_rate": 1.496e-05,
"loss": 0.2721,
"step": 567
},
{
"epoch": 0.7573333333333333,
"grad_norm": 32.12351608276367,
"learning_rate": 1.4951111111111112e-05,
"loss": 0.5918,
"step": 568
},
{
"epoch": 0.7586666666666667,
"grad_norm": 1.933473825454712,
"learning_rate": 1.4942222222222222e-05,
"loss": 0.0289,
"step": 569
},
{
"epoch": 0.76,
"grad_norm": 18.67357063293457,
"learning_rate": 1.4933333333333335e-05,
"loss": 0.2769,
"step": 570
},
{
"epoch": 0.7613333333333333,
"grad_norm": 12.466032028198242,
"learning_rate": 1.4924444444444446e-05,
"loss": 0.2401,
"step": 571
},
{
"epoch": 0.7626666666666667,
"grad_norm": 17.986351013183594,
"learning_rate": 1.4915555555555556e-05,
"loss": 0.4597,
"step": 572
},
{
"epoch": 0.764,
"grad_norm": 1.631819486618042,
"learning_rate": 1.4906666666666667e-05,
"loss": 0.0228,
"step": 573
},
{
"epoch": 0.7653333333333333,
"grad_norm": 7.692989349365234,
"learning_rate": 1.489777777777778e-05,
"loss": 0.4544,
"step": 574
},
{
"epoch": 0.7666666666666667,
"grad_norm": 195.19027709960938,
"learning_rate": 1.488888888888889e-05,
"loss": 0.0663,
"step": 575
},
{
"epoch": 0.768,
"grad_norm": 105.00302124023438,
"learning_rate": 1.4880000000000002e-05,
"loss": 0.3391,
"step": 576
},
{
"epoch": 0.7693333333333333,
"grad_norm": 31.891664505004883,
"learning_rate": 1.4871111111111111e-05,
"loss": 0.191,
"step": 577
},
{
"epoch": 0.7706666666666667,
"grad_norm": 4.34639835357666,
"learning_rate": 1.4862222222222223e-05,
"loss": 0.0267,
"step": 578
},
{
"epoch": 0.772,
"grad_norm": 268.2490539550781,
"learning_rate": 1.4853333333333336e-05,
"loss": 0.5903,
"step": 579
},
{
"epoch": 0.7733333333333333,
"grad_norm": 10.594819068908691,
"learning_rate": 1.4844444444444445e-05,
"loss": 0.3271,
"step": 580
},
{
"epoch": 0.7746666666666666,
"grad_norm": 3.189711809158325,
"learning_rate": 1.4835555555555557e-05,
"loss": 0.0439,
"step": 581
},
{
"epoch": 0.776,
"grad_norm": 2.304900884628296,
"learning_rate": 1.4826666666666666e-05,
"loss": 0.0541,
"step": 582
},
{
"epoch": 0.7773333333333333,
"grad_norm": 201.5353240966797,
"learning_rate": 1.481777777777778e-05,
"loss": 0.2644,
"step": 583
},
{
"epoch": 0.7786666666666666,
"grad_norm": 30.733774185180664,
"learning_rate": 1.4808888888888891e-05,
"loss": 0.0595,
"step": 584
},
{
"epoch": 0.78,
"grad_norm": 34.6660270690918,
"learning_rate": 1.48e-05,
"loss": 0.4677,
"step": 585
},
{
"epoch": 0.7813333333333333,
"grad_norm": 4.181580543518066,
"learning_rate": 1.4791111111111112e-05,
"loss": 0.1315,
"step": 586
},
{
"epoch": 0.7826666666666666,
"grad_norm": 1.2800259590148926,
"learning_rate": 1.4782222222222225e-05,
"loss": 0.0229,
"step": 587
},
{
"epoch": 0.784,
"grad_norm": 24.08536148071289,
"learning_rate": 1.4773333333333335e-05,
"loss": 0.7003,
"step": 588
},
{
"epoch": 0.7853333333333333,
"grad_norm": 2.638282537460327,
"learning_rate": 1.4764444444444446e-05,
"loss": 0.0139,
"step": 589
},
{
"epoch": 0.7866666666666666,
"grad_norm": 0.8761337995529175,
"learning_rate": 1.4755555555555556e-05,
"loss": 0.0122,
"step": 590
},
{
"epoch": 0.788,
"grad_norm": 0.3712925314903259,
"learning_rate": 1.4746666666666667e-05,
"loss": 0.0083,
"step": 591
},
{
"epoch": 0.7893333333333333,
"grad_norm": 26.60057258605957,
"learning_rate": 1.473777777777778e-05,
"loss": 0.3055,
"step": 592
},
{
"epoch": 0.7906666666666666,
"grad_norm": 21.553802490234375,
"learning_rate": 1.472888888888889e-05,
"loss": 0.0939,
"step": 593
},
{
"epoch": 0.792,
"grad_norm": 7.633984565734863,
"learning_rate": 1.4720000000000001e-05,
"loss": 0.1372,
"step": 594
},
{
"epoch": 0.7933333333333333,
"grad_norm": 7.709981441497803,
"learning_rate": 1.4711111111111111e-05,
"loss": 0.4164,
"step": 595
},
{
"epoch": 0.7946666666666666,
"grad_norm": 0.2574272155761719,
"learning_rate": 1.4702222222222224e-05,
"loss": 0.005,
"step": 596
},
{
"epoch": 0.796,
"grad_norm": 7.406916618347168,
"learning_rate": 1.4693333333333336e-05,
"loss": 0.4153,
"step": 597
},
{
"epoch": 0.7973333333333333,
"grad_norm": 8.549392700195312,
"learning_rate": 1.4684444444444445e-05,
"loss": 0.1372,
"step": 598
},
{
"epoch": 0.7986666666666666,
"grad_norm": 5.977468967437744,
"learning_rate": 1.4675555555555557e-05,
"loss": 0.1337,
"step": 599
},
{
"epoch": 0.8,
"grad_norm": 0.23972530663013458,
"learning_rate": 1.4666666666666666e-05,
"loss": 0.0042,
"step": 600
},
{
"epoch": 0.8013333333333333,
"grad_norm": 9.198740005493164,
"learning_rate": 1.465777777777778e-05,
"loss": 0.4097,
"step": 601
},
{
"epoch": 0.8026666666666666,
"grad_norm": 4.692670822143555,
"learning_rate": 1.464888888888889e-05,
"loss": 0.0764,
"step": 602
},
{
"epoch": 0.804,
"grad_norm": 67.2090072631836,
"learning_rate": 1.464e-05,
"loss": 0.4757,
"step": 603
},
{
"epoch": 0.8053333333333333,
"grad_norm": 2.1489129066467285,
"learning_rate": 1.4631111111111112e-05,
"loss": 0.0307,
"step": 604
},
{
"epoch": 0.8066666666666666,
"grad_norm": 0.2775600254535675,
"learning_rate": 1.4622222222222225e-05,
"loss": 0.0037,
"step": 605
},
{
"epoch": 0.808,
"grad_norm": 8.754255294799805,
"learning_rate": 1.4613333333333335e-05,
"loss": 0.0291,
"step": 606
},
{
"epoch": 0.8093333333333333,
"grad_norm": 25.030412673950195,
"learning_rate": 1.4604444444444446e-05,
"loss": 0.5705,
"step": 607
},
{
"epoch": 0.8106666666666666,
"grad_norm": 126.87890625,
"learning_rate": 1.4595555555555556e-05,
"loss": 0.0298,
"step": 608
},
{
"epoch": 0.812,
"grad_norm": 7.466097354888916,
"learning_rate": 1.4586666666666667e-05,
"loss": 0.4935,
"step": 609
},
{
"epoch": 0.8133333333333334,
"grad_norm": 0.39378899335861206,
"learning_rate": 1.457777777777778e-05,
"loss": 0.004,
"step": 610
},
{
"epoch": 0.8146666666666667,
"grad_norm": 143.76158142089844,
"learning_rate": 1.456888888888889e-05,
"loss": 0.3528,
"step": 611
},
{
"epoch": 0.816,
"grad_norm": 134.15032958984375,
"learning_rate": 1.4560000000000001e-05,
"loss": 0.6809,
"step": 612
},
{
"epoch": 0.8173333333333334,
"grad_norm": 10.220468521118164,
"learning_rate": 1.4551111111111111e-05,
"loss": 0.0936,
"step": 613
},
{
"epoch": 0.8186666666666667,
"grad_norm": 23.48536491394043,
"learning_rate": 1.4542222222222224e-05,
"loss": 0.3548,
"step": 614
},
{
"epoch": 0.82,
"grad_norm": 12.261889457702637,
"learning_rate": 1.4533333333333335e-05,
"loss": 0.2362,
"step": 615
},
{
"epoch": 0.8213333333333334,
"grad_norm": 24.66901206970215,
"learning_rate": 1.4524444444444445e-05,
"loss": 0.5179,
"step": 616
},
{
"epoch": 0.8226666666666667,
"grad_norm": 16.926904678344727,
"learning_rate": 1.4515555555555556e-05,
"loss": 0.3197,
"step": 617
},
{
"epoch": 0.824,
"grad_norm": 13.385184288024902,
"learning_rate": 1.450666666666667e-05,
"loss": 0.0922,
"step": 618
},
{
"epoch": 0.8253333333333334,
"grad_norm": 57.45046615600586,
"learning_rate": 1.449777777777778e-05,
"loss": 0.442,
"step": 619
},
{
"epoch": 0.8266666666666667,
"grad_norm": 7.121749401092529,
"learning_rate": 1.448888888888889e-05,
"loss": 0.0118,
"step": 620
},
{
"epoch": 0.828,
"grad_norm": 5.478396415710449,
"learning_rate": 1.448e-05,
"loss": 0.0732,
"step": 621
},
{
"epoch": 0.8293333333333334,
"grad_norm": 10.309385299682617,
"learning_rate": 1.4471111111111112e-05,
"loss": 0.0934,
"step": 622
},
{
"epoch": 0.8306666666666667,
"grad_norm": 12.518217086791992,
"learning_rate": 1.4462222222222225e-05,
"loss": 0.0717,
"step": 623
},
{
"epoch": 0.832,
"grad_norm": 1.8621327877044678,
"learning_rate": 1.4453333333333334e-05,
"loss": 0.0193,
"step": 624
},
{
"epoch": 0.8333333333333334,
"grad_norm": 12.550138473510742,
"learning_rate": 1.4444444444444446e-05,
"loss": 0.2917,
"step": 625
},
{
"epoch": 0.8346666666666667,
"grad_norm": 38.43443298339844,
"learning_rate": 1.4435555555555556e-05,
"loss": 0.1387,
"step": 626
},
{
"epoch": 0.836,
"grad_norm": 1.4778586626052856,
"learning_rate": 1.4426666666666669e-05,
"loss": 0.0109,
"step": 627
},
{
"epoch": 0.8373333333333334,
"grad_norm": 0.8024053573608398,
"learning_rate": 1.441777777777778e-05,
"loss": 0.0114,
"step": 628
},
{
"epoch": 0.8386666666666667,
"grad_norm": 33.1444206237793,
"learning_rate": 1.440888888888889e-05,
"loss": 0.8442,
"step": 629
},
{
"epoch": 0.84,
"grad_norm": 9.499881744384766,
"learning_rate": 1.4400000000000001e-05,
"loss": 0.7325,
"step": 630
},
{
"epoch": 0.8413333333333334,
"grad_norm": 15.393890380859375,
"learning_rate": 1.439111111111111e-05,
"loss": 0.0582,
"step": 631
},
{
"epoch": 0.8426666666666667,
"grad_norm": 27.567861557006836,
"learning_rate": 1.4382222222222224e-05,
"loss": 0.2942,
"step": 632
},
{
"epoch": 0.844,
"grad_norm": 32.60098648071289,
"learning_rate": 1.4373333333333335e-05,
"loss": 0.1987,
"step": 633
},
{
"epoch": 0.8453333333333334,
"grad_norm": 15.415559768676758,
"learning_rate": 1.4364444444444445e-05,
"loss": 0.0773,
"step": 634
},
{
"epoch": 0.8466666666666667,
"grad_norm": 7.764647006988525,
"learning_rate": 1.4355555555555556e-05,
"loss": 0.0096,
"step": 635
},
{
"epoch": 0.848,
"grad_norm": 30.226110458374023,
"learning_rate": 1.434666666666667e-05,
"loss": 0.1447,
"step": 636
},
{
"epoch": 0.8493333333333334,
"grad_norm": 23.151321411132812,
"learning_rate": 1.4337777777777779e-05,
"loss": 0.2854,
"step": 637
},
{
"epoch": 0.8506666666666667,
"grad_norm": 1.633979082107544,
"learning_rate": 1.432888888888889e-05,
"loss": 0.0053,
"step": 638
},
{
"epoch": 0.852,
"grad_norm": 18.048336029052734,
"learning_rate": 1.432e-05,
"loss": 0.1183,
"step": 639
},
{
"epoch": 0.8533333333333334,
"grad_norm": 6.508684158325195,
"learning_rate": 1.4311111111111111e-05,
"loss": 0.344,
"step": 640
},
{
"epoch": 0.8546666666666667,
"grad_norm": 0.3348619341850281,
"learning_rate": 1.4302222222222225e-05,
"loss": 0.0062,
"step": 641
},
{
"epoch": 0.856,
"grad_norm": 18.507034301757812,
"learning_rate": 1.4293333333333334e-05,
"loss": 0.0288,
"step": 642
},
{
"epoch": 0.8573333333333333,
"grad_norm": 0.7478644847869873,
"learning_rate": 1.4284444444444446e-05,
"loss": 0.0112,
"step": 643
},
{
"epoch": 0.8586666666666667,
"grad_norm": 7.950412273406982,
"learning_rate": 1.4275555555555555e-05,
"loss": 0.0436,
"step": 644
},
{
"epoch": 0.86,
"grad_norm": 0.4940491020679474,
"learning_rate": 1.4266666666666668e-05,
"loss": 0.0079,
"step": 645
},
{
"epoch": 0.8613333333333333,
"grad_norm": 10.13092041015625,
"learning_rate": 1.425777777777778e-05,
"loss": 0.5285,
"step": 646
},
{
"epoch": 0.8626666666666667,
"grad_norm": 23.632478713989258,
"learning_rate": 1.424888888888889e-05,
"loss": 0.5921,
"step": 647
},
{
"epoch": 0.864,
"grad_norm": 56.903564453125,
"learning_rate": 1.4240000000000001e-05,
"loss": 0.3602,
"step": 648
},
{
"epoch": 0.8653333333333333,
"grad_norm": 18.035160064697266,
"learning_rate": 1.4231111111111114e-05,
"loss": 0.1687,
"step": 649
},
{
"epoch": 0.8666666666666667,
"grad_norm": 6.601646423339844,
"learning_rate": 1.4222222222222224e-05,
"loss": 0.4454,
"step": 650
},
{
"epoch": 0.868,
"grad_norm": 3.116445779800415,
"learning_rate": 1.4213333333333335e-05,
"loss": 0.0209,
"step": 651
},
{
"epoch": 0.8693333333333333,
"grad_norm": 118.74122619628906,
"learning_rate": 1.4204444444444445e-05,
"loss": 0.3045,
"step": 652
},
{
"epoch": 0.8706666666666667,
"grad_norm": 2.370626211166382,
"learning_rate": 1.4195555555555556e-05,
"loss": 0.0201,
"step": 653
},
{
"epoch": 0.872,
"grad_norm": 19.292724609375,
"learning_rate": 1.418666666666667e-05,
"loss": 0.3257,
"step": 654
},
{
"epoch": 0.8733333333333333,
"grad_norm": 173.11138916015625,
"learning_rate": 1.4177777777777779e-05,
"loss": 0.1839,
"step": 655
},
{
"epoch": 0.8746666666666667,
"grad_norm": 35.89756393432617,
"learning_rate": 1.416888888888889e-05,
"loss": 0.6123,
"step": 656
},
{
"epoch": 0.876,
"grad_norm": 0.6465488076210022,
"learning_rate": 1.416e-05,
"loss": 0.01,
"step": 657
},
{
"epoch": 0.8773333333333333,
"grad_norm": 43.133426666259766,
"learning_rate": 1.4151111111111113e-05,
"loss": 0.1062,
"step": 658
},
{
"epoch": 0.8786666666666667,
"grad_norm": 24.65461540222168,
"learning_rate": 1.4142222222222224e-05,
"loss": 0.2138,
"step": 659
},
{
"epoch": 0.88,
"grad_norm": 35.20946502685547,
"learning_rate": 1.4133333333333334e-05,
"loss": 0.0783,
"step": 660
},
{
"epoch": 0.8813333333333333,
"grad_norm": 30.163761138916016,
"learning_rate": 1.4124444444444445e-05,
"loss": 0.4074,
"step": 661
},
{
"epoch": 0.8826666666666667,
"grad_norm": 0.3964151442050934,
"learning_rate": 1.4115555555555555e-05,
"loss": 0.005,
"step": 662
},
{
"epoch": 0.884,
"grad_norm": 23.621362686157227,
"learning_rate": 1.4106666666666668e-05,
"loss": 0.1986,
"step": 663
},
{
"epoch": 0.8853333333333333,
"grad_norm": 149.72171020507812,
"learning_rate": 1.409777777777778e-05,
"loss": 0.2421,
"step": 664
},
{
"epoch": 0.8866666666666667,
"grad_norm": 10.025938987731934,
"learning_rate": 1.408888888888889e-05,
"loss": 0.3462,
"step": 665
},
{
"epoch": 0.888,
"grad_norm": 27.56491470336914,
"learning_rate": 1.408e-05,
"loss": 0.0386,
"step": 666
},
{
"epoch": 0.8893333333333333,
"grad_norm": 636.2874145507812,
"learning_rate": 1.4071111111111114e-05,
"loss": 0.1498,
"step": 667
},
{
"epoch": 0.8906666666666667,
"grad_norm": 1.1810599565505981,
"learning_rate": 1.4062222222222223e-05,
"loss": 0.011,
"step": 668
},
{
"epoch": 0.892,
"grad_norm": 37.325931549072266,
"learning_rate": 1.4053333333333335e-05,
"loss": 0.078,
"step": 669
},
{
"epoch": 0.8933333333333333,
"grad_norm": 70.01134490966797,
"learning_rate": 1.4044444444444445e-05,
"loss": 0.1558,
"step": 670
},
{
"epoch": 0.8946666666666667,
"grad_norm": 83.56266021728516,
"learning_rate": 1.4035555555555556e-05,
"loss": 0.9207,
"step": 671
},
{
"epoch": 0.896,
"grad_norm": 0.8822095990180969,
"learning_rate": 1.4026666666666669e-05,
"loss": 0.0097,
"step": 672
},
{
"epoch": 0.8973333333333333,
"grad_norm": 174.066650390625,
"learning_rate": 1.4017777777777779e-05,
"loss": 0.7328,
"step": 673
},
{
"epoch": 0.8986666666666666,
"grad_norm": 20.079992294311523,
"learning_rate": 1.400888888888889e-05,
"loss": 0.1633,
"step": 674
},
{
"epoch": 0.9,
"grad_norm": 40.04283905029297,
"learning_rate": 1.4e-05,
"loss": 0.304,
"step": 675
},
{
"epoch": 0.9013333333333333,
"grad_norm": 95.69343566894531,
"learning_rate": 1.3991111111111113e-05,
"loss": 0.1475,
"step": 676
},
{
"epoch": 0.9026666666666666,
"grad_norm": 0.2900297939777374,
"learning_rate": 1.3982222222222224e-05,
"loss": 0.0036,
"step": 677
},
{
"epoch": 0.904,
"grad_norm": 36.137916564941406,
"learning_rate": 1.3973333333333334e-05,
"loss": 0.5857,
"step": 678
},
{
"epoch": 0.9053333333333333,
"grad_norm": 67.86377716064453,
"learning_rate": 1.3964444444444445e-05,
"loss": 0.3878,
"step": 679
},
{
"epoch": 0.9066666666666666,
"grad_norm": 1.3393468856811523,
"learning_rate": 1.3955555555555558e-05,
"loss": 0.0087,
"step": 680
},
{
"epoch": 0.908,
"grad_norm": 50.98375701904297,
"learning_rate": 1.3946666666666668e-05,
"loss": 0.7813,
"step": 681
},
{
"epoch": 0.9093333333333333,
"grad_norm": 24.97650146484375,
"learning_rate": 1.393777777777778e-05,
"loss": 0.1692,
"step": 682
},
{
"epoch": 0.9106666666666666,
"grad_norm": 31.256669998168945,
"learning_rate": 1.392888888888889e-05,
"loss": 0.2205,
"step": 683
},
{
"epoch": 0.912,
"grad_norm": 0.6565353274345398,
"learning_rate": 1.392e-05,
"loss": 0.0036,
"step": 684
},
{
"epoch": 0.9133333333333333,
"grad_norm": 0.2643939256668091,
"learning_rate": 1.3911111111111114e-05,
"loss": 0.0025,
"step": 685
},
{
"epoch": 0.9146666666666666,
"grad_norm": 16.961984634399414,
"learning_rate": 1.3902222222222223e-05,
"loss": 0.0251,
"step": 686
},
{
"epoch": 0.916,
"grad_norm": 17.22585678100586,
"learning_rate": 1.3893333333333335e-05,
"loss": 0.3696,
"step": 687
},
{
"epoch": 0.9173333333333333,
"grad_norm": 4.090214252471924,
"learning_rate": 1.3884444444444444e-05,
"loss": 0.0195,
"step": 688
},
{
"epoch": 0.9186666666666666,
"grad_norm": 127.1395034790039,
"learning_rate": 1.3875555555555557e-05,
"loss": 0.4954,
"step": 689
},
{
"epoch": 0.92,
"grad_norm": 3.8261067867279053,
"learning_rate": 1.3866666666666669e-05,
"loss": 0.0183,
"step": 690
},
{
"epoch": 0.9213333333333333,
"grad_norm": 25.026809692382812,
"learning_rate": 1.3857777777777779e-05,
"loss": 0.4342,
"step": 691
},
{
"epoch": 0.9226666666666666,
"grad_norm": 18.404979705810547,
"learning_rate": 1.384888888888889e-05,
"loss": 0.5552,
"step": 692
},
{
"epoch": 0.924,
"grad_norm": 6.9787139892578125,
"learning_rate": 1.384e-05,
"loss": 0.0185,
"step": 693
},
{
"epoch": 0.9253333333333333,
"grad_norm": 1.4521383047103882,
"learning_rate": 1.3831111111111113e-05,
"loss": 0.0028,
"step": 694
},
{
"epoch": 0.9266666666666666,
"grad_norm": 73.410400390625,
"learning_rate": 1.3822222222222224e-05,
"loss": 0.3271,
"step": 695
},
{
"epoch": 0.928,
"grad_norm": 17.47388458251953,
"learning_rate": 1.3813333333333334e-05,
"loss": 0.5127,
"step": 696
},
{
"epoch": 0.9293333333333333,
"grad_norm": 1.6573940515518188,
"learning_rate": 1.3804444444444445e-05,
"loss": 0.0055,
"step": 697
},
{
"epoch": 0.9306666666666666,
"grad_norm": 35.203224182128906,
"learning_rate": 1.3795555555555558e-05,
"loss": 0.0271,
"step": 698
},
{
"epoch": 0.932,
"grad_norm": 25.617536544799805,
"learning_rate": 1.3786666666666668e-05,
"loss": 0.1143,
"step": 699
},
{
"epoch": 0.9333333333333333,
"grad_norm": 12.24096965789795,
"learning_rate": 1.377777777777778e-05,
"loss": 0.0111,
"step": 700
},
{
"epoch": 0.9346666666666666,
"grad_norm": 25.50994110107422,
"learning_rate": 1.3768888888888889e-05,
"loss": 0.0096,
"step": 701
},
{
"epoch": 0.936,
"grad_norm": 143.40684509277344,
"learning_rate": 1.376e-05,
"loss": 0.3342,
"step": 702
},
{
"epoch": 0.9373333333333334,
"grad_norm": 14.626077651977539,
"learning_rate": 1.3751111111111113e-05,
"loss": 0.9422,
"step": 703
},
{
"epoch": 0.9386666666666666,
"grad_norm": 10.534880638122559,
"learning_rate": 1.3742222222222223e-05,
"loss": 0.0429,
"step": 704
},
{
"epoch": 0.94,
"grad_norm": 0.29387494921684265,
"learning_rate": 1.3733333333333335e-05,
"loss": 0.0041,
"step": 705
},
{
"epoch": 0.9413333333333334,
"grad_norm": 6.872982025146484,
"learning_rate": 1.3724444444444444e-05,
"loss": 0.0391,
"step": 706
},
{
"epoch": 0.9426666666666667,
"grad_norm": 6.712430953979492,
"learning_rate": 1.3715555555555557e-05,
"loss": 0.0229,
"step": 707
},
{
"epoch": 0.944,
"grad_norm": 18.711732864379883,
"learning_rate": 1.3706666666666669e-05,
"loss": 0.4872,
"step": 708
},
{
"epoch": 0.9453333333333334,
"grad_norm": 105.72051239013672,
"learning_rate": 1.3697777777777778e-05,
"loss": 0.1312,
"step": 709
},
{
"epoch": 0.9466666666666667,
"grad_norm": 65.53568267822266,
"learning_rate": 1.368888888888889e-05,
"loss": 0.5901,
"step": 710
},
{
"epoch": 0.948,
"grad_norm": 73.6441650390625,
"learning_rate": 1.3680000000000003e-05,
"loss": 0.5972,
"step": 711
},
{
"epoch": 0.9493333333333334,
"grad_norm": 0.5898783206939697,
"learning_rate": 1.3671111111111113e-05,
"loss": 0.007,
"step": 712
},
{
"epoch": 0.9506666666666667,
"grad_norm": 47.6138916015625,
"learning_rate": 1.3662222222222224e-05,
"loss": 0.5103,
"step": 713
},
{
"epoch": 0.952,
"grad_norm": 0.5217769742012024,
"learning_rate": 1.3653333333333334e-05,
"loss": 0.0078,
"step": 714
},
{
"epoch": 0.9533333333333334,
"grad_norm": 33.95098114013672,
"learning_rate": 1.3644444444444445e-05,
"loss": 0.2849,
"step": 715
},
{
"epoch": 0.9546666666666667,
"grad_norm": 14.006319999694824,
"learning_rate": 1.3635555555555558e-05,
"loss": 0.8321,
"step": 716
},
{
"epoch": 0.956,
"grad_norm": 0.16549982130527496,
"learning_rate": 1.3626666666666668e-05,
"loss": 0.0037,
"step": 717
},
{
"epoch": 0.9573333333333334,
"grad_norm": 23.815263748168945,
"learning_rate": 1.361777777777778e-05,
"loss": 0.3162,
"step": 718
},
{
"epoch": 0.9586666666666667,
"grad_norm": 7.512960910797119,
"learning_rate": 1.3608888888888889e-05,
"loss": 0.0415,
"step": 719
},
{
"epoch": 0.96,
"grad_norm": 4.769608497619629,
"learning_rate": 1.3600000000000002e-05,
"loss": 0.0151,
"step": 720
},
{
"epoch": 0.9613333333333334,
"grad_norm": 1.0321413278579712,
"learning_rate": 1.3591111111111113e-05,
"loss": 0.0075,
"step": 721
},
{
"epoch": 0.9626666666666667,
"grad_norm": 37.12084197998047,
"learning_rate": 1.3582222222222223e-05,
"loss": 0.1606,
"step": 722
},
{
"epoch": 0.964,
"grad_norm": 47.215087890625,
"learning_rate": 1.3573333333333334e-05,
"loss": 0.7428,
"step": 723
},
{
"epoch": 0.9653333333333334,
"grad_norm": 70.62277221679688,
"learning_rate": 1.3564444444444444e-05,
"loss": 0.3467,
"step": 724
},
{
"epoch": 0.9666666666666667,
"grad_norm": 6.499557018280029,
"learning_rate": 1.3555555555555557e-05,
"loss": 0.0326,
"step": 725
},
{
"epoch": 0.968,
"grad_norm": 54.95820999145508,
"learning_rate": 1.3546666666666669e-05,
"loss": 0.3965,
"step": 726
},
{
"epoch": 0.9693333333333334,
"grad_norm": 0.20337001979351044,
"learning_rate": 1.3537777777777778e-05,
"loss": 0.0043,
"step": 727
},
{
"epoch": 0.9706666666666667,
"grad_norm": 4.6722307205200195,
"learning_rate": 1.352888888888889e-05,
"loss": 0.0103,
"step": 728
},
{
"epoch": 0.972,
"grad_norm": 7.788360118865967,
"learning_rate": 1.3520000000000003e-05,
"loss": 0.5042,
"step": 729
},
{
"epoch": 0.9733333333333334,
"grad_norm": 52.938663482666016,
"learning_rate": 1.3511111111111112e-05,
"loss": 0.0738,
"step": 730
},
{
"epoch": 0.9746666666666667,
"grad_norm": 39.24916076660156,
"learning_rate": 1.3502222222222224e-05,
"loss": 0.3102,
"step": 731
},
{
"epoch": 0.976,
"grad_norm": 23.674108505249023,
"learning_rate": 1.3493333333333333e-05,
"loss": 0.2696,
"step": 732
},
{
"epoch": 0.9773333333333334,
"grad_norm": 5.811005115509033,
"learning_rate": 1.3484444444444445e-05,
"loss": 0.4753,
"step": 733
},
{
"epoch": 0.9786666666666667,
"grad_norm": 8.476629257202148,
"learning_rate": 1.3475555555555558e-05,
"loss": 0.0326,
"step": 734
},
{
"epoch": 0.98,
"grad_norm": 1.6852353811264038,
"learning_rate": 1.3466666666666668e-05,
"loss": 0.016,
"step": 735
},
{
"epoch": 0.9813333333333333,
"grad_norm": 11.485468864440918,
"learning_rate": 1.3457777777777779e-05,
"loss": 0.0259,
"step": 736
},
{
"epoch": 0.9826666666666667,
"grad_norm": 6.595991611480713,
"learning_rate": 1.3448888888888889e-05,
"loss": 0.4633,
"step": 737
},
{
"epoch": 0.984,
"grad_norm": 14.869954109191895,
"learning_rate": 1.3440000000000002e-05,
"loss": 0.4617,
"step": 738
},
{
"epoch": 0.9853333333333333,
"grad_norm": 7.625372886657715,
"learning_rate": 1.3431111111111113e-05,
"loss": 0.0273,
"step": 739
},
{
"epoch": 0.9866666666666667,
"grad_norm": 164.1210479736328,
"learning_rate": 1.3422222222222223e-05,
"loss": 0.2741,
"step": 740
},
{
"epoch": 0.988,
"grad_norm": 17.344690322875977,
"learning_rate": 1.3413333333333334e-05,
"loss": 0.3976,
"step": 741
},
{
"epoch": 0.9893333333333333,
"grad_norm": 125.66578674316406,
"learning_rate": 1.3404444444444447e-05,
"loss": 0.6106,
"step": 742
},
{
"epoch": 0.9906666666666667,
"grad_norm": 31.312238693237305,
"learning_rate": 1.3395555555555557e-05,
"loss": 0.4355,
"step": 743
},
{
"epoch": 0.992,
"grad_norm": 62.93149185180664,
"learning_rate": 1.3386666666666668e-05,
"loss": 0.4577,
"step": 744
},
{
"epoch": 0.9933333333333333,
"grad_norm": 24.452299118041992,
"learning_rate": 1.3377777777777778e-05,
"loss": 0.1201,
"step": 745
},
{
"epoch": 0.9946666666666667,
"grad_norm": 5.4809184074401855,
"learning_rate": 1.336888888888889e-05,
"loss": 0.3438,
"step": 746
},
{
"epoch": 0.996,
"grad_norm": 258.2469787597656,
"learning_rate": 1.3360000000000003e-05,
"loss": 0.176,
"step": 747
},
{
"epoch": 0.9973333333333333,
"grad_norm": 16.465011596679688,
"learning_rate": 1.3351111111111112e-05,
"loss": 0.3134,
"step": 748
},
{
"epoch": 0.9986666666666667,
"grad_norm": 1.7587103843688965,
"learning_rate": 1.3342222222222224e-05,
"loss": 0.0356,
"step": 749
},
{
"epoch": 1.0,
"grad_norm": 1.1261321306228638,
"learning_rate": 1.3333333333333333e-05,
"loss": 0.0239,
"step": 750
},
{
"epoch": 1.0,
"eval_accuracy": 0.904846598488217,
"eval_loss": 0.28887197375297546,
"eval_runtime": 26.9664,
"eval_samples_per_second": 83.4,
"eval_steps_per_second": 2.633,
"step": 750
},
{
"epoch": 1.0013333333333334,
"grad_norm": 27.586259841918945,
"learning_rate": 1.3324444444444446e-05,
"loss": 0.3364,
"step": 751
},
{
"epoch": 1.0026666666666666,
"grad_norm": 17.20166015625,
"learning_rate": 1.3315555555555558e-05,
"loss": 0.611,
"step": 752
},
{
"epoch": 1.004,
"grad_norm": 226.0165557861328,
"learning_rate": 1.3306666666666667e-05,
"loss": 0.1405,
"step": 753
},
{
"epoch": 1.0053333333333334,
"grad_norm": 1.760454535484314,
"learning_rate": 1.3297777777777779e-05,
"loss": 0.0228,
"step": 754
},
{
"epoch": 1.0066666666666666,
"grad_norm": 7.992147445678711,
"learning_rate": 1.3288888888888889e-05,
"loss": 0.3244,
"step": 755
},
{
"epoch": 1.008,
"grad_norm": 15.441391944885254,
"learning_rate": 1.3280000000000002e-05,
"loss": 0.2427,
"step": 756
},
{
"epoch": 1.0093333333333334,
"grad_norm": 40.13923263549805,
"learning_rate": 1.3271111111111113e-05,
"loss": 0.4277,
"step": 757
},
{
"epoch": 1.0106666666666666,
"grad_norm": 736.183837890625,
"learning_rate": 1.3262222222222223e-05,
"loss": 0.1555,
"step": 758
},
{
"epoch": 1.012,
"grad_norm": 60.84284591674805,
"learning_rate": 1.3253333333333334e-05,
"loss": 0.7378,
"step": 759
},
{
"epoch": 1.0133333333333334,
"grad_norm": 121.41837310791016,
"learning_rate": 1.3244444444444447e-05,
"loss": 0.2704,
"step": 760
},
{
"epoch": 1.0146666666666666,
"grad_norm": 1.4436596632003784,
"learning_rate": 1.3235555555555557e-05,
"loss": 0.0192,
"step": 761
},
{
"epoch": 1.016,
"grad_norm": 47.147212982177734,
"learning_rate": 1.3226666666666668e-05,
"loss": 0.6038,
"step": 762
},
{
"epoch": 1.0173333333333334,
"grad_norm": 55.193904876708984,
"learning_rate": 1.3217777777777778e-05,
"loss": 0.4551,
"step": 763
},
{
"epoch": 1.0186666666666666,
"grad_norm": 56.34294128417969,
"learning_rate": 1.320888888888889e-05,
"loss": 0.448,
"step": 764
},
{
"epoch": 1.02,
"grad_norm": 119.21453857421875,
"learning_rate": 1.3200000000000002e-05,
"loss": 0.1817,
"step": 765
},
{
"epoch": 1.0213333333333334,
"grad_norm": 1.1165677309036255,
"learning_rate": 1.3191111111111112e-05,
"loss": 0.018,
"step": 766
},
{
"epoch": 1.0226666666666666,
"grad_norm": 18.053470611572266,
"learning_rate": 1.3182222222222223e-05,
"loss": 0.0448,
"step": 767
},
{
"epoch": 1.024,
"grad_norm": 13.568665504455566,
"learning_rate": 1.3173333333333333e-05,
"loss": 0.0827,
"step": 768
},
{
"epoch": 1.0253333333333334,
"grad_norm": 5.251883029937744,
"learning_rate": 1.3164444444444446e-05,
"loss": 0.0168,
"step": 769
},
{
"epoch": 1.0266666666666666,
"grad_norm": 1.9971121549606323,
"learning_rate": 1.3155555555555558e-05,
"loss": 0.0096,
"step": 770
},
{
"epoch": 1.028,
"grad_norm": 0.86379474401474,
"learning_rate": 1.3146666666666667e-05,
"loss": 0.0122,
"step": 771
},
{
"epoch": 1.0293333333333334,
"grad_norm": 8.765575408935547,
"learning_rate": 1.3137777777777779e-05,
"loss": 0.358,
"step": 772
},
{
"epoch": 1.0306666666666666,
"grad_norm": 49.42302703857422,
"learning_rate": 1.3128888888888892e-05,
"loss": 0.433,
"step": 773
},
{
"epoch": 1.032,
"grad_norm": 0.342842161655426,
"learning_rate": 1.3120000000000001e-05,
"loss": 0.0066,
"step": 774
},
{
"epoch": 1.0333333333333334,
"grad_norm": 34.168487548828125,
"learning_rate": 1.3111111111111113e-05,
"loss": 0.2098,
"step": 775
},
{
"epoch": 1.0346666666666666,
"grad_norm": 0.7996595501899719,
"learning_rate": 1.3102222222222223e-05,
"loss": 0.0087,
"step": 776
},
{
"epoch": 1.036,
"grad_norm": 2.569247245788574,
"learning_rate": 1.3093333333333334e-05,
"loss": 0.0117,
"step": 777
},
{
"epoch": 1.0373333333333334,
"grad_norm": 1.2888752222061157,
"learning_rate": 1.3084444444444447e-05,
"loss": 0.0043,
"step": 778
},
{
"epoch": 1.0386666666666666,
"grad_norm": 148.22377014160156,
"learning_rate": 1.3075555555555557e-05,
"loss": 0.2264,
"step": 779
},
{
"epoch": 1.04,
"grad_norm": 25.763715744018555,
"learning_rate": 1.3066666666666668e-05,
"loss": 0.4641,
"step": 780
},
{
"epoch": 1.0413333333333332,
"grad_norm": 7.064035892486572,
"learning_rate": 1.3057777777777778e-05,
"loss": 0.016,
"step": 781
},
{
"epoch": 1.0426666666666666,
"grad_norm": 43.18195343017578,
"learning_rate": 1.304888888888889e-05,
"loss": 0.2659,
"step": 782
},
{
"epoch": 1.044,
"grad_norm": 37.13945770263672,
"learning_rate": 1.3040000000000002e-05,
"loss": 0.4031,
"step": 783
},
{
"epoch": 1.0453333333333332,
"grad_norm": 5.505980491638184,
"learning_rate": 1.3031111111111112e-05,
"loss": 0.0151,
"step": 784
},
{
"epoch": 1.0466666666666666,
"grad_norm": 2.462235450744629,
"learning_rate": 1.3022222222222223e-05,
"loss": 0.0115,
"step": 785
},
{
"epoch": 1.048,
"grad_norm": 0.2651556134223938,
"learning_rate": 1.3013333333333333e-05,
"loss": 0.0029,
"step": 786
},
{
"epoch": 1.0493333333333332,
"grad_norm": 20.15157699584961,
"learning_rate": 1.3004444444444446e-05,
"loss": 0.4606,
"step": 787
},
{
"epoch": 1.0506666666666666,
"grad_norm": 16.805007934570312,
"learning_rate": 1.2995555555555557e-05,
"loss": 0.0093,
"step": 788
},
{
"epoch": 1.052,
"grad_norm": 49.0029296875,
"learning_rate": 1.2986666666666667e-05,
"loss": 0.5551,
"step": 789
},
{
"epoch": 1.0533333333333332,
"grad_norm": 3.09700608253479,
"learning_rate": 1.2977777777777779e-05,
"loss": 0.0112,
"step": 790
},
{
"epoch": 1.0546666666666666,
"grad_norm": 0.3791140615940094,
"learning_rate": 1.2968888888888892e-05,
"loss": 0.0034,
"step": 791
},
{
"epoch": 1.056,
"grad_norm": 117.6129379272461,
"learning_rate": 1.2960000000000001e-05,
"loss": 1.7288,
"step": 792
},
{
"epoch": 1.0573333333333332,
"grad_norm": 221.93267822265625,
"learning_rate": 1.2951111111111113e-05,
"loss": 0.1407,
"step": 793
},
{
"epoch": 1.0586666666666666,
"grad_norm": 55.06201171875,
"learning_rate": 1.2942222222222222e-05,
"loss": 0.329,
"step": 794
},
{
"epoch": 1.06,
"grad_norm": 11.678918838500977,
"learning_rate": 1.2933333333333334e-05,
"loss": 0.0158,
"step": 795
},
{
"epoch": 1.0613333333333332,
"grad_norm": 0.2170952707529068,
"learning_rate": 1.2924444444444447e-05,
"loss": 0.0024,
"step": 796
},
{
"epoch": 1.0626666666666666,
"grad_norm": 0.17647413909435272,
"learning_rate": 1.2915555555555557e-05,
"loss": 0.003,
"step": 797
},
{
"epoch": 1.064,
"grad_norm": 2.979579210281372,
"learning_rate": 1.2906666666666668e-05,
"loss": 0.0074,
"step": 798
},
{
"epoch": 1.0653333333333332,
"grad_norm": 0.11164411902427673,
"learning_rate": 1.2897777777777778e-05,
"loss": 0.0022,
"step": 799
},
{
"epoch": 1.0666666666666667,
"grad_norm": 0.127725288271904,
"learning_rate": 1.288888888888889e-05,
"loss": 0.0021,
"step": 800
},
{
"epoch": 1.068,
"grad_norm": 1.5642305612564087,
"learning_rate": 1.2880000000000002e-05,
"loss": 0.0036,
"step": 801
},
{
"epoch": 1.0693333333333332,
"grad_norm": 24.924209594726562,
"learning_rate": 1.2871111111111112e-05,
"loss": 0.042,
"step": 802
},
{
"epoch": 1.0706666666666667,
"grad_norm": 0.12092596292495728,
"learning_rate": 1.2862222222222223e-05,
"loss": 0.0021,
"step": 803
},
{
"epoch": 1.072,
"grad_norm": 1.0227552652359009,
"learning_rate": 1.2853333333333336e-05,
"loss": 0.0029,
"step": 804
},
{
"epoch": 1.0733333333333333,
"grad_norm": 34.25923538208008,
"learning_rate": 1.2844444444444446e-05,
"loss": 0.0896,
"step": 805
},
{
"epoch": 1.0746666666666667,
"grad_norm": 96.62979125976562,
"learning_rate": 1.2835555555555557e-05,
"loss": 0.6089,
"step": 806
},
{
"epoch": 1.076,
"grad_norm": 38.05104446411133,
"learning_rate": 1.2826666666666667e-05,
"loss": 0.4133,
"step": 807
},
{
"epoch": 1.0773333333333333,
"grad_norm": 1.4345643520355225,
"learning_rate": 1.2817777777777778e-05,
"loss": 0.0038,
"step": 808
},
{
"epoch": 1.0786666666666667,
"grad_norm": 0.053676433861255646,
"learning_rate": 1.2808888888888891e-05,
"loss": 0.0015,
"step": 809
},
{
"epoch": 1.08,
"grad_norm": 96.8714599609375,
"learning_rate": 1.2800000000000001e-05,
"loss": 1.3294,
"step": 810
},
{
"epoch": 1.0813333333333333,
"grad_norm": 0.07187049835920334,
"learning_rate": 1.2791111111111112e-05,
"loss": 0.0017,
"step": 811
},
{
"epoch": 1.0826666666666667,
"grad_norm": 14.80344295501709,
"learning_rate": 1.2782222222222222e-05,
"loss": 0.0165,
"step": 812
},
{
"epoch": 1.084,
"grad_norm": 3.4597558975219727,
"learning_rate": 1.2773333333333335e-05,
"loss": 0.0076,
"step": 813
},
{
"epoch": 1.0853333333333333,
"grad_norm": 700.4561157226562,
"learning_rate": 1.2764444444444447e-05,
"loss": 0.2888,
"step": 814
},
{
"epoch": 1.0866666666666667,
"grad_norm": 0.08150532841682434,
"learning_rate": 1.2755555555555556e-05,
"loss": 0.0017,
"step": 815
},
{
"epoch": 1.088,
"grad_norm": 101.07064819335938,
"learning_rate": 1.2746666666666668e-05,
"loss": 0.793,
"step": 816
},
{
"epoch": 1.0893333333333333,
"grad_norm": 79.26262664794922,
"learning_rate": 1.2737777777777777e-05,
"loss": 1.0043,
"step": 817
},
{
"epoch": 1.0906666666666667,
"grad_norm": 1.4211872816085815,
"learning_rate": 1.272888888888889e-05,
"loss": 0.0032,
"step": 818
},
{
"epoch": 1.092,
"grad_norm": 453.25897216796875,
"learning_rate": 1.2720000000000002e-05,
"loss": 0.1466,
"step": 819
},
{
"epoch": 1.0933333333333333,
"grad_norm": 1.5293344259262085,
"learning_rate": 1.2711111111111112e-05,
"loss": 0.0033,
"step": 820
},
{
"epoch": 1.0946666666666667,
"grad_norm": 52.81258773803711,
"learning_rate": 1.2702222222222223e-05,
"loss": 0.7177,
"step": 821
},
{
"epoch": 1.096,
"grad_norm": 0.20062361657619476,
"learning_rate": 1.2693333333333336e-05,
"loss": 0.002,
"step": 822
},
{
"epoch": 1.0973333333333333,
"grad_norm": 0.40297842025756836,
"learning_rate": 1.2684444444444446e-05,
"loss": 0.0015,
"step": 823
},
{
"epoch": 1.0986666666666667,
"grad_norm": 0.19320163130760193,
"learning_rate": 1.2675555555555557e-05,
"loss": 0.0019,
"step": 824
},
{
"epoch": 1.1,
"grad_norm": 26.835094451904297,
"learning_rate": 1.2666666666666667e-05,
"loss": 0.4955,
"step": 825
},
{
"epoch": 1.1013333333333333,
"grad_norm": 171.86520385742188,
"learning_rate": 1.2657777777777778e-05,
"loss": 0.4986,
"step": 826
},
{
"epoch": 1.1026666666666667,
"grad_norm": 0.062163546681404114,
"learning_rate": 1.2648888888888891e-05,
"loss": 0.0014,
"step": 827
},
{
"epoch": 1.104,
"grad_norm": 0.08295907080173492,
"learning_rate": 1.2640000000000001e-05,
"loss": 0.0014,
"step": 828
},
{
"epoch": 1.1053333333333333,
"grad_norm": 140.89132690429688,
"learning_rate": 1.2631111111111112e-05,
"loss": 0.3092,
"step": 829
},
{
"epoch": 1.1066666666666667,
"grad_norm": 134.7340087890625,
"learning_rate": 1.2622222222222222e-05,
"loss": 0.0797,
"step": 830
},
{
"epoch": 1.108,
"grad_norm": 0.08058121800422668,
"learning_rate": 1.2613333333333335e-05,
"loss": 0.0012,
"step": 831
},
{
"epoch": 1.1093333333333333,
"grad_norm": 135.03155517578125,
"learning_rate": 1.2604444444444446e-05,
"loss": 1.1038,
"step": 832
},
{
"epoch": 1.1106666666666667,
"grad_norm": 0.12343065440654755,
"learning_rate": 1.2595555555555556e-05,
"loss": 0.0014,
"step": 833
},
{
"epoch": 1.112,
"grad_norm": 1.4600228071212769,
"learning_rate": 1.2586666666666668e-05,
"loss": 0.0024,
"step": 834
},
{
"epoch": 1.1133333333333333,
"grad_norm": 20.80870246887207,
"learning_rate": 1.257777777777778e-05,
"loss": 0.9738,
"step": 835
},
{
"epoch": 1.1146666666666667,
"grad_norm": 82.81521606445312,
"learning_rate": 1.256888888888889e-05,
"loss": 0.1791,
"step": 836
},
{
"epoch": 1.116,
"grad_norm": 49.21027374267578,
"learning_rate": 1.2560000000000002e-05,
"loss": 0.0736,
"step": 837
},
{
"epoch": 1.1173333333333333,
"grad_norm": 7.727200984954834,
"learning_rate": 1.2551111111111111e-05,
"loss": 0.0129,
"step": 838
},
{
"epoch": 1.1186666666666667,
"grad_norm": 39.5984001159668,
"learning_rate": 1.2542222222222223e-05,
"loss": 0.4686,
"step": 839
},
{
"epoch": 1.12,
"grad_norm": 3.5434956550598145,
"learning_rate": 1.2533333333333336e-05,
"loss": 0.575,
"step": 840
},
{
"epoch": 1.1213333333333333,
"grad_norm": 5.994466781616211,
"learning_rate": 1.2524444444444446e-05,
"loss": 0.5574,
"step": 841
},
{
"epoch": 1.1226666666666667,
"grad_norm": 0.913675844669342,
"learning_rate": 1.2515555555555557e-05,
"loss": 0.0038,
"step": 842
},
{
"epoch": 1.124,
"grad_norm": 0.5497124791145325,
"learning_rate": 1.2506666666666667e-05,
"loss": 0.0021,
"step": 843
},
{
"epoch": 1.1253333333333333,
"grad_norm": 182.46014404296875,
"learning_rate": 1.249777777777778e-05,
"loss": 0.6174,
"step": 844
},
{
"epoch": 1.1266666666666667,
"grad_norm": 6.25128698348999,
"learning_rate": 1.2488888888888891e-05,
"loss": 0.5011,
"step": 845
},
{
"epoch": 1.1280000000000001,
"grad_norm": 17.34930419921875,
"learning_rate": 1.248e-05,
"loss": 0.474,
"step": 846
},
{
"epoch": 1.1293333333333333,
"grad_norm": 24.189481735229492,
"learning_rate": 1.2471111111111112e-05,
"loss": 0.7739,
"step": 847
},
{
"epoch": 1.1306666666666667,
"grad_norm": 30.252674102783203,
"learning_rate": 1.2462222222222222e-05,
"loss": 0.4029,
"step": 848
},
{
"epoch": 1.1320000000000001,
"grad_norm": 0.5519030690193176,
"learning_rate": 1.2453333333333335e-05,
"loss": 0.0081,
"step": 849
},
{
"epoch": 1.1333333333333333,
"grad_norm": 15.290019989013672,
"learning_rate": 1.2444444444444446e-05,
"loss": 0.0577,
"step": 850
},
{
"epoch": 1.1346666666666667,
"grad_norm": 0.6529953479766846,
"learning_rate": 1.2435555555555556e-05,
"loss": 0.0099,
"step": 851
},
{
"epoch": 1.1360000000000001,
"grad_norm": 16.313291549682617,
"learning_rate": 1.2426666666666667e-05,
"loss": 0.2651,
"step": 852
},
{
"epoch": 1.1373333333333333,
"grad_norm": 0.7528375387191772,
"learning_rate": 1.241777777777778e-05,
"loss": 0.0106,
"step": 853
},
{
"epoch": 1.1386666666666667,
"grad_norm": 0.7328863143920898,
"learning_rate": 1.240888888888889e-05,
"loss": 0.0111,
"step": 854
},
{
"epoch": 1.1400000000000001,
"grad_norm": 0.2663259506225586,
"learning_rate": 1.2400000000000002e-05,
"loss": 0.0038,
"step": 855
},
{
"epoch": 1.1413333333333333,
"grad_norm": 7.513643741607666,
"learning_rate": 1.2391111111111111e-05,
"loss": 0.036,
"step": 856
},
{
"epoch": 1.1426666666666667,
"grad_norm": 41.81425857543945,
"learning_rate": 1.2382222222222223e-05,
"loss": 0.4298,
"step": 857
},
{
"epoch": 1.144,
"grad_norm": 45.59193801879883,
"learning_rate": 1.2373333333333336e-05,
"loss": 0.354,
"step": 858
},
{
"epoch": 1.1453333333333333,
"grad_norm": 64.54571533203125,
"learning_rate": 1.2364444444444445e-05,
"loss": 0.0884,
"step": 859
},
{
"epoch": 1.1466666666666667,
"grad_norm": 0.4215911626815796,
"learning_rate": 1.2355555555555557e-05,
"loss": 0.0058,
"step": 860
},
{
"epoch": 1.148,
"grad_norm": 0.5809759497642517,
"learning_rate": 1.2346666666666666e-05,
"loss": 0.006,
"step": 861
},
{
"epoch": 1.1493333333333333,
"grad_norm": 0.33577969670295715,
"learning_rate": 1.233777777777778e-05,
"loss": 0.0044,
"step": 862
},
{
"epoch": 1.1506666666666667,
"grad_norm": 12.825361251831055,
"learning_rate": 1.2328888888888891e-05,
"loss": 0.5172,
"step": 863
},
{
"epoch": 1.152,
"grad_norm": 2.0829153060913086,
"learning_rate": 1.232e-05,
"loss": 0.0142,
"step": 864
},
{
"epoch": 1.1533333333333333,
"grad_norm": 193.0457305908203,
"learning_rate": 1.2311111111111112e-05,
"loss": 0.4961,
"step": 865
},
{
"epoch": 1.1546666666666667,
"grad_norm": 11.269798278808594,
"learning_rate": 1.2302222222222225e-05,
"loss": 0.4096,
"step": 866
},
{
"epoch": 1.156,
"grad_norm": 0.5155045986175537,
"learning_rate": 1.2293333333333335e-05,
"loss": 0.005,
"step": 867
},
{
"epoch": 1.1573333333333333,
"grad_norm": 12.284307479858398,
"learning_rate": 1.2284444444444446e-05,
"loss": 0.6147,
"step": 868
},
{
"epoch": 1.1586666666666667,
"grad_norm": 18.633132934570312,
"learning_rate": 1.2275555555555556e-05,
"loss": 0.5362,
"step": 869
},
{
"epoch": 1.16,
"grad_norm": 0.18201844394207,
"learning_rate": 1.2266666666666667e-05,
"loss": 0.0029,
"step": 870
},
{
"epoch": 1.1613333333333333,
"grad_norm": 41.96181869506836,
"learning_rate": 1.225777777777778e-05,
"loss": 0.7109,
"step": 871
},
{
"epoch": 1.1626666666666667,
"grad_norm": 0.15295831859111786,
"learning_rate": 1.224888888888889e-05,
"loss": 0.0031,
"step": 872
},
{
"epoch": 1.164,
"grad_norm": 0.26740360260009766,
"learning_rate": 1.2240000000000001e-05,
"loss": 0.0029,
"step": 873
},
{
"epoch": 1.1653333333333333,
"grad_norm": 0.7902565598487854,
"learning_rate": 1.2231111111111111e-05,
"loss": 0.0044,
"step": 874
},
{
"epoch": 1.1666666666666667,
"grad_norm": 35.6673583984375,
"learning_rate": 1.2222222222222224e-05,
"loss": 0.4477,
"step": 875
},
{
"epoch": 1.168,
"grad_norm": 0.08016163110733032,
"learning_rate": 1.2213333333333336e-05,
"loss": 0.0022,
"step": 876
},
{
"epoch": 1.1693333333333333,
"grad_norm": 0.1301957368850708,
"learning_rate": 1.2204444444444445e-05,
"loss": 0.0027,
"step": 877
},
{
"epoch": 1.1706666666666667,
"grad_norm": 84.76673889160156,
"learning_rate": 1.2195555555555557e-05,
"loss": 0.515,
"step": 878
},
{
"epoch": 1.172,
"grad_norm": 20.881052017211914,
"learning_rate": 1.2186666666666666e-05,
"loss": 0.5052,
"step": 879
},
{
"epoch": 1.1733333333333333,
"grad_norm": 28.483245849609375,
"learning_rate": 1.217777777777778e-05,
"loss": 0.2576,
"step": 880
},
{
"epoch": 1.1746666666666667,
"grad_norm": 0.10363554954528809,
"learning_rate": 1.216888888888889e-05,
"loss": 0.0024,
"step": 881
},
{
"epoch": 1.176,
"grad_norm": 0.12127348780632019,
"learning_rate": 1.216e-05,
"loss": 0.0029,
"step": 882
},
{
"epoch": 1.1773333333333333,
"grad_norm": 3.900700092315674,
"learning_rate": 1.2151111111111112e-05,
"loss": 0.5431,
"step": 883
},
{
"epoch": 1.1786666666666668,
"grad_norm": 0.07921244204044342,
"learning_rate": 1.2142222222222225e-05,
"loss": 0.0022,
"step": 884
},
{
"epoch": 1.18,
"grad_norm": 0.2758810222148895,
"learning_rate": 1.2133333333333335e-05,
"loss": 0.0042,
"step": 885
},
{
"epoch": 1.1813333333333333,
"grad_norm": 0.14938539266586304,
"learning_rate": 1.2124444444444446e-05,
"loss": 0.0029,
"step": 886
},
{
"epoch": 1.1826666666666668,
"grad_norm": 92.51848602294922,
"learning_rate": 1.2115555555555556e-05,
"loss": 0.0353,
"step": 887
},
{
"epoch": 1.184,
"grad_norm": 9.922256469726562,
"learning_rate": 1.2106666666666667e-05,
"loss": 0.0128,
"step": 888
},
{
"epoch": 1.1853333333333333,
"grad_norm": 45.24642562866211,
"learning_rate": 1.209777777777778e-05,
"loss": 0.4618,
"step": 889
},
{
"epoch": 1.1866666666666668,
"grad_norm": 0.2325056493282318,
"learning_rate": 1.208888888888889e-05,
"loss": 0.003,
"step": 890
},
{
"epoch": 1.188,
"grad_norm": 0.2904539406299591,
"learning_rate": 1.2080000000000001e-05,
"loss": 0.0036,
"step": 891
},
{
"epoch": 1.1893333333333334,
"grad_norm": 0.8002233505249023,
"learning_rate": 1.2071111111111111e-05,
"loss": 0.0034,
"step": 892
},
{
"epoch": 1.1906666666666668,
"grad_norm": 23.455820083618164,
"learning_rate": 1.2062222222222224e-05,
"loss": 0.3988,
"step": 893
},
{
"epoch": 1.192,
"grad_norm": 0.0952620804309845,
"learning_rate": 1.2053333333333335e-05,
"loss": 0.0024,
"step": 894
},
{
"epoch": 1.1933333333333334,
"grad_norm": 20.559545516967773,
"learning_rate": 1.2044444444444445e-05,
"loss": 0.016,
"step": 895
},
{
"epoch": 1.1946666666666665,
"grad_norm": 4.858412265777588,
"learning_rate": 1.2035555555555556e-05,
"loss": 0.5362,
"step": 896
},
{
"epoch": 1.196,
"grad_norm": 18.93775749206543,
"learning_rate": 1.202666666666667e-05,
"loss": 0.3102,
"step": 897
},
{
"epoch": 1.1973333333333334,
"grad_norm": 0.20715278387069702,
"learning_rate": 1.201777777777778e-05,
"loss": 0.0025,
"step": 898
},
{
"epoch": 1.1986666666666665,
"grad_norm": 8.263291358947754,
"learning_rate": 1.200888888888889e-05,
"loss": 0.0095,
"step": 899
},
{
"epoch": 1.2,
"grad_norm": 0.15967799723148346,
"learning_rate": 1.2e-05,
"loss": 0.0031,
"step": 900
},
{
"epoch": 1.2013333333333334,
"grad_norm": 12.468239784240723,
"learning_rate": 1.1991111111111112e-05,
"loss": 0.4627,
"step": 901
},
{
"epoch": 1.2026666666666666,
"grad_norm": 0.23650714755058289,
"learning_rate": 1.1982222222222225e-05,
"loss": 0.0042,
"step": 902
},
{
"epoch": 1.204,
"grad_norm": 0.10377378761768341,
"learning_rate": 1.1973333333333334e-05,
"loss": 0.0027,
"step": 903
},
{
"epoch": 1.2053333333333334,
"grad_norm": 0.14577721059322357,
"learning_rate": 1.1964444444444446e-05,
"loss": 0.0035,
"step": 904
},
{
"epoch": 1.2066666666666666,
"grad_norm": 79.82862854003906,
"learning_rate": 1.1955555555555556e-05,
"loss": 0.3619,
"step": 905
},
{
"epoch": 1.208,
"grad_norm": 0.16100451350212097,
"learning_rate": 1.1946666666666669e-05,
"loss": 0.0032,
"step": 906
},
{
"epoch": 1.2093333333333334,
"grad_norm": 0.10858803987503052,
"learning_rate": 1.193777777777778e-05,
"loss": 0.0028,
"step": 907
},
{
"epoch": 1.2106666666666666,
"grad_norm": 1.640223741531372,
"learning_rate": 1.192888888888889e-05,
"loss": 0.0065,
"step": 908
},
{
"epoch": 1.212,
"grad_norm": 3.5480217933654785,
"learning_rate": 1.1920000000000001e-05,
"loss": 0.0051,
"step": 909
},
{
"epoch": 1.2133333333333334,
"grad_norm": 31.298311233520508,
"learning_rate": 1.191111111111111e-05,
"loss": 0.3445,
"step": 910
},
{
"epoch": 1.2146666666666666,
"grad_norm": 83.92938232421875,
"learning_rate": 1.1902222222222224e-05,
"loss": 0.5631,
"step": 911
},
{
"epoch": 1.216,
"grad_norm": 0.1466776579618454,
"learning_rate": 1.1893333333333335e-05,
"loss": 0.0031,
"step": 912
},
{
"epoch": 1.2173333333333334,
"grad_norm": 9.025130271911621,
"learning_rate": 1.1884444444444445e-05,
"loss": 0.4819,
"step": 913
},
{
"epoch": 1.2186666666666666,
"grad_norm": 20.17824935913086,
"learning_rate": 1.1875555555555556e-05,
"loss": 0.2918,
"step": 914
},
{
"epoch": 1.22,
"grad_norm": 0.1393057405948639,
"learning_rate": 1.186666666666667e-05,
"loss": 0.0027,
"step": 915
},
{
"epoch": 1.2213333333333334,
"grad_norm": 1.765773057937622,
"learning_rate": 1.1857777777777779e-05,
"loss": 0.005,
"step": 916
},
{
"epoch": 1.2226666666666666,
"grad_norm": 16.329025268554688,
"learning_rate": 1.184888888888889e-05,
"loss": 0.4116,
"step": 917
},
{
"epoch": 1.224,
"grad_norm": 21.189285278320312,
"learning_rate": 1.184e-05,
"loss": 0.3532,
"step": 918
},
{
"epoch": 1.2253333333333334,
"grad_norm": 3.216411590576172,
"learning_rate": 1.1831111111111112e-05,
"loss": 0.0046,
"step": 919
},
{
"epoch": 1.2266666666666666,
"grad_norm": 0.19620104134082794,
"learning_rate": 1.1822222222222225e-05,
"loss": 0.0037,
"step": 920
},
{
"epoch": 1.228,
"grad_norm": 0.48292961716651917,
"learning_rate": 1.1813333333333334e-05,
"loss": 0.0046,
"step": 921
},
{
"epoch": 1.2293333333333334,
"grad_norm": 29.918201446533203,
"learning_rate": 1.1804444444444446e-05,
"loss": 0.3111,
"step": 922
},
{
"epoch": 1.2306666666666666,
"grad_norm": 0.17015571892261505,
"learning_rate": 1.1795555555555555e-05,
"loss": 0.0033,
"step": 923
},
{
"epoch": 1.232,
"grad_norm": 0.9593067169189453,
"learning_rate": 1.1786666666666668e-05,
"loss": 0.0061,
"step": 924
},
{
"epoch": 1.2333333333333334,
"grad_norm": 0.13157722353935242,
"learning_rate": 1.177777777777778e-05,
"loss": 0.0028,
"step": 925
},
{
"epoch": 1.2346666666666666,
"grad_norm": 1.6399060487747192,
"learning_rate": 1.176888888888889e-05,
"loss": 0.0046,
"step": 926
},
{
"epoch": 1.236,
"grad_norm": 137.57984924316406,
"learning_rate": 1.1760000000000001e-05,
"loss": 0.5043,
"step": 927
},
{
"epoch": 1.2373333333333334,
"grad_norm": 11.29311466217041,
"learning_rate": 1.1751111111111112e-05,
"loss": 0.4658,
"step": 928
},
{
"epoch": 1.2386666666666666,
"grad_norm": 5.140443325042725,
"learning_rate": 1.1742222222222224e-05,
"loss": 0.505,
"step": 929
},
{
"epoch": 1.24,
"grad_norm": 0.2025599628686905,
"learning_rate": 1.1733333333333335e-05,
"loss": 0.003,
"step": 930
},
{
"epoch": 1.2413333333333334,
"grad_norm": 40.2384147644043,
"learning_rate": 1.1724444444444445e-05,
"loss": 0.3934,
"step": 931
},
{
"epoch": 1.2426666666666666,
"grad_norm": 58.11953353881836,
"learning_rate": 1.1715555555555556e-05,
"loss": 0.0403,
"step": 932
},
{
"epoch": 1.244,
"grad_norm": 6.105989933013916,
"learning_rate": 1.170666666666667e-05,
"loss": 0.5154,
"step": 933
},
{
"epoch": 1.2453333333333334,
"grad_norm": 0.9199371933937073,
"learning_rate": 1.1697777777777779e-05,
"loss": 0.006,
"step": 934
},
{
"epoch": 1.2466666666666666,
"grad_norm": 1.2838635444641113,
"learning_rate": 1.168888888888889e-05,
"loss": 0.0082,
"step": 935
},
{
"epoch": 1.248,
"grad_norm": 22.795225143432617,
"learning_rate": 1.168e-05,
"loss": 0.3632,
"step": 936
},
{
"epoch": 1.2493333333333334,
"grad_norm": 14.74439811706543,
"learning_rate": 1.1671111111111113e-05,
"loss": 0.3315,
"step": 937
},
{
"epoch": 1.2506666666666666,
"grad_norm": 118.87178802490234,
"learning_rate": 1.1662222222222224e-05,
"loss": 0.6016,
"step": 938
},
{
"epoch": 1.252,
"grad_norm": 8.751676559448242,
"learning_rate": 1.1653333333333334e-05,
"loss": 0.4587,
"step": 939
},
{
"epoch": 1.2533333333333334,
"grad_norm": 3.969007730484009,
"learning_rate": 1.1644444444444446e-05,
"loss": 0.0088,
"step": 940
},
{
"epoch": 1.2546666666666666,
"grad_norm": 0.3607846200466156,
"learning_rate": 1.1635555555555555e-05,
"loss": 0.0048,
"step": 941
},
{
"epoch": 1.256,
"grad_norm": 0.4155414402484894,
"learning_rate": 1.1626666666666668e-05,
"loss": 0.0055,
"step": 942
},
{
"epoch": 1.2573333333333334,
"grad_norm": 0.6266899108886719,
"learning_rate": 1.161777777777778e-05,
"loss": 0.0073,
"step": 943
},
{
"epoch": 1.2586666666666666,
"grad_norm": 0.5248187184333801,
"learning_rate": 1.160888888888889e-05,
"loss": 0.0069,
"step": 944
},
{
"epoch": 1.26,
"grad_norm": 1.0109491348266602,
"learning_rate": 1.16e-05,
"loss": 0.0045,
"step": 945
},
{
"epoch": 1.2613333333333334,
"grad_norm": 8.226187705993652,
"learning_rate": 1.1591111111111114e-05,
"loss": 0.0136,
"step": 946
},
{
"epoch": 1.2626666666666666,
"grad_norm": 1.3889366388320923,
"learning_rate": 1.1582222222222224e-05,
"loss": 0.0098,
"step": 947
},
{
"epoch": 1.264,
"grad_norm": 82.0073471069336,
"learning_rate": 1.1573333333333335e-05,
"loss": 0.0194,
"step": 948
},
{
"epoch": 1.2653333333333334,
"grad_norm": 11.125330924987793,
"learning_rate": 1.1564444444444445e-05,
"loss": 0.0047,
"step": 949
},
{
"epoch": 1.2666666666666666,
"grad_norm": 0.4823436141014099,
"learning_rate": 1.1555555555555556e-05,
"loss": 0.0048,
"step": 950
},
{
"epoch": 1.268,
"grad_norm": 45.379638671875,
"learning_rate": 1.1546666666666669e-05,
"loss": 0.6432,
"step": 951
},
{
"epoch": 1.2693333333333334,
"grad_norm": 26.949378967285156,
"learning_rate": 1.1537777777777779e-05,
"loss": 0.2687,
"step": 952
},
{
"epoch": 1.2706666666666666,
"grad_norm": 0.3253675103187561,
"learning_rate": 1.152888888888889e-05,
"loss": 0.0048,
"step": 953
},
{
"epoch": 1.272,
"grad_norm": 28.58254051208496,
"learning_rate": 1.152e-05,
"loss": 0.4162,
"step": 954
},
{
"epoch": 1.2733333333333334,
"grad_norm": 5.473392009735107,
"learning_rate": 1.1511111111111113e-05,
"loss": 0.0054,
"step": 955
},
{
"epoch": 1.2746666666666666,
"grad_norm": 0.4049687087535858,
"learning_rate": 1.1502222222222224e-05,
"loss": 0.003,
"step": 956
},
{
"epoch": 1.276,
"grad_norm": 12.284566879272461,
"learning_rate": 1.1493333333333334e-05,
"loss": 0.9907,
"step": 957
},
{
"epoch": 1.2773333333333334,
"grad_norm": 28.280475616455078,
"learning_rate": 1.1484444444444445e-05,
"loss": 1.2906,
"step": 958
},
{
"epoch": 1.2786666666666666,
"grad_norm": 0.15694104135036469,
"learning_rate": 1.1475555555555557e-05,
"loss": 0.003,
"step": 959
},
{
"epoch": 1.28,
"grad_norm": 125.3262939453125,
"learning_rate": 1.1466666666666668e-05,
"loss": 0.1059,
"step": 960
},
{
"epoch": 1.2813333333333334,
"grad_norm": 1.7037324905395508,
"learning_rate": 1.145777777777778e-05,
"loss": 0.005,
"step": 961
},
{
"epoch": 1.2826666666666666,
"grad_norm": 34.69887924194336,
"learning_rate": 1.144888888888889e-05,
"loss": 0.8149,
"step": 962
},
{
"epoch": 1.284,
"grad_norm": 68.41641235351562,
"learning_rate": 1.144e-05,
"loss": 0.259,
"step": 963
},
{
"epoch": 1.2853333333333334,
"grad_norm": 17.679241180419922,
"learning_rate": 1.1431111111111114e-05,
"loss": 0.89,
"step": 964
},
{
"epoch": 1.2866666666666666,
"grad_norm": 0.44580599665641785,
"learning_rate": 1.1422222222222223e-05,
"loss": 0.003,
"step": 965
},
{
"epoch": 1.288,
"grad_norm": 2.4933066368103027,
"learning_rate": 1.1413333333333335e-05,
"loss": 0.0068,
"step": 966
},
{
"epoch": 1.2893333333333334,
"grad_norm": 109.09564208984375,
"learning_rate": 1.1404444444444444e-05,
"loss": 0.7981,
"step": 967
},
{
"epoch": 1.2906666666666666,
"grad_norm": 0.216598778963089,
"learning_rate": 1.1395555555555558e-05,
"loss": 0.0032,
"step": 968
},
{
"epoch": 1.292,
"grad_norm": 1.6283466815948486,
"learning_rate": 1.1386666666666669e-05,
"loss": 0.0085,
"step": 969
},
{
"epoch": 1.2933333333333334,
"grad_norm": 0.14359629154205322,
"learning_rate": 1.1377777777777779e-05,
"loss": 0.0031,
"step": 970
},
{
"epoch": 1.2946666666666666,
"grad_norm": 8.637922286987305,
"learning_rate": 1.136888888888889e-05,
"loss": 0.0466,
"step": 971
},
{
"epoch": 1.296,
"grad_norm": 11.157002449035645,
"learning_rate": 1.136e-05,
"loss": 0.056,
"step": 972
},
{
"epoch": 1.2973333333333334,
"grad_norm": 7.2839508056640625,
"learning_rate": 1.1351111111111113e-05,
"loss": 0.0093,
"step": 973
},
{
"epoch": 1.2986666666666666,
"grad_norm": 20.36553382873535,
"learning_rate": 1.1342222222222224e-05,
"loss": 0.3563,
"step": 974
},
{
"epoch": 1.3,
"grad_norm": 0.09845487773418427,
"learning_rate": 1.1333333333333334e-05,
"loss": 0.0025,
"step": 975
},
{
"epoch": 1.3013333333333335,
"grad_norm": 7.82648229598999,
"learning_rate": 1.1324444444444445e-05,
"loss": 0.0089,
"step": 976
},
{
"epoch": 1.3026666666666666,
"grad_norm": 18.02204132080078,
"learning_rate": 1.1315555555555557e-05,
"loss": 0.3675,
"step": 977
},
{
"epoch": 1.304,
"grad_norm": 160.16041564941406,
"learning_rate": 1.1306666666666668e-05,
"loss": 0.0404,
"step": 978
},
{
"epoch": 1.3053333333333335,
"grad_norm": 2.9476184844970703,
"learning_rate": 1.129777777777778e-05,
"loss": 0.0081,
"step": 979
},
{
"epoch": 1.3066666666666666,
"grad_norm": 53.64346694946289,
"learning_rate": 1.1288888888888889e-05,
"loss": 0.1896,
"step": 980
},
{
"epoch": 1.308,
"grad_norm": 30.197551727294922,
"learning_rate": 1.128e-05,
"loss": 0.6301,
"step": 981
},
{
"epoch": 1.3093333333333335,
"grad_norm": 0.9788207411766052,
"learning_rate": 1.1271111111111113e-05,
"loss": 0.012,
"step": 982
},
{
"epoch": 1.3106666666666666,
"grad_norm": 0.47784310579299927,
"learning_rate": 1.1262222222222223e-05,
"loss": 0.0064,
"step": 983
},
{
"epoch": 1.312,
"grad_norm": 56.818809509277344,
"learning_rate": 1.1253333333333335e-05,
"loss": 0.3145,
"step": 984
},
{
"epoch": 1.3133333333333335,
"grad_norm": 0.17256160080432892,
"learning_rate": 1.1244444444444444e-05,
"loss": 0.0033,
"step": 985
},
{
"epoch": 1.3146666666666667,
"grad_norm": 0.5721084475517273,
"learning_rate": 1.1235555555555557e-05,
"loss": 0.0038,
"step": 986
},
{
"epoch": 1.316,
"grad_norm": 25.935848236083984,
"learning_rate": 1.1226666666666669e-05,
"loss": 0.3047,
"step": 987
},
{
"epoch": 1.3173333333333335,
"grad_norm": 31.875411987304688,
"learning_rate": 1.1217777777777778e-05,
"loss": 0.3474,
"step": 988
},
{
"epoch": 1.3186666666666667,
"grad_norm": 2.268709421157837,
"learning_rate": 1.120888888888889e-05,
"loss": 0.007,
"step": 989
},
{
"epoch": 1.32,
"grad_norm": 4.736310005187988,
"learning_rate": 1.1200000000000001e-05,
"loss": 0.5332,
"step": 990
},
{
"epoch": 1.3213333333333335,
"grad_norm": 0.5186072587966919,
"learning_rate": 1.1191111111111113e-05,
"loss": 0.0049,
"step": 991
},
{
"epoch": 1.3226666666666667,
"grad_norm": 0.9063280820846558,
"learning_rate": 1.1182222222222224e-05,
"loss": 0.0055,
"step": 992
},
{
"epoch": 1.324,
"grad_norm": 10.004049301147461,
"learning_rate": 1.1173333333333334e-05,
"loss": 0.5001,
"step": 993
},
{
"epoch": 1.3253333333333333,
"grad_norm": 0.10727064311504364,
"learning_rate": 1.1164444444444445e-05,
"loss": 0.0026,
"step": 994
},
{
"epoch": 1.3266666666666667,
"grad_norm": 0.0779246836900711,
"learning_rate": 1.1155555555555556e-05,
"loss": 0.0023,
"step": 995
},
{
"epoch": 1.328,
"grad_norm": 0.1362374871969223,
"learning_rate": 1.1146666666666668e-05,
"loss": 0.0031,
"step": 996
},
{
"epoch": 1.3293333333333333,
"grad_norm": 0.1214473694562912,
"learning_rate": 1.113777777777778e-05,
"loss": 0.003,
"step": 997
},
{
"epoch": 1.3306666666666667,
"grad_norm": 0.19001039862632751,
"learning_rate": 1.1128888888888889e-05,
"loss": 0.0031,
"step": 998
},
{
"epoch": 1.332,
"grad_norm": 13.757452011108398,
"learning_rate": 1.1120000000000002e-05,
"loss": 0.3473,
"step": 999
},
{
"epoch": 1.3333333333333333,
"grad_norm": 45.05511474609375,
"learning_rate": 1.1111111111111113e-05,
"loss": 0.2901,
"step": 1000
},
{
"epoch": 1.3346666666666667,
"grad_norm": 15.986353874206543,
"learning_rate": 1.1102222222222223e-05,
"loss": 0.9144,
"step": 1001
},
{
"epoch": 1.336,
"grad_norm": 208.5457763671875,
"learning_rate": 1.1093333333333334e-05,
"loss": 0.5198,
"step": 1002
},
{
"epoch": 1.3373333333333333,
"grad_norm": 1.682790994644165,
"learning_rate": 1.1084444444444444e-05,
"loss": 0.0066,
"step": 1003
},
{
"epoch": 1.3386666666666667,
"grad_norm": 559.8340454101562,
"learning_rate": 1.1075555555555557e-05,
"loss": 0.1847,
"step": 1004
},
{
"epoch": 1.34,
"grad_norm": 19.687036514282227,
"learning_rate": 1.1066666666666669e-05,
"loss": 0.3462,
"step": 1005
},
{
"epoch": 1.3413333333333333,
"grad_norm": 35.04238510131836,
"learning_rate": 1.1057777777777778e-05,
"loss": 0.0196,
"step": 1006
},
{
"epoch": 1.3426666666666667,
"grad_norm": 15.6327486038208,
"learning_rate": 1.104888888888889e-05,
"loss": 0.4656,
"step": 1007
},
{
"epoch": 1.3439999999999999,
"grad_norm": 0.1875307708978653,
"learning_rate": 1.1040000000000001e-05,
"loss": 0.0037,
"step": 1008
},
{
"epoch": 1.3453333333333333,
"grad_norm": 25.909387588500977,
"learning_rate": 1.1031111111111112e-05,
"loss": 0.3833,
"step": 1009
},
{
"epoch": 1.3466666666666667,
"grad_norm": 0.467212051153183,
"learning_rate": 1.1022222222222224e-05,
"loss": 0.007,
"step": 1010
},
{
"epoch": 1.3479999999999999,
"grad_norm": 3.0302629470825195,
"learning_rate": 1.1013333333333333e-05,
"loss": 0.0062,
"step": 1011
},
{
"epoch": 1.3493333333333333,
"grad_norm": 179.12498474121094,
"learning_rate": 1.1004444444444445e-05,
"loss": 0.0608,
"step": 1012
},
{
"epoch": 1.3506666666666667,
"grad_norm": 0.25609830021858215,
"learning_rate": 1.0995555555555556e-05,
"loss": 0.0044,
"step": 1013
},
{
"epoch": 1.3519999999999999,
"grad_norm": 37.782615661621094,
"learning_rate": 1.0986666666666668e-05,
"loss": 1.2477,
"step": 1014
},
{
"epoch": 1.3533333333333333,
"grad_norm": 0.5754727125167847,
"learning_rate": 1.0977777777777779e-05,
"loss": 0.0064,
"step": 1015
},
{
"epoch": 1.3546666666666667,
"grad_norm": 1.6934483051300049,
"learning_rate": 1.0968888888888889e-05,
"loss": 0.0083,
"step": 1016
},
{
"epoch": 1.3559999999999999,
"grad_norm": 46.205413818359375,
"learning_rate": 1.0960000000000002e-05,
"loss": 0.2697,
"step": 1017
},
{
"epoch": 1.3573333333333333,
"grad_norm": 12.102858543395996,
"learning_rate": 1.0951111111111113e-05,
"loss": 0.4314,
"step": 1018
},
{
"epoch": 1.3586666666666667,
"grad_norm": 72.37397766113281,
"learning_rate": 1.0942222222222223e-05,
"loss": 0.7672,
"step": 1019
},
{
"epoch": 1.3599999999999999,
"grad_norm": 0.19211329519748688,
"learning_rate": 1.0933333333333334e-05,
"loss": 0.0031,
"step": 1020
},
{
"epoch": 1.3613333333333333,
"grad_norm": 29.372970581054688,
"learning_rate": 1.0924444444444446e-05,
"loss": 0.7679,
"step": 1021
},
{
"epoch": 1.3626666666666667,
"grad_norm": 47.5743522644043,
"learning_rate": 1.0915555555555557e-05,
"loss": 0.0351,
"step": 1022
},
{
"epoch": 1.3639999999999999,
"grad_norm": 0.17210566997528076,
"learning_rate": 1.0906666666666668e-05,
"loss": 0.0038,
"step": 1023
},
{
"epoch": 1.3653333333333333,
"grad_norm": 31.828094482421875,
"learning_rate": 1.0897777777777778e-05,
"loss": 0.64,
"step": 1024
},
{
"epoch": 1.3666666666666667,
"grad_norm": 1.0670193433761597,
"learning_rate": 1.088888888888889e-05,
"loss": 0.0057,
"step": 1025
},
{
"epoch": 1.3679999999999999,
"grad_norm": 0.5194656252861023,
"learning_rate": 1.0880000000000001e-05,
"loss": 0.0061,
"step": 1026
},
{
"epoch": 1.3693333333333333,
"grad_norm": 0.6150916814804077,
"learning_rate": 1.0871111111111112e-05,
"loss": 0.0044,
"step": 1027
},
{
"epoch": 1.3706666666666667,
"grad_norm": 0.4025200307369232,
"learning_rate": 1.0862222222222224e-05,
"loss": 0.0034,
"step": 1028
},
{
"epoch": 1.3719999999999999,
"grad_norm": 78.88444519042969,
"learning_rate": 1.0853333333333333e-05,
"loss": 0.5577,
"step": 1029
},
{
"epoch": 1.3733333333333333,
"grad_norm": 0.36716604232788086,
"learning_rate": 1.0844444444444446e-05,
"loss": 0.0042,
"step": 1030
},
{
"epoch": 1.3746666666666667,
"grad_norm": 24.414928436279297,
"learning_rate": 1.0835555555555556e-05,
"loss": 0.4569,
"step": 1031
},
{
"epoch": 1.376,
"grad_norm": 15.043314933776855,
"learning_rate": 1.0826666666666667e-05,
"loss": 0.4252,
"step": 1032
},
{
"epoch": 1.3773333333333333,
"grad_norm": 0.9665635824203491,
"learning_rate": 1.0817777777777779e-05,
"loss": 0.0102,
"step": 1033
},
{
"epoch": 1.3786666666666667,
"grad_norm": 85.10862731933594,
"learning_rate": 1.0808888888888889e-05,
"loss": 0.4623,
"step": 1034
},
{
"epoch": 1.38,
"grad_norm": 0.07986774295568466,
"learning_rate": 1.0800000000000002e-05,
"loss": 0.0021,
"step": 1035
},
{
"epoch": 1.3813333333333333,
"grad_norm": 1.6344101428985596,
"learning_rate": 1.0791111111111113e-05,
"loss": 0.0056,
"step": 1036
},
{
"epoch": 1.3826666666666667,
"grad_norm": 11.960233688354492,
"learning_rate": 1.0782222222222223e-05,
"loss": 0.3291,
"step": 1037
},
{
"epoch": 1.384,
"grad_norm": 115.85118865966797,
"learning_rate": 1.0773333333333334e-05,
"loss": 0.6358,
"step": 1038
},
{
"epoch": 1.3853333333333333,
"grad_norm": 11.307171821594238,
"learning_rate": 1.0764444444444445e-05,
"loss": 0.0057,
"step": 1039
},
{
"epoch": 1.3866666666666667,
"grad_norm": 29.196582794189453,
"learning_rate": 1.0755555555555557e-05,
"loss": 0.3273,
"step": 1040
},
{
"epoch": 1.388,
"grad_norm": 4.270632266998291,
"learning_rate": 1.0746666666666668e-05,
"loss": 0.5097,
"step": 1041
},
{
"epoch": 1.3893333333333333,
"grad_norm": 0.5369338393211365,
"learning_rate": 1.0737777777777778e-05,
"loss": 0.0041,
"step": 1042
},
{
"epoch": 1.3906666666666667,
"grad_norm": 53.553565979003906,
"learning_rate": 1.072888888888889e-05,
"loss": 0.3232,
"step": 1043
},
{
"epoch": 1.392,
"grad_norm": 18.59355354309082,
"learning_rate": 1.072e-05,
"loss": 0.3795,
"step": 1044
},
{
"epoch": 1.3933333333333333,
"grad_norm": 36.67383575439453,
"learning_rate": 1.0711111111111112e-05,
"loss": 0.35,
"step": 1045
},
{
"epoch": 1.3946666666666667,
"grad_norm": 53.03459167480469,
"learning_rate": 1.0702222222222223e-05,
"loss": 0.5612,
"step": 1046
},
{
"epoch": 1.396,
"grad_norm": 0.10832452774047852,
"learning_rate": 1.0693333333333333e-05,
"loss": 0.0026,
"step": 1047
},
{
"epoch": 1.3973333333333333,
"grad_norm": 0.2469080537557602,
"learning_rate": 1.0684444444444446e-05,
"loss": 0.0035,
"step": 1048
},
{
"epoch": 1.3986666666666667,
"grad_norm": 103.76860809326172,
"learning_rate": 1.0675555555555558e-05,
"loss": 0.4732,
"step": 1049
},
{
"epoch": 1.4,
"grad_norm": 80.80223846435547,
"learning_rate": 1.0666666666666667e-05,
"loss": 0.225,
"step": 1050
},
{
"epoch": 1.4013333333333333,
"grad_norm": 2.287863254547119,
"learning_rate": 1.0657777777777779e-05,
"loss": 0.0079,
"step": 1051
},
{
"epoch": 1.4026666666666667,
"grad_norm": 1.9578336477279663,
"learning_rate": 1.064888888888889e-05,
"loss": 0.0071,
"step": 1052
},
{
"epoch": 1.404,
"grad_norm": 36.453514099121094,
"learning_rate": 1.0640000000000001e-05,
"loss": 0.2202,
"step": 1053
},
{
"epoch": 1.4053333333333333,
"grad_norm": 0.319528192281723,
"learning_rate": 1.0631111111111113e-05,
"loss": 0.004,
"step": 1054
},
{
"epoch": 1.4066666666666667,
"grad_norm": 53.01961135864258,
"learning_rate": 1.0622222222222223e-05,
"loss": 0.1055,
"step": 1055
},
{
"epoch": 1.408,
"grad_norm": 0.13486705720424652,
"learning_rate": 1.0613333333333334e-05,
"loss": 0.0031,
"step": 1056
},
{
"epoch": 1.4093333333333333,
"grad_norm": 0.32953041791915894,
"learning_rate": 1.0604444444444445e-05,
"loss": 0.0036,
"step": 1057
},
{
"epoch": 1.4106666666666667,
"grad_norm": 15.87716007232666,
"learning_rate": 1.0595555555555557e-05,
"loss": 0.4346,
"step": 1058
},
{
"epoch": 1.412,
"grad_norm": 0.8685833215713501,
"learning_rate": 1.0586666666666668e-05,
"loss": 0.0052,
"step": 1059
},
{
"epoch": 1.4133333333333333,
"grad_norm": 41.96293640136719,
"learning_rate": 1.0577777777777778e-05,
"loss": 0.5125,
"step": 1060
},
{
"epoch": 1.4146666666666667,
"grad_norm": 0.5692912340164185,
"learning_rate": 1.0568888888888891e-05,
"loss": 0.0043,
"step": 1061
},
{
"epoch": 1.416,
"grad_norm": 0.08257541060447693,
"learning_rate": 1.056e-05,
"loss": 0.0022,
"step": 1062
},
{
"epoch": 1.4173333333333333,
"grad_norm": 4.80947732925415,
"learning_rate": 1.0551111111111112e-05,
"loss": 0.0107,
"step": 1063
},
{
"epoch": 1.4186666666666667,
"grad_norm": 174.61288452148438,
"learning_rate": 1.0542222222222223e-05,
"loss": 0.6981,
"step": 1064
},
{
"epoch": 1.42,
"grad_norm": 148.44122314453125,
"learning_rate": 1.0533333333333333e-05,
"loss": 0.2447,
"step": 1065
},
{
"epoch": 1.4213333333333333,
"grad_norm": 43.43819046020508,
"learning_rate": 1.0524444444444446e-05,
"loss": 0.7442,
"step": 1066
},
{
"epoch": 1.4226666666666667,
"grad_norm": 28.182193756103516,
"learning_rate": 1.0515555555555557e-05,
"loss": 0.347,
"step": 1067
},
{
"epoch": 1.424,
"grad_norm": 0.11235974729061127,
"learning_rate": 1.0506666666666667e-05,
"loss": 0.0023,
"step": 1068
},
{
"epoch": 1.4253333333333333,
"grad_norm": 6.5808820724487305,
"learning_rate": 1.0497777777777779e-05,
"loss": 0.0164,
"step": 1069
},
{
"epoch": 1.4266666666666667,
"grad_norm": 0.1427670419216156,
"learning_rate": 1.048888888888889e-05,
"loss": 0.003,
"step": 1070
},
{
"epoch": 1.428,
"grad_norm": 0.16648639738559723,
"learning_rate": 1.0480000000000001e-05,
"loss": 0.0023,
"step": 1071
},
{
"epoch": 1.4293333333333333,
"grad_norm": 0.16597194969654083,
"learning_rate": 1.0471111111111113e-05,
"loss": 0.0027,
"step": 1072
},
{
"epoch": 1.4306666666666668,
"grad_norm": 0.19746990501880646,
"learning_rate": 1.0462222222222222e-05,
"loss": 0.0025,
"step": 1073
},
{
"epoch": 1.432,
"grad_norm": 7.8732476234436035,
"learning_rate": 1.0453333333333334e-05,
"loss": 0.0117,
"step": 1074
},
{
"epoch": 1.4333333333333333,
"grad_norm": 2.6486756801605225,
"learning_rate": 1.0444444444444445e-05,
"loss": 0.0049,
"step": 1075
},
{
"epoch": 1.4346666666666668,
"grad_norm": 0.11213681846857071,
"learning_rate": 1.0435555555555557e-05,
"loss": 0.0022,
"step": 1076
},
{
"epoch": 1.436,
"grad_norm": 1.1678744554519653,
"learning_rate": 1.0426666666666668e-05,
"loss": 0.0054,
"step": 1077
},
{
"epoch": 1.4373333333333334,
"grad_norm": 670.6453247070312,
"learning_rate": 1.0417777777777778e-05,
"loss": 0.0567,
"step": 1078
},
{
"epoch": 1.4386666666666668,
"grad_norm": 0.1925370693206787,
"learning_rate": 1.040888888888889e-05,
"loss": 0.0019,
"step": 1079
},
{
"epoch": 1.44,
"grad_norm": 0.06694521754980087,
"learning_rate": 1.04e-05,
"loss": 0.0017,
"step": 1080
},
{
"epoch": 1.4413333333333334,
"grad_norm": 14.15124225616455,
"learning_rate": 1.0391111111111112e-05,
"loss": 0.0121,
"step": 1081
},
{
"epoch": 1.4426666666666668,
"grad_norm": 276.757080078125,
"learning_rate": 1.0382222222222223e-05,
"loss": 0.0742,
"step": 1082
},
{
"epoch": 1.444,
"grad_norm": 71.43821716308594,
"learning_rate": 1.0373333333333335e-05,
"loss": 0.3538,
"step": 1083
},
{
"epoch": 1.4453333333333334,
"grad_norm": 0.08575307577848434,
"learning_rate": 1.0364444444444446e-05,
"loss": 0.0014,
"step": 1084
},
{
"epoch": 1.4466666666666668,
"grad_norm": 0.27344760298728943,
"learning_rate": 1.0355555555555557e-05,
"loss": 0.0027,
"step": 1085
},
{
"epoch": 1.448,
"grad_norm": 0.15349318087100983,
"learning_rate": 1.0346666666666667e-05,
"loss": 0.0018,
"step": 1086
},
{
"epoch": 1.4493333333333334,
"grad_norm": 54.50678634643555,
"learning_rate": 1.0337777777777778e-05,
"loss": 0.2653,
"step": 1087
},
{
"epoch": 1.4506666666666668,
"grad_norm": 33.06585693359375,
"learning_rate": 1.032888888888889e-05,
"loss": 0.3189,
"step": 1088
},
{
"epoch": 1.452,
"grad_norm": 178.1517791748047,
"learning_rate": 1.0320000000000001e-05,
"loss": 0.3299,
"step": 1089
},
{
"epoch": 1.4533333333333334,
"grad_norm": 0.6169297099113464,
"learning_rate": 1.0311111111111113e-05,
"loss": 0.004,
"step": 1090
},
{
"epoch": 1.4546666666666668,
"grad_norm": 91.25619506835938,
"learning_rate": 1.0302222222222222e-05,
"loss": 0.0517,
"step": 1091
},
{
"epoch": 1.456,
"grad_norm": 0.10870151966810226,
"learning_rate": 1.0293333333333335e-05,
"loss": 0.0017,
"step": 1092
},
{
"epoch": 1.4573333333333334,
"grad_norm": 2.133047342300415,
"learning_rate": 1.0284444444444445e-05,
"loss": 0.0057,
"step": 1093
},
{
"epoch": 1.4586666666666668,
"grad_norm": 47.87104415893555,
"learning_rate": 1.0275555555555556e-05,
"loss": 0.3508,
"step": 1094
},
{
"epoch": 1.46,
"grad_norm": 24.64542007446289,
"learning_rate": 1.0266666666666668e-05,
"loss": 0.0132,
"step": 1095
},
{
"epoch": 1.4613333333333334,
"grad_norm": 1513.9296875,
"learning_rate": 1.0257777777777777e-05,
"loss": 0.5643,
"step": 1096
},
{
"epoch": 1.4626666666666668,
"grad_norm": 0.054696571081876755,
"learning_rate": 1.024888888888889e-05,
"loss": 0.0012,
"step": 1097
},
{
"epoch": 1.464,
"grad_norm": 81.91468811035156,
"learning_rate": 1.024e-05,
"loss": 0.6442,
"step": 1098
},
{
"epoch": 1.4653333333333334,
"grad_norm": 98.64302062988281,
"learning_rate": 1.0231111111111112e-05,
"loss": 0.0834,
"step": 1099
},
{
"epoch": 1.4666666666666668,
"grad_norm": 103.47653198242188,
"learning_rate": 1.0222222222222223e-05,
"loss": 0.4408,
"step": 1100
},
{
"epoch": 1.468,
"grad_norm": 0.1152467280626297,
"learning_rate": 1.0213333333333334e-05,
"loss": 0.0014,
"step": 1101
},
{
"epoch": 1.4693333333333334,
"grad_norm": 20.122108459472656,
"learning_rate": 1.0204444444444446e-05,
"loss": 0.4366,
"step": 1102
},
{
"epoch": 1.4706666666666668,
"grad_norm": 22.154659271240234,
"learning_rate": 1.0195555555555557e-05,
"loss": 1.5776,
"step": 1103
},
{
"epoch": 1.472,
"grad_norm": 21.897808074951172,
"learning_rate": 1.0186666666666667e-05,
"loss": 1.0368,
"step": 1104
},
{
"epoch": 1.4733333333333334,
"grad_norm": 0.050926513969898224,
"learning_rate": 1.0177777777777778e-05,
"loss": 0.0014,
"step": 1105
},
{
"epoch": 1.4746666666666668,
"grad_norm": 9.63754940032959,
"learning_rate": 1.016888888888889e-05,
"loss": 0.005,
"step": 1106
},
{
"epoch": 1.476,
"grad_norm": 0.11397027224302292,
"learning_rate": 1.0160000000000001e-05,
"loss": 0.0016,
"step": 1107
},
{
"epoch": 1.4773333333333334,
"grad_norm": 38.685401916503906,
"learning_rate": 1.0151111111111112e-05,
"loss": 0.3492,
"step": 1108
},
{
"epoch": 1.4786666666666668,
"grad_norm": 3.294534683227539,
"learning_rate": 1.0142222222222222e-05,
"loss": 0.0068,
"step": 1109
},
{
"epoch": 1.48,
"grad_norm": 0.12291810661554337,
"learning_rate": 1.0133333333333335e-05,
"loss": 0.0018,
"step": 1110
},
{
"epoch": 1.4813333333333334,
"grad_norm": 39.436256408691406,
"learning_rate": 1.0124444444444445e-05,
"loss": 0.4789,
"step": 1111
},
{
"epoch": 1.4826666666666668,
"grad_norm": 1.4077755212783813,
"learning_rate": 1.0115555555555556e-05,
"loss": 0.0037,
"step": 1112
},
{
"epoch": 1.484,
"grad_norm": 8.338570594787598,
"learning_rate": 1.0106666666666668e-05,
"loss": 0.5367,
"step": 1113
},
{
"epoch": 1.4853333333333334,
"grad_norm": 1.365424394607544,
"learning_rate": 1.0097777777777779e-05,
"loss": 0.0027,
"step": 1114
},
{
"epoch": 1.4866666666666668,
"grad_norm": 3.4707038402557373,
"learning_rate": 1.008888888888889e-05,
"loss": 0.0107,
"step": 1115
},
{
"epoch": 1.488,
"grad_norm": 0.12392369657754898,
"learning_rate": 1.008e-05,
"loss": 0.0018,
"step": 1116
},
{
"epoch": 1.4893333333333334,
"grad_norm": 54.68601608276367,
"learning_rate": 1.0071111111111111e-05,
"loss": 0.1573,
"step": 1117
},
{
"epoch": 1.4906666666666666,
"grad_norm": 0.08152028173208237,
"learning_rate": 1.0062222222222223e-05,
"loss": 0.0015,
"step": 1118
},
{
"epoch": 1.492,
"grad_norm": 17.499496459960938,
"learning_rate": 1.0053333333333334e-05,
"loss": 0.4368,
"step": 1119
},
{
"epoch": 1.4933333333333334,
"grad_norm": 32.79203414916992,
"learning_rate": 1.0044444444444446e-05,
"loss": 0.4103,
"step": 1120
},
{
"epoch": 1.4946666666666666,
"grad_norm": 16.255796432495117,
"learning_rate": 1.0035555555555557e-05,
"loss": 0.4025,
"step": 1121
},
{
"epoch": 1.496,
"grad_norm": 0.7766789793968201,
"learning_rate": 1.0026666666666667e-05,
"loss": 0.0038,
"step": 1122
},
{
"epoch": 1.4973333333333334,
"grad_norm": 159.65065002441406,
"learning_rate": 1.001777777777778e-05,
"loss": 0.1574,
"step": 1123
},
{
"epoch": 1.4986666666666666,
"grad_norm": 0.8925172686576843,
"learning_rate": 1.000888888888889e-05,
"loss": 0.0044,
"step": 1124
},
{
"epoch": 1.5,
"grad_norm": 20.526613235473633,
"learning_rate": 1e-05,
"loss": 1.0146,
"step": 1125
},
{
"epoch": 1.5013333333333332,
"grad_norm": 19.690019607543945,
"learning_rate": 9.991111111111112e-06,
"loss": 0.4503,
"step": 1126
},
{
"epoch": 1.5026666666666668,
"grad_norm": 22.120075225830078,
"learning_rate": 9.982222222222224e-06,
"loss": 0.0183,
"step": 1127
},
{
"epoch": 1.504,
"grad_norm": 207.06312561035156,
"learning_rate": 9.973333333333333e-06,
"loss": 0.1252,
"step": 1128
},
{
"epoch": 1.5053333333333332,
"grad_norm": 0.6239273548126221,
"learning_rate": 9.964444444444445e-06,
"loss": 0.0058,
"step": 1129
},
{
"epoch": 1.5066666666666668,
"grad_norm": 81.94896697998047,
"learning_rate": 9.955555555555556e-06,
"loss": 0.385,
"step": 1130
},
{
"epoch": 1.508,
"grad_norm": 33.6357421875,
"learning_rate": 9.946666666666667e-06,
"loss": 0.7852,
"step": 1131
},
{
"epoch": 1.5093333333333332,
"grad_norm": 1.7893480062484741,
"learning_rate": 9.937777777777779e-06,
"loss": 0.0091,
"step": 1132
},
{
"epoch": 1.5106666666666668,
"grad_norm": 46.6541748046875,
"learning_rate": 9.92888888888889e-06,
"loss": 0.0201,
"step": 1133
},
{
"epoch": 1.512,
"grad_norm": 0.6599791646003723,
"learning_rate": 9.920000000000002e-06,
"loss": 0.0045,
"step": 1134
},
{
"epoch": 1.5133333333333332,
"grad_norm": 1.9575221538543701,
"learning_rate": 9.911111111111113e-06,
"loss": 0.0054,
"step": 1135
},
{
"epoch": 1.5146666666666668,
"grad_norm": 1.13613760471344,
"learning_rate": 9.902222222222223e-06,
"loss": 0.0102,
"step": 1136
},
{
"epoch": 1.516,
"grad_norm": 21.506973266601562,
"learning_rate": 9.893333333333334e-06,
"loss": 0.3668,
"step": 1137
},
{
"epoch": 1.5173333333333332,
"grad_norm": 21.41179847717285,
"learning_rate": 9.884444444444445e-06,
"loss": 0.4086,
"step": 1138
},
{
"epoch": 1.5186666666666668,
"grad_norm": 85.5159683227539,
"learning_rate": 9.875555555555557e-06,
"loss": 0.426,
"step": 1139
},
{
"epoch": 1.52,
"grad_norm": 1.8201133012771606,
"learning_rate": 9.866666666666668e-06,
"loss": 0.0115,
"step": 1140
},
{
"epoch": 1.5213333333333332,
"grad_norm": 26.631025314331055,
"learning_rate": 9.857777777777778e-06,
"loss": 0.5982,
"step": 1141
},
{
"epoch": 1.5226666666666666,
"grad_norm": 1.1851919889450073,
"learning_rate": 9.84888888888889e-06,
"loss": 0.0045,
"step": 1142
},
{
"epoch": 1.524,
"grad_norm": 26.685226440429688,
"learning_rate": 9.84e-06,
"loss": 0.3714,
"step": 1143
},
{
"epoch": 1.5253333333333332,
"grad_norm": 18.316144943237305,
"learning_rate": 9.831111111111112e-06,
"loss": 0.2551,
"step": 1144
},
{
"epoch": 1.5266666666666666,
"grad_norm": 45.43986892700195,
"learning_rate": 9.822222222222223e-06,
"loss": 0.2435,
"step": 1145
},
{
"epoch": 1.528,
"grad_norm": 1.2840975522994995,
"learning_rate": 9.813333333333333e-06,
"loss": 0.0083,
"step": 1146
},
{
"epoch": 1.5293333333333332,
"grad_norm": 38.377506256103516,
"learning_rate": 9.804444444444444e-06,
"loss": 0.2242,
"step": 1147
},
{
"epoch": 1.5306666666666666,
"grad_norm": 1.2217894792556763,
"learning_rate": 9.795555555555556e-06,
"loss": 0.0062,
"step": 1148
},
{
"epoch": 1.532,
"grad_norm": 11.981416702270508,
"learning_rate": 9.786666666666667e-06,
"loss": 0.2839,
"step": 1149
},
{
"epoch": 1.5333333333333332,
"grad_norm": 29.032106399536133,
"learning_rate": 9.777777777777779e-06,
"loss": 0.3739,
"step": 1150
},
{
"epoch": 1.5346666666666666,
"grad_norm": 0.16497567296028137,
"learning_rate": 9.76888888888889e-06,
"loss": 0.002,
"step": 1151
},
{
"epoch": 1.536,
"grad_norm": 95.48800659179688,
"learning_rate": 9.760000000000001e-06,
"loss": 0.7441,
"step": 1152
},
{
"epoch": 1.5373333333333332,
"grad_norm": 0.6212103962898254,
"learning_rate": 9.751111111111113e-06,
"loss": 0.0054,
"step": 1153
},
{
"epoch": 1.5386666666666666,
"grad_norm": 671.316162109375,
"learning_rate": 9.742222222222222e-06,
"loss": 0.438,
"step": 1154
},
{
"epoch": 1.54,
"grad_norm": 14.683266639709473,
"learning_rate": 9.733333333333334e-06,
"loss": 0.0231,
"step": 1155
},
{
"epoch": 1.5413333333333332,
"grad_norm": 35.538475036621094,
"learning_rate": 9.724444444444445e-06,
"loss": 0.2821,
"step": 1156
},
{
"epoch": 1.5426666666666666,
"grad_norm": 37.71883773803711,
"learning_rate": 9.715555555555557e-06,
"loss": 0.1893,
"step": 1157
},
{
"epoch": 1.544,
"grad_norm": 13.541324615478516,
"learning_rate": 9.706666666666668e-06,
"loss": 0.2474,
"step": 1158
},
{
"epoch": 1.5453333333333332,
"grad_norm": 60.65049362182617,
"learning_rate": 9.697777777777778e-06,
"loss": 0.2213,
"step": 1159
},
{
"epoch": 1.5466666666666666,
"grad_norm": 17.99744987487793,
"learning_rate": 9.688888888888889e-06,
"loss": 0.3867,
"step": 1160
},
{
"epoch": 1.548,
"grad_norm": 52.22488784790039,
"learning_rate": 9.68e-06,
"loss": 0.2816,
"step": 1161
},
{
"epoch": 1.5493333333333332,
"grad_norm": 0.2898555397987366,
"learning_rate": 9.671111111111112e-06,
"loss": 0.0027,
"step": 1162
},
{
"epoch": 1.5506666666666666,
"grad_norm": 74.04916381835938,
"learning_rate": 9.662222222222223e-06,
"loss": 0.2823,
"step": 1163
},
{
"epoch": 1.552,
"grad_norm": 53.41830825805664,
"learning_rate": 9.653333333333335e-06,
"loss": 0.1642,
"step": 1164
},
{
"epoch": 1.5533333333333332,
"grad_norm": 0.9745127558708191,
"learning_rate": 9.644444444444444e-06,
"loss": 0.006,
"step": 1165
},
{
"epoch": 1.5546666666666666,
"grad_norm": 13.257244110107422,
"learning_rate": 9.635555555555557e-06,
"loss": 0.3397,
"step": 1166
},
{
"epoch": 1.556,
"grad_norm": 43.04121780395508,
"learning_rate": 9.626666666666667e-06,
"loss": 0.4703,
"step": 1167
},
{
"epoch": 1.5573333333333332,
"grad_norm": 35.288516998291016,
"learning_rate": 9.617777777777778e-06,
"loss": 0.2274,
"step": 1168
},
{
"epoch": 1.5586666666666666,
"grad_norm": 59.73976516723633,
"learning_rate": 9.60888888888889e-06,
"loss": 0.0795,
"step": 1169
},
{
"epoch": 1.56,
"grad_norm": 72.6655502319336,
"learning_rate": 9.600000000000001e-06,
"loss": 1.097,
"step": 1170
},
{
"epoch": 1.5613333333333332,
"grad_norm": 15.759418487548828,
"learning_rate": 9.591111111111113e-06,
"loss": 0.2047,
"step": 1171
},
{
"epoch": 1.5626666666666666,
"grad_norm": 0.8857228755950928,
"learning_rate": 9.582222222222222e-06,
"loss": 0.0055,
"step": 1172
},
{
"epoch": 1.564,
"grad_norm": 96.8880615234375,
"learning_rate": 9.573333333333334e-06,
"loss": 0.2571,
"step": 1173
},
{
"epoch": 1.5653333333333332,
"grad_norm": 36.97969055175781,
"learning_rate": 9.564444444444445e-06,
"loss": 0.5691,
"step": 1174
},
{
"epoch": 1.5666666666666667,
"grad_norm": 1.0722178220748901,
"learning_rate": 9.555555555555556e-06,
"loss": 0.0042,
"step": 1175
},
{
"epoch": 1.568,
"grad_norm": 15.472237586975098,
"learning_rate": 9.546666666666668e-06,
"loss": 0.2531,
"step": 1176
},
{
"epoch": 1.5693333333333332,
"grad_norm": 1.4882992506027222,
"learning_rate": 9.537777777777778e-06,
"loss": 0.0089,
"step": 1177
},
{
"epoch": 1.5706666666666667,
"grad_norm": 6.004009246826172,
"learning_rate": 9.528888888888889e-06,
"loss": 0.0365,
"step": 1178
},
{
"epoch": 1.572,
"grad_norm": 0.8936472535133362,
"learning_rate": 9.52e-06,
"loss": 0.0071,
"step": 1179
},
{
"epoch": 1.5733333333333333,
"grad_norm": 2.1808242797851562,
"learning_rate": 9.511111111111112e-06,
"loss": 0.0156,
"step": 1180
},
{
"epoch": 1.5746666666666667,
"grad_norm": 3.062775135040283,
"learning_rate": 9.502222222222223e-06,
"loss": 0.019,
"step": 1181
},
{
"epoch": 1.576,
"grad_norm": 33.260623931884766,
"learning_rate": 9.493333333333334e-06,
"loss": 0.0623,
"step": 1182
},
{
"epoch": 1.5773333333333333,
"grad_norm": 26.234943389892578,
"learning_rate": 9.484444444444444e-06,
"loss": 0.0344,
"step": 1183
},
{
"epoch": 1.5786666666666667,
"grad_norm": 0.6550800204277039,
"learning_rate": 9.475555555555557e-06,
"loss": 0.0026,
"step": 1184
},
{
"epoch": 1.58,
"grad_norm": 47.8802490234375,
"learning_rate": 9.466666666666667e-06,
"loss": 0.4755,
"step": 1185
},
{
"epoch": 1.5813333333333333,
"grad_norm": 123.26792907714844,
"learning_rate": 9.457777777777778e-06,
"loss": 0.7114,
"step": 1186
},
{
"epoch": 1.5826666666666667,
"grad_norm": 2.1583354473114014,
"learning_rate": 9.44888888888889e-06,
"loss": 0.0047,
"step": 1187
},
{
"epoch": 1.584,
"grad_norm": 3.509554624557495,
"learning_rate": 9.440000000000001e-06,
"loss": 0.01,
"step": 1188
},
{
"epoch": 1.5853333333333333,
"grad_norm": 36.78347396850586,
"learning_rate": 9.431111111111112e-06,
"loss": 0.9524,
"step": 1189
},
{
"epoch": 1.5866666666666667,
"grad_norm": 4.171144008636475,
"learning_rate": 9.422222222222222e-06,
"loss": 0.0084,
"step": 1190
},
{
"epoch": 1.588,
"grad_norm": 1.095988392829895,
"learning_rate": 9.413333333333334e-06,
"loss": 0.0081,
"step": 1191
},
{
"epoch": 1.5893333333333333,
"grad_norm": 86.30313110351562,
"learning_rate": 9.404444444444445e-06,
"loss": 0.9106,
"step": 1192
},
{
"epoch": 1.5906666666666667,
"grad_norm": 58.169639587402344,
"learning_rate": 9.395555555555556e-06,
"loss": 0.4907,
"step": 1193
},
{
"epoch": 1.592,
"grad_norm": 12.2610502243042,
"learning_rate": 9.386666666666668e-06,
"loss": 0.0256,
"step": 1194
},
{
"epoch": 1.5933333333333333,
"grad_norm": 0.3228115737438202,
"learning_rate": 9.377777777777779e-06,
"loss": 0.0024,
"step": 1195
},
{
"epoch": 1.5946666666666667,
"grad_norm": 212.7126922607422,
"learning_rate": 9.368888888888889e-06,
"loss": 0.278,
"step": 1196
},
{
"epoch": 1.596,
"grad_norm": 0.17174836993217468,
"learning_rate": 9.360000000000002e-06,
"loss": 0.0018,
"step": 1197
},
{
"epoch": 1.5973333333333333,
"grad_norm": 0.9282292127609253,
"learning_rate": 9.351111111111112e-06,
"loss": 0.0027,
"step": 1198
},
{
"epoch": 1.5986666666666667,
"grad_norm": 171.9736785888672,
"learning_rate": 9.342222222222223e-06,
"loss": 0.3287,
"step": 1199
},
{
"epoch": 1.6,
"grad_norm": 102.6137924194336,
"learning_rate": 9.333333333333334e-06,
"loss": 1.5001,
"step": 1200
},
{
"epoch": 1.6013333333333333,
"grad_norm": 0.24313202500343323,
"learning_rate": 9.324444444444444e-06,
"loss": 0.002,
"step": 1201
},
{
"epoch": 1.6026666666666667,
"grad_norm": 22.449628829956055,
"learning_rate": 9.315555555555557e-06,
"loss": 0.5377,
"step": 1202
},
{
"epoch": 1.604,
"grad_norm": 0.06536167114973068,
"learning_rate": 9.306666666666667e-06,
"loss": 0.0014,
"step": 1203
},
{
"epoch": 1.6053333333333333,
"grad_norm": 0.3730120360851288,
"learning_rate": 9.297777777777778e-06,
"loss": 0.0015,
"step": 1204
},
{
"epoch": 1.6066666666666667,
"grad_norm": 3.424034833908081,
"learning_rate": 9.28888888888889e-06,
"loss": 0.0118,
"step": 1205
},
{
"epoch": 1.608,
"grad_norm": 1.1805728673934937,
"learning_rate": 9.280000000000001e-06,
"loss": 0.0052,
"step": 1206
},
{
"epoch": 1.6093333333333333,
"grad_norm": 1.5451524257659912,
"learning_rate": 9.271111111111112e-06,
"loss": 0.0059,
"step": 1207
},
{
"epoch": 1.6106666666666667,
"grad_norm": 150.99436950683594,
"learning_rate": 9.262222222222222e-06,
"loss": 0.8005,
"step": 1208
},
{
"epoch": 1.612,
"grad_norm": 20.419761657714844,
"learning_rate": 9.253333333333333e-06,
"loss": 0.2383,
"step": 1209
},
{
"epoch": 1.6133333333333333,
"grad_norm": 8.542495727539062,
"learning_rate": 9.244444444444445e-06,
"loss": 0.0114,
"step": 1210
},
{
"epoch": 1.6146666666666667,
"grad_norm": 12.474035263061523,
"learning_rate": 9.235555555555556e-06,
"loss": 0.4765,
"step": 1211
},
{
"epoch": 1.616,
"grad_norm": 0.05620914697647095,
"learning_rate": 9.226666666666668e-06,
"loss": 0.0012,
"step": 1212
},
{
"epoch": 1.6173333333333333,
"grad_norm": 0.03690945357084274,
"learning_rate": 9.217777777777779e-06,
"loss": 0.001,
"step": 1213
},
{
"epoch": 1.6186666666666667,
"grad_norm": 0.044510893523693085,
"learning_rate": 9.208888888888889e-06,
"loss": 0.0011,
"step": 1214
},
{
"epoch": 1.62,
"grad_norm": 12.13549518585205,
"learning_rate": 9.200000000000002e-06,
"loss": 0.459,
"step": 1215
},
{
"epoch": 1.6213333333333333,
"grad_norm": 15.336878776550293,
"learning_rate": 9.191111111111111e-06,
"loss": 0.4355,
"step": 1216
},
{
"epoch": 1.6226666666666667,
"grad_norm": 12.965373039245605,
"learning_rate": 9.182222222222223e-06,
"loss": 0.5857,
"step": 1217
},
{
"epoch": 1.624,
"grad_norm": 31.19281768798828,
"learning_rate": 9.173333333333334e-06,
"loss": 0.3127,
"step": 1218
},
{
"epoch": 1.6253333333333333,
"grad_norm": 0.047664519399404526,
"learning_rate": 9.164444444444446e-06,
"loss": 0.0011,
"step": 1219
},
{
"epoch": 1.6266666666666667,
"grad_norm": 121.09150695800781,
"learning_rate": 9.155555555555557e-06,
"loss": 0.517,
"step": 1220
},
{
"epoch": 1.6280000000000001,
"grad_norm": 68.81010437011719,
"learning_rate": 9.146666666666667e-06,
"loss": 0.4474,
"step": 1221
},
{
"epoch": 1.6293333333333333,
"grad_norm": 0.09393475949764252,
"learning_rate": 9.137777777777778e-06,
"loss": 0.0016,
"step": 1222
},
{
"epoch": 1.6306666666666667,
"grad_norm": 23.844467163085938,
"learning_rate": 9.12888888888889e-06,
"loss": 0.3616,
"step": 1223
},
{
"epoch": 1.6320000000000001,
"grad_norm": 1.540001630783081,
"learning_rate": 9.12e-06,
"loss": 0.0087,
"step": 1224
},
{
"epoch": 1.6333333333333333,
"grad_norm": 385.2530822753906,
"learning_rate": 9.111111111111112e-06,
"loss": 0.3125,
"step": 1225
},
{
"epoch": 1.6346666666666667,
"grad_norm": 0.22184151411056519,
"learning_rate": 9.102222222222224e-06,
"loss": 0.0026,
"step": 1226
},
{
"epoch": 1.6360000000000001,
"grad_norm": 9.767704963684082,
"learning_rate": 9.093333333333333e-06,
"loss": 0.4027,
"step": 1227
},
{
"epoch": 1.6373333333333333,
"grad_norm": 0.18347415328025818,
"learning_rate": 9.084444444444446e-06,
"loss": 0.0027,
"step": 1228
},
{
"epoch": 1.6386666666666667,
"grad_norm": 0.3790389895439148,
"learning_rate": 9.075555555555556e-06,
"loss": 0.0041,
"step": 1229
},
{
"epoch": 1.6400000000000001,
"grad_norm": 80.8835678100586,
"learning_rate": 9.066666666666667e-06,
"loss": 0.199,
"step": 1230
},
{
"epoch": 1.6413333333333333,
"grad_norm": 0.8472650647163391,
"learning_rate": 9.057777777777779e-06,
"loss": 0.0058,
"step": 1231
},
{
"epoch": 1.6426666666666667,
"grad_norm": 0.8753399848937988,
"learning_rate": 9.048888888888888e-06,
"loss": 0.006,
"step": 1232
},
{
"epoch": 1.6440000000000001,
"grad_norm": 15.306134223937988,
"learning_rate": 9.040000000000002e-06,
"loss": 0.4366,
"step": 1233
},
{
"epoch": 1.6453333333333333,
"grad_norm": 0.5510113835334778,
"learning_rate": 9.031111111111111e-06,
"loss": 0.0032,
"step": 1234
},
{
"epoch": 1.6466666666666665,
"grad_norm": 0.11380913108587265,
"learning_rate": 9.022222222222223e-06,
"loss": 0.0018,
"step": 1235
},
{
"epoch": 1.6480000000000001,
"grad_norm": 68.31336975097656,
"learning_rate": 9.013333333333334e-06,
"loss": 0.7166,
"step": 1236
},
{
"epoch": 1.6493333333333333,
"grad_norm": 10.276823043823242,
"learning_rate": 9.004444444444445e-06,
"loss": 0.2241,
"step": 1237
},
{
"epoch": 1.6506666666666665,
"grad_norm": 54.461097717285156,
"learning_rate": 8.995555555555557e-06,
"loss": 0.0424,
"step": 1238
},
{
"epoch": 1.6520000000000001,
"grad_norm": 0.8475139141082764,
"learning_rate": 8.986666666666666e-06,
"loss": 0.0051,
"step": 1239
},
{
"epoch": 1.6533333333333333,
"grad_norm": 14.95924186706543,
"learning_rate": 8.977777777777778e-06,
"loss": 1.0054,
"step": 1240
},
{
"epoch": 1.6546666666666665,
"grad_norm": 117.78137969970703,
"learning_rate": 8.96888888888889e-06,
"loss": 0.6901,
"step": 1241
},
{
"epoch": 1.6560000000000001,
"grad_norm": 22.31456184387207,
"learning_rate": 8.96e-06,
"loss": 0.3657,
"step": 1242
},
{
"epoch": 1.6573333333333333,
"grad_norm": 0.4788752496242523,
"learning_rate": 8.951111111111112e-06,
"loss": 0.0045,
"step": 1243
},
{
"epoch": 1.6586666666666665,
"grad_norm": 6.362298488616943,
"learning_rate": 8.942222222222223e-06,
"loss": 0.0107,
"step": 1244
},
{
"epoch": 1.6600000000000001,
"grad_norm": 0.2006457895040512,
"learning_rate": 8.933333333333333e-06,
"loss": 0.0023,
"step": 1245
},
{
"epoch": 1.6613333333333333,
"grad_norm": 0.9769859910011292,
"learning_rate": 8.924444444444446e-06,
"loss": 0.0065,
"step": 1246
},
{
"epoch": 1.6626666666666665,
"grad_norm": 50.59593963623047,
"learning_rate": 8.915555555555556e-06,
"loss": 0.5262,
"step": 1247
},
{
"epoch": 1.6640000000000001,
"grad_norm": 0.3697497844696045,
"learning_rate": 8.906666666666667e-06,
"loss": 0.0032,
"step": 1248
},
{
"epoch": 1.6653333333333333,
"grad_norm": 98.93800354003906,
"learning_rate": 8.897777777777779e-06,
"loss": 0.8187,
"step": 1249
},
{
"epoch": 1.6666666666666665,
"grad_norm": 14.258256912231445,
"learning_rate": 8.888888888888888e-06,
"loss": 0.3505,
"step": 1250
},
{
"epoch": 1.6680000000000001,
"grad_norm": 1.1765506267547607,
"learning_rate": 8.880000000000001e-06,
"loss": 0.0053,
"step": 1251
},
{
"epoch": 1.6693333333333333,
"grad_norm": 0.5368697643280029,
"learning_rate": 8.871111111111111e-06,
"loss": 0.0038,
"step": 1252
},
{
"epoch": 1.6706666666666665,
"grad_norm": 4.834039688110352,
"learning_rate": 8.862222222222222e-06,
"loss": 0.0153,
"step": 1253
},
{
"epoch": 1.6720000000000002,
"grad_norm": 0.14201617240905762,
"learning_rate": 8.853333333333334e-06,
"loss": 0.002,
"step": 1254
},
{
"epoch": 1.6733333333333333,
"grad_norm": 1.1270090341567993,
"learning_rate": 8.844444444444445e-06,
"loss": 0.0046,
"step": 1255
},
{
"epoch": 1.6746666666666665,
"grad_norm": 20.26508331298828,
"learning_rate": 8.835555555555557e-06,
"loss": 0.3976,
"step": 1256
},
{
"epoch": 1.6760000000000002,
"grad_norm": 0.633030891418457,
"learning_rate": 8.826666666666668e-06,
"loss": 0.0045,
"step": 1257
},
{
"epoch": 1.6773333333333333,
"grad_norm": 0.1043582558631897,
"learning_rate": 8.817777777777778e-06,
"loss": 0.0018,
"step": 1258
},
{
"epoch": 1.6786666666666665,
"grad_norm": 2.0548338890075684,
"learning_rate": 8.80888888888889e-06,
"loss": 0.0063,
"step": 1259
},
{
"epoch": 1.6800000000000002,
"grad_norm": 0.1220216155052185,
"learning_rate": 8.8e-06,
"loss": 0.0014,
"step": 1260
},
{
"epoch": 1.6813333333333333,
"grad_norm": 0.08869492262601852,
"learning_rate": 8.791111111111112e-06,
"loss": 0.0016,
"step": 1261
},
{
"epoch": 1.6826666666666665,
"grad_norm": 0.11858934909105301,
"learning_rate": 8.782222222222223e-06,
"loss": 0.0014,
"step": 1262
},
{
"epoch": 1.6840000000000002,
"grad_norm": 0.2562926411628723,
"learning_rate": 8.773333333333333e-06,
"loss": 0.0015,
"step": 1263
},
{
"epoch": 1.6853333333333333,
"grad_norm": 141.07345581054688,
"learning_rate": 8.764444444444446e-06,
"loss": 0.4697,
"step": 1264
},
{
"epoch": 1.6866666666666665,
"grad_norm": 0.2537286877632141,
"learning_rate": 8.755555555555556e-06,
"loss": 0.0015,
"step": 1265
},
{
"epoch": 1.688,
"grad_norm": 169.7315216064453,
"learning_rate": 8.746666666666667e-06,
"loss": 1.4453,
"step": 1266
},
{
"epoch": 1.6893333333333334,
"grad_norm": 0.03023740090429783,
"learning_rate": 8.737777777777778e-06,
"loss": 0.0009,
"step": 1267
},
{
"epoch": 1.6906666666666665,
"grad_norm": 5.885982990264893,
"learning_rate": 8.72888888888889e-06,
"loss": 0.5489,
"step": 1268
},
{
"epoch": 1.692,
"grad_norm": 25.090717315673828,
"learning_rate": 8.720000000000001e-06,
"loss": 0.4463,
"step": 1269
},
{
"epoch": 1.6933333333333334,
"grad_norm": 26.74951171875,
"learning_rate": 8.711111111111111e-06,
"loss": 0.9619,
"step": 1270
},
{
"epoch": 1.6946666666666665,
"grad_norm": 0.16496337950229645,
"learning_rate": 8.702222222222222e-06,
"loss": 0.0018,
"step": 1271
},
{
"epoch": 1.696,
"grad_norm": 3.537893533706665,
"learning_rate": 8.693333333333334e-06,
"loss": 0.0046,
"step": 1272
},
{
"epoch": 1.6973333333333334,
"grad_norm": 0.45394954085350037,
"learning_rate": 8.684444444444445e-06,
"loss": 0.0016,
"step": 1273
},
{
"epoch": 1.6986666666666665,
"grad_norm": 15.843210220336914,
"learning_rate": 8.675555555555556e-06,
"loss": 0.4405,
"step": 1274
},
{
"epoch": 1.7,
"grad_norm": 261.1629333496094,
"learning_rate": 8.666666666666668e-06,
"loss": 0.4073,
"step": 1275
},
{
"epoch": 1.7013333333333334,
"grad_norm": 37.69385528564453,
"learning_rate": 8.657777777777778e-06,
"loss": 0.739,
"step": 1276
},
{
"epoch": 1.7026666666666666,
"grad_norm": 0.9705725908279419,
"learning_rate": 8.64888888888889e-06,
"loss": 0.0034,
"step": 1277
},
{
"epoch": 1.704,
"grad_norm": 30.183223724365234,
"learning_rate": 8.64e-06,
"loss": 0.2996,
"step": 1278
},
{
"epoch": 1.7053333333333334,
"grad_norm": 0.05334986373782158,
"learning_rate": 8.631111111111112e-06,
"loss": 0.0013,
"step": 1279
},
{
"epoch": 1.7066666666666666,
"grad_norm": 191.0198516845703,
"learning_rate": 8.622222222222223e-06,
"loss": 0.1697,
"step": 1280
},
{
"epoch": 1.708,
"grad_norm": 36.00331497192383,
"learning_rate": 8.613333333333333e-06,
"loss": 0.3335,
"step": 1281
},
{
"epoch": 1.7093333333333334,
"grad_norm": 338.88104248046875,
"learning_rate": 8.604444444444446e-06,
"loss": 0.5403,
"step": 1282
},
{
"epoch": 1.7106666666666666,
"grad_norm": 0.4089786410331726,
"learning_rate": 8.595555555555556e-06,
"loss": 0.0029,
"step": 1283
},
{
"epoch": 1.712,
"grad_norm": 0.10930458456277847,
"learning_rate": 8.586666666666667e-06,
"loss": 0.0015,
"step": 1284
},
{
"epoch": 1.7133333333333334,
"grad_norm": 63.502708435058594,
"learning_rate": 8.577777777777778e-06,
"loss": 0.1729,
"step": 1285
},
{
"epoch": 1.7146666666666666,
"grad_norm": 0.21256402134895325,
"learning_rate": 8.56888888888889e-06,
"loss": 0.002,
"step": 1286
},
{
"epoch": 1.716,
"grad_norm": 42.77898025512695,
"learning_rate": 8.560000000000001e-06,
"loss": 1.3073,
"step": 1287
},
{
"epoch": 1.7173333333333334,
"grad_norm": 2.2812111377716064,
"learning_rate": 8.551111111111112e-06,
"loss": 0.0031,
"step": 1288
},
{
"epoch": 1.7186666666666666,
"grad_norm": 234.80577087402344,
"learning_rate": 8.542222222222222e-06,
"loss": 0.677,
"step": 1289
},
{
"epoch": 1.72,
"grad_norm": 231.55113220214844,
"learning_rate": 8.533333333333335e-06,
"loss": 0.0351,
"step": 1290
},
{
"epoch": 1.7213333333333334,
"grad_norm": 3.546586036682129,
"learning_rate": 8.524444444444445e-06,
"loss": 0.0058,
"step": 1291
},
{
"epoch": 1.7226666666666666,
"grad_norm": 114.83734893798828,
"learning_rate": 8.515555555555556e-06,
"loss": 0.5634,
"step": 1292
},
{
"epoch": 1.724,
"grad_norm": 19.90721893310547,
"learning_rate": 8.506666666666668e-06,
"loss": 0.5485,
"step": 1293
},
{
"epoch": 1.7253333333333334,
"grad_norm": 0.21437105536460876,
"learning_rate": 8.497777777777777e-06,
"loss": 0.0023,
"step": 1294
},
{
"epoch": 1.7266666666666666,
"grad_norm": 24.9147891998291,
"learning_rate": 8.48888888888889e-06,
"loss": 1.2906,
"step": 1295
},
{
"epoch": 1.728,
"grad_norm": 69.30450439453125,
"learning_rate": 8.48e-06,
"loss": 0.0447,
"step": 1296
},
{
"epoch": 1.7293333333333334,
"grad_norm": 10.30772876739502,
"learning_rate": 8.471111111111112e-06,
"loss": 0.4798,
"step": 1297
},
{
"epoch": 1.7306666666666666,
"grad_norm": 0.5602415800094604,
"learning_rate": 8.462222222222223e-06,
"loss": 0.0044,
"step": 1298
},
{
"epoch": 1.732,
"grad_norm": 9.811917304992676,
"learning_rate": 8.453333333333334e-06,
"loss": 0.0154,
"step": 1299
},
{
"epoch": 1.7333333333333334,
"grad_norm": 84.34893035888672,
"learning_rate": 8.444444444444446e-06,
"loss": 0.2034,
"step": 1300
},
{
"epoch": 1.7346666666666666,
"grad_norm": 0.2663172483444214,
"learning_rate": 8.435555555555555e-06,
"loss": 0.0035,
"step": 1301
},
{
"epoch": 1.736,
"grad_norm": 0.4816141128540039,
"learning_rate": 8.426666666666667e-06,
"loss": 0.0055,
"step": 1302
},
{
"epoch": 1.7373333333333334,
"grad_norm": 62.63591766357422,
"learning_rate": 8.417777777777778e-06,
"loss": 0.2604,
"step": 1303
},
{
"epoch": 1.7386666666666666,
"grad_norm": 0.3775101602077484,
"learning_rate": 8.40888888888889e-06,
"loss": 0.0062,
"step": 1304
},
{
"epoch": 1.74,
"grad_norm": 15.386045455932617,
"learning_rate": 8.400000000000001e-06,
"loss": 0.3375,
"step": 1305
},
{
"epoch": 1.7413333333333334,
"grad_norm": 96.82894897460938,
"learning_rate": 8.391111111111112e-06,
"loss": 0.0296,
"step": 1306
},
{
"epoch": 1.7426666666666666,
"grad_norm": 0.31404024362564087,
"learning_rate": 8.382222222222222e-06,
"loss": 0.0037,
"step": 1307
},
{
"epoch": 1.744,
"grad_norm": 0.3081216812133789,
"learning_rate": 8.373333333333335e-06,
"loss": 0.0034,
"step": 1308
},
{
"epoch": 1.7453333333333334,
"grad_norm": 30.924219131469727,
"learning_rate": 8.364444444444445e-06,
"loss": 0.2463,
"step": 1309
},
{
"epoch": 1.7466666666666666,
"grad_norm": 2.432894468307495,
"learning_rate": 8.355555555555556e-06,
"loss": 0.012,
"step": 1310
},
{
"epoch": 1.748,
"grad_norm": 27.161409378051758,
"learning_rate": 8.346666666666668e-06,
"loss": 0.8663,
"step": 1311
},
{
"epoch": 1.7493333333333334,
"grad_norm": 9.022555351257324,
"learning_rate": 8.337777777777777e-06,
"loss": 0.5096,
"step": 1312
},
{
"epoch": 1.7506666666666666,
"grad_norm": 32.934574127197266,
"learning_rate": 8.32888888888889e-06,
"loss": 0.2063,
"step": 1313
},
{
"epoch": 1.752,
"grad_norm": 0.5386740565299988,
"learning_rate": 8.32e-06,
"loss": 0.0055,
"step": 1314
},
{
"epoch": 1.7533333333333334,
"grad_norm": 1.5111989974975586,
"learning_rate": 8.311111111111111e-06,
"loss": 0.0058,
"step": 1315
},
{
"epoch": 1.7546666666666666,
"grad_norm": 0.26266345381736755,
"learning_rate": 8.302222222222223e-06,
"loss": 0.0032,
"step": 1316
},
{
"epoch": 1.756,
"grad_norm": 0.321925550699234,
"learning_rate": 8.293333333333334e-06,
"loss": 0.004,
"step": 1317
},
{
"epoch": 1.7573333333333334,
"grad_norm": 7.018383026123047,
"learning_rate": 8.284444444444446e-06,
"loss": 0.3341,
"step": 1318
},
{
"epoch": 1.7586666666666666,
"grad_norm": 0.25563785433769226,
"learning_rate": 8.275555555555557e-06,
"loss": 0.004,
"step": 1319
},
{
"epoch": 1.76,
"grad_norm": 0.47046586871147156,
"learning_rate": 8.266666666666667e-06,
"loss": 0.0047,
"step": 1320
},
{
"epoch": 1.7613333333333334,
"grad_norm": 31.27930450439453,
"learning_rate": 8.25777777777778e-06,
"loss": 0.777,
"step": 1321
},
{
"epoch": 1.7626666666666666,
"grad_norm": 20.72823143005371,
"learning_rate": 8.24888888888889e-06,
"loss": 0.4115,
"step": 1322
},
{
"epoch": 1.764,
"grad_norm": 0.21902769804000854,
"learning_rate": 8.24e-06,
"loss": 0.0028,
"step": 1323
},
{
"epoch": 1.7653333333333334,
"grad_norm": 0.22326567769050598,
"learning_rate": 8.231111111111112e-06,
"loss": 0.0025,
"step": 1324
},
{
"epoch": 1.7666666666666666,
"grad_norm": 0.5159211158752441,
"learning_rate": 8.222222222222222e-06,
"loss": 0.0054,
"step": 1325
},
{
"epoch": 1.768,
"grad_norm": 2.080169200897217,
"learning_rate": 8.213333333333335e-06,
"loss": 0.0065,
"step": 1326
},
{
"epoch": 1.7693333333333334,
"grad_norm": 0.7337020635604858,
"learning_rate": 8.204444444444445e-06,
"loss": 0.0047,
"step": 1327
},
{
"epoch": 1.7706666666666666,
"grad_norm": 193.44793701171875,
"learning_rate": 8.195555555555556e-06,
"loss": 0.0948,
"step": 1328
},
{
"epoch": 1.772,
"grad_norm": 0.5751442313194275,
"learning_rate": 8.186666666666667e-06,
"loss": 0.0046,
"step": 1329
},
{
"epoch": 1.7733333333333334,
"grad_norm": 168.5449981689453,
"learning_rate": 8.177777777777779e-06,
"loss": 0.1972,
"step": 1330
},
{
"epoch": 1.7746666666666666,
"grad_norm": 20.292678833007812,
"learning_rate": 8.16888888888889e-06,
"loss": 0.895,
"step": 1331
},
{
"epoch": 1.776,
"grad_norm": 20.9902400970459,
"learning_rate": 8.16e-06,
"loss": 0.3898,
"step": 1332
},
{
"epoch": 1.7773333333333334,
"grad_norm": 0.36485755443573,
"learning_rate": 8.151111111111111e-06,
"loss": 0.0031,
"step": 1333
},
{
"epoch": 1.7786666666666666,
"grad_norm": 0.1527651995420456,
"learning_rate": 8.142222222222223e-06,
"loss": 0.0019,
"step": 1334
},
{
"epoch": 1.78,
"grad_norm": 9.142675399780273,
"learning_rate": 8.133333333333334e-06,
"loss": 0.0164,
"step": 1335
},
{
"epoch": 1.7813333333333334,
"grad_norm": 8.788063049316406,
"learning_rate": 8.124444444444445e-06,
"loss": 0.3726,
"step": 1336
},
{
"epoch": 1.7826666666666666,
"grad_norm": 0.2779366374015808,
"learning_rate": 8.115555555555557e-06,
"loss": 0.0017,
"step": 1337
},
{
"epoch": 1.784,
"grad_norm": 53.33522033691406,
"learning_rate": 8.106666666666666e-06,
"loss": 0.4953,
"step": 1338
},
{
"epoch": 1.7853333333333334,
"grad_norm": 21.393434524536133,
"learning_rate": 8.09777777777778e-06,
"loss": 0.4634,
"step": 1339
},
{
"epoch": 1.7866666666666666,
"grad_norm": 0.09586068987846375,
"learning_rate": 8.08888888888889e-06,
"loss": 0.0014,
"step": 1340
},
{
"epoch": 1.788,
"grad_norm": 0.23801133036613464,
"learning_rate": 8.08e-06,
"loss": 0.0022,
"step": 1341
},
{
"epoch": 1.7893333333333334,
"grad_norm": 4.215709209442139,
"learning_rate": 8.071111111111112e-06,
"loss": 0.0075,
"step": 1342
},
{
"epoch": 1.7906666666666666,
"grad_norm": 42.23370361328125,
"learning_rate": 8.062222222222222e-06,
"loss": 0.3302,
"step": 1343
},
{
"epoch": 1.792,
"grad_norm": 1.0628856420516968,
"learning_rate": 8.053333333333335e-06,
"loss": 0.0012,
"step": 1344
},
{
"epoch": 1.7933333333333334,
"grad_norm": 22.49626350402832,
"learning_rate": 8.044444444444444e-06,
"loss": 0.3339,
"step": 1345
},
{
"epoch": 1.7946666666666666,
"grad_norm": 1.7261173725128174,
"learning_rate": 8.035555555555556e-06,
"loss": 0.0062,
"step": 1346
},
{
"epoch": 1.796,
"grad_norm": 49.810604095458984,
"learning_rate": 8.026666666666667e-06,
"loss": 0.2983,
"step": 1347
},
{
"epoch": 1.7973333333333334,
"grad_norm": 22.612022399902344,
"learning_rate": 8.017777777777779e-06,
"loss": 0.4291,
"step": 1348
},
{
"epoch": 1.7986666666666666,
"grad_norm": 14.823781967163086,
"learning_rate": 8.00888888888889e-06,
"loss": 0.4788,
"step": 1349
},
{
"epoch": 1.8,
"grad_norm": 0.16244368255138397,
"learning_rate": 8.000000000000001e-06,
"loss": 0.0015,
"step": 1350
},
{
"epoch": 1.8013333333333335,
"grad_norm": 9.868521690368652,
"learning_rate": 7.991111111111111e-06,
"loss": 0.509,
"step": 1351
},
{
"epoch": 1.8026666666666666,
"grad_norm": 71.86180114746094,
"learning_rate": 7.982222222222224e-06,
"loss": 0.1566,
"step": 1352
},
{
"epoch": 1.804,
"grad_norm": 26.91140365600586,
"learning_rate": 7.973333333333334e-06,
"loss": 0.3231,
"step": 1353
},
{
"epoch": 1.8053333333333335,
"grad_norm": 48.021881103515625,
"learning_rate": 7.964444444444445e-06,
"loss": 0.0227,
"step": 1354
},
{
"epoch": 1.8066666666666666,
"grad_norm": 0.508098840713501,
"learning_rate": 7.955555555555557e-06,
"loss": 0.0027,
"step": 1355
},
{
"epoch": 1.808,
"grad_norm": 0.12021100521087646,
"learning_rate": 7.946666666666666e-06,
"loss": 0.0018,
"step": 1356
},
{
"epoch": 1.8093333333333335,
"grad_norm": 112.9957275390625,
"learning_rate": 7.93777777777778e-06,
"loss": 0.0394,
"step": 1357
},
{
"epoch": 1.8106666666666666,
"grad_norm": 57.59538269042969,
"learning_rate": 7.928888888888889e-06,
"loss": 0.2259,
"step": 1358
},
{
"epoch": 1.812,
"grad_norm": 228.8775177001953,
"learning_rate": 7.92e-06,
"loss": 0.0705,
"step": 1359
},
{
"epoch": 1.8133333333333335,
"grad_norm": 0.9348694682121277,
"learning_rate": 7.911111111111112e-06,
"loss": 0.0058,
"step": 1360
},
{
"epoch": 1.8146666666666667,
"grad_norm": 78.82796478271484,
"learning_rate": 7.902222222222223e-06,
"loss": 0.4052,
"step": 1361
},
{
"epoch": 1.8159999999999998,
"grad_norm": 30.193540573120117,
"learning_rate": 7.893333333333335e-06,
"loss": 0.0222,
"step": 1362
},
{
"epoch": 1.8173333333333335,
"grad_norm": 0.33562177419662476,
"learning_rate": 7.884444444444444e-06,
"loss": 0.0029,
"step": 1363
},
{
"epoch": 1.8186666666666667,
"grad_norm": 0.5315313935279846,
"learning_rate": 7.875555555555556e-06,
"loss": 0.0041,
"step": 1364
},
{
"epoch": 1.8199999999999998,
"grad_norm": 0.49267318844795227,
"learning_rate": 7.866666666666667e-06,
"loss": 0.0039,
"step": 1365
},
{
"epoch": 1.8213333333333335,
"grad_norm": 8.983467102050781,
"learning_rate": 7.857777777777778e-06,
"loss": 0.2769,
"step": 1366
},
{
"epoch": 1.8226666666666667,
"grad_norm": 1.2215505838394165,
"learning_rate": 7.84888888888889e-06,
"loss": 0.0071,
"step": 1367
},
{
"epoch": 1.8239999999999998,
"grad_norm": 23.004446029663086,
"learning_rate": 7.840000000000001e-06,
"loss": 0.4607,
"step": 1368
},
{
"epoch": 1.8253333333333335,
"grad_norm": 71.36122131347656,
"learning_rate": 7.831111111111111e-06,
"loss": 0.6094,
"step": 1369
},
{
"epoch": 1.8266666666666667,
"grad_norm": 1.923570156097412,
"learning_rate": 7.822222222222224e-06,
"loss": 0.0076,
"step": 1370
},
{
"epoch": 1.8279999999999998,
"grad_norm": 102.85234832763672,
"learning_rate": 7.813333333333334e-06,
"loss": 0.6796,
"step": 1371
},
{
"epoch": 1.8293333333333335,
"grad_norm": 0.200977623462677,
"learning_rate": 7.804444444444445e-06,
"loss": 0.0022,
"step": 1372
},
{
"epoch": 1.8306666666666667,
"grad_norm": 0.6514906287193298,
"learning_rate": 7.795555555555556e-06,
"loss": 0.0037,
"step": 1373
},
{
"epoch": 1.8319999999999999,
"grad_norm": 0.9551640152931213,
"learning_rate": 7.786666666666666e-06,
"loss": 0.0055,
"step": 1374
},
{
"epoch": 1.8333333333333335,
"grad_norm": 33.95350646972656,
"learning_rate": 7.77777777777778e-06,
"loss": 0.3578,
"step": 1375
},
{
"epoch": 1.8346666666666667,
"grad_norm": 0.2396462857723236,
"learning_rate": 7.768888888888889e-06,
"loss": 0.0024,
"step": 1376
},
{
"epoch": 1.8359999999999999,
"grad_norm": 29.431734085083008,
"learning_rate": 7.76e-06,
"loss": 0.3935,
"step": 1377
},
{
"epoch": 1.8373333333333335,
"grad_norm": 0.1087663471698761,
"learning_rate": 7.751111111111112e-06,
"loss": 0.0015,
"step": 1378
},
{
"epoch": 1.8386666666666667,
"grad_norm": 0.1042017936706543,
"learning_rate": 7.742222222222223e-06,
"loss": 0.0017,
"step": 1379
},
{
"epoch": 1.8399999999999999,
"grad_norm": 363.0745849609375,
"learning_rate": 7.733333333333334e-06,
"loss": 0.1487,
"step": 1380
},
{
"epoch": 1.8413333333333335,
"grad_norm": 0.2268853485584259,
"learning_rate": 7.724444444444446e-06,
"loss": 0.002,
"step": 1381
},
{
"epoch": 1.8426666666666667,
"grad_norm": 0.7000879049301147,
"learning_rate": 7.715555555555555e-06,
"loss": 0.0029,
"step": 1382
},
{
"epoch": 1.8439999999999999,
"grad_norm": 158.9576873779297,
"learning_rate": 7.706666666666669e-06,
"loss": 0.4441,
"step": 1383
},
{
"epoch": 1.8453333333333335,
"grad_norm": 0.7805405855178833,
"learning_rate": 7.697777777777778e-06,
"loss": 0.0067,
"step": 1384
},
{
"epoch": 1.8466666666666667,
"grad_norm": 35.197792053222656,
"learning_rate": 7.68888888888889e-06,
"loss": 0.4165,
"step": 1385
},
{
"epoch": 1.8479999999999999,
"grad_norm": 35.586875915527344,
"learning_rate": 7.680000000000001e-06,
"loss": 0.3185,
"step": 1386
},
{
"epoch": 1.8493333333333335,
"grad_norm": 84.61365509033203,
"learning_rate": 7.67111111111111e-06,
"loss": 0.2545,
"step": 1387
},
{
"epoch": 1.8506666666666667,
"grad_norm": 20.135005950927734,
"learning_rate": 7.662222222222224e-06,
"loss": 0.1587,
"step": 1388
},
{
"epoch": 1.8519999999999999,
"grad_norm": 0.04393784701824188,
"learning_rate": 7.653333333333333e-06,
"loss": 0.0011,
"step": 1389
},
{
"epoch": 1.8533333333333335,
"grad_norm": 35.34206008911133,
"learning_rate": 7.644444444444445e-06,
"loss": 0.5125,
"step": 1390
},
{
"epoch": 1.8546666666666667,
"grad_norm": 0.5580001473426819,
"learning_rate": 7.635555555555556e-06,
"loss": 0.0026,
"step": 1391
},
{
"epoch": 1.8559999999999999,
"grad_norm": 16.231285095214844,
"learning_rate": 7.626666666666668e-06,
"loss": 0.3256,
"step": 1392
},
{
"epoch": 1.8573333333333333,
"grad_norm": 515.3563842773438,
"learning_rate": 7.617777777777778e-06,
"loss": 0.3451,
"step": 1393
},
{
"epoch": 1.8586666666666667,
"grad_norm": 47.77743148803711,
"learning_rate": 7.608888888888889e-06,
"loss": 0.788,
"step": 1394
},
{
"epoch": 1.8599999999999999,
"grad_norm": 0.06456021964550018,
"learning_rate": 7.600000000000001e-06,
"loss": 0.0009,
"step": 1395
},
{
"epoch": 1.8613333333333333,
"grad_norm": 8.97366714477539,
"learning_rate": 7.5911111111111115e-06,
"loss": 0.0146,
"step": 1396
},
{
"epoch": 1.8626666666666667,
"grad_norm": 1.4393601417541504,
"learning_rate": 7.582222222222223e-06,
"loss": 0.0057,
"step": 1397
},
{
"epoch": 1.8639999999999999,
"grad_norm": 20.542451858520508,
"learning_rate": 7.573333333333333e-06,
"loss": 1.0716,
"step": 1398
},
{
"epoch": 1.8653333333333333,
"grad_norm": 0.21990971267223358,
"learning_rate": 7.564444444444446e-06,
"loss": 0.0018,
"step": 1399
},
{
"epoch": 1.8666666666666667,
"grad_norm": 7.867447853088379,
"learning_rate": 7.555555555555556e-06,
"loss": 0.1396,
"step": 1400
},
{
"epoch": 1.8679999999999999,
"grad_norm": 0.30897411704063416,
"learning_rate": 7.5466666666666675e-06,
"loss": 0.0022,
"step": 1401
},
{
"epoch": 1.8693333333333333,
"grad_norm": 86.77359008789062,
"learning_rate": 7.537777777777778e-06,
"loss": 0.0192,
"step": 1402
},
{
"epoch": 1.8706666666666667,
"grad_norm": 13.487273216247559,
"learning_rate": 7.52888888888889e-06,
"loss": 0.4473,
"step": 1403
},
{
"epoch": 1.8719999999999999,
"grad_norm": 7.259669780731201,
"learning_rate": 7.520000000000001e-06,
"loss": 0.5501,
"step": 1404
},
{
"epoch": 1.8733333333333333,
"grad_norm": 0.24634958803653717,
"learning_rate": 7.511111111111111e-06,
"loss": 0.002,
"step": 1405
},
{
"epoch": 1.8746666666666667,
"grad_norm": 0.22721315920352936,
"learning_rate": 7.502222222222223e-06,
"loss": 0.002,
"step": 1406
},
{
"epoch": 1.876,
"grad_norm": 47.1217041015625,
"learning_rate": 7.493333333333333e-06,
"loss": 0.3092,
"step": 1407
},
{
"epoch": 1.8773333333333333,
"grad_norm": 0.33732715249061584,
"learning_rate": 7.4844444444444455e-06,
"loss": 0.0029,
"step": 1408
},
{
"epoch": 1.8786666666666667,
"grad_norm": 0.17734374105930328,
"learning_rate": 7.475555555555556e-06,
"loss": 0.0019,
"step": 1409
},
{
"epoch": 1.88,
"grad_norm": 0.37512901425361633,
"learning_rate": 7.4666666666666675e-06,
"loss": 0.0026,
"step": 1410
},
{
"epoch": 1.8813333333333333,
"grad_norm": 3.3836679458618164,
"learning_rate": 7.457777777777778e-06,
"loss": 0.0079,
"step": 1411
},
{
"epoch": 1.8826666666666667,
"grad_norm": 0.7272549867630005,
"learning_rate": 7.44888888888889e-06,
"loss": 0.0042,
"step": 1412
},
{
"epoch": 1.884,
"grad_norm": 4.928531169891357,
"learning_rate": 7.440000000000001e-06,
"loss": 0.6178,
"step": 1413
},
{
"epoch": 1.8853333333333333,
"grad_norm": 21.232038497924805,
"learning_rate": 7.431111111111111e-06,
"loss": 0.4357,
"step": 1414
},
{
"epoch": 1.8866666666666667,
"grad_norm": 0.2480991780757904,
"learning_rate": 7.422222222222223e-06,
"loss": 0.003,
"step": 1415
},
{
"epoch": 1.888,
"grad_norm": 19.0875244140625,
"learning_rate": 7.413333333333333e-06,
"loss": 0.432,
"step": 1416
},
{
"epoch": 1.8893333333333333,
"grad_norm": 0.328852117061615,
"learning_rate": 7.4044444444444455e-06,
"loss": 0.0032,
"step": 1417
},
{
"epoch": 1.8906666666666667,
"grad_norm": 66.8399887084961,
"learning_rate": 7.395555555555556e-06,
"loss": 0.1764,
"step": 1418
},
{
"epoch": 1.892,
"grad_norm": 44.74575424194336,
"learning_rate": 7.386666666666667e-06,
"loss": 0.0848,
"step": 1419
},
{
"epoch": 1.8933333333333333,
"grad_norm": 73.51436614990234,
"learning_rate": 7.377777777777778e-06,
"loss": 0.0405,
"step": 1420
},
{
"epoch": 1.8946666666666667,
"grad_norm": 18.544828414916992,
"learning_rate": 7.36888888888889e-06,
"loss": 0.6706,
"step": 1421
},
{
"epoch": 1.896,
"grad_norm": 700.9494018554688,
"learning_rate": 7.360000000000001e-06,
"loss": 0.099,
"step": 1422
},
{
"epoch": 1.8973333333333333,
"grad_norm": 131.52537536621094,
"learning_rate": 7.351111111111112e-06,
"loss": 0.1883,
"step": 1423
},
{
"epoch": 1.8986666666666667,
"grad_norm": 82.01148986816406,
"learning_rate": 7.342222222222223e-06,
"loss": 0.5953,
"step": 1424
},
{
"epoch": 1.9,
"grad_norm": 31.004148483276367,
"learning_rate": 7.333333333333333e-06,
"loss": 0.9117,
"step": 1425
},
{
"epoch": 1.9013333333333333,
"grad_norm": 0.11772102862596512,
"learning_rate": 7.324444444444445e-06,
"loss": 0.002,
"step": 1426
},
{
"epoch": 1.9026666666666667,
"grad_norm": 0.19047078490257263,
"learning_rate": 7.315555555555556e-06,
"loss": 0.0029,
"step": 1427
},
{
"epoch": 1.904,
"grad_norm": 0.8733088970184326,
"learning_rate": 7.306666666666667e-06,
"loss": 0.0064,
"step": 1428
},
{
"epoch": 1.9053333333333333,
"grad_norm": 0.4149125814437866,
"learning_rate": 7.297777777777778e-06,
"loss": 0.0038,
"step": 1429
},
{
"epoch": 1.9066666666666667,
"grad_norm": 0.3520980775356293,
"learning_rate": 7.28888888888889e-06,
"loss": 0.0048,
"step": 1430
},
{
"epoch": 1.908,
"grad_norm": 25.407711029052734,
"learning_rate": 7.280000000000001e-06,
"loss": 0.4795,
"step": 1431
},
{
"epoch": 1.9093333333333333,
"grad_norm": 1.616394281387329,
"learning_rate": 7.271111111111112e-06,
"loss": 0.006,
"step": 1432
},
{
"epoch": 1.9106666666666667,
"grad_norm": 0.21883459389209747,
"learning_rate": 7.2622222222222225e-06,
"loss": 0.0029,
"step": 1433
},
{
"epoch": 1.912,
"grad_norm": 0.6173104643821716,
"learning_rate": 7.253333333333335e-06,
"loss": 0.0037,
"step": 1434
},
{
"epoch": 1.9133333333333333,
"grad_norm": 0.4333723485469818,
"learning_rate": 7.244444444444445e-06,
"loss": 0.0035,
"step": 1435
},
{
"epoch": 1.9146666666666667,
"grad_norm": 0.5747796297073364,
"learning_rate": 7.235555555555556e-06,
"loss": 0.0032,
"step": 1436
},
{
"epoch": 1.916,
"grad_norm": 23.57564926147461,
"learning_rate": 7.226666666666667e-06,
"loss": 0.3321,
"step": 1437
},
{
"epoch": 1.9173333333333333,
"grad_norm": 1.0602179765701294,
"learning_rate": 7.217777777777778e-06,
"loss": 0.0028,
"step": 1438
},
{
"epoch": 1.9186666666666667,
"grad_norm": 28.595239639282227,
"learning_rate": 7.20888888888889e-06,
"loss": 0.3502,
"step": 1439
},
{
"epoch": 1.92,
"grad_norm": 1.071329116821289,
"learning_rate": 7.2000000000000005e-06,
"loss": 0.0054,
"step": 1440
},
{
"epoch": 1.9213333333333333,
"grad_norm": 0.46082553267478943,
"learning_rate": 7.191111111111112e-06,
"loss": 0.0027,
"step": 1441
},
{
"epoch": 1.9226666666666667,
"grad_norm": 1.501023292541504,
"learning_rate": 7.1822222222222224e-06,
"loss": 0.0046,
"step": 1442
},
{
"epoch": 1.924,
"grad_norm": 0.4533475935459137,
"learning_rate": 7.173333333333335e-06,
"loss": 0.004,
"step": 1443
},
{
"epoch": 1.9253333333333333,
"grad_norm": 40.71757507324219,
"learning_rate": 7.164444444444445e-06,
"loss": 0.4445,
"step": 1444
},
{
"epoch": 1.9266666666666667,
"grad_norm": 1.261289358139038,
"learning_rate": 7.155555555555556e-06,
"loss": 0.0018,
"step": 1445
},
{
"epoch": 1.928,
"grad_norm": 0.09040451049804688,
"learning_rate": 7.146666666666667e-06,
"loss": 0.0013,
"step": 1446
},
{
"epoch": 1.9293333333333333,
"grad_norm": 0.2499515861272812,
"learning_rate": 7.137777777777778e-06,
"loss": 0.0018,
"step": 1447
},
{
"epoch": 1.9306666666666668,
"grad_norm": 1.828328251838684,
"learning_rate": 7.12888888888889e-06,
"loss": 0.004,
"step": 1448
},
{
"epoch": 1.932,
"grad_norm": 6.097951412200928,
"learning_rate": 7.1200000000000004e-06,
"loss": 0.5557,
"step": 1449
},
{
"epoch": 1.9333333333333333,
"grad_norm": 61.6555061340332,
"learning_rate": 7.111111111111112e-06,
"loss": 0.5163,
"step": 1450
},
{
"epoch": 1.9346666666666668,
"grad_norm": 4.368368625640869,
"learning_rate": 7.102222222222222e-06,
"loss": 0.6194,
"step": 1451
},
{
"epoch": 1.936,
"grad_norm": 0.4651283025741577,
"learning_rate": 7.093333333333335e-06,
"loss": 0.0037,
"step": 1452
},
{
"epoch": 1.9373333333333334,
"grad_norm": 0.04045276343822479,
"learning_rate": 7.084444444444445e-06,
"loss": 0.0011,
"step": 1453
},
{
"epoch": 1.9386666666666668,
"grad_norm": 0.5966789126396179,
"learning_rate": 7.0755555555555565e-06,
"loss": 0.0027,
"step": 1454
},
{
"epoch": 1.94,
"grad_norm": 39.120121002197266,
"learning_rate": 7.066666666666667e-06,
"loss": 0.2632,
"step": 1455
},
{
"epoch": 1.9413333333333334,
"grad_norm": 18.70242691040039,
"learning_rate": 7.057777777777778e-06,
"loss": 0.4598,
"step": 1456
},
{
"epoch": 1.9426666666666668,
"grad_norm": 1.0788371562957764,
"learning_rate": 7.04888888888889e-06,
"loss": 0.0048,
"step": 1457
},
{
"epoch": 1.944,
"grad_norm": 109.11736297607422,
"learning_rate": 7.04e-06,
"loss": 0.3345,
"step": 1458
},
{
"epoch": 1.9453333333333334,
"grad_norm": 0.47086769342422485,
"learning_rate": 7.031111111111112e-06,
"loss": 0.0029,
"step": 1459
},
{
"epoch": 1.9466666666666668,
"grad_norm": 55.00340270996094,
"learning_rate": 7.022222222222222e-06,
"loss": 0.8851,
"step": 1460
},
{
"epoch": 1.948,
"grad_norm": 0.1486995816230774,
"learning_rate": 7.0133333333333345e-06,
"loss": 0.0018,
"step": 1461
},
{
"epoch": 1.9493333333333334,
"grad_norm": 0.2541404962539673,
"learning_rate": 7.004444444444445e-06,
"loss": 0.0023,
"step": 1462
},
{
"epoch": 1.9506666666666668,
"grad_norm": 4.5738301277160645,
"learning_rate": 6.9955555555555564e-06,
"loss": 0.5411,
"step": 1463
},
{
"epoch": 1.952,
"grad_norm": 0.0940423384308815,
"learning_rate": 6.986666666666667e-06,
"loss": 0.0016,
"step": 1464
},
{
"epoch": 1.9533333333333334,
"grad_norm": 0.11874913424253464,
"learning_rate": 6.977777777777779e-06,
"loss": 0.0019,
"step": 1465
},
{
"epoch": 1.9546666666666668,
"grad_norm": 0.12059324979782104,
"learning_rate": 6.96888888888889e-06,
"loss": 0.0019,
"step": 1466
},
{
"epoch": 1.956,
"grad_norm": 2.355738639831543,
"learning_rate": 6.96e-06,
"loss": 0.0096,
"step": 1467
},
{
"epoch": 1.9573333333333334,
"grad_norm": 1.687117338180542,
"learning_rate": 6.951111111111112e-06,
"loss": 0.0064,
"step": 1468
},
{
"epoch": 1.9586666666666668,
"grad_norm": 31.273008346557617,
"learning_rate": 6.942222222222222e-06,
"loss": 0.374,
"step": 1469
},
{
"epoch": 1.96,
"grad_norm": 0.0997992530465126,
"learning_rate": 6.9333333333333344e-06,
"loss": 0.0018,
"step": 1470
},
{
"epoch": 1.9613333333333334,
"grad_norm": 39.983211517333984,
"learning_rate": 6.924444444444445e-06,
"loss": 0.3655,
"step": 1471
},
{
"epoch": 1.9626666666666668,
"grad_norm": 2.8505375385284424,
"learning_rate": 6.915555555555556e-06,
"loss": 0.008,
"step": 1472
},
{
"epoch": 1.964,
"grad_norm": 0.8014863133430481,
"learning_rate": 6.906666666666667e-06,
"loss": 0.0045,
"step": 1473
},
{
"epoch": 1.9653333333333334,
"grad_norm": 1.2293097972869873,
"learning_rate": 6.897777777777779e-06,
"loss": 0.0056,
"step": 1474
},
{
"epoch": 1.9666666666666668,
"grad_norm": 23.034488677978516,
"learning_rate": 6.88888888888889e-06,
"loss": 0.3985,
"step": 1475
},
{
"epoch": 1.968,
"grad_norm": 3.2061054706573486,
"learning_rate": 6.88e-06,
"loss": 0.006,
"step": 1476
},
{
"epoch": 1.9693333333333334,
"grad_norm": 7.174966812133789,
"learning_rate": 6.871111111111112e-06,
"loss": 0.5267,
"step": 1477
},
{
"epoch": 1.9706666666666668,
"grad_norm": 11.269383430480957,
"learning_rate": 6.862222222222222e-06,
"loss": 0.5178,
"step": 1478
},
{
"epoch": 1.972,
"grad_norm": 0.30215540528297424,
"learning_rate": 6.853333333333334e-06,
"loss": 0.0025,
"step": 1479
},
{
"epoch": 1.9733333333333334,
"grad_norm": 0.0947900116443634,
"learning_rate": 6.844444444444445e-06,
"loss": 0.002,
"step": 1480
},
{
"epoch": 1.9746666666666668,
"grad_norm": 0.10220418125391006,
"learning_rate": 6.835555555555556e-06,
"loss": 0.0017,
"step": 1481
},
{
"epoch": 1.976,
"grad_norm": 0.6676844358444214,
"learning_rate": 6.826666666666667e-06,
"loss": 0.0029,
"step": 1482
},
{
"epoch": 1.9773333333333334,
"grad_norm": 0.5585715770721436,
"learning_rate": 6.817777777777779e-06,
"loss": 0.0043,
"step": 1483
},
{
"epoch": 1.9786666666666668,
"grad_norm": 0.07985799014568329,
"learning_rate": 6.80888888888889e-06,
"loss": 0.0017,
"step": 1484
},
{
"epoch": 1.98,
"grad_norm": 0.14009276032447815,
"learning_rate": 6.800000000000001e-06,
"loss": 0.0021,
"step": 1485
},
{
"epoch": 1.9813333333333332,
"grad_norm": 0.0922916978597641,
"learning_rate": 6.7911111111111115e-06,
"loss": 0.0019,
"step": 1486
},
{
"epoch": 1.9826666666666668,
"grad_norm": 0.3144603371620178,
"learning_rate": 6.782222222222222e-06,
"loss": 0.0031,
"step": 1487
},
{
"epoch": 1.984,
"grad_norm": 14.663305282592773,
"learning_rate": 6.773333333333334e-06,
"loss": 0.471,
"step": 1488
},
{
"epoch": 1.9853333333333332,
"grad_norm": 8.919342994689941,
"learning_rate": 6.764444444444445e-06,
"loss": 0.5112,
"step": 1489
},
{
"epoch": 1.9866666666666668,
"grad_norm": 0.10853844881057739,
"learning_rate": 6.755555555555556e-06,
"loss": 0.0018,
"step": 1490
},
{
"epoch": 1.988,
"grad_norm": 0.7259480953216553,
"learning_rate": 6.746666666666667e-06,
"loss": 0.0041,
"step": 1491
},
{
"epoch": 1.9893333333333332,
"grad_norm": 49.650352478027344,
"learning_rate": 6.737777777777779e-06,
"loss": 0.3863,
"step": 1492
},
{
"epoch": 1.9906666666666668,
"grad_norm": 0.39010846614837646,
"learning_rate": 6.7288888888888895e-06,
"loss": 0.0026,
"step": 1493
},
{
"epoch": 1.992,
"grad_norm": 37.0239372253418,
"learning_rate": 6.720000000000001e-06,
"loss": 0.313,
"step": 1494
},
{
"epoch": 1.9933333333333332,
"grad_norm": 1.0574296712875366,
"learning_rate": 6.711111111111111e-06,
"loss": 0.0068,
"step": 1495
},
{
"epoch": 1.9946666666666668,
"grad_norm": 0.1064102053642273,
"learning_rate": 6.702222222222224e-06,
"loss": 0.002,
"step": 1496
},
{
"epoch": 1.996,
"grad_norm": 65.07914733886719,
"learning_rate": 6.693333333333334e-06,
"loss": 0.3524,
"step": 1497
},
{
"epoch": 1.9973333333333332,
"grad_norm": 12.633794784545898,
"learning_rate": 6.684444444444445e-06,
"loss": 0.4009,
"step": 1498
},
{
"epoch": 1.9986666666666668,
"grad_norm": 107.31752014160156,
"learning_rate": 6.675555555555556e-06,
"loss": 0.1536,
"step": 1499
},
{
"epoch": 2.0,
"grad_norm": 2.6278445720672607,
"learning_rate": 6.666666666666667e-06,
"loss": 0.0048,
"step": 1500
},
{
"epoch": 2.0,
"eval_accuracy": 0.953757225433526,
"eval_loss": 0.2072431445121765,
"eval_runtime": 26.9439,
"eval_samples_per_second": 83.47,
"eval_steps_per_second": 2.635,
"step": 1500
},
{
"epoch": 2.001333333333333,
"grad_norm": 0.21973294019699097,
"learning_rate": 6.657777777777779e-06,
"loss": 0.0028,
"step": 1501
},
{
"epoch": 2.002666666666667,
"grad_norm": 0.08716049790382385,
"learning_rate": 6.648888888888889e-06,
"loss": 0.0017,
"step": 1502
},
{
"epoch": 2.004,
"grad_norm": 0.40816184878349304,
"learning_rate": 6.640000000000001e-06,
"loss": 0.0046,
"step": 1503
},
{
"epoch": 2.005333333333333,
"grad_norm": 0.230136439204216,
"learning_rate": 6.631111111111111e-06,
"loss": 0.0031,
"step": 1504
},
{
"epoch": 2.006666666666667,
"grad_norm": 0.21828602254390717,
"learning_rate": 6.6222222222222236e-06,
"loss": 0.0028,
"step": 1505
},
{
"epoch": 2.008,
"grad_norm": 1.3828930854797363,
"learning_rate": 6.613333333333334e-06,
"loss": 0.0061,
"step": 1506
},
{
"epoch": 2.009333333333333,
"grad_norm": 0.0931534394621849,
"learning_rate": 6.604444444444445e-06,
"loss": 0.0018,
"step": 1507
},
{
"epoch": 2.010666666666667,
"grad_norm": 29.606918334960938,
"learning_rate": 6.595555555555556e-06,
"loss": 0.2417,
"step": 1508
},
{
"epoch": 2.012,
"grad_norm": 0.1962568461894989,
"learning_rate": 6.5866666666666666e-06,
"loss": 0.0027,
"step": 1509
},
{
"epoch": 2.013333333333333,
"grad_norm": 13.325645446777344,
"learning_rate": 6.577777777777779e-06,
"loss": 0.425,
"step": 1510
},
{
"epoch": 2.014666666666667,
"grad_norm": 0.6442707777023315,
"learning_rate": 6.568888888888889e-06,
"loss": 0.003,
"step": 1511
},
{
"epoch": 2.016,
"grad_norm": 18.51636505126953,
"learning_rate": 6.560000000000001e-06,
"loss": 0.3796,
"step": 1512
},
{
"epoch": 2.017333333333333,
"grad_norm": 192.5889434814453,
"learning_rate": 6.551111111111111e-06,
"loss": 0.3137,
"step": 1513
},
{
"epoch": 2.018666666666667,
"grad_norm": 19.72435760498047,
"learning_rate": 6.5422222222222235e-06,
"loss": 0.0102,
"step": 1514
},
{
"epoch": 2.02,
"grad_norm": 84.48111724853516,
"learning_rate": 6.533333333333334e-06,
"loss": 0.565,
"step": 1515
},
{
"epoch": 2.021333333333333,
"grad_norm": 0.23955652117729187,
"learning_rate": 6.524444444444445e-06,
"loss": 0.0032,
"step": 1516
},
{
"epoch": 2.022666666666667,
"grad_norm": 29.749317169189453,
"learning_rate": 6.515555555555556e-06,
"loss": 0.8218,
"step": 1517
},
{
"epoch": 2.024,
"grad_norm": 0.2655538022518158,
"learning_rate": 6.5066666666666665e-06,
"loss": 0.0028,
"step": 1518
},
{
"epoch": 2.025333333333333,
"grad_norm": 0.1561375856399536,
"learning_rate": 6.497777777777779e-06,
"loss": 0.0022,
"step": 1519
},
{
"epoch": 2.026666666666667,
"grad_norm": 0.1464657187461853,
"learning_rate": 6.488888888888889e-06,
"loss": 0.0022,
"step": 1520
},
{
"epoch": 2.028,
"grad_norm": 5.506461143493652,
"learning_rate": 6.480000000000001e-06,
"loss": 0.0153,
"step": 1521
},
{
"epoch": 2.029333333333333,
"grad_norm": 14.1961088180542,
"learning_rate": 6.471111111111111e-06,
"loss": 0.3547,
"step": 1522
},
{
"epoch": 2.030666666666667,
"grad_norm": 1.2821662425994873,
"learning_rate": 6.462222222222223e-06,
"loss": 0.0078,
"step": 1523
},
{
"epoch": 2.032,
"grad_norm": 0.09966213256120682,
"learning_rate": 6.453333333333334e-06,
"loss": 0.0017,
"step": 1524
},
{
"epoch": 2.033333333333333,
"grad_norm": 0.22582799196243286,
"learning_rate": 6.444444444444445e-06,
"loss": 0.0024,
"step": 1525
},
{
"epoch": 2.034666666666667,
"grad_norm": 1.0199034214019775,
"learning_rate": 6.435555555555556e-06,
"loss": 0.0035,
"step": 1526
},
{
"epoch": 2.036,
"grad_norm": 77.1421127319336,
"learning_rate": 6.426666666666668e-06,
"loss": 0.2943,
"step": 1527
},
{
"epoch": 2.037333333333333,
"grad_norm": 0.08893483132123947,
"learning_rate": 6.417777777777779e-06,
"loss": 0.0016,
"step": 1528
},
{
"epoch": 2.038666666666667,
"grad_norm": 4.2258076667785645,
"learning_rate": 6.408888888888889e-06,
"loss": 0.5922,
"step": 1529
},
{
"epoch": 2.04,
"grad_norm": 11.95384407043457,
"learning_rate": 6.4000000000000006e-06,
"loss": 0.5156,
"step": 1530
},
{
"epoch": 2.041333333333333,
"grad_norm": 0.1605321764945984,
"learning_rate": 6.391111111111111e-06,
"loss": 0.0015,
"step": 1531
},
{
"epoch": 2.042666666666667,
"grad_norm": 2.903740167617798,
"learning_rate": 6.382222222222223e-06,
"loss": 0.011,
"step": 1532
},
{
"epoch": 2.044,
"grad_norm": 0.6766199469566345,
"learning_rate": 6.373333333333334e-06,
"loss": 0.0031,
"step": 1533
},
{
"epoch": 2.0453333333333332,
"grad_norm": 44.37566375732422,
"learning_rate": 6.364444444444445e-06,
"loss": 0.0607,
"step": 1534
},
{
"epoch": 2.046666666666667,
"grad_norm": 0.10974112898111343,
"learning_rate": 6.355555555555556e-06,
"loss": 0.002,
"step": 1535
},
{
"epoch": 2.048,
"grad_norm": 0.20494496822357178,
"learning_rate": 6.346666666666668e-06,
"loss": 0.0028,
"step": 1536
},
{
"epoch": 2.0493333333333332,
"grad_norm": 0.8550019264221191,
"learning_rate": 6.3377777777777786e-06,
"loss": 0.0055,
"step": 1537
},
{
"epoch": 2.050666666666667,
"grad_norm": 12.28849983215332,
"learning_rate": 6.328888888888889e-06,
"loss": 0.0087,
"step": 1538
},
{
"epoch": 2.052,
"grad_norm": 1.1244903802871704,
"learning_rate": 6.3200000000000005e-06,
"loss": 0.0031,
"step": 1539
},
{
"epoch": 2.0533333333333332,
"grad_norm": 0.14049769937992096,
"learning_rate": 6.311111111111111e-06,
"loss": 0.0017,
"step": 1540
},
{
"epoch": 2.054666666666667,
"grad_norm": 0.1448071002960205,
"learning_rate": 6.302222222222223e-06,
"loss": 0.0023,
"step": 1541
},
{
"epoch": 2.056,
"grad_norm": 0.10534095019102097,
"learning_rate": 6.293333333333334e-06,
"loss": 0.0019,
"step": 1542
},
{
"epoch": 2.0573333333333332,
"grad_norm": 7.412267208099365,
"learning_rate": 6.284444444444445e-06,
"loss": 0.5757,
"step": 1543
},
{
"epoch": 2.058666666666667,
"grad_norm": 0.15548262000083923,
"learning_rate": 6.275555555555556e-06,
"loss": 0.0024,
"step": 1544
},
{
"epoch": 2.06,
"grad_norm": 5.572006702423096,
"learning_rate": 6.266666666666668e-06,
"loss": 0.0083,
"step": 1545
},
{
"epoch": 2.0613333333333332,
"grad_norm": 0.12951722741127014,
"learning_rate": 6.2577777777777785e-06,
"loss": 0.0023,
"step": 1546
},
{
"epoch": 2.062666666666667,
"grad_norm": 0.13874755799770355,
"learning_rate": 6.24888888888889e-06,
"loss": 0.0016,
"step": 1547
},
{
"epoch": 2.064,
"grad_norm": 48.674224853515625,
"learning_rate": 6.24e-06,
"loss": 0.3069,
"step": 1548
},
{
"epoch": 2.0653333333333332,
"grad_norm": 22.455493927001953,
"learning_rate": 6.231111111111111e-06,
"loss": 0.2413,
"step": 1549
},
{
"epoch": 2.066666666666667,
"grad_norm": 0.136814683675766,
"learning_rate": 6.222222222222223e-06,
"loss": 0.0021,
"step": 1550
},
{
"epoch": 2.068,
"grad_norm": 0.10963333398103714,
"learning_rate": 6.213333333333334e-06,
"loss": 0.0018,
"step": 1551
},
{
"epoch": 2.0693333333333332,
"grad_norm": 165.57952880859375,
"learning_rate": 6.204444444444445e-06,
"loss": 0.2338,
"step": 1552
},
{
"epoch": 2.070666666666667,
"grad_norm": 0.10615267604589462,
"learning_rate": 6.195555555555556e-06,
"loss": 0.0017,
"step": 1553
},
{
"epoch": 2.072,
"grad_norm": 0.11457415670156479,
"learning_rate": 6.186666666666668e-06,
"loss": 0.002,
"step": 1554
},
{
"epoch": 2.0733333333333333,
"grad_norm": 0.20957176387310028,
"learning_rate": 6.177777777777778e-06,
"loss": 0.0025,
"step": 1555
},
{
"epoch": 2.074666666666667,
"grad_norm": 160.49742126464844,
"learning_rate": 6.16888888888889e-06,
"loss": 0.1067,
"step": 1556
},
{
"epoch": 2.076,
"grad_norm": 5.042192459106445,
"learning_rate": 6.16e-06,
"loss": 0.5842,
"step": 1557
},
{
"epoch": 2.0773333333333333,
"grad_norm": 0.12495815008878708,
"learning_rate": 6.1511111111111125e-06,
"loss": 0.0017,
"step": 1558
},
{
"epoch": 2.078666666666667,
"grad_norm": 15.807305335998535,
"learning_rate": 6.142222222222223e-06,
"loss": 1.0576,
"step": 1559
},
{
"epoch": 2.08,
"grad_norm": 0.16906969249248505,
"learning_rate": 6.133333333333334e-06,
"loss": 0.0029,
"step": 1560
},
{
"epoch": 2.0813333333333333,
"grad_norm": 13.155208587646484,
"learning_rate": 6.124444444444445e-06,
"loss": 0.0203,
"step": 1561
},
{
"epoch": 2.0826666666666664,
"grad_norm": 30.152618408203125,
"learning_rate": 6.1155555555555555e-06,
"loss": 0.1207,
"step": 1562
},
{
"epoch": 2.084,
"grad_norm": 6.0244832038879395,
"learning_rate": 6.106666666666668e-06,
"loss": 0.5105,
"step": 1563
},
{
"epoch": 2.0853333333333333,
"grad_norm": 0.1124710813164711,
"learning_rate": 6.097777777777778e-06,
"loss": 0.0022,
"step": 1564
},
{
"epoch": 2.086666666666667,
"grad_norm": 0.17199675738811493,
"learning_rate": 6.08888888888889e-06,
"loss": 0.0028,
"step": 1565
},
{
"epoch": 2.088,
"grad_norm": 0.4565213918685913,
"learning_rate": 6.08e-06,
"loss": 0.0034,
"step": 1566
},
{
"epoch": 2.0893333333333333,
"grad_norm": 0.21287810802459717,
"learning_rate": 6.0711111111111125e-06,
"loss": 0.0033,
"step": 1567
},
{
"epoch": 2.0906666666666665,
"grad_norm": 0.1844102442264557,
"learning_rate": 6.062222222222223e-06,
"loss": 0.0031,
"step": 1568
},
{
"epoch": 2.092,
"grad_norm": 1.167273759841919,
"learning_rate": 6.0533333333333335e-06,
"loss": 0.0045,
"step": 1569
},
{
"epoch": 2.0933333333333333,
"grad_norm": 0.23051945865154266,
"learning_rate": 6.044444444444445e-06,
"loss": 0.0037,
"step": 1570
},
{
"epoch": 2.0946666666666665,
"grad_norm": 0.23901034891605377,
"learning_rate": 6.0355555555555555e-06,
"loss": 0.0027,
"step": 1571
},
{
"epoch": 2.096,
"grad_norm": 0.2957967221736908,
"learning_rate": 6.026666666666668e-06,
"loss": 0.004,
"step": 1572
},
{
"epoch": 2.0973333333333333,
"grad_norm": 0.1813054084777832,
"learning_rate": 6.017777777777778e-06,
"loss": 0.0026,
"step": 1573
},
{
"epoch": 2.0986666666666665,
"grad_norm": 1.8794900178909302,
"learning_rate": 6.00888888888889e-06,
"loss": 0.0047,
"step": 1574
},
{
"epoch": 2.1,
"grad_norm": 1.6857905387878418,
"learning_rate": 6e-06,
"loss": 0.0079,
"step": 1575
},
{
"epoch": 2.1013333333333333,
"grad_norm": 9.44128704071045,
"learning_rate": 5.991111111111112e-06,
"loss": 0.5189,
"step": 1576
},
{
"epoch": 2.1026666666666665,
"grad_norm": 0.5649891495704651,
"learning_rate": 5.982222222222223e-06,
"loss": 0.0038,
"step": 1577
},
{
"epoch": 2.104,
"grad_norm": 299.8373107910156,
"learning_rate": 5.973333333333334e-06,
"loss": 0.6322,
"step": 1578
},
{
"epoch": 2.1053333333333333,
"grad_norm": 0.1775604635477066,
"learning_rate": 5.964444444444445e-06,
"loss": 0.0022,
"step": 1579
},
{
"epoch": 2.1066666666666665,
"grad_norm": 0.1013912484049797,
"learning_rate": 5.955555555555555e-06,
"loss": 0.0024,
"step": 1580
},
{
"epoch": 2.108,
"grad_norm": 0.07410731166601181,
"learning_rate": 5.946666666666668e-06,
"loss": 0.0017,
"step": 1581
},
{
"epoch": 2.1093333333333333,
"grad_norm": 0.06870289146900177,
"learning_rate": 5.937777777777778e-06,
"loss": 0.0018,
"step": 1582
},
{
"epoch": 2.1106666666666665,
"grad_norm": 0.10864316672086716,
"learning_rate": 5.9288888888888895e-06,
"loss": 0.002,
"step": 1583
},
{
"epoch": 2.112,
"grad_norm": 0.05801411718130112,
"learning_rate": 5.92e-06,
"loss": 0.0016,
"step": 1584
},
{
"epoch": 2.1133333333333333,
"grad_norm": 0.05670991167426109,
"learning_rate": 5.911111111111112e-06,
"loss": 0.0015,
"step": 1585
},
{
"epoch": 2.1146666666666665,
"grad_norm": 4.518853187561035,
"learning_rate": 5.902222222222223e-06,
"loss": 0.0071,
"step": 1586
},
{
"epoch": 2.116,
"grad_norm": 0.0609397366642952,
"learning_rate": 5.893333333333334e-06,
"loss": 0.0016,
"step": 1587
},
{
"epoch": 2.1173333333333333,
"grad_norm": 11.934228897094727,
"learning_rate": 5.884444444444445e-06,
"loss": 0.3514,
"step": 1588
},
{
"epoch": 2.1186666666666665,
"grad_norm": 16.60202407836914,
"learning_rate": 5.875555555555556e-06,
"loss": 0.4542,
"step": 1589
},
{
"epoch": 2.12,
"grad_norm": 0.05296841636300087,
"learning_rate": 5.8666666666666675e-06,
"loss": 0.0015,
"step": 1590
},
{
"epoch": 2.1213333333333333,
"grad_norm": 0.05932968109846115,
"learning_rate": 5.857777777777778e-06,
"loss": 0.0015,
"step": 1591
},
{
"epoch": 2.1226666666666665,
"grad_norm": 0.0649983361363411,
"learning_rate": 5.8488888888888895e-06,
"loss": 0.0015,
"step": 1592
},
{
"epoch": 2.124,
"grad_norm": 0.047748416662216187,
"learning_rate": 5.84e-06,
"loss": 0.0013,
"step": 1593
},
{
"epoch": 2.1253333333333333,
"grad_norm": 1.1547473669052124,
"learning_rate": 5.831111111111112e-06,
"loss": 0.0057,
"step": 1594
},
{
"epoch": 2.1266666666666665,
"grad_norm": 29.925230026245117,
"learning_rate": 5.822222222222223e-06,
"loss": 1.3757,
"step": 1595
},
{
"epoch": 2.128,
"grad_norm": 0.08188990503549576,
"learning_rate": 5.813333333333334e-06,
"loss": 0.0016,
"step": 1596
},
{
"epoch": 2.1293333333333333,
"grad_norm": 0.08349346369504929,
"learning_rate": 5.804444444444445e-06,
"loss": 0.0017,
"step": 1597
},
{
"epoch": 2.1306666666666665,
"grad_norm": 0.8624444007873535,
"learning_rate": 5.795555555555557e-06,
"loss": 0.0047,
"step": 1598
},
{
"epoch": 2.132,
"grad_norm": 0.41606566309928894,
"learning_rate": 5.7866666666666674e-06,
"loss": 0.0028,
"step": 1599
},
{
"epoch": 2.1333333333333333,
"grad_norm": 0.4265827238559723,
"learning_rate": 5.777777777777778e-06,
"loss": 0.0027,
"step": 1600
},
{
"epoch": 2.1346666666666665,
"grad_norm": 0.06573953479528427,
"learning_rate": 5.768888888888889e-06,
"loss": 0.0015,
"step": 1601
},
{
"epoch": 2.136,
"grad_norm": 0.07957270741462708,
"learning_rate": 5.76e-06,
"loss": 0.0016,
"step": 1602
},
{
"epoch": 2.1373333333333333,
"grad_norm": 7.761568069458008,
"learning_rate": 5.751111111111112e-06,
"loss": 0.4544,
"step": 1603
},
{
"epoch": 2.1386666666666665,
"grad_norm": 1.8674613237380981,
"learning_rate": 5.742222222222223e-06,
"loss": 0.0039,
"step": 1604
},
{
"epoch": 2.14,
"grad_norm": 11.371295928955078,
"learning_rate": 5.733333333333334e-06,
"loss": 0.5003,
"step": 1605
},
{
"epoch": 2.1413333333333333,
"grad_norm": 0.13868264853954315,
"learning_rate": 5.724444444444445e-06,
"loss": 0.002,
"step": 1606
},
{
"epoch": 2.1426666666666665,
"grad_norm": 5.816766738891602,
"learning_rate": 5.715555555555557e-06,
"loss": 0.5486,
"step": 1607
},
{
"epoch": 2.144,
"grad_norm": 0.10245322436094284,
"learning_rate": 5.706666666666667e-06,
"loss": 0.0022,
"step": 1608
},
{
"epoch": 2.1453333333333333,
"grad_norm": 0.06508094817399979,
"learning_rate": 5.697777777777779e-06,
"loss": 0.0014,
"step": 1609
},
{
"epoch": 2.1466666666666665,
"grad_norm": 15.599520683288574,
"learning_rate": 5.688888888888889e-06,
"loss": 0.3903,
"step": 1610
},
{
"epoch": 2.148,
"grad_norm": 0.15024839341640472,
"learning_rate": 5.68e-06,
"loss": 0.0018,
"step": 1611
},
{
"epoch": 2.1493333333333333,
"grad_norm": 13.633800506591797,
"learning_rate": 5.671111111111112e-06,
"loss": 0.4102,
"step": 1612
},
{
"epoch": 2.1506666666666665,
"grad_norm": 61.68378448486328,
"learning_rate": 5.662222222222223e-06,
"loss": 0.108,
"step": 1613
},
{
"epoch": 2.152,
"grad_norm": 228.44752502441406,
"learning_rate": 5.653333333333334e-06,
"loss": 0.1209,
"step": 1614
},
{
"epoch": 2.1533333333333333,
"grad_norm": 0.0836319550871849,
"learning_rate": 5.6444444444444445e-06,
"loss": 0.0017,
"step": 1615
},
{
"epoch": 2.1546666666666665,
"grad_norm": 29.63946533203125,
"learning_rate": 5.635555555555557e-06,
"loss": 0.3362,
"step": 1616
},
{
"epoch": 2.156,
"grad_norm": 0.1123754009604454,
"learning_rate": 5.626666666666667e-06,
"loss": 0.0018,
"step": 1617
},
{
"epoch": 2.1573333333333333,
"grad_norm": 0.10049694031476974,
"learning_rate": 5.617777777777779e-06,
"loss": 0.0019,
"step": 1618
},
{
"epoch": 2.1586666666666665,
"grad_norm": 0.16874143481254578,
"learning_rate": 5.608888888888889e-06,
"loss": 0.0024,
"step": 1619
},
{
"epoch": 2.16,
"grad_norm": 13.435025215148926,
"learning_rate": 5.600000000000001e-06,
"loss": 0.3932,
"step": 1620
},
{
"epoch": 2.1613333333333333,
"grad_norm": 8.362465858459473,
"learning_rate": 5.591111111111112e-06,
"loss": 0.3187,
"step": 1621
},
{
"epoch": 2.1626666666666665,
"grad_norm": 342.1257629394531,
"learning_rate": 5.5822222222222225e-06,
"loss": 0.2412,
"step": 1622
},
{
"epoch": 2.164,
"grad_norm": 30.117048263549805,
"learning_rate": 5.573333333333334e-06,
"loss": 0.2797,
"step": 1623
},
{
"epoch": 2.1653333333333333,
"grad_norm": 0.3440002202987671,
"learning_rate": 5.5644444444444444e-06,
"loss": 0.0036,
"step": 1624
},
{
"epoch": 2.1666666666666665,
"grad_norm": 38.900264739990234,
"learning_rate": 5.555555555555557e-06,
"loss": 0.2377,
"step": 1625
},
{
"epoch": 2.168,
"grad_norm": 0.5021089911460876,
"learning_rate": 5.546666666666667e-06,
"loss": 0.0034,
"step": 1626
},
{
"epoch": 2.1693333333333333,
"grad_norm": 0.24104700982570648,
"learning_rate": 5.537777777777779e-06,
"loss": 0.003,
"step": 1627
},
{
"epoch": 2.1706666666666665,
"grad_norm": 730.4029541015625,
"learning_rate": 5.528888888888889e-06,
"loss": 0.3437,
"step": 1628
},
{
"epoch": 2.172,
"grad_norm": 123.85137939453125,
"learning_rate": 5.5200000000000005e-06,
"loss": 0.0536,
"step": 1629
},
{
"epoch": 2.1733333333333333,
"grad_norm": 0.2005406618118286,
"learning_rate": 5.511111111111112e-06,
"loss": 0.0024,
"step": 1630
},
{
"epoch": 2.1746666666666665,
"grad_norm": 0.31959980726242065,
"learning_rate": 5.5022222222222224e-06,
"loss": 0.004,
"step": 1631
},
{
"epoch": 2.176,
"grad_norm": 0.10697323828935623,
"learning_rate": 5.493333333333334e-06,
"loss": 0.0021,
"step": 1632
},
{
"epoch": 2.1773333333333333,
"grad_norm": 15.825339317321777,
"learning_rate": 5.484444444444444e-06,
"loss": 0.4401,
"step": 1633
},
{
"epoch": 2.1786666666666665,
"grad_norm": 0.25746503472328186,
"learning_rate": 5.475555555555557e-06,
"loss": 0.0033,
"step": 1634
},
{
"epoch": 2.18,
"grad_norm": 0.15490980446338654,
"learning_rate": 5.466666666666667e-06,
"loss": 0.0019,
"step": 1635
},
{
"epoch": 2.1813333333333333,
"grad_norm": 15.599236488342285,
"learning_rate": 5.4577777777777785e-06,
"loss": 0.2752,
"step": 1636
},
{
"epoch": 2.1826666666666665,
"grad_norm": 7.1724724769592285,
"learning_rate": 5.448888888888889e-06,
"loss": 0.3344,
"step": 1637
},
{
"epoch": 2.184,
"grad_norm": 2.8896727561950684,
"learning_rate": 5.4400000000000004e-06,
"loss": 0.0098,
"step": 1638
},
{
"epoch": 2.1853333333333333,
"grad_norm": 0.18843406438827515,
"learning_rate": 5.431111111111112e-06,
"loss": 0.0023,
"step": 1639
},
{
"epoch": 2.1866666666666665,
"grad_norm": 0.12094450742006302,
"learning_rate": 5.422222222222223e-06,
"loss": 0.0018,
"step": 1640
},
{
"epoch": 2.188,
"grad_norm": 0.19044333696365356,
"learning_rate": 5.413333333333334e-06,
"loss": 0.002,
"step": 1641
},
{
"epoch": 2.1893333333333334,
"grad_norm": 0.3448418080806732,
"learning_rate": 5.404444444444444e-06,
"loss": 0.0034,
"step": 1642
},
{
"epoch": 2.1906666666666665,
"grad_norm": 1.011839747428894,
"learning_rate": 5.3955555555555565e-06,
"loss": 0.0042,
"step": 1643
},
{
"epoch": 2.192,
"grad_norm": 0.05093805864453316,
"learning_rate": 5.386666666666667e-06,
"loss": 0.0012,
"step": 1644
},
{
"epoch": 2.1933333333333334,
"grad_norm": 0.41953209042549133,
"learning_rate": 5.3777777777777784e-06,
"loss": 0.0028,
"step": 1645
},
{
"epoch": 2.1946666666666665,
"grad_norm": 0.8369782567024231,
"learning_rate": 5.368888888888889e-06,
"loss": 0.0049,
"step": 1646
},
{
"epoch": 2.196,
"grad_norm": 0.21820397675037384,
"learning_rate": 5.36e-06,
"loss": 0.0032,
"step": 1647
},
{
"epoch": 2.1973333333333334,
"grad_norm": 0.15174554288387299,
"learning_rate": 5.351111111111112e-06,
"loss": 0.002,
"step": 1648
},
{
"epoch": 2.1986666666666665,
"grad_norm": 0.22246962785720825,
"learning_rate": 5.342222222222223e-06,
"loss": 0.0032,
"step": 1649
},
{
"epoch": 2.2,
"grad_norm": 339.20703125,
"learning_rate": 5.333333333333334e-06,
"loss": 0.2438,
"step": 1650
},
{
"epoch": 2.2013333333333334,
"grad_norm": 18.049530029296875,
"learning_rate": 5.324444444444445e-06,
"loss": 0.6961,
"step": 1651
},
{
"epoch": 2.2026666666666666,
"grad_norm": 0.14489011466503143,
"learning_rate": 5.3155555555555564e-06,
"loss": 0.0018,
"step": 1652
},
{
"epoch": 2.204,
"grad_norm": 0.03397635743021965,
"learning_rate": 5.306666666666667e-06,
"loss": 0.001,
"step": 1653
},
{
"epoch": 2.2053333333333334,
"grad_norm": 0.4996640086174011,
"learning_rate": 5.297777777777778e-06,
"loss": 0.0035,
"step": 1654
},
{
"epoch": 2.2066666666666666,
"grad_norm": 0.051848676055669785,
"learning_rate": 5.288888888888889e-06,
"loss": 0.0012,
"step": 1655
},
{
"epoch": 2.208,
"grad_norm": 3.009157180786133,
"learning_rate": 5.28e-06,
"loss": 0.0063,
"step": 1656
},
{
"epoch": 2.2093333333333334,
"grad_norm": 7.5349202156066895,
"learning_rate": 5.271111111111112e-06,
"loss": 0.5397,
"step": 1657
},
{
"epoch": 2.2106666666666666,
"grad_norm": 0.5651199221611023,
"learning_rate": 5.262222222222223e-06,
"loss": 0.0049,
"step": 1658
},
{
"epoch": 2.212,
"grad_norm": 16.68968391418457,
"learning_rate": 5.2533333333333336e-06,
"loss": 0.3742,
"step": 1659
},
{
"epoch": 2.2133333333333334,
"grad_norm": 22.532651901245117,
"learning_rate": 5.244444444444445e-06,
"loss": 0.7261,
"step": 1660
},
{
"epoch": 2.2146666666666666,
"grad_norm": 0.134637713432312,
"learning_rate": 5.235555555555556e-06,
"loss": 0.0014,
"step": 1661
},
{
"epoch": 2.216,
"grad_norm": 69.25880432128906,
"learning_rate": 5.226666666666667e-06,
"loss": 0.7457,
"step": 1662
},
{
"epoch": 2.2173333333333334,
"grad_norm": 0.22859400510787964,
"learning_rate": 5.217777777777778e-06,
"loss": 0.0018,
"step": 1663
},
{
"epoch": 2.2186666666666666,
"grad_norm": 31.05269432067871,
"learning_rate": 5.208888888888889e-06,
"loss": 0.5142,
"step": 1664
},
{
"epoch": 2.22,
"grad_norm": 1.2620700597763062,
"learning_rate": 5.2e-06,
"loss": 0.0026,
"step": 1665
},
{
"epoch": 2.2213333333333334,
"grad_norm": 0.18553467094898224,
"learning_rate": 5.1911111111111116e-06,
"loss": 0.0026,
"step": 1666
},
{
"epoch": 2.2226666666666666,
"grad_norm": 0.04560009762644768,
"learning_rate": 5.182222222222223e-06,
"loss": 0.0012,
"step": 1667
},
{
"epoch": 2.224,
"grad_norm": 24.43973731994629,
"learning_rate": 5.1733333333333335e-06,
"loss": 0.2279,
"step": 1668
},
{
"epoch": 2.2253333333333334,
"grad_norm": 0.5458127856254578,
"learning_rate": 5.164444444444445e-06,
"loss": 0.0025,
"step": 1669
},
{
"epoch": 2.2266666666666666,
"grad_norm": 0.19275888800621033,
"learning_rate": 5.155555555555556e-06,
"loss": 0.0021,
"step": 1670
},
{
"epoch": 2.228,
"grad_norm": 28.773033142089844,
"learning_rate": 5.146666666666668e-06,
"loss": 0.3567,
"step": 1671
},
{
"epoch": 2.2293333333333334,
"grad_norm": 1.615864634513855,
"learning_rate": 5.137777777777778e-06,
"loss": 0.0105,
"step": 1672
},
{
"epoch": 2.2306666666666666,
"grad_norm": 0.6758133172988892,
"learning_rate": 5.128888888888889e-06,
"loss": 0.0058,
"step": 1673
},
{
"epoch": 2.232,
"grad_norm": 22.74061393737793,
"learning_rate": 5.12e-06,
"loss": 0.4257,
"step": 1674
},
{
"epoch": 2.2333333333333334,
"grad_norm": 2.602236032485962,
"learning_rate": 5.1111111111111115e-06,
"loss": 0.006,
"step": 1675
},
{
"epoch": 2.2346666666666666,
"grad_norm": 2.0908195972442627,
"learning_rate": 5.102222222222223e-06,
"loss": 0.0045,
"step": 1676
},
{
"epoch": 2.2359999999999998,
"grad_norm": 0.0903589203953743,
"learning_rate": 5.093333333333333e-06,
"loss": 0.0015,
"step": 1677
},
{
"epoch": 2.2373333333333334,
"grad_norm": 0.04829704761505127,
"learning_rate": 5.084444444444445e-06,
"loss": 0.0012,
"step": 1678
},
{
"epoch": 2.2386666666666666,
"grad_norm": 12.616703987121582,
"learning_rate": 5.075555555555556e-06,
"loss": 0.5249,
"step": 1679
},
{
"epoch": 2.24,
"grad_norm": 22.452451705932617,
"learning_rate": 5.0666666666666676e-06,
"loss": 0.3887,
"step": 1680
},
{
"epoch": 2.2413333333333334,
"grad_norm": 0.5504714250564575,
"learning_rate": 5.057777777777778e-06,
"loss": 0.007,
"step": 1681
},
{
"epoch": 2.2426666666666666,
"grad_norm": 0.2157517373561859,
"learning_rate": 5.0488888888888895e-06,
"loss": 0.0018,
"step": 1682
},
{
"epoch": 2.2439999999999998,
"grad_norm": 159.4510040283203,
"learning_rate": 5.04e-06,
"loss": 0.4903,
"step": 1683
},
{
"epoch": 2.2453333333333334,
"grad_norm": 0.34766536951065063,
"learning_rate": 5.031111111111111e-06,
"loss": 0.0026,
"step": 1684
},
{
"epoch": 2.2466666666666666,
"grad_norm": 101.15868377685547,
"learning_rate": 5.022222222222223e-06,
"loss": 0.0136,
"step": 1685
},
{
"epoch": 2.248,
"grad_norm": 4.594069004058838,
"learning_rate": 5.013333333333333e-06,
"loss": 0.0071,
"step": 1686
},
{
"epoch": 2.2493333333333334,
"grad_norm": 1.7127089500427246,
"learning_rate": 5.004444444444445e-06,
"loss": 0.0035,
"step": 1687
},
{
"epoch": 2.2506666666666666,
"grad_norm": 0.1862928569316864,
"learning_rate": 4.995555555555556e-06,
"loss": 0.0025,
"step": 1688
},
{
"epoch": 2.252,
"grad_norm": 67.08817291259766,
"learning_rate": 4.986666666666667e-06,
"loss": 0.3142,
"step": 1689
},
{
"epoch": 2.2533333333333334,
"grad_norm": 0.09066515415906906,
"learning_rate": 4.977777777777778e-06,
"loss": 0.0015,
"step": 1690
},
{
"epoch": 2.2546666666666666,
"grad_norm": 0.13187453150749207,
"learning_rate": 4.968888888888889e-06,
"loss": 0.0018,
"step": 1691
},
{
"epoch": 2.2560000000000002,
"grad_norm": 37.28289031982422,
"learning_rate": 4.960000000000001e-06,
"loss": 0.2738,
"step": 1692
},
{
"epoch": 2.2573333333333334,
"grad_norm": 0.11055582761764526,
"learning_rate": 4.951111111111111e-06,
"loss": 0.0015,
"step": 1693
},
{
"epoch": 2.2586666666666666,
"grad_norm": 6.355310440063477,
"learning_rate": 4.942222222222223e-06,
"loss": 0.5973,
"step": 1694
},
{
"epoch": 2.26,
"grad_norm": 0.5286763906478882,
"learning_rate": 4.933333333333334e-06,
"loss": 0.0032,
"step": 1695
},
{
"epoch": 2.2613333333333334,
"grad_norm": 13.273362159729004,
"learning_rate": 4.924444444444445e-06,
"loss": 0.4269,
"step": 1696
},
{
"epoch": 2.2626666666666666,
"grad_norm": 0.24128419160842896,
"learning_rate": 4.915555555555556e-06,
"loss": 0.0028,
"step": 1697
},
{
"epoch": 2.2640000000000002,
"grad_norm": 41.52327346801758,
"learning_rate": 4.9066666666666666e-06,
"loss": 0.749,
"step": 1698
},
{
"epoch": 2.2653333333333334,
"grad_norm": 14.106904983520508,
"learning_rate": 4.897777777777778e-06,
"loss": 0.3858,
"step": 1699
},
{
"epoch": 2.2666666666666666,
"grad_norm": 12.121460914611816,
"learning_rate": 4.888888888888889e-06,
"loss": 0.486,
"step": 1700
},
{
"epoch": 2.268,
"grad_norm": 0.18594665825366974,
"learning_rate": 4.880000000000001e-06,
"loss": 0.0025,
"step": 1701
},
{
"epoch": 2.2693333333333334,
"grad_norm": 0.08080189675092697,
"learning_rate": 4.871111111111111e-06,
"loss": 0.0014,
"step": 1702
},
{
"epoch": 2.2706666666666666,
"grad_norm": 7.539499759674072,
"learning_rate": 4.862222222222223e-06,
"loss": 0.5767,
"step": 1703
},
{
"epoch": 2.2720000000000002,
"grad_norm": 0.28246885538101196,
"learning_rate": 4.853333333333334e-06,
"loss": 0.0028,
"step": 1704
},
{
"epoch": 2.2733333333333334,
"grad_norm": 33.0589485168457,
"learning_rate": 4.8444444444444446e-06,
"loss": 0.4023,
"step": 1705
},
{
"epoch": 2.2746666666666666,
"grad_norm": 29.8232421875,
"learning_rate": 4.835555555555556e-06,
"loss": 0.4146,
"step": 1706
},
{
"epoch": 2.276,
"grad_norm": 28.577316284179688,
"learning_rate": 4.826666666666667e-06,
"loss": 0.0256,
"step": 1707
},
{
"epoch": 2.2773333333333334,
"grad_norm": 10.853880882263184,
"learning_rate": 4.817777777777779e-06,
"loss": 0.3386,
"step": 1708
},
{
"epoch": 2.2786666666666666,
"grad_norm": 0.18438559770584106,
"learning_rate": 4.808888888888889e-06,
"loss": 0.0023,
"step": 1709
},
{
"epoch": 2.2800000000000002,
"grad_norm": 53.60989761352539,
"learning_rate": 4.800000000000001e-06,
"loss": 0.2158,
"step": 1710
},
{
"epoch": 2.2813333333333334,
"grad_norm": 0.07299846410751343,
"learning_rate": 4.791111111111111e-06,
"loss": 0.0014,
"step": 1711
},
{
"epoch": 2.2826666666666666,
"grad_norm": 0.11320105195045471,
"learning_rate": 4.7822222222222226e-06,
"loss": 0.0018,
"step": 1712
},
{
"epoch": 2.284,
"grad_norm": 0.11848258972167969,
"learning_rate": 4.773333333333334e-06,
"loss": 0.0016,
"step": 1713
},
{
"epoch": 2.2853333333333334,
"grad_norm": 0.33108586072921753,
"learning_rate": 4.7644444444444445e-06,
"loss": 0.0033,
"step": 1714
},
{
"epoch": 2.2866666666666666,
"grad_norm": 0.23218315839767456,
"learning_rate": 4.755555555555556e-06,
"loss": 0.0024,
"step": 1715
},
{
"epoch": 2.288,
"grad_norm": 3.4157469272613525,
"learning_rate": 4.746666666666667e-06,
"loss": 0.0086,
"step": 1716
},
{
"epoch": 2.2893333333333334,
"grad_norm": 1.0435882806777954,
"learning_rate": 4.737777777777779e-06,
"loss": 0.0065,
"step": 1717
},
{
"epoch": 2.2906666666666666,
"grad_norm": 11.80017375946045,
"learning_rate": 4.728888888888889e-06,
"loss": 0.2871,
"step": 1718
},
{
"epoch": 2.292,
"grad_norm": 0.2163102775812149,
"learning_rate": 4.7200000000000005e-06,
"loss": 0.0017,
"step": 1719
},
{
"epoch": 2.2933333333333334,
"grad_norm": 0.4003317654132843,
"learning_rate": 4.711111111111111e-06,
"loss": 0.003,
"step": 1720
},
{
"epoch": 2.2946666666666666,
"grad_norm": 9.362318992614746,
"learning_rate": 4.7022222222222225e-06,
"loss": 0.3445,
"step": 1721
},
{
"epoch": 2.296,
"grad_norm": 29.54764175415039,
"learning_rate": 4.693333333333334e-06,
"loss": 0.3207,
"step": 1722
},
{
"epoch": 2.2973333333333334,
"grad_norm": 0.30408626794815063,
"learning_rate": 4.684444444444444e-06,
"loss": 0.0033,
"step": 1723
},
{
"epoch": 2.2986666666666666,
"grad_norm": 231.69515991210938,
"learning_rate": 4.675555555555556e-06,
"loss": 0.0391,
"step": 1724
},
{
"epoch": 2.3,
"grad_norm": 12.075058937072754,
"learning_rate": 4.666666666666667e-06,
"loss": 0.5321,
"step": 1725
},
{
"epoch": 2.3013333333333335,
"grad_norm": 0.7314155101776123,
"learning_rate": 4.6577777777777785e-06,
"loss": 0.0041,
"step": 1726
},
{
"epoch": 2.3026666666666666,
"grad_norm": 0.5341492295265198,
"learning_rate": 4.648888888888889e-06,
"loss": 0.0045,
"step": 1727
},
{
"epoch": 2.304,
"grad_norm": 0.27484020590782166,
"learning_rate": 4.6400000000000005e-06,
"loss": 0.0027,
"step": 1728
},
{
"epoch": 2.3053333333333335,
"grad_norm": 34.2140998840332,
"learning_rate": 4.631111111111111e-06,
"loss": 0.3438,
"step": 1729
},
{
"epoch": 2.3066666666666666,
"grad_norm": 181.17352294921875,
"learning_rate": 4.622222222222222e-06,
"loss": 0.2581,
"step": 1730
},
{
"epoch": 2.308,
"grad_norm": 0.4199052155017853,
"learning_rate": 4.613333333333334e-06,
"loss": 0.0031,
"step": 1731
},
{
"epoch": 2.3093333333333335,
"grad_norm": 121.26686096191406,
"learning_rate": 4.604444444444444e-06,
"loss": 0.0207,
"step": 1732
},
{
"epoch": 2.3106666666666666,
"grad_norm": 0.080340176820755,
"learning_rate": 4.595555555555556e-06,
"loss": 0.0014,
"step": 1733
},
{
"epoch": 2.312,
"grad_norm": 0.18266764283180237,
"learning_rate": 4.586666666666667e-06,
"loss": 0.0021,
"step": 1734
},
{
"epoch": 2.3133333333333335,
"grad_norm": 4.553865432739258,
"learning_rate": 4.5777777777777785e-06,
"loss": 0.5756,
"step": 1735
},
{
"epoch": 2.3146666666666667,
"grad_norm": 0.06629786640405655,
"learning_rate": 4.568888888888889e-06,
"loss": 0.0014,
"step": 1736
},
{
"epoch": 2.316,
"grad_norm": 0.10123459994792938,
"learning_rate": 4.56e-06,
"loss": 0.0015,
"step": 1737
},
{
"epoch": 2.3173333333333335,
"grad_norm": 0.08096358925104141,
"learning_rate": 4.551111111111112e-06,
"loss": 0.0015,
"step": 1738
},
{
"epoch": 2.3186666666666667,
"grad_norm": 0.10289773344993591,
"learning_rate": 4.542222222222223e-06,
"loss": 0.0016,
"step": 1739
},
{
"epoch": 2.32,
"grad_norm": 0.11124365031719208,
"learning_rate": 4.533333333333334e-06,
"loss": 0.0018,
"step": 1740
},
{
"epoch": 2.3213333333333335,
"grad_norm": 0.06092594191431999,
"learning_rate": 4.524444444444444e-06,
"loss": 0.0015,
"step": 1741
},
{
"epoch": 2.3226666666666667,
"grad_norm": 0.4326545298099518,
"learning_rate": 4.515555555555556e-06,
"loss": 0.0031,
"step": 1742
},
{
"epoch": 2.324,
"grad_norm": 1.2617580890655518,
"learning_rate": 4.506666666666667e-06,
"loss": 0.0098,
"step": 1743
},
{
"epoch": 2.3253333333333335,
"grad_norm": 20.635581970214844,
"learning_rate": 4.497777777777778e-06,
"loss": 0.4414,
"step": 1744
},
{
"epoch": 2.3266666666666667,
"grad_norm": 0.6578171253204346,
"learning_rate": 4.488888888888889e-06,
"loss": 0.0034,
"step": 1745
},
{
"epoch": 2.328,
"grad_norm": 0.8883523344993591,
"learning_rate": 4.48e-06,
"loss": 0.0025,
"step": 1746
},
{
"epoch": 2.3293333333333335,
"grad_norm": 0.5177288055419922,
"learning_rate": 4.471111111111112e-06,
"loss": 0.0042,
"step": 1747
},
{
"epoch": 2.3306666666666667,
"grad_norm": 25.682659149169922,
"learning_rate": 4.462222222222223e-06,
"loss": 0.6785,
"step": 1748
},
{
"epoch": 2.332,
"grad_norm": 0.10977496951818466,
"learning_rate": 4.453333333333334e-06,
"loss": 0.0019,
"step": 1749
},
{
"epoch": 2.3333333333333335,
"grad_norm": 63.43288040161133,
"learning_rate": 4.444444444444444e-06,
"loss": 0.4076,
"step": 1750
},
{
"epoch": 2.3346666666666667,
"grad_norm": 0.05115994065999985,
"learning_rate": 4.4355555555555555e-06,
"loss": 0.0012,
"step": 1751
},
{
"epoch": 2.336,
"grad_norm": 0.28178471326828003,
"learning_rate": 4.426666666666667e-06,
"loss": 0.0023,
"step": 1752
},
{
"epoch": 2.3373333333333335,
"grad_norm": 18.69634246826172,
"learning_rate": 4.417777777777778e-06,
"loss": 0.3372,
"step": 1753
},
{
"epoch": 2.3386666666666667,
"grad_norm": 0.0775478407740593,
"learning_rate": 4.408888888888889e-06,
"loss": 0.0016,
"step": 1754
},
{
"epoch": 2.34,
"grad_norm": 10.243675231933594,
"learning_rate": 4.4e-06,
"loss": 0.4466,
"step": 1755
},
{
"epoch": 2.3413333333333335,
"grad_norm": 11.649356842041016,
"learning_rate": 4.391111111111112e-06,
"loss": 0.322,
"step": 1756
},
{
"epoch": 2.3426666666666667,
"grad_norm": 19.690580368041992,
"learning_rate": 4.382222222222223e-06,
"loss": 0.5084,
"step": 1757
},
{
"epoch": 2.344,
"grad_norm": 0.15616509318351746,
"learning_rate": 4.3733333333333335e-06,
"loss": 0.0015,
"step": 1758
},
{
"epoch": 2.3453333333333335,
"grad_norm": 1.23778235912323,
"learning_rate": 4.364444444444445e-06,
"loss": 0.0068,
"step": 1759
},
{
"epoch": 2.3466666666666667,
"grad_norm": 159.92967224121094,
"learning_rate": 4.3555555555555555e-06,
"loss": 0.0226,
"step": 1760
},
{
"epoch": 2.348,
"grad_norm": 31.636642456054688,
"learning_rate": 4.346666666666667e-06,
"loss": 0.0182,
"step": 1761
},
{
"epoch": 2.3493333333333335,
"grad_norm": 109.91374206542969,
"learning_rate": 4.337777777777778e-06,
"loss": 0.1709,
"step": 1762
},
{
"epoch": 2.3506666666666667,
"grad_norm": 0.7117184996604919,
"learning_rate": 4.328888888888889e-06,
"loss": 0.0025,
"step": 1763
},
{
"epoch": 2.352,
"grad_norm": 0.14026616513729095,
"learning_rate": 4.32e-06,
"loss": 0.0017,
"step": 1764
},
{
"epoch": 2.3533333333333335,
"grad_norm": 0.18739712238311768,
"learning_rate": 4.3111111111111115e-06,
"loss": 0.0027,
"step": 1765
},
{
"epoch": 2.3546666666666667,
"grad_norm": 0.27799907326698303,
"learning_rate": 4.302222222222223e-06,
"loss": 0.003,
"step": 1766
},
{
"epoch": 2.356,
"grad_norm": 0.287457674741745,
"learning_rate": 4.2933333333333334e-06,
"loss": 0.0025,
"step": 1767
},
{
"epoch": 2.3573333333333335,
"grad_norm": 13.04664134979248,
"learning_rate": 4.284444444444445e-06,
"loss": 0.5108,
"step": 1768
},
{
"epoch": 2.3586666666666667,
"grad_norm": 0.41075754165649414,
"learning_rate": 4.275555555555556e-06,
"loss": 0.0043,
"step": 1769
},
{
"epoch": 2.36,
"grad_norm": 54.30905532836914,
"learning_rate": 4.266666666666668e-06,
"loss": 0.5805,
"step": 1770
},
{
"epoch": 2.3613333333333335,
"grad_norm": 4.4534196853637695,
"learning_rate": 4.257777777777778e-06,
"loss": 0.5629,
"step": 1771
},
{
"epoch": 2.3626666666666667,
"grad_norm": 0.19657792150974274,
"learning_rate": 4.248888888888889e-06,
"loss": 0.0023,
"step": 1772
},
{
"epoch": 2.364,
"grad_norm": 359.84320068359375,
"learning_rate": 4.24e-06,
"loss": 0.1621,
"step": 1773
},
{
"epoch": 2.3653333333333335,
"grad_norm": 21.846397399902344,
"learning_rate": 4.2311111111111114e-06,
"loss": 0.2721,
"step": 1774
},
{
"epoch": 2.3666666666666667,
"grad_norm": 0.44062069058418274,
"learning_rate": 4.222222222222223e-06,
"loss": 0.0021,
"step": 1775
},
{
"epoch": 2.368,
"grad_norm": 13.766083717346191,
"learning_rate": 4.213333333333333e-06,
"loss": 0.2807,
"step": 1776
},
{
"epoch": 2.3693333333333335,
"grad_norm": 2.8081023693084717,
"learning_rate": 4.204444444444445e-06,
"loss": 0.006,
"step": 1777
},
{
"epoch": 2.3706666666666667,
"grad_norm": 0.07881367951631546,
"learning_rate": 4.195555555555556e-06,
"loss": 0.0017,
"step": 1778
},
{
"epoch": 2.372,
"grad_norm": 25.84630012512207,
"learning_rate": 4.1866666666666675e-06,
"loss": 0.3106,
"step": 1779
},
{
"epoch": 2.3733333333333335,
"grad_norm": 0.6771817803382874,
"learning_rate": 4.177777777777778e-06,
"loss": 0.0047,
"step": 1780
},
{
"epoch": 2.3746666666666667,
"grad_norm": 0.3041621148586273,
"learning_rate": 4.168888888888889e-06,
"loss": 0.0037,
"step": 1781
},
{
"epoch": 2.376,
"grad_norm": 0.6001505255699158,
"learning_rate": 4.16e-06,
"loss": 0.004,
"step": 1782
},
{
"epoch": 2.3773333333333335,
"grad_norm": 15.100465774536133,
"learning_rate": 4.151111111111111e-06,
"loss": 0.2807,
"step": 1783
},
{
"epoch": 2.3786666666666667,
"grad_norm": 35.132083892822266,
"learning_rate": 4.142222222222223e-06,
"loss": 0.0207,
"step": 1784
},
{
"epoch": 2.38,
"grad_norm": 14.706690788269043,
"learning_rate": 4.133333333333333e-06,
"loss": 0.4633,
"step": 1785
},
{
"epoch": 2.3813333333333335,
"grad_norm": 1.0115078687667847,
"learning_rate": 4.124444444444445e-06,
"loss": 0.0037,
"step": 1786
},
{
"epoch": 2.3826666666666667,
"grad_norm": 79.00011444091797,
"learning_rate": 4.115555555555556e-06,
"loss": 1.3766,
"step": 1787
},
{
"epoch": 2.384,
"grad_norm": 0.26745185256004333,
"learning_rate": 4.1066666666666674e-06,
"loss": 0.002,
"step": 1788
},
{
"epoch": 2.3853333333333335,
"grad_norm": 0.13350717723369598,
"learning_rate": 4.097777777777778e-06,
"loss": 0.0017,
"step": 1789
},
{
"epoch": 2.3866666666666667,
"grad_norm": 0.27764496207237244,
"learning_rate": 4.088888888888889e-06,
"loss": 0.0023,
"step": 1790
},
{
"epoch": 2.388,
"grad_norm": 1.4851418733596802,
"learning_rate": 4.08e-06,
"loss": 0.0088,
"step": 1791
},
{
"epoch": 2.389333333333333,
"grad_norm": 20.063617706298828,
"learning_rate": 4.071111111111111e-06,
"loss": 0.3042,
"step": 1792
},
{
"epoch": 2.3906666666666667,
"grad_norm": 0.1378372609615326,
"learning_rate": 4.062222222222223e-06,
"loss": 0.0016,
"step": 1793
},
{
"epoch": 2.392,
"grad_norm": 1.1105914115905762,
"learning_rate": 4.053333333333333e-06,
"loss": 0.0062,
"step": 1794
},
{
"epoch": 2.3933333333333335,
"grad_norm": 0.14371660351753235,
"learning_rate": 4.044444444444445e-06,
"loss": 0.0018,
"step": 1795
},
{
"epoch": 2.3946666666666667,
"grad_norm": 0.24174454808235168,
"learning_rate": 4.035555555555556e-06,
"loss": 0.0017,
"step": 1796
},
{
"epoch": 2.396,
"grad_norm": 11.915238380432129,
"learning_rate": 4.026666666666667e-06,
"loss": 0.4528,
"step": 1797
},
{
"epoch": 2.397333333333333,
"grad_norm": 0.3283282518386841,
"learning_rate": 4.017777777777778e-06,
"loss": 0.0028,
"step": 1798
},
{
"epoch": 2.3986666666666667,
"grad_norm": 7.035996437072754,
"learning_rate": 4.008888888888889e-06,
"loss": 0.005,
"step": 1799
},
{
"epoch": 2.4,
"grad_norm": 0.4672723710536957,
"learning_rate": 4.000000000000001e-06,
"loss": 0.0039,
"step": 1800
},
{
"epoch": 2.4013333333333335,
"grad_norm": 2.087583065032959,
"learning_rate": 3.991111111111112e-06,
"loss": 0.007,
"step": 1801
},
{
"epoch": 2.4026666666666667,
"grad_norm": 261.5857849121094,
"learning_rate": 3.982222222222223e-06,
"loss": 0.6829,
"step": 1802
},
{
"epoch": 2.404,
"grad_norm": 23.626340866088867,
"learning_rate": 3.973333333333333e-06,
"loss": 0.3477,
"step": 1803
},
{
"epoch": 2.405333333333333,
"grad_norm": 0.16109661757946014,
"learning_rate": 3.9644444444444445e-06,
"loss": 0.0019,
"step": 1804
},
{
"epoch": 2.4066666666666667,
"grad_norm": 0.4556334316730499,
"learning_rate": 3.955555555555556e-06,
"loss": 0.0045,
"step": 1805
},
{
"epoch": 2.408,
"grad_norm": 14.570972442626953,
"learning_rate": 3.946666666666667e-06,
"loss": 0.2835,
"step": 1806
},
{
"epoch": 2.4093333333333335,
"grad_norm": 0.09773216396570206,
"learning_rate": 3.937777777777778e-06,
"loss": 0.0019,
"step": 1807
},
{
"epoch": 2.4106666666666667,
"grad_norm": 0.24031034111976624,
"learning_rate": 3.928888888888889e-06,
"loss": 0.0033,
"step": 1808
},
{
"epoch": 2.412,
"grad_norm": 0.22704632580280304,
"learning_rate": 3.920000000000001e-06,
"loss": 0.0023,
"step": 1809
},
{
"epoch": 2.413333333333333,
"grad_norm": 0.1666945219039917,
"learning_rate": 3.911111111111112e-06,
"loss": 0.0024,
"step": 1810
},
{
"epoch": 2.4146666666666667,
"grad_norm": 0.1021055057644844,
"learning_rate": 3.9022222222222225e-06,
"loss": 0.0016,
"step": 1811
},
{
"epoch": 2.416,
"grad_norm": 0.9148178100585938,
"learning_rate": 3.893333333333333e-06,
"loss": 0.0025,
"step": 1812
},
{
"epoch": 2.4173333333333336,
"grad_norm": 16.268497467041016,
"learning_rate": 3.8844444444444444e-06,
"loss": 0.3959,
"step": 1813
},
{
"epoch": 2.4186666666666667,
"grad_norm": 0.13017144799232483,
"learning_rate": 3.875555555555556e-06,
"loss": 0.0018,
"step": 1814
},
{
"epoch": 2.42,
"grad_norm": 0.5480591058731079,
"learning_rate": 3.866666666666667e-06,
"loss": 0.0036,
"step": 1815
},
{
"epoch": 2.421333333333333,
"grad_norm": 0.5999335050582886,
"learning_rate": 3.857777777777778e-06,
"loss": 0.0025,
"step": 1816
},
{
"epoch": 2.4226666666666667,
"grad_norm": 0.21566931903362274,
"learning_rate": 3.848888888888889e-06,
"loss": 0.0022,
"step": 1817
},
{
"epoch": 2.424,
"grad_norm": 0.079446941614151,
"learning_rate": 3.8400000000000005e-06,
"loss": 0.0016,
"step": 1818
},
{
"epoch": 2.4253333333333336,
"grad_norm": 1.1842093467712402,
"learning_rate": 3.831111111111112e-06,
"loss": 0.0071,
"step": 1819
},
{
"epoch": 2.4266666666666667,
"grad_norm": 8.918035507202148,
"learning_rate": 3.8222222222222224e-06,
"loss": 0.2463,
"step": 1820
},
{
"epoch": 2.428,
"grad_norm": 0.16520477831363678,
"learning_rate": 3.813333333333334e-06,
"loss": 0.0018,
"step": 1821
},
{
"epoch": 2.429333333333333,
"grad_norm": 0.135543555021286,
"learning_rate": 3.8044444444444443e-06,
"loss": 0.0019,
"step": 1822
},
{
"epoch": 2.4306666666666668,
"grad_norm": 0.11920886486768723,
"learning_rate": 3.7955555555555557e-06,
"loss": 0.0014,
"step": 1823
},
{
"epoch": 2.432,
"grad_norm": 0.500735342502594,
"learning_rate": 3.7866666666666667e-06,
"loss": 0.0024,
"step": 1824
},
{
"epoch": 2.4333333333333336,
"grad_norm": 38.58439254760742,
"learning_rate": 3.777777777777778e-06,
"loss": 0.5065,
"step": 1825
},
{
"epoch": 2.4346666666666668,
"grad_norm": 11.654443740844727,
"learning_rate": 3.768888888888889e-06,
"loss": 0.5902,
"step": 1826
},
{
"epoch": 2.436,
"grad_norm": 0.2909482419490814,
"learning_rate": 3.7600000000000004e-06,
"loss": 0.0022,
"step": 1827
},
{
"epoch": 2.437333333333333,
"grad_norm": 0.6268947124481201,
"learning_rate": 3.7511111111111114e-06,
"loss": 0.0026,
"step": 1828
},
{
"epoch": 2.4386666666666668,
"grad_norm": 61.73165512084961,
"learning_rate": 3.7422222222222228e-06,
"loss": 0.4119,
"step": 1829
},
{
"epoch": 2.44,
"grad_norm": 34.5088005065918,
"learning_rate": 3.7333333333333337e-06,
"loss": 0.7792,
"step": 1830
},
{
"epoch": 2.4413333333333336,
"grad_norm": 118.99336242675781,
"learning_rate": 3.724444444444445e-06,
"loss": 0.2102,
"step": 1831
},
{
"epoch": 2.4426666666666668,
"grad_norm": 281.47149658203125,
"learning_rate": 3.7155555555555557e-06,
"loss": 0.1893,
"step": 1832
},
{
"epoch": 2.444,
"grad_norm": 0.1345098465681076,
"learning_rate": 3.7066666666666666e-06,
"loss": 0.0016,
"step": 1833
},
{
"epoch": 2.445333333333333,
"grad_norm": 0.05043111369013786,
"learning_rate": 3.697777777777778e-06,
"loss": 0.0012,
"step": 1834
},
{
"epoch": 2.4466666666666668,
"grad_norm": 0.11246661841869354,
"learning_rate": 3.688888888888889e-06,
"loss": 0.0014,
"step": 1835
},
{
"epoch": 2.448,
"grad_norm": 0.2934724986553192,
"learning_rate": 3.6800000000000003e-06,
"loss": 0.002,
"step": 1836
},
{
"epoch": 2.449333333333333,
"grad_norm": 0.12061769515275955,
"learning_rate": 3.6711111111111113e-06,
"loss": 0.0015,
"step": 1837
},
{
"epoch": 2.4506666666666668,
"grad_norm": 0.7441300749778748,
"learning_rate": 3.6622222222222227e-06,
"loss": 0.0038,
"step": 1838
},
{
"epoch": 2.452,
"grad_norm": 0.05050649121403694,
"learning_rate": 3.6533333333333336e-06,
"loss": 0.0012,
"step": 1839
},
{
"epoch": 2.453333333333333,
"grad_norm": 15.747929573059082,
"learning_rate": 3.644444444444445e-06,
"loss": 0.2922,
"step": 1840
},
{
"epoch": 2.4546666666666668,
"grad_norm": 0.06085015833377838,
"learning_rate": 3.635555555555556e-06,
"loss": 0.0012,
"step": 1841
},
{
"epoch": 2.456,
"grad_norm": 0.07116006314754486,
"learning_rate": 3.6266666666666674e-06,
"loss": 0.0012,
"step": 1842
},
{
"epoch": 2.457333333333333,
"grad_norm": 0.28556379675865173,
"learning_rate": 3.617777777777778e-06,
"loss": 0.002,
"step": 1843
},
{
"epoch": 2.458666666666667,
"grad_norm": 0.07031106948852539,
"learning_rate": 3.608888888888889e-06,
"loss": 0.0013,
"step": 1844
},
{
"epoch": 2.46,
"grad_norm": 0.06889360398054123,
"learning_rate": 3.6000000000000003e-06,
"loss": 0.001,
"step": 1845
},
{
"epoch": 2.461333333333333,
"grad_norm": 18.1779842376709,
"learning_rate": 3.5911111111111112e-06,
"loss": 0.5432,
"step": 1846
},
{
"epoch": 2.462666666666667,
"grad_norm": 0.1210639700293541,
"learning_rate": 3.5822222222222226e-06,
"loss": 0.0016,
"step": 1847
},
{
"epoch": 2.464,
"grad_norm": 0.27117788791656494,
"learning_rate": 3.5733333333333336e-06,
"loss": 0.002,
"step": 1848
},
{
"epoch": 2.465333333333333,
"grad_norm": 0.3998074233531952,
"learning_rate": 3.564444444444445e-06,
"loss": 0.0025,
"step": 1849
},
{
"epoch": 2.466666666666667,
"grad_norm": 1.1676098108291626,
"learning_rate": 3.555555555555556e-06,
"loss": 0.0037,
"step": 1850
},
{
"epoch": 2.468,
"grad_norm": 3.256704330444336,
"learning_rate": 3.5466666666666673e-06,
"loss": 0.011,
"step": 1851
},
{
"epoch": 2.469333333333333,
"grad_norm": 0.16429099440574646,
"learning_rate": 3.5377777777777783e-06,
"loss": 0.0012,
"step": 1852
},
{
"epoch": 2.470666666666667,
"grad_norm": 0.046634260565042496,
"learning_rate": 3.528888888888889e-06,
"loss": 0.0011,
"step": 1853
},
{
"epoch": 2.472,
"grad_norm": 0.04154046252369881,
"learning_rate": 3.52e-06,
"loss": 0.001,
"step": 1854
},
{
"epoch": 2.473333333333333,
"grad_norm": 0.18796555697917938,
"learning_rate": 3.511111111111111e-06,
"loss": 0.0018,
"step": 1855
},
{
"epoch": 2.474666666666667,
"grad_norm": 71.94242095947266,
"learning_rate": 3.5022222222222225e-06,
"loss": 1.006,
"step": 1856
},
{
"epoch": 2.476,
"grad_norm": 0.05480223894119263,
"learning_rate": 3.4933333333333335e-06,
"loss": 0.001,
"step": 1857
},
{
"epoch": 2.477333333333333,
"grad_norm": 0.0844646766781807,
"learning_rate": 3.484444444444445e-06,
"loss": 0.0012,
"step": 1858
},
{
"epoch": 2.478666666666667,
"grad_norm": 0.030540289357304573,
"learning_rate": 3.475555555555556e-06,
"loss": 0.0008,
"step": 1859
},
{
"epoch": 2.48,
"grad_norm": 27.8427677154541,
"learning_rate": 3.4666666666666672e-06,
"loss": 0.4181,
"step": 1860
},
{
"epoch": 2.481333333333333,
"grad_norm": 0.09119343012571335,
"learning_rate": 3.457777777777778e-06,
"loss": 0.0012,
"step": 1861
},
{
"epoch": 2.482666666666667,
"grad_norm": 0.8133105039596558,
"learning_rate": 3.4488888888888896e-06,
"loss": 0.0031,
"step": 1862
},
{
"epoch": 2.484,
"grad_norm": 1.240777850151062,
"learning_rate": 3.44e-06,
"loss": 0.0027,
"step": 1863
},
{
"epoch": 2.485333333333333,
"grad_norm": 0.08648381382226944,
"learning_rate": 3.431111111111111e-06,
"loss": 0.0012,
"step": 1864
},
{
"epoch": 2.486666666666667,
"grad_norm": 0.06137321516871452,
"learning_rate": 3.4222222222222224e-06,
"loss": 0.0011,
"step": 1865
},
{
"epoch": 2.488,
"grad_norm": 0.06851860135793686,
"learning_rate": 3.4133333333333334e-06,
"loss": 0.0009,
"step": 1866
},
{
"epoch": 2.489333333333333,
"grad_norm": 0.032066989690065384,
"learning_rate": 3.404444444444445e-06,
"loss": 0.0009,
"step": 1867
},
{
"epoch": 2.490666666666667,
"grad_norm": 0.05578630417585373,
"learning_rate": 3.3955555555555558e-06,
"loss": 0.0009,
"step": 1868
},
{
"epoch": 2.492,
"grad_norm": 1.1876713037490845,
"learning_rate": 3.386666666666667e-06,
"loss": 0.0031,
"step": 1869
},
{
"epoch": 2.493333333333333,
"grad_norm": 0.4410512149333954,
"learning_rate": 3.377777777777778e-06,
"loss": 0.0019,
"step": 1870
},
{
"epoch": 2.494666666666667,
"grad_norm": 0.14445507526397705,
"learning_rate": 3.3688888888888895e-06,
"loss": 0.0013,
"step": 1871
},
{
"epoch": 2.496,
"grad_norm": 0.04805548116564751,
"learning_rate": 3.3600000000000004e-06,
"loss": 0.001,
"step": 1872
},
{
"epoch": 2.497333333333333,
"grad_norm": 12.59831714630127,
"learning_rate": 3.351111111111112e-06,
"loss": 0.4106,
"step": 1873
},
{
"epoch": 2.498666666666667,
"grad_norm": 0.07521210610866547,
"learning_rate": 3.3422222222222224e-06,
"loss": 0.0011,
"step": 1874
},
{
"epoch": 2.5,
"grad_norm": 0.07571124285459518,
"learning_rate": 3.3333333333333333e-06,
"loss": 0.0012,
"step": 1875
},
{
"epoch": 2.501333333333333,
"grad_norm": 20.84877586364746,
"learning_rate": 3.3244444444444447e-06,
"loss": 0.3988,
"step": 1876
},
{
"epoch": 2.502666666666667,
"grad_norm": 0.1732233613729477,
"learning_rate": 3.3155555555555557e-06,
"loss": 0.0015,
"step": 1877
},
{
"epoch": 2.504,
"grad_norm": 26.7326717376709,
"learning_rate": 3.306666666666667e-06,
"loss": 0.3458,
"step": 1878
},
{
"epoch": 2.505333333333333,
"grad_norm": 0.3162992596626282,
"learning_rate": 3.297777777777778e-06,
"loss": 0.0018,
"step": 1879
},
{
"epoch": 2.506666666666667,
"grad_norm": 0.341617614030838,
"learning_rate": 3.2888888888888894e-06,
"loss": 0.0013,
"step": 1880
},
{
"epoch": 2.508,
"grad_norm": 19.426013946533203,
"learning_rate": 3.2800000000000004e-06,
"loss": 0.4564,
"step": 1881
},
{
"epoch": 2.509333333333333,
"grad_norm": 57.20158386230469,
"learning_rate": 3.2711111111111117e-06,
"loss": 0.4263,
"step": 1882
},
{
"epoch": 2.510666666666667,
"grad_norm": 0.05310586467385292,
"learning_rate": 3.2622222222222227e-06,
"loss": 0.001,
"step": 1883
},
{
"epoch": 2.512,
"grad_norm": 0.028105348348617554,
"learning_rate": 3.2533333333333332e-06,
"loss": 0.0008,
"step": 1884
},
{
"epoch": 2.513333333333333,
"grad_norm": 0.24613632261753082,
"learning_rate": 3.2444444444444446e-06,
"loss": 0.001,
"step": 1885
},
{
"epoch": 2.514666666666667,
"grad_norm": 0.34241244196891785,
"learning_rate": 3.2355555555555556e-06,
"loss": 0.0017,
"step": 1886
},
{
"epoch": 2.516,
"grad_norm": 0.481516033411026,
"learning_rate": 3.226666666666667e-06,
"loss": 0.0026,
"step": 1887
},
{
"epoch": 2.517333333333333,
"grad_norm": 35.64033889770508,
"learning_rate": 3.217777777777778e-06,
"loss": 0.0072,
"step": 1888
},
{
"epoch": 2.518666666666667,
"grad_norm": 32.972904205322266,
"learning_rate": 3.2088888888888893e-06,
"loss": 0.29,
"step": 1889
},
{
"epoch": 2.52,
"grad_norm": 0.2047206610441208,
"learning_rate": 3.2000000000000003e-06,
"loss": 0.0012,
"step": 1890
},
{
"epoch": 2.521333333333333,
"grad_norm": 11.660191535949707,
"learning_rate": 3.1911111111111117e-06,
"loss": 0.5633,
"step": 1891
},
{
"epoch": 2.522666666666667,
"grad_norm": 0.08394560217857361,
"learning_rate": 3.1822222222222226e-06,
"loss": 0.001,
"step": 1892
},
{
"epoch": 2.524,
"grad_norm": 188.54885864257812,
"learning_rate": 3.173333333333334e-06,
"loss": 0.0795,
"step": 1893
},
{
"epoch": 2.525333333333333,
"grad_norm": 69.96046447753906,
"learning_rate": 3.1644444444444445e-06,
"loss": 0.8155,
"step": 1894
},
{
"epoch": 2.5266666666666664,
"grad_norm": 0.04257004335522652,
"learning_rate": 3.1555555555555555e-06,
"loss": 0.0009,
"step": 1895
},
{
"epoch": 2.528,
"grad_norm": 0.10323705524206161,
"learning_rate": 3.146666666666667e-06,
"loss": 0.0013,
"step": 1896
},
{
"epoch": 2.529333333333333,
"grad_norm": 0.05758040025830269,
"learning_rate": 3.137777777777778e-06,
"loss": 0.0009,
"step": 1897
},
{
"epoch": 2.530666666666667,
"grad_norm": 0.21205760538578033,
"learning_rate": 3.1288888888888892e-06,
"loss": 0.0014,
"step": 1898
},
{
"epoch": 2.532,
"grad_norm": 0.19255536794662476,
"learning_rate": 3.12e-06,
"loss": 0.001,
"step": 1899
},
{
"epoch": 2.533333333333333,
"grad_norm": 20.38950538635254,
"learning_rate": 3.1111111111111116e-06,
"loss": 0.3408,
"step": 1900
},
{
"epoch": 2.5346666666666664,
"grad_norm": 34.56321334838867,
"learning_rate": 3.1022222222222225e-06,
"loss": 0.4352,
"step": 1901
},
{
"epoch": 2.536,
"grad_norm": 39.32768249511719,
"learning_rate": 3.093333333333334e-06,
"loss": 0.0123,
"step": 1902
},
{
"epoch": 2.537333333333333,
"grad_norm": 0.059501923620700836,
"learning_rate": 3.084444444444445e-06,
"loss": 0.0009,
"step": 1903
},
{
"epoch": 2.538666666666667,
"grad_norm": 0.10156462341547012,
"learning_rate": 3.0755555555555563e-06,
"loss": 0.001,
"step": 1904
},
{
"epoch": 2.54,
"grad_norm": 1.8126550912857056,
"learning_rate": 3.066666666666667e-06,
"loss": 0.005,
"step": 1905
},
{
"epoch": 2.541333333333333,
"grad_norm": 0.12126785516738892,
"learning_rate": 3.0577777777777778e-06,
"loss": 0.0014,
"step": 1906
},
{
"epoch": 2.5426666666666664,
"grad_norm": 0.04743368178606033,
"learning_rate": 3.048888888888889e-06,
"loss": 0.0009,
"step": 1907
},
{
"epoch": 2.544,
"grad_norm": 75.5179443359375,
"learning_rate": 3.04e-06,
"loss": 0.772,
"step": 1908
},
{
"epoch": 2.5453333333333332,
"grad_norm": 0.034393638372421265,
"learning_rate": 3.0311111111111115e-06,
"loss": 0.0008,
"step": 1909
},
{
"epoch": 2.546666666666667,
"grad_norm": 21.89259910583496,
"learning_rate": 3.0222222222222225e-06,
"loss": 0.3417,
"step": 1910
},
{
"epoch": 2.548,
"grad_norm": 0.153248131275177,
"learning_rate": 3.013333333333334e-06,
"loss": 0.0012,
"step": 1911
},
{
"epoch": 2.5493333333333332,
"grad_norm": 2.940093517303467,
"learning_rate": 3.004444444444445e-06,
"loss": 0.0084,
"step": 1912
},
{
"epoch": 2.5506666666666664,
"grad_norm": 0.28845974802970886,
"learning_rate": 2.995555555555556e-06,
"loss": 0.0016,
"step": 1913
},
{
"epoch": 2.552,
"grad_norm": 0.04893907904624939,
"learning_rate": 2.986666666666667e-06,
"loss": 0.0009,
"step": 1914
},
{
"epoch": 2.5533333333333332,
"grad_norm": 3.474252223968506,
"learning_rate": 2.9777777777777777e-06,
"loss": 0.0075,
"step": 1915
},
{
"epoch": 2.554666666666667,
"grad_norm": 0.025650450959801674,
"learning_rate": 2.968888888888889e-06,
"loss": 0.0007,
"step": 1916
},
{
"epoch": 2.556,
"grad_norm": 0.2150852233171463,
"learning_rate": 2.96e-06,
"loss": 0.0016,
"step": 1917
},
{
"epoch": 2.5573333333333332,
"grad_norm": 1.3638215065002441,
"learning_rate": 2.9511111111111114e-06,
"loss": 0.002,
"step": 1918
},
{
"epoch": 2.5586666666666664,
"grad_norm": 31.07931900024414,
"learning_rate": 2.9422222222222224e-06,
"loss": 0.2902,
"step": 1919
},
{
"epoch": 2.56,
"grad_norm": 16.93108367919922,
"learning_rate": 2.9333333333333338e-06,
"loss": 0.3169,
"step": 1920
},
{
"epoch": 2.5613333333333332,
"grad_norm": 0.02582014538347721,
"learning_rate": 2.9244444444444447e-06,
"loss": 0.0007,
"step": 1921
},
{
"epoch": 2.562666666666667,
"grad_norm": 0.07840945571660995,
"learning_rate": 2.915555555555556e-06,
"loss": 0.0015,
"step": 1922
},
{
"epoch": 2.564,
"grad_norm": 112.54307556152344,
"learning_rate": 2.906666666666667e-06,
"loss": 0.2615,
"step": 1923
},
{
"epoch": 2.5653333333333332,
"grad_norm": 34.196533203125,
"learning_rate": 2.8977777777777785e-06,
"loss": 0.271,
"step": 1924
},
{
"epoch": 2.5666666666666664,
"grad_norm": 10.024101257324219,
"learning_rate": 2.888888888888889e-06,
"loss": 0.3461,
"step": 1925
},
{
"epoch": 2.568,
"grad_norm": 0.3223095238208771,
"learning_rate": 2.88e-06,
"loss": 0.0023,
"step": 1926
},
{
"epoch": 2.5693333333333332,
"grad_norm": 0.104983851313591,
"learning_rate": 2.8711111111111113e-06,
"loss": 0.0011,
"step": 1927
},
{
"epoch": 2.570666666666667,
"grad_norm": 0.4875829517841339,
"learning_rate": 2.8622222222222223e-06,
"loss": 0.0027,
"step": 1928
},
{
"epoch": 2.572,
"grad_norm": 0.09309233725070953,
"learning_rate": 2.8533333333333337e-06,
"loss": 0.0013,
"step": 1929
},
{
"epoch": 2.5733333333333333,
"grad_norm": 32.31616973876953,
"learning_rate": 2.8444444444444446e-06,
"loss": 0.0096,
"step": 1930
},
{
"epoch": 2.5746666666666664,
"grad_norm": 67.84366607666016,
"learning_rate": 2.835555555555556e-06,
"loss": 0.3107,
"step": 1931
},
{
"epoch": 2.576,
"grad_norm": 25.00774574279785,
"learning_rate": 2.826666666666667e-06,
"loss": 0.0171,
"step": 1932
},
{
"epoch": 2.5773333333333333,
"grad_norm": 0.0333235040307045,
"learning_rate": 2.8177777777777784e-06,
"loss": 0.0007,
"step": 1933
},
{
"epoch": 2.578666666666667,
"grad_norm": 34.50929641723633,
"learning_rate": 2.8088888888888893e-06,
"loss": 0.5174,
"step": 1934
},
{
"epoch": 2.58,
"grad_norm": 0.022948896512389183,
"learning_rate": 2.8000000000000003e-06,
"loss": 0.0007,
"step": 1935
},
{
"epoch": 2.5813333333333333,
"grad_norm": 136.189697265625,
"learning_rate": 2.7911111111111113e-06,
"loss": 0.0782,
"step": 1936
},
{
"epoch": 2.5826666666666664,
"grad_norm": 41.08842468261719,
"learning_rate": 2.7822222222222222e-06,
"loss": 0.5703,
"step": 1937
},
{
"epoch": 2.584,
"grad_norm": 0.22432826459407806,
"learning_rate": 2.7733333333333336e-06,
"loss": 0.0011,
"step": 1938
},
{
"epoch": 2.5853333333333333,
"grad_norm": 0.09551971405744553,
"learning_rate": 2.7644444444444446e-06,
"loss": 0.0008,
"step": 1939
},
{
"epoch": 2.586666666666667,
"grad_norm": 0.15356896817684174,
"learning_rate": 2.755555555555556e-06,
"loss": 0.0013,
"step": 1940
},
{
"epoch": 2.588,
"grad_norm": 26.599992752075195,
"learning_rate": 2.746666666666667e-06,
"loss": 0.5158,
"step": 1941
},
{
"epoch": 2.5893333333333333,
"grad_norm": 0.5443595051765442,
"learning_rate": 2.7377777777777783e-06,
"loss": 0.0029,
"step": 1942
},
{
"epoch": 2.5906666666666665,
"grad_norm": 0.18643257021903992,
"learning_rate": 2.7288888888888893e-06,
"loss": 0.0011,
"step": 1943
},
{
"epoch": 2.592,
"grad_norm": 0.9232782125473022,
"learning_rate": 2.7200000000000002e-06,
"loss": 0.0054,
"step": 1944
},
{
"epoch": 2.5933333333333333,
"grad_norm": 0.04381855949759483,
"learning_rate": 2.7111111111111116e-06,
"loss": 0.0008,
"step": 1945
},
{
"epoch": 2.594666666666667,
"grad_norm": 0.5463845729827881,
"learning_rate": 2.702222222222222e-06,
"loss": 0.0023,
"step": 1946
},
{
"epoch": 2.596,
"grad_norm": 0.9881284832954407,
"learning_rate": 2.6933333333333335e-06,
"loss": 0.0034,
"step": 1947
},
{
"epoch": 2.5973333333333333,
"grad_norm": 0.9847744703292847,
"learning_rate": 2.6844444444444445e-06,
"loss": 0.0077,
"step": 1948
},
{
"epoch": 2.5986666666666665,
"grad_norm": 0.5903966426849365,
"learning_rate": 2.675555555555556e-06,
"loss": 0.0027,
"step": 1949
},
{
"epoch": 2.6,
"grad_norm": 0.7382383942604065,
"learning_rate": 2.666666666666667e-06,
"loss": 0.0033,
"step": 1950
},
{
"epoch": 2.6013333333333333,
"grad_norm": 0.36228543519973755,
"learning_rate": 2.6577777777777782e-06,
"loss": 0.0018,
"step": 1951
},
{
"epoch": 2.602666666666667,
"grad_norm": 0.060839567333459854,
"learning_rate": 2.648888888888889e-06,
"loss": 0.0009,
"step": 1952
},
{
"epoch": 2.604,
"grad_norm": 0.6796699166297913,
"learning_rate": 2.64e-06,
"loss": 0.0035,
"step": 1953
},
{
"epoch": 2.6053333333333333,
"grad_norm": 424.1743469238281,
"learning_rate": 2.6311111111111115e-06,
"loss": 0.3576,
"step": 1954
},
{
"epoch": 2.6066666666666665,
"grad_norm": 0.02400687150657177,
"learning_rate": 2.6222222222222225e-06,
"loss": 0.0007,
"step": 1955
},
{
"epoch": 2.608,
"grad_norm": 0.6305756568908691,
"learning_rate": 2.6133333333333334e-06,
"loss": 0.0023,
"step": 1956
},
{
"epoch": 2.6093333333333333,
"grad_norm": 0.025760751217603683,
"learning_rate": 2.6044444444444444e-06,
"loss": 0.0006,
"step": 1957
},
{
"epoch": 2.610666666666667,
"grad_norm": 17.88193702697754,
"learning_rate": 2.5955555555555558e-06,
"loss": 0.4505,
"step": 1958
},
{
"epoch": 2.612,
"grad_norm": 0.09291265159845352,
"learning_rate": 2.5866666666666667e-06,
"loss": 0.0008,
"step": 1959
},
{
"epoch": 2.6133333333333333,
"grad_norm": 31.135175704956055,
"learning_rate": 2.577777777777778e-06,
"loss": 0.3335,
"step": 1960
},
{
"epoch": 2.6146666666666665,
"grad_norm": 0.06482958048582077,
"learning_rate": 2.568888888888889e-06,
"loss": 0.0008,
"step": 1961
},
{
"epoch": 2.616,
"grad_norm": 0.053908973932266235,
"learning_rate": 2.56e-06,
"loss": 0.0007,
"step": 1962
},
{
"epoch": 2.6173333333333333,
"grad_norm": 0.02258874848484993,
"learning_rate": 2.5511111111111114e-06,
"loss": 0.0006,
"step": 1963
},
{
"epoch": 2.618666666666667,
"grad_norm": 0.027003491297364235,
"learning_rate": 2.5422222222222224e-06,
"loss": 0.0007,
"step": 1964
},
{
"epoch": 2.62,
"grad_norm": 0.039257701486349106,
"learning_rate": 2.5333333333333338e-06,
"loss": 0.0008,
"step": 1965
},
{
"epoch": 2.6213333333333333,
"grad_norm": 14.575213432312012,
"learning_rate": 2.5244444444444447e-06,
"loss": 0.2691,
"step": 1966
},
{
"epoch": 2.6226666666666665,
"grad_norm": 0.18351159989833832,
"learning_rate": 2.5155555555555557e-06,
"loss": 0.0012,
"step": 1967
},
{
"epoch": 2.624,
"grad_norm": 1.0482378005981445,
"learning_rate": 2.5066666666666667e-06,
"loss": 0.0019,
"step": 1968
},
{
"epoch": 2.6253333333333333,
"grad_norm": 29.334129333496094,
"learning_rate": 2.497777777777778e-06,
"loss": 0.8346,
"step": 1969
},
{
"epoch": 2.626666666666667,
"grad_norm": 20.156723022460938,
"learning_rate": 2.488888888888889e-06,
"loss": 0.4492,
"step": 1970
},
{
"epoch": 2.628,
"grad_norm": 15.501256942749023,
"learning_rate": 2.4800000000000004e-06,
"loss": 0.5558,
"step": 1971
},
{
"epoch": 2.6293333333333333,
"grad_norm": 0.10395969450473785,
"learning_rate": 2.4711111111111114e-06,
"loss": 0.0014,
"step": 1972
},
{
"epoch": 2.6306666666666665,
"grad_norm": 0.13458843529224396,
"learning_rate": 2.4622222222222223e-06,
"loss": 0.0015,
"step": 1973
},
{
"epoch": 2.632,
"grad_norm": 0.06129691004753113,
"learning_rate": 2.4533333333333333e-06,
"loss": 0.0009,
"step": 1974
},
{
"epoch": 2.6333333333333333,
"grad_norm": 5.975092887878418,
"learning_rate": 2.4444444444444447e-06,
"loss": 0.5752,
"step": 1975
},
{
"epoch": 2.634666666666667,
"grad_norm": 0.09973961114883423,
"learning_rate": 2.4355555555555556e-06,
"loss": 0.0011,
"step": 1976
},
{
"epoch": 2.636,
"grad_norm": 18.45016098022461,
"learning_rate": 2.426666666666667e-06,
"loss": 0.2972,
"step": 1977
},
{
"epoch": 2.6373333333333333,
"grad_norm": 26.60733413696289,
"learning_rate": 2.417777777777778e-06,
"loss": 0.2778,
"step": 1978
},
{
"epoch": 2.6386666666666665,
"grad_norm": 19.36882209777832,
"learning_rate": 2.4088888888888894e-06,
"loss": 0.3741,
"step": 1979
},
{
"epoch": 2.64,
"grad_norm": 0.9165293574333191,
"learning_rate": 2.4000000000000003e-06,
"loss": 0.0032,
"step": 1980
},
{
"epoch": 2.6413333333333333,
"grad_norm": 5.486056327819824,
"learning_rate": 2.3911111111111113e-06,
"loss": 0.0042,
"step": 1981
},
{
"epoch": 2.642666666666667,
"grad_norm": 0.09699372202157974,
"learning_rate": 2.3822222222222222e-06,
"loss": 0.0011,
"step": 1982
},
{
"epoch": 2.644,
"grad_norm": 28.31745147705078,
"learning_rate": 2.3733333333333336e-06,
"loss": 0.473,
"step": 1983
},
{
"epoch": 2.6453333333333333,
"grad_norm": 0.6403010487556458,
"learning_rate": 2.3644444444444446e-06,
"loss": 0.0033,
"step": 1984
},
{
"epoch": 2.6466666666666665,
"grad_norm": 1.6117019653320312,
"learning_rate": 2.3555555555555555e-06,
"loss": 0.0025,
"step": 1985
},
{
"epoch": 2.648,
"grad_norm": 0.029221735894680023,
"learning_rate": 2.346666666666667e-06,
"loss": 0.0007,
"step": 1986
},
{
"epoch": 2.6493333333333333,
"grad_norm": 0.4620104730129242,
"learning_rate": 2.337777777777778e-06,
"loss": 0.0023,
"step": 1987
},
{
"epoch": 2.6506666666666665,
"grad_norm": 0.0566440112888813,
"learning_rate": 2.3288888888888893e-06,
"loss": 0.0009,
"step": 1988
},
{
"epoch": 2.652,
"grad_norm": 1.1022495031356812,
"learning_rate": 2.3200000000000002e-06,
"loss": 0.0068,
"step": 1989
},
{
"epoch": 2.6533333333333333,
"grad_norm": 0.04288827255368233,
"learning_rate": 2.311111111111111e-06,
"loss": 0.0009,
"step": 1990
},
{
"epoch": 2.6546666666666665,
"grad_norm": 0.46654799580574036,
"learning_rate": 2.302222222222222e-06,
"loss": 0.0036,
"step": 1991
},
{
"epoch": 2.656,
"grad_norm": 0.02351350523531437,
"learning_rate": 2.2933333333333335e-06,
"loss": 0.0007,
"step": 1992
},
{
"epoch": 2.6573333333333333,
"grad_norm": 46.04145431518555,
"learning_rate": 2.2844444444444445e-06,
"loss": 0.6385,
"step": 1993
},
{
"epoch": 2.6586666666666665,
"grad_norm": 0.12542672455310822,
"learning_rate": 2.275555555555556e-06,
"loss": 0.0013,
"step": 1994
},
{
"epoch": 2.66,
"grad_norm": 25.120500564575195,
"learning_rate": 2.266666666666667e-06,
"loss": 0.4634,
"step": 1995
},
{
"epoch": 2.6613333333333333,
"grad_norm": 55.31260681152344,
"learning_rate": 2.257777777777778e-06,
"loss": 0.9945,
"step": 1996
},
{
"epoch": 2.6626666666666665,
"grad_norm": 0.03322829306125641,
"learning_rate": 2.248888888888889e-06,
"loss": 0.0007,
"step": 1997
},
{
"epoch": 2.664,
"grad_norm": 0.0417759083211422,
"learning_rate": 2.24e-06,
"loss": 0.0008,
"step": 1998
},
{
"epoch": 2.6653333333333333,
"grad_norm": 22.63526153564453,
"learning_rate": 2.2311111111111115e-06,
"loss": 0.2392,
"step": 1999
},
{
"epoch": 2.6666666666666665,
"grad_norm": 0.2919301390647888,
"learning_rate": 2.222222222222222e-06,
"loss": 0.0017,
"step": 2000
},
{
"epoch": 2.668,
"grad_norm": 0.13257953524589539,
"learning_rate": 2.2133333333333335e-06,
"loss": 0.001,
"step": 2001
},
{
"epoch": 2.6693333333333333,
"grad_norm": 38.166900634765625,
"learning_rate": 2.2044444444444444e-06,
"loss": 0.354,
"step": 2002
},
{
"epoch": 2.6706666666666665,
"grad_norm": 11.797659873962402,
"learning_rate": 2.195555555555556e-06,
"loss": 0.389,
"step": 2003
},
{
"epoch": 2.672,
"grad_norm": 0.4397049844264984,
"learning_rate": 2.1866666666666668e-06,
"loss": 0.001,
"step": 2004
},
{
"epoch": 2.6733333333333333,
"grad_norm": 0.030015433207154274,
"learning_rate": 2.1777777777777777e-06,
"loss": 0.0007,
"step": 2005
},
{
"epoch": 2.6746666666666665,
"grad_norm": 0.13738328218460083,
"learning_rate": 2.168888888888889e-06,
"loss": 0.0012,
"step": 2006
},
{
"epoch": 2.676,
"grad_norm": 4.352254867553711,
"learning_rate": 2.16e-06,
"loss": 0.0021,
"step": 2007
},
{
"epoch": 2.6773333333333333,
"grad_norm": 0.12398606538772583,
"learning_rate": 2.1511111111111115e-06,
"loss": 0.0018,
"step": 2008
},
{
"epoch": 2.6786666666666665,
"grad_norm": 40.99763488769531,
"learning_rate": 2.1422222222222224e-06,
"loss": 0.2503,
"step": 2009
},
{
"epoch": 2.68,
"grad_norm": 0.03639939799904823,
"learning_rate": 2.133333333333334e-06,
"loss": 0.0007,
"step": 2010
},
{
"epoch": 2.6813333333333333,
"grad_norm": 25.015949249267578,
"learning_rate": 2.1244444444444443e-06,
"loss": 0.2445,
"step": 2011
},
{
"epoch": 2.6826666666666665,
"grad_norm": 0.7161546945571899,
"learning_rate": 2.1155555555555557e-06,
"loss": 0.0077,
"step": 2012
},
{
"epoch": 2.684,
"grad_norm": 0.27509018778800964,
"learning_rate": 2.1066666666666667e-06,
"loss": 0.0023,
"step": 2013
},
{
"epoch": 2.6853333333333333,
"grad_norm": 0.14953340590000153,
"learning_rate": 2.097777777777778e-06,
"loss": 0.0015,
"step": 2014
},
{
"epoch": 2.6866666666666665,
"grad_norm": 0.28206920623779297,
"learning_rate": 2.088888888888889e-06,
"loss": 0.0016,
"step": 2015
},
{
"epoch": 2.6879999999999997,
"grad_norm": 382.7881164550781,
"learning_rate": 2.08e-06,
"loss": 0.1096,
"step": 2016
},
{
"epoch": 2.6893333333333334,
"grad_norm": 30.90070915222168,
"learning_rate": 2.0711111111111114e-06,
"loss": 0.5831,
"step": 2017
},
{
"epoch": 2.6906666666666665,
"grad_norm": 0.022061694413423538,
"learning_rate": 2.0622222222222223e-06,
"loss": 0.0006,
"step": 2018
},
{
"epoch": 2.692,
"grad_norm": 1.0313507318496704,
"learning_rate": 2.0533333333333337e-06,
"loss": 0.0037,
"step": 2019
},
{
"epoch": 2.6933333333333334,
"grad_norm": 43.44009780883789,
"learning_rate": 2.0444444444444447e-06,
"loss": 0.9753,
"step": 2020
},
{
"epoch": 2.6946666666666665,
"grad_norm": 0.4641821086406708,
"learning_rate": 2.0355555555555556e-06,
"loss": 0.0021,
"step": 2021
},
{
"epoch": 2.6959999999999997,
"grad_norm": 16.9248046875,
"learning_rate": 2.0266666666666666e-06,
"loss": 0.5568,
"step": 2022
},
{
"epoch": 2.6973333333333334,
"grad_norm": 8.426371574401855,
"learning_rate": 2.017777777777778e-06,
"loss": 0.3587,
"step": 2023
},
{
"epoch": 2.6986666666666665,
"grad_norm": 0.26970112323760986,
"learning_rate": 2.008888888888889e-06,
"loss": 0.0018,
"step": 2024
},
{
"epoch": 2.7,
"grad_norm": 0.5243261456489563,
"learning_rate": 2.0000000000000003e-06,
"loss": 0.0022,
"step": 2025
},
{
"epoch": 2.7013333333333334,
"grad_norm": 1.0222141742706299,
"learning_rate": 1.9911111111111113e-06,
"loss": 0.005,
"step": 2026
},
{
"epoch": 2.7026666666666666,
"grad_norm": 19.83625602722168,
"learning_rate": 1.9822222222222223e-06,
"loss": 0.3928,
"step": 2027
},
{
"epoch": 2.7039999999999997,
"grad_norm": 0.1495722085237503,
"learning_rate": 1.9733333333333336e-06,
"loss": 0.0012,
"step": 2028
},
{
"epoch": 2.7053333333333334,
"grad_norm": 33.6377067565918,
"learning_rate": 1.9644444444444446e-06,
"loss": 0.4652,
"step": 2029
},
{
"epoch": 2.7066666666666666,
"grad_norm": 0.46278393268585205,
"learning_rate": 1.955555555555556e-06,
"loss": 0.0031,
"step": 2030
},
{
"epoch": 2.708,
"grad_norm": 337.54052734375,
"learning_rate": 1.9466666666666665e-06,
"loss": 0.1336,
"step": 2031
},
{
"epoch": 2.7093333333333334,
"grad_norm": 212.52066040039062,
"learning_rate": 1.937777777777778e-06,
"loss": 0.5964,
"step": 2032
},
{
"epoch": 2.7106666666666666,
"grad_norm": 0.7604288458824158,
"learning_rate": 1.928888888888889e-06,
"loss": 0.0047,
"step": 2033
},
{
"epoch": 2.7119999999999997,
"grad_norm": 15.303359031677246,
"learning_rate": 1.9200000000000003e-06,
"loss": 0.3389,
"step": 2034
},
{
"epoch": 2.7133333333333334,
"grad_norm": 0.8628003001213074,
"learning_rate": 1.9111111111111112e-06,
"loss": 0.0044,
"step": 2035
},
{
"epoch": 2.7146666666666666,
"grad_norm": 8.059155464172363,
"learning_rate": 1.9022222222222222e-06,
"loss": 0.0042,
"step": 2036
},
{
"epoch": 2.716,
"grad_norm": 44.99285125732422,
"learning_rate": 1.8933333333333333e-06,
"loss": 0.261,
"step": 2037
},
{
"epoch": 2.7173333333333334,
"grad_norm": 0.7078947424888611,
"learning_rate": 1.8844444444444445e-06,
"loss": 0.0032,
"step": 2038
},
{
"epoch": 2.7186666666666666,
"grad_norm": 24.928817749023438,
"learning_rate": 1.8755555555555557e-06,
"loss": 0.3936,
"step": 2039
},
{
"epoch": 2.7199999999999998,
"grad_norm": 0.06500247865915298,
"learning_rate": 1.8666666666666669e-06,
"loss": 0.0009,
"step": 2040
},
{
"epoch": 2.7213333333333334,
"grad_norm": 30.945497512817383,
"learning_rate": 1.8577777777777778e-06,
"loss": 0.0239,
"step": 2041
},
{
"epoch": 2.7226666666666666,
"grad_norm": 13.842698097229004,
"learning_rate": 1.848888888888889e-06,
"loss": 0.2697,
"step": 2042
},
{
"epoch": 2.724,
"grad_norm": 2.669248104095459,
"learning_rate": 1.8400000000000002e-06,
"loss": 0.0027,
"step": 2043
},
{
"epoch": 2.7253333333333334,
"grad_norm": 25.85951805114746,
"learning_rate": 1.8311111111111113e-06,
"loss": 0.5146,
"step": 2044
},
{
"epoch": 2.7266666666666666,
"grad_norm": 0.33808717131614685,
"learning_rate": 1.8222222222222225e-06,
"loss": 0.0027,
"step": 2045
},
{
"epoch": 2.7279999999999998,
"grad_norm": 0.3662378787994385,
"learning_rate": 1.8133333333333337e-06,
"loss": 0.0016,
"step": 2046
},
{
"epoch": 2.7293333333333334,
"grad_norm": 0.07196581363677979,
"learning_rate": 1.8044444444444444e-06,
"loss": 0.001,
"step": 2047
},
{
"epoch": 2.7306666666666666,
"grad_norm": 1.0028414726257324,
"learning_rate": 1.7955555555555556e-06,
"loss": 0.0044,
"step": 2048
},
{
"epoch": 2.732,
"grad_norm": 0.15908192098140717,
"learning_rate": 1.7866666666666668e-06,
"loss": 0.0012,
"step": 2049
},
{
"epoch": 2.7333333333333334,
"grad_norm": 0.23340588808059692,
"learning_rate": 1.777777777777778e-06,
"loss": 0.0017,
"step": 2050
},
{
"epoch": 2.7346666666666666,
"grad_norm": 0.8030081391334534,
"learning_rate": 1.7688888888888891e-06,
"loss": 0.0033,
"step": 2051
},
{
"epoch": 2.7359999999999998,
"grad_norm": 0.3873994052410126,
"learning_rate": 1.76e-06,
"loss": 0.0023,
"step": 2052
},
{
"epoch": 2.7373333333333334,
"grad_norm": 0.17475509643554688,
"learning_rate": 1.7511111111111113e-06,
"loss": 0.0016,
"step": 2053
},
{
"epoch": 2.7386666666666666,
"grad_norm": 0.053396038711071014,
"learning_rate": 1.7422222222222224e-06,
"loss": 0.0008,
"step": 2054
},
{
"epoch": 2.74,
"grad_norm": 0.1630074381828308,
"learning_rate": 1.7333333333333336e-06,
"loss": 0.0009,
"step": 2055
},
{
"epoch": 2.7413333333333334,
"grad_norm": 41.56733322143555,
"learning_rate": 1.7244444444444448e-06,
"loss": 0.5675,
"step": 2056
},
{
"epoch": 2.7426666666666666,
"grad_norm": 22.95735740661621,
"learning_rate": 1.7155555555555555e-06,
"loss": 0.3755,
"step": 2057
},
{
"epoch": 2.7439999999999998,
"grad_norm": 3.5093774795532227,
"learning_rate": 1.7066666666666667e-06,
"loss": 0.0068,
"step": 2058
},
{
"epoch": 2.7453333333333334,
"grad_norm": 0.34735268354415894,
"learning_rate": 1.6977777777777779e-06,
"loss": 0.0022,
"step": 2059
},
{
"epoch": 2.7466666666666666,
"grad_norm": 113.37321472167969,
"learning_rate": 1.688888888888889e-06,
"loss": 0.2077,
"step": 2060
},
{
"epoch": 2.748,
"grad_norm": 0.028336720541119576,
"learning_rate": 1.6800000000000002e-06,
"loss": 0.0007,
"step": 2061
},
{
"epoch": 2.7493333333333334,
"grad_norm": 85.07552337646484,
"learning_rate": 1.6711111111111112e-06,
"loss": 0.3908,
"step": 2062
},
{
"epoch": 2.7506666666666666,
"grad_norm": 0.08188354969024658,
"learning_rate": 1.6622222222222224e-06,
"loss": 0.0012,
"step": 2063
},
{
"epoch": 2.752,
"grad_norm": 0.9490393996238708,
"learning_rate": 1.6533333333333335e-06,
"loss": 0.0017,
"step": 2064
},
{
"epoch": 2.7533333333333334,
"grad_norm": 1.0169777870178223,
"learning_rate": 1.6444444444444447e-06,
"loss": 0.0042,
"step": 2065
},
{
"epoch": 2.7546666666666666,
"grad_norm": 1.3147773742675781,
"learning_rate": 1.6355555555555559e-06,
"loss": 0.0033,
"step": 2066
},
{
"epoch": 2.7560000000000002,
"grad_norm": 23.130739212036133,
"learning_rate": 1.6266666666666666e-06,
"loss": 0.4163,
"step": 2067
},
{
"epoch": 2.7573333333333334,
"grad_norm": 17.670108795166016,
"learning_rate": 1.6177777777777778e-06,
"loss": 0.0126,
"step": 2068
},
{
"epoch": 2.7586666666666666,
"grad_norm": 0.2815313935279846,
"learning_rate": 1.608888888888889e-06,
"loss": 0.0015,
"step": 2069
},
{
"epoch": 2.76,
"grad_norm": 1.9536477327346802,
"learning_rate": 1.6000000000000001e-06,
"loss": 0.012,
"step": 2070
},
{
"epoch": 2.7613333333333334,
"grad_norm": 0.17436973750591278,
"learning_rate": 1.5911111111111113e-06,
"loss": 0.0022,
"step": 2071
},
{
"epoch": 2.7626666666666666,
"grad_norm": 38.20689010620117,
"learning_rate": 1.5822222222222223e-06,
"loss": 0.3902,
"step": 2072
},
{
"epoch": 2.7640000000000002,
"grad_norm": 0.03305307775735855,
"learning_rate": 1.5733333333333334e-06,
"loss": 0.0008,
"step": 2073
},
{
"epoch": 2.7653333333333334,
"grad_norm": 0.05918196216225624,
"learning_rate": 1.5644444444444446e-06,
"loss": 0.0008,
"step": 2074
},
{
"epoch": 2.7666666666666666,
"grad_norm": 0.11656118184328079,
"learning_rate": 1.5555555555555558e-06,
"loss": 0.0016,
"step": 2075
},
{
"epoch": 2.768,
"grad_norm": 22.899450302124023,
"learning_rate": 1.546666666666667e-06,
"loss": 0.4474,
"step": 2076
},
{
"epoch": 2.7693333333333334,
"grad_norm": 0.5219902992248535,
"learning_rate": 1.5377777777777781e-06,
"loss": 0.003,
"step": 2077
},
{
"epoch": 2.7706666666666666,
"grad_norm": 0.053949929773807526,
"learning_rate": 1.5288888888888889e-06,
"loss": 0.0009,
"step": 2078
},
{
"epoch": 2.7720000000000002,
"grad_norm": 384.06494140625,
"learning_rate": 1.52e-06,
"loss": 0.0242,
"step": 2079
},
{
"epoch": 2.7733333333333334,
"grad_norm": 0.3771679997444153,
"learning_rate": 1.5111111111111112e-06,
"loss": 0.002,
"step": 2080
},
{
"epoch": 2.7746666666666666,
"grad_norm": 0.023047901690006256,
"learning_rate": 1.5022222222222224e-06,
"loss": 0.0006,
"step": 2081
},
{
"epoch": 2.776,
"grad_norm": 12.377241134643555,
"learning_rate": 1.4933333333333336e-06,
"loss": 0.0169,
"step": 2082
},
{
"epoch": 2.7773333333333334,
"grad_norm": 0.03259071707725525,
"learning_rate": 1.4844444444444445e-06,
"loss": 0.0007,
"step": 2083
},
{
"epoch": 2.7786666666666666,
"grad_norm": 0.21481068432331085,
"learning_rate": 1.4755555555555557e-06,
"loss": 0.0014,
"step": 2084
},
{
"epoch": 2.7800000000000002,
"grad_norm": 0.12168584018945694,
"learning_rate": 1.4666666666666669e-06,
"loss": 0.0012,
"step": 2085
},
{
"epoch": 2.7813333333333334,
"grad_norm": 0.6099428534507751,
"learning_rate": 1.457777777777778e-06,
"loss": 0.0026,
"step": 2086
},
{
"epoch": 2.7826666666666666,
"grad_norm": 29.80950927734375,
"learning_rate": 1.4488888888888892e-06,
"loss": 0.4409,
"step": 2087
},
{
"epoch": 2.784,
"grad_norm": 722.3591918945312,
"learning_rate": 1.44e-06,
"loss": 0.0822,
"step": 2088
},
{
"epoch": 2.7853333333333334,
"grad_norm": 0.06675869971513748,
"learning_rate": 1.4311111111111111e-06,
"loss": 0.001,
"step": 2089
},
{
"epoch": 2.7866666666666666,
"grad_norm": 0.1636940985918045,
"learning_rate": 1.4222222222222223e-06,
"loss": 0.0013,
"step": 2090
},
{
"epoch": 2.7880000000000003,
"grad_norm": 0.40025386214256287,
"learning_rate": 1.4133333333333335e-06,
"loss": 0.0025,
"step": 2091
},
{
"epoch": 2.7893333333333334,
"grad_norm": 0.25141677260398865,
"learning_rate": 1.4044444444444447e-06,
"loss": 0.0013,
"step": 2092
},
{
"epoch": 2.7906666666666666,
"grad_norm": 0.02663254365324974,
"learning_rate": 1.3955555555555556e-06,
"loss": 0.0007,
"step": 2093
},
{
"epoch": 2.792,
"grad_norm": 0.396782785654068,
"learning_rate": 1.3866666666666668e-06,
"loss": 0.0021,
"step": 2094
},
{
"epoch": 2.7933333333333334,
"grad_norm": 0.022959934547543526,
"learning_rate": 1.377777777777778e-06,
"loss": 0.0006,
"step": 2095
},
{
"epoch": 2.7946666666666666,
"grad_norm": 0.8238509893417358,
"learning_rate": 1.3688888888888891e-06,
"loss": 0.0036,
"step": 2096
},
{
"epoch": 2.7960000000000003,
"grad_norm": 0.03277985379099846,
"learning_rate": 1.3600000000000001e-06,
"loss": 0.0007,
"step": 2097
},
{
"epoch": 2.7973333333333334,
"grad_norm": 0.6971368193626404,
"learning_rate": 1.351111111111111e-06,
"loss": 0.0027,
"step": 2098
},
{
"epoch": 2.7986666666666666,
"grad_norm": 0.02126278728246689,
"learning_rate": 1.3422222222222222e-06,
"loss": 0.0006,
"step": 2099
},
{
"epoch": 2.8,
"grad_norm": 0.07773832976818085,
"learning_rate": 1.3333333333333334e-06,
"loss": 0.0009,
"step": 2100
},
{
"epoch": 2.8013333333333335,
"grad_norm": 0.13598698377609253,
"learning_rate": 1.3244444444444446e-06,
"loss": 0.0011,
"step": 2101
},
{
"epoch": 2.8026666666666666,
"grad_norm": 0.4797694981098175,
"learning_rate": 1.3155555555555558e-06,
"loss": 0.0026,
"step": 2102
},
{
"epoch": 2.8040000000000003,
"grad_norm": 0.03757019713521004,
"learning_rate": 1.3066666666666667e-06,
"loss": 0.0007,
"step": 2103
},
{
"epoch": 2.8053333333333335,
"grad_norm": 0.3387465476989746,
"learning_rate": 1.2977777777777779e-06,
"loss": 0.0017,
"step": 2104
},
{
"epoch": 2.8066666666666666,
"grad_norm": 12.846646308898926,
"learning_rate": 1.288888888888889e-06,
"loss": 0.2385,
"step": 2105
},
{
"epoch": 2.808,
"grad_norm": 0.2199900597333908,
"learning_rate": 1.28e-06,
"loss": 0.0017,
"step": 2106
},
{
"epoch": 2.8093333333333335,
"grad_norm": 4.730019569396973,
"learning_rate": 1.2711111111111112e-06,
"loss": 0.5719,
"step": 2107
},
{
"epoch": 2.8106666666666666,
"grad_norm": 0.038831375539302826,
"learning_rate": 1.2622222222222224e-06,
"loss": 0.0007,
"step": 2108
},
{
"epoch": 2.8120000000000003,
"grad_norm": 0.044549163430929184,
"learning_rate": 1.2533333333333333e-06,
"loss": 0.0007,
"step": 2109
},
{
"epoch": 2.8133333333333335,
"grad_norm": 37.69612121582031,
"learning_rate": 1.2444444444444445e-06,
"loss": 0.6162,
"step": 2110
},
{
"epoch": 2.8146666666666667,
"grad_norm": 0.1389227658510208,
"learning_rate": 1.2355555555555557e-06,
"loss": 0.0012,
"step": 2111
},
{
"epoch": 2.816,
"grad_norm": 0.09962499141693115,
"learning_rate": 1.2266666666666666e-06,
"loss": 0.001,
"step": 2112
},
{
"epoch": 2.8173333333333335,
"grad_norm": 2.726072072982788,
"learning_rate": 1.2177777777777778e-06,
"loss": 0.0054,
"step": 2113
},
{
"epoch": 2.8186666666666667,
"grad_norm": 0.024596665054559708,
"learning_rate": 1.208888888888889e-06,
"loss": 0.0006,
"step": 2114
},
{
"epoch": 2.82,
"grad_norm": 0.1523442566394806,
"learning_rate": 1.2000000000000002e-06,
"loss": 0.0011,
"step": 2115
},
{
"epoch": 2.8213333333333335,
"grad_norm": 35.23870086669922,
"learning_rate": 1.1911111111111111e-06,
"loss": 0.0163,
"step": 2116
},
{
"epoch": 2.8226666666666667,
"grad_norm": 116.1108169555664,
"learning_rate": 1.1822222222222223e-06,
"loss": 0.1494,
"step": 2117
},
{
"epoch": 2.824,
"grad_norm": 0.024406803771853447,
"learning_rate": 1.1733333333333335e-06,
"loss": 0.0006,
"step": 2118
},
{
"epoch": 2.8253333333333335,
"grad_norm": 0.04381592944264412,
"learning_rate": 1.1644444444444446e-06,
"loss": 0.0006,
"step": 2119
},
{
"epoch": 2.8266666666666667,
"grad_norm": 22.823959350585938,
"learning_rate": 1.1555555555555556e-06,
"loss": 0.5204,
"step": 2120
},
{
"epoch": 2.828,
"grad_norm": 0.3412293791770935,
"learning_rate": 1.1466666666666668e-06,
"loss": 0.0022,
"step": 2121
},
{
"epoch": 2.8293333333333335,
"grad_norm": 1.0937108993530273,
"learning_rate": 1.137777777777778e-06,
"loss": 0.0062,
"step": 2122
},
{
"epoch": 2.8306666666666667,
"grad_norm": 1.015861988067627,
"learning_rate": 1.128888888888889e-06,
"loss": 0.0046,
"step": 2123
},
{
"epoch": 2.832,
"grad_norm": 15.769082069396973,
"learning_rate": 1.12e-06,
"loss": 0.5534,
"step": 2124
},
{
"epoch": 2.8333333333333335,
"grad_norm": 9.191170692443848,
"learning_rate": 1.111111111111111e-06,
"loss": 0.2764,
"step": 2125
},
{
"epoch": 2.8346666666666667,
"grad_norm": 0.021012067794799805,
"learning_rate": 1.1022222222222222e-06,
"loss": 0.0006,
"step": 2126
},
{
"epoch": 2.836,
"grad_norm": 124.56463623046875,
"learning_rate": 1.0933333333333334e-06,
"loss": 0.3569,
"step": 2127
},
{
"epoch": 2.8373333333333335,
"grad_norm": 0.0869767963886261,
"learning_rate": 1.0844444444444446e-06,
"loss": 0.0008,
"step": 2128
},
{
"epoch": 2.8386666666666667,
"grad_norm": 18.921253204345703,
"learning_rate": 1.0755555555555557e-06,
"loss": 0.5046,
"step": 2129
},
{
"epoch": 2.84,
"grad_norm": 1.431925654411316,
"learning_rate": 1.066666666666667e-06,
"loss": 0.0044,
"step": 2130
},
{
"epoch": 2.8413333333333335,
"grad_norm": 0.035911139100790024,
"learning_rate": 1.0577777777777779e-06,
"loss": 0.0007,
"step": 2131
},
{
"epoch": 2.8426666666666667,
"grad_norm": 20.6807918548584,
"learning_rate": 1.048888888888889e-06,
"loss": 0.0064,
"step": 2132
},
{
"epoch": 2.844,
"grad_norm": 27.524892807006836,
"learning_rate": 1.04e-06,
"loss": 0.5169,
"step": 2133
},
{
"epoch": 2.8453333333333335,
"grad_norm": 0.32670605182647705,
"learning_rate": 1.0311111111111112e-06,
"loss": 0.0012,
"step": 2134
},
{
"epoch": 2.8466666666666667,
"grad_norm": 0.07982155680656433,
"learning_rate": 1.0222222222222223e-06,
"loss": 0.0008,
"step": 2135
},
{
"epoch": 2.848,
"grad_norm": 250.01687622070312,
"learning_rate": 1.0133333333333333e-06,
"loss": 0.2596,
"step": 2136
},
{
"epoch": 2.8493333333333335,
"grad_norm": 73.56905364990234,
"learning_rate": 1.0044444444444445e-06,
"loss": 0.2852,
"step": 2137
},
{
"epoch": 2.8506666666666667,
"grad_norm": 1.5123237371444702,
"learning_rate": 9.955555555555556e-07,
"loss": 0.0017,
"step": 2138
},
{
"epoch": 2.852,
"grad_norm": 7.594943046569824,
"learning_rate": 9.866666666666668e-07,
"loss": 0.0091,
"step": 2139
},
{
"epoch": 2.8533333333333335,
"grad_norm": 0.031820524483919144,
"learning_rate": 9.77777777777778e-07,
"loss": 0.0007,
"step": 2140
},
{
"epoch": 2.8546666666666667,
"grad_norm": 0.02381485141813755,
"learning_rate": 9.68888888888889e-07,
"loss": 0.0007,
"step": 2141
},
{
"epoch": 2.856,
"grad_norm": 0.09739511460065842,
"learning_rate": 9.600000000000001e-07,
"loss": 0.001,
"step": 2142
},
{
"epoch": 2.857333333333333,
"grad_norm": 40.19291687011719,
"learning_rate": 9.511111111111111e-07,
"loss": 0.0049,
"step": 2143
},
{
"epoch": 2.8586666666666667,
"grad_norm": 0.07001561671495438,
"learning_rate": 9.422222222222223e-07,
"loss": 0.0008,
"step": 2144
},
{
"epoch": 2.86,
"grad_norm": 82.92972564697266,
"learning_rate": 9.333333333333334e-07,
"loss": 0.1644,
"step": 2145
},
{
"epoch": 2.8613333333333335,
"grad_norm": 149.378662109375,
"learning_rate": 9.244444444444445e-07,
"loss": 0.5898,
"step": 2146
},
{
"epoch": 2.8626666666666667,
"grad_norm": 21.25759506225586,
"learning_rate": 9.155555555555557e-07,
"loss": 0.3802,
"step": 2147
},
{
"epoch": 2.864,
"grad_norm": 0.08110994845628738,
"learning_rate": 9.066666666666668e-07,
"loss": 0.0009,
"step": 2148
},
{
"epoch": 2.865333333333333,
"grad_norm": 0.05316106975078583,
"learning_rate": 8.977777777777778e-07,
"loss": 0.0009,
"step": 2149
},
{
"epoch": 2.8666666666666667,
"grad_norm": 1.2713360786437988,
"learning_rate": 8.88888888888889e-07,
"loss": 0.0023,
"step": 2150
},
{
"epoch": 2.868,
"grad_norm": 13.548941612243652,
"learning_rate": 8.8e-07,
"loss": 0.2544,
"step": 2151
},
{
"epoch": 2.8693333333333335,
"grad_norm": 170.5789031982422,
"learning_rate": 8.711111111111112e-07,
"loss": 0.2688,
"step": 2152
},
{
"epoch": 2.8706666666666667,
"grad_norm": 1.475039005279541,
"learning_rate": 8.622222222222224e-07,
"loss": 0.0066,
"step": 2153
},
{
"epoch": 2.872,
"grad_norm": 0.09990980476140976,
"learning_rate": 8.533333333333334e-07,
"loss": 0.0008,
"step": 2154
},
{
"epoch": 2.873333333333333,
"grad_norm": 36.615928649902344,
"learning_rate": 8.444444444444445e-07,
"loss": 0.5639,
"step": 2155
},
{
"epoch": 2.8746666666666667,
"grad_norm": 0.18951250612735748,
"learning_rate": 8.355555555555556e-07,
"loss": 0.0012,
"step": 2156
},
{
"epoch": 2.876,
"grad_norm": 35.52928161621094,
"learning_rate": 8.266666666666668e-07,
"loss": 0.0083,
"step": 2157
},
{
"epoch": 2.8773333333333335,
"grad_norm": 0.4665152132511139,
"learning_rate": 8.177777777777779e-07,
"loss": 0.0013,
"step": 2158
},
{
"epoch": 2.8786666666666667,
"grad_norm": 1.9059052467346191,
"learning_rate": 8.088888888888889e-07,
"loss": 0.0032,
"step": 2159
},
{
"epoch": 2.88,
"grad_norm": 0.1530025452375412,
"learning_rate": 8.000000000000001e-07,
"loss": 0.0013,
"step": 2160
},
{
"epoch": 2.881333333333333,
"grad_norm": 0.04257744550704956,
"learning_rate": 7.911111111111111e-07,
"loss": 0.0008,
"step": 2161
},
{
"epoch": 2.8826666666666667,
"grad_norm": 0.0197782963514328,
"learning_rate": 7.822222222222223e-07,
"loss": 0.0006,
"step": 2162
},
{
"epoch": 2.884,
"grad_norm": 1.764649510383606,
"learning_rate": 7.733333333333335e-07,
"loss": 0.007,
"step": 2163
},
{
"epoch": 2.8853333333333335,
"grad_norm": 0.5775858163833618,
"learning_rate": 7.644444444444444e-07,
"loss": 0.0027,
"step": 2164
},
{
"epoch": 2.8866666666666667,
"grad_norm": 26.35997772216797,
"learning_rate": 7.555555555555556e-07,
"loss": 0.4607,
"step": 2165
},
{
"epoch": 2.888,
"grad_norm": 0.039850570261478424,
"learning_rate": 7.466666666666668e-07,
"loss": 0.0008,
"step": 2166
},
{
"epoch": 2.889333333333333,
"grad_norm": 13.519153594970703,
"learning_rate": 7.377777777777779e-07,
"loss": 0.5924,
"step": 2167
},
{
"epoch": 2.8906666666666667,
"grad_norm": 33.57373046875,
"learning_rate": 7.28888888888889e-07,
"loss": 1.0497,
"step": 2168
},
{
"epoch": 2.892,
"grad_norm": 0.570203423500061,
"learning_rate": 7.2e-07,
"loss": 0.004,
"step": 2169
},
{
"epoch": 2.8933333333333335,
"grad_norm": 0.06398206204175949,
"learning_rate": 7.111111111111112e-07,
"loss": 0.0007,
"step": 2170
},
{
"epoch": 2.8946666666666667,
"grad_norm": 33.42972183227539,
"learning_rate": 7.022222222222223e-07,
"loss": 0.3406,
"step": 2171
},
{
"epoch": 2.896,
"grad_norm": 34.91133117675781,
"learning_rate": 6.933333333333334e-07,
"loss": 0.4055,
"step": 2172
},
{
"epoch": 2.897333333333333,
"grad_norm": 0.1328393965959549,
"learning_rate": 6.844444444444446e-07,
"loss": 0.0012,
"step": 2173
},
{
"epoch": 2.8986666666666667,
"grad_norm": 57.781864166259766,
"learning_rate": 6.755555555555555e-07,
"loss": 0.0159,
"step": 2174
},
{
"epoch": 2.9,
"grad_norm": 1.4687128067016602,
"learning_rate": 6.666666666666667e-07,
"loss": 0.0062,
"step": 2175
},
{
"epoch": 2.9013333333333335,
"grad_norm": 3.3643527030944824,
"learning_rate": 6.577777777777779e-07,
"loss": 0.0074,
"step": 2176
},
{
"epoch": 2.9026666666666667,
"grad_norm": 0.02527746744453907,
"learning_rate": 6.488888888888889e-07,
"loss": 0.0006,
"step": 2177
},
{
"epoch": 2.904,
"grad_norm": 0.26895707845687866,
"learning_rate": 6.4e-07,
"loss": 0.0016,
"step": 2178
},
{
"epoch": 2.905333333333333,
"grad_norm": 0.10070569813251495,
"learning_rate": 6.311111111111112e-07,
"loss": 0.0009,
"step": 2179
},
{
"epoch": 2.9066666666666667,
"grad_norm": 2.560640811920166,
"learning_rate": 6.222222222222223e-07,
"loss": 0.0034,
"step": 2180
},
{
"epoch": 2.908,
"grad_norm": 87.53323364257812,
"learning_rate": 6.133333333333333e-07,
"loss": 0.0176,
"step": 2181
},
{
"epoch": 2.9093333333333335,
"grad_norm": 99.69659423828125,
"learning_rate": 6.044444444444445e-07,
"loss": 0.1454,
"step": 2182
},
{
"epoch": 2.9106666666666667,
"grad_norm": 0.0971820279955864,
"learning_rate": 5.955555555555556e-07,
"loss": 0.0011,
"step": 2183
},
{
"epoch": 2.912,
"grad_norm": 16.610445022583008,
"learning_rate": 5.866666666666667e-07,
"loss": 0.6011,
"step": 2184
},
{
"epoch": 2.913333333333333,
"grad_norm": 0.057896483689546585,
"learning_rate": 5.777777777777778e-07,
"loss": 0.0007,
"step": 2185
},
{
"epoch": 2.9146666666666667,
"grad_norm": 1.4723398685455322,
"learning_rate": 5.68888888888889e-07,
"loss": 0.007,
"step": 2186
},
{
"epoch": 2.916,
"grad_norm": 0.03660687804222107,
"learning_rate": 5.6e-07,
"loss": 0.0006,
"step": 2187
},
{
"epoch": 2.9173333333333336,
"grad_norm": 0.025584707036614418,
"learning_rate": 5.511111111111111e-07,
"loss": 0.0007,
"step": 2188
},
{
"epoch": 2.9186666666666667,
"grad_norm": 0.06897561252117157,
"learning_rate": 5.422222222222223e-07,
"loss": 0.0007,
"step": 2189
},
{
"epoch": 2.92,
"grad_norm": 0.05708562582731247,
"learning_rate": 5.333333333333335e-07,
"loss": 0.0009,
"step": 2190
},
{
"epoch": 2.921333333333333,
"grad_norm": 0.4871264100074768,
"learning_rate": 5.244444444444445e-07,
"loss": 0.0026,
"step": 2191
},
{
"epoch": 2.9226666666666667,
"grad_norm": 0.47532951831817627,
"learning_rate": 5.155555555555556e-07,
"loss": 0.0013,
"step": 2192
},
{
"epoch": 2.924,
"grad_norm": 0.17150188982486725,
"learning_rate": 5.066666666666667e-07,
"loss": 0.0013,
"step": 2193
},
{
"epoch": 2.9253333333333336,
"grad_norm": 0.019875993952155113,
"learning_rate": 4.977777777777778e-07,
"loss": 0.0006,
"step": 2194
},
{
"epoch": 2.9266666666666667,
"grad_norm": 0.23413217067718506,
"learning_rate": 4.88888888888889e-07,
"loss": 0.0026,
"step": 2195
},
{
"epoch": 2.928,
"grad_norm": 0.6156684756278992,
"learning_rate": 4.800000000000001e-07,
"loss": 0.0022,
"step": 2196
},
{
"epoch": 2.929333333333333,
"grad_norm": 0.18328867852687836,
"learning_rate": 4.7111111111111113e-07,
"loss": 0.0012,
"step": 2197
},
{
"epoch": 2.9306666666666668,
"grad_norm": 0.06719297170639038,
"learning_rate": 4.6222222222222225e-07,
"loss": 0.0008,
"step": 2198
},
{
"epoch": 2.932,
"grad_norm": 0.02382493205368519,
"learning_rate": 4.533333333333334e-07,
"loss": 0.0006,
"step": 2199
},
{
"epoch": 2.9333333333333336,
"grad_norm": 755.5382690429688,
"learning_rate": 4.444444444444445e-07,
"loss": 0.2595,
"step": 2200
},
{
"epoch": 2.9346666666666668,
"grad_norm": 0.8425825834274292,
"learning_rate": 4.355555555555556e-07,
"loss": 0.0045,
"step": 2201
},
{
"epoch": 2.936,
"grad_norm": 39.40986633300781,
"learning_rate": 4.266666666666667e-07,
"loss": 0.5392,
"step": 2202
},
{
"epoch": 2.937333333333333,
"grad_norm": 50.41126251220703,
"learning_rate": 4.177777777777778e-07,
"loss": 0.6843,
"step": 2203
},
{
"epoch": 2.9386666666666668,
"grad_norm": 0.47921520471572876,
"learning_rate": 4.0888888888888897e-07,
"loss": 0.0061,
"step": 2204
},
{
"epoch": 2.94,
"grad_norm": 17.618616104125977,
"learning_rate": 4.0000000000000003e-07,
"loss": 0.3886,
"step": 2205
},
{
"epoch": 2.9413333333333336,
"grad_norm": 0.8892105221748352,
"learning_rate": 3.9111111111111115e-07,
"loss": 0.0024,
"step": 2206
},
{
"epoch": 2.9426666666666668,
"grad_norm": 0.14184188842773438,
"learning_rate": 3.822222222222222e-07,
"loss": 0.001,
"step": 2207
},
{
"epoch": 2.944,
"grad_norm": 18.498905181884766,
"learning_rate": 3.733333333333334e-07,
"loss": 0.2474,
"step": 2208
},
{
"epoch": 2.945333333333333,
"grad_norm": 38.840057373046875,
"learning_rate": 3.644444444444445e-07,
"loss": 0.3286,
"step": 2209
},
{
"epoch": 2.9466666666666668,
"grad_norm": 151.0657501220703,
"learning_rate": 3.555555555555556e-07,
"loss": 0.2603,
"step": 2210
},
{
"epoch": 2.948,
"grad_norm": 0.5361657738685608,
"learning_rate": 3.466666666666667e-07,
"loss": 0.0025,
"step": 2211
},
{
"epoch": 2.9493333333333336,
"grad_norm": 0.02858174592256546,
"learning_rate": 3.3777777777777777e-07,
"loss": 0.0007,
"step": 2212
},
{
"epoch": 2.9506666666666668,
"grad_norm": 0.2960554361343384,
"learning_rate": 3.2888888888888894e-07,
"loss": 0.0021,
"step": 2213
},
{
"epoch": 2.952,
"grad_norm": 0.15168897807598114,
"learning_rate": 3.2e-07,
"loss": 0.0008,
"step": 2214
},
{
"epoch": 2.953333333333333,
"grad_norm": 54.33277130126953,
"learning_rate": 3.111111111111111e-07,
"loss": 0.4166,
"step": 2215
},
{
"epoch": 2.9546666666666668,
"grad_norm": 0.09533650428056717,
"learning_rate": 3.0222222222222225e-07,
"loss": 0.001,
"step": 2216
},
{
"epoch": 2.956,
"grad_norm": 0.45193353295326233,
"learning_rate": 2.9333333333333337e-07,
"loss": 0.0025,
"step": 2217
},
{
"epoch": 2.9573333333333336,
"grad_norm": 0.023185839876532555,
"learning_rate": 2.844444444444445e-07,
"loss": 0.0006,
"step": 2218
},
{
"epoch": 2.958666666666667,
"grad_norm": 0.3143797814846039,
"learning_rate": 2.7555555555555555e-07,
"loss": 0.0016,
"step": 2219
},
{
"epoch": 2.96,
"grad_norm": 0.25473251938819885,
"learning_rate": 2.666666666666667e-07,
"loss": 0.0014,
"step": 2220
},
{
"epoch": 2.961333333333333,
"grad_norm": 0.02141093835234642,
"learning_rate": 2.577777777777778e-07,
"loss": 0.0006,
"step": 2221
},
{
"epoch": 2.962666666666667,
"grad_norm": 527.39013671875,
"learning_rate": 2.488888888888889e-07,
"loss": 0.2638,
"step": 2222
},
{
"epoch": 2.964,
"grad_norm": 0.08343927562236786,
"learning_rate": 2.4000000000000003e-07,
"loss": 0.0009,
"step": 2223
},
{
"epoch": 2.9653333333333336,
"grad_norm": 0.8825082778930664,
"learning_rate": 2.3111111111111112e-07,
"loss": 0.0071,
"step": 2224
},
{
"epoch": 2.966666666666667,
"grad_norm": 38.85169219970703,
"learning_rate": 2.2222222222222224e-07,
"loss": 0.798,
"step": 2225
},
{
"epoch": 2.968,
"grad_norm": 0.7748185396194458,
"learning_rate": 2.1333333333333334e-07,
"loss": 0.0024,
"step": 2226
},
{
"epoch": 2.969333333333333,
"grad_norm": 29.882898330688477,
"learning_rate": 2.0444444444444448e-07,
"loss": 0.3474,
"step": 2227
},
{
"epoch": 2.970666666666667,
"grad_norm": 70.68009948730469,
"learning_rate": 1.9555555555555558e-07,
"loss": 0.3694,
"step": 2228
},
{
"epoch": 2.972,
"grad_norm": 81.38697814941406,
"learning_rate": 1.866666666666667e-07,
"loss": 0.459,
"step": 2229
},
{
"epoch": 2.9733333333333336,
"grad_norm": 64.1339340209961,
"learning_rate": 1.777777777777778e-07,
"loss": 0.4648,
"step": 2230
},
{
"epoch": 2.974666666666667,
"grad_norm": 0.1332729458808899,
"learning_rate": 1.6888888888888888e-07,
"loss": 0.0011,
"step": 2231
},
{
"epoch": 2.976,
"grad_norm": 0.08293462544679642,
"learning_rate": 1.6e-07,
"loss": 0.001,
"step": 2232
},
{
"epoch": 2.977333333333333,
"grad_norm": 1.4303702116012573,
"learning_rate": 1.5111111111111112e-07,
"loss": 0.007,
"step": 2233
},
{
"epoch": 2.978666666666667,
"grad_norm": 0.1696573793888092,
"learning_rate": 1.4222222222222224e-07,
"loss": 0.0013,
"step": 2234
},
{
"epoch": 2.98,
"grad_norm": 0.07845105230808258,
"learning_rate": 1.3333333333333336e-07,
"loss": 0.0009,
"step": 2235
},
{
"epoch": 2.981333333333333,
"grad_norm": 0.1806916743516922,
"learning_rate": 1.2444444444444446e-07,
"loss": 0.0011,
"step": 2236
},
{
"epoch": 2.982666666666667,
"grad_norm": 0.15809156000614166,
"learning_rate": 1.1555555555555556e-07,
"loss": 0.0011,
"step": 2237
},
{
"epoch": 2.984,
"grad_norm": 0.7303739786148071,
"learning_rate": 1.0666666666666667e-07,
"loss": 0.003,
"step": 2238
},
{
"epoch": 2.985333333333333,
"grad_norm": 5.324014186859131,
"learning_rate": 9.777777777777779e-08,
"loss": 0.0022,
"step": 2239
},
{
"epoch": 2.986666666666667,
"grad_norm": 0.041307806968688965,
"learning_rate": 8.88888888888889e-08,
"loss": 0.0006,
"step": 2240
},
{
"epoch": 2.988,
"grad_norm": 1.1886028051376343,
"learning_rate": 8e-08,
"loss": 0.0027,
"step": 2241
},
{
"epoch": 2.989333333333333,
"grad_norm": 0.02952580526471138,
"learning_rate": 7.111111111111112e-08,
"loss": 0.0006,
"step": 2242
},
{
"epoch": 2.990666666666667,
"grad_norm": 0.09329274296760559,
"learning_rate": 6.222222222222223e-08,
"loss": 0.0008,
"step": 2243
},
{
"epoch": 2.992,
"grad_norm": 0.24295726418495178,
"learning_rate": 5.3333333333333334e-08,
"loss": 0.0029,
"step": 2244
},
{
"epoch": 2.993333333333333,
"grad_norm": 42.08897018432617,
"learning_rate": 4.444444444444445e-08,
"loss": 1.295,
"step": 2245
},
{
"epoch": 2.994666666666667,
"grad_norm": 0.02137308195233345,
"learning_rate": 3.555555555555556e-08,
"loss": 0.0006,
"step": 2246
},
{
"epoch": 2.996,
"grad_norm": 0.14001862704753876,
"learning_rate": 2.6666666666666667e-08,
"loss": 0.0007,
"step": 2247
},
{
"epoch": 2.997333333333333,
"grad_norm": 73.10365295410156,
"learning_rate": 1.777777777777778e-08,
"loss": 0.4545,
"step": 2248
},
{
"epoch": 2.998666666666667,
"grad_norm": 0.06186581775546074,
"learning_rate": 8.88888888888889e-09,
"loss": 0.0009,
"step": 2249
},
{
"epoch": 3.0,
"grad_norm": 0.07215374708175659,
"learning_rate": 0.0,
"loss": 0.0007,
"step": 2250
},
{
"epoch": 3.0,
"eval_accuracy": 0.953757225433526,
"eval_loss": 0.2263547033071518,
"eval_runtime": 52.7718,
"eval_samples_per_second": 42.617,
"eval_steps_per_second": 1.345,
"step": 2250
}
],
"logging_steps": 1,
"max_steps": 2250,
"num_input_tokens_seen": 0,
"num_train_epochs": 3,
"save_steps": 500,
"stateful_callbacks": {
"TrainerControl": {
"args": {
"should_epoch_stop": false,
"should_evaluate": false,
"should_log": false,
"should_save": true,
"should_training_stop": true
},
"attributes": {}
}
},
"total_flos": 644746887383040.0,
"train_batch_size": 12,
"trial_name": null,
"trial_params": null
}
{
"best_global_step": 1500,
"best_metric": 0.2072431445121765,
"best_model_checkpoint": "./results\\checkpoint-1500",
"epoch": 3.0,
"eval_steps": 500,
"global_step": 2250,
"is_hyper_param_search": false,
"is_local_process_zero": true,
"is_world_process_zero": true,
"log_history": [
{
"epoch": 0.0013333333333333333,
"grad_norm": 14.627123832702637,
"learning_rate": 1.999111111111111e-05,
"loss": 0.641,
"step": 1
},
{
"epoch": 0.0026666666666666666,
"grad_norm": 8.339805603027344,
"learning_rate": 1.9982222222222224e-05,
"loss": 0.607,
"step": 2
},
{
"epoch": 0.004,
"grad_norm": 19.532424926757812,
"learning_rate": 1.9973333333333334e-05,
"loss": 0.6549,
"step": 3
},
{
"epoch": 0.005333333333333333,
"grad_norm": 6.6504387855529785,
"learning_rate": 1.9964444444444447e-05,
"loss": 0.6999,
"step": 4
},
{
"epoch": 0.006666666666666667,
"grad_norm": 8.93764877319336,
"learning_rate": 1.9955555555555557e-05,
"loss": 0.633,
"step": 5
},
{
"epoch": 0.008,
"grad_norm": 14.934470176696777,
"learning_rate": 1.9946666666666667e-05,
"loss": 0.7584,
"step": 6
},
{
"epoch": 0.009333333333333334,
"grad_norm": 5.578488349914551,
"learning_rate": 1.993777777777778e-05,
"loss": 0.6476,
"step": 7
},
{
"epoch": 0.010666666666666666,
"grad_norm": 1.7294061183929443,
"learning_rate": 1.992888888888889e-05,
"loss": 0.6603,
"step": 8
},
{
"epoch": 0.012,
"grad_norm": 2.150653839111328,
"learning_rate": 1.9920000000000002e-05,
"loss": 0.7034,
"step": 9
},
{
"epoch": 0.013333333333333334,
"grad_norm": 5.418308258056641,
"learning_rate": 1.9911111111111112e-05,
"loss": 0.7293,
"step": 10
},
{
"epoch": 0.014666666666666666,
"grad_norm": 3.007488965988159,
"learning_rate": 1.9902222222222222e-05,
"loss": 0.7331,
"step": 11
},
{
"epoch": 0.016,
"grad_norm": 6.692118167877197,
"learning_rate": 1.9893333333333335e-05,
"loss": 0.6618,
"step": 12
},
{
"epoch": 0.017333333333333333,
"grad_norm": 2.7864668369293213,
"learning_rate": 1.9884444444444445e-05,
"loss": 0.6782,