Invalid JSON:Unexpected token 'N', ..."ad_norm": NaN,
"... is not valid JSON
| { | |
| "best_global_step": 4500, | |
| "best_metric": 0.9584511938733902, | |
| "best_model_checkpoint": "trained_model/checkpoint-4500", | |
| "epoch": 3.0, | |
| "eval_steps": 500, | |
| "global_step": 4500, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.06666666666666667, | |
| "grad_norm": 19.61471939086914, | |
| "learning_rate": 4.4e-06, | |
| "loss": 1.0113, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 14.471400260925293, | |
| "learning_rate": 8.844444444444445e-06, | |
| "loss": 0.7156, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 47.6197624206543, | |
| "learning_rate": 1.3288888888888889e-05, | |
| "loss": 0.5463, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 26.47246551513672, | |
| "learning_rate": 1.7733333333333335e-05, | |
| "loss": 0.4756, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.3333333333333333, | |
| "grad_norm": 13.949202537536621, | |
| "learning_rate": 1.9758024691358028e-05, | |
| "loss": 0.4115, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 9.107935905456543, | |
| "learning_rate": 1.92641975308642e-05, | |
| "loss": 0.3445, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 0.4666666666666667, | |
| "grad_norm": NaN, | |
| "learning_rate": 1.877037037037037e-05, | |
| "loss": 0.3166, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 6.813497066497803, | |
| "learning_rate": 1.8276543209876544e-05, | |
| "loss": 0.2688, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "grad_norm": 8.58810806274414, | |
| "learning_rate": 1.7782716049382718e-05, | |
| "loss": 0.2409, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 7.52830171585083, | |
| "learning_rate": 1.728888888888889e-05, | |
| "loss": 0.2303, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 0.7333333333333333, | |
| "grad_norm": 3.5060839653015137, | |
| "learning_rate": 1.6795061728395064e-05, | |
| "loss": 0.2038, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 5.840308666229248, | |
| "learning_rate": 1.6301234567901238e-05, | |
| "loss": 0.2039, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 0.8666666666666667, | |
| "grad_norm": 4.7977375984191895, | |
| "learning_rate": 1.5807407407407408e-05, | |
| "loss": 0.1921, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 2.442521572113037, | |
| "learning_rate": 1.531358024691358e-05, | |
| "loss": 0.2018, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 7.735184669494629, | |
| "learning_rate": 1.4819753086419754e-05, | |
| "loss": 0.1802, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "eval_accuracy": 0.9375833333333333, | |
| "eval_f1": 0.9374679633171131, | |
| "eval_loss": 0.17155718803405762, | |
| "eval_runtime": 135.0249, | |
| "eval_samples_per_second": 88.873, | |
| "eval_steps_per_second": 2.777, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 1.0666666666666667, | |
| "grad_norm": 3.5383481979370117, | |
| "learning_rate": 1.4325925925925928e-05, | |
| "loss": 0.158, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 1.1333333333333333, | |
| "grad_norm": 5.8269147872924805, | |
| "learning_rate": 1.3832098765432101e-05, | |
| "loss": 0.1651, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 5.028476238250732, | |
| "learning_rate": 1.3338271604938273e-05, | |
| "loss": 0.1686, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 1.2666666666666666, | |
| "grad_norm": 9.353516578674316, | |
| "learning_rate": 1.2844444444444446e-05, | |
| "loss": 0.1674, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 1.3333333333333333, | |
| "grad_norm": 11.023250579833984, | |
| "learning_rate": 1.235061728395062e-05, | |
| "loss": 0.1749, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 1.4, | |
| "grad_norm": 3.2048285007476807, | |
| "learning_rate": 1.1856790123456791e-05, | |
| "loss": 0.1618, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 1.4666666666666668, | |
| "grad_norm": 2.9679791927337646, | |
| "learning_rate": 1.1362962962962964e-05, | |
| "loss": 0.1786, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 1.5333333333333332, | |
| "grad_norm": 14.835536003112793, | |
| "learning_rate": 1.0869135802469138e-05, | |
| "loss": 0.1451, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 5.776974678039551, | |
| "learning_rate": 1.0375308641975311e-05, | |
| "loss": 0.164, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 1.6666666666666665, | |
| "grad_norm": 12.903321266174316, | |
| "learning_rate": 9.881481481481483e-06, | |
| "loss": 0.1447, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 1.7333333333333334, | |
| "grad_norm": 8.211164474487305, | |
| "learning_rate": 9.387654320987654e-06, | |
| "loss": 0.1691, | |
| "step": 2600 | |
| }, | |
| { | |
| "epoch": 1.8, | |
| "grad_norm": 3.288093090057373, | |
| "learning_rate": 8.893827160493828e-06, | |
| "loss": 0.1629, | |
| "step": 2700 | |
| }, | |
| { | |
| "epoch": 1.8666666666666667, | |
| "grad_norm": 7.652830600738525, | |
| "learning_rate": 8.400000000000001e-06, | |
| "loss": 0.1489, | |
| "step": 2800 | |
| }, | |
| { | |
| "epoch": 1.9333333333333333, | |
| "grad_norm": 12.427044868469238, | |
| "learning_rate": 7.906172839506173e-06, | |
| "loss": 0.1508, | |
| "step": 2900 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 19.034095764160156, | |
| "learning_rate": 7.412345679012346e-06, | |
| "loss": 0.1689, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "eval_accuracy": 0.94875, | |
| "eval_f1": 0.948647254325394, | |
| "eval_loss": 0.15678440034389496, | |
| "eval_runtime": 134.9499, | |
| "eval_samples_per_second": 88.922, | |
| "eval_steps_per_second": 2.779, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 2.066666666666667, | |
| "grad_norm": 10.550028800964355, | |
| "learning_rate": 6.918518518518519e-06, | |
| "loss": 0.1327, | |
| "step": 3100 | |
| }, | |
| { | |
| "epoch": 2.1333333333333333, | |
| "grad_norm": 8.336569786071777, | |
| "learning_rate": 6.424691358024692e-06, | |
| "loss": 0.1332, | |
| "step": 3200 | |
| }, | |
| { | |
| "epoch": 2.2, | |
| "grad_norm": 8.286913871765137, | |
| "learning_rate": 5.930864197530864e-06, | |
| "loss": 0.129, | |
| "step": 3300 | |
| }, | |
| { | |
| "epoch": 2.2666666666666666, | |
| "grad_norm": 21.938156127929688, | |
| "learning_rate": 5.4370370370370376e-06, | |
| "loss": 0.1267, | |
| "step": 3400 | |
| }, | |
| { | |
| "epoch": 2.3333333333333335, | |
| "grad_norm": 4.7778825759887695, | |
| "learning_rate": 4.94320987654321e-06, | |
| "loss": 0.1221, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "grad_norm": 15.925739288330078, | |
| "learning_rate": 4.449382716049383e-06, | |
| "loss": 0.1156, | |
| "step": 3600 | |
| }, | |
| { | |
| "epoch": 2.466666666666667, | |
| "grad_norm": 2.2890524864196777, | |
| "learning_rate": 3.955555555555556e-06, | |
| "loss": 0.1067, | |
| "step": 3700 | |
| }, | |
| { | |
| "epoch": 2.533333333333333, | |
| "grad_norm": 4.421731948852539, | |
| "learning_rate": 3.461728395061729e-06, | |
| "loss": 0.1006, | |
| "step": 3800 | |
| }, | |
| { | |
| "epoch": 2.6, | |
| "grad_norm": 54.37298583984375, | |
| "learning_rate": 2.9679012345679013e-06, | |
| "loss": 0.1013, | |
| "step": 3900 | |
| }, | |
| { | |
| "epoch": 2.6666666666666665, | |
| "grad_norm": 13.42692756652832, | |
| "learning_rate": 2.4740740740740742e-06, | |
| "loss": 0.1125, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 2.7333333333333334, | |
| "grad_norm": 0.711950957775116, | |
| "learning_rate": 1.980246913580247e-06, | |
| "loss": 0.1171, | |
| "step": 4100 | |
| }, | |
| { | |
| "epoch": 2.8, | |
| "grad_norm": 0.9817278385162354, | |
| "learning_rate": 1.4864197530864199e-06, | |
| "loss": 0.1105, | |
| "step": 4200 | |
| }, | |
| { | |
| "epoch": 2.8666666666666667, | |
| "grad_norm": 31.010404586791992, | |
| "learning_rate": 9.925925925925926e-07, | |
| "loss": 0.1073, | |
| "step": 4300 | |
| }, | |
| { | |
| "epoch": 2.9333333333333336, | |
| "grad_norm": 7.680997848510742, | |
| "learning_rate": 4.987654320987655e-07, | |
| "loss": 0.1187, | |
| "step": 4400 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "grad_norm": 5.868310451507568, | |
| "learning_rate": 4.938271604938272e-09, | |
| "loss": 0.1061, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "eval_accuracy": 0.9585833333333333, | |
| "eval_f1": 0.9584511938733902, | |
| "eval_loss": 0.1317964494228363, | |
| "eval_runtime": 135.9928, | |
| "eval_samples_per_second": 88.24, | |
| "eval_steps_per_second": 2.757, | |
| "step": 4500 | |
| } | |
| ], | |
| "logging_steps": 100, | |
| "max_steps": 4500, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 3, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 1.96277880029184e+17, | |
| "train_batch_size": 32, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |