Training in progress, step 400, checkpoint

last-checkpoint/model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:b0f05902edbab8c2047e2cd165f535365973f4882aa48d72f02b579256828033
+oid sha256:bbe6fe1babb0e8d8c27837f99199a1442757cd3c7e7a0ca8acb25c6876e86e6e
 size 1738460416

last-checkpoint/optimizer.pt

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:b51c46bae4daf9e6a9e338f80a67d2671a57ba0289d103540996cd83f303338c
+oid sha256:a68596138663ffb41516fc6f90b803f499772e83b55e196c5e91745524db2517
 size 3477327340

last-checkpoint/rng_state_0.pth

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:9c213a373f3e5d95993ad095a3790a902d821a1b4b93a10cc7d382c8726fcb9d
+oid sha256:81d5f83aeb4b3f559bd28377336d47659b320e7f6ef2e5a723d284716278a151
 size 15429

last-checkpoint/rng_state_1.pth

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:8fb125336725f7741cb4daa1e3d06e225bbacfde8d41c4dcabb6762c222e62c6
+oid sha256:2626437dcb133ffcf003ac89603f8cce07459b93a98d760cd9419e0d6a994067
 size 15429

last-checkpoint/rng_state_2.pth

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:153c865f77c7129ba565bded50f334683d51c80f20e3cfec39e62f8737b86f0d
+oid sha256:ae777e24d50cb7159634e1245f0697ba0fc64d5b26d535f2c80e411371a90b1c
 size 15429

last-checkpoint/rng_state_3.pth

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:d017ce00fcebac7edc058ddd138f194eb0340f2d8ad0879bdab08f922ed0846e
+oid sha256:afc5a67564eebcfc961e8f1406a7418cc73497c2935a39af0232ef59f8153a6a
 size 15429

last-checkpoint/scheduler.pt

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:043e3a8e2a2579bce7c021fb61a180d705f6161a67c5cea201876b0db210edab
+oid sha256:51eb67b845fb6f64dece598e11e09c3b72500e12b8629f58f93cab1700a7a3de
 size 1465

last-checkpoint/trainer_state.json

@@ -2,9 +2,9 @@
   "best_global_step": null,
   "best_metric": null,
   "best_model_checkpoint": null,
-  "epoch": 0.13333333333333333,
+  "epoch": 0.26666666666666666,
   "eval_steps": 100,
-  "global_step": 200,
+  "global_step": 400,
   "is_hyper_param_search": false,
   "is_local_process_zero": true,
   "is_world_process_zero": true,
@@ -304,6 +304,302 @@
       "eval_samples_per_second": 39.103,
       "eval_steps_per_second": 1.018,
       "step": 200
+    },
+    {
+      "epoch": 0.13666666666666666,
+      "grad_norm": 4.0625,
+      "learning_rate": 2e-05,
+      "loss": 31.3537,
+      "step": 205
+    },
+    {
+      "epoch": 0.14,
+      "grad_norm": 4.34375,
+      "learning_rate": 2e-05,
+      "loss": 31.1251,
+      "step": 210
+    },
+    {
+      "epoch": 0.14333333333333334,
+      "grad_norm": 3.90625,
+      "learning_rate": 2e-05,
+      "loss": 31.0599,
+      "step": 215
+    },
+    {
+      "epoch": 0.14666666666666667,
+      "grad_norm": 3.96875,
+      "learning_rate": 2e-05,
+      "loss": 30.9825,
+      "step": 220
+    },
+    {
+      "epoch": 0.15,
+      "grad_norm": 3.78125,
+      "learning_rate": 2e-05,
+      "loss": 30.7881,
+      "step": 225
+    },
+    {
+      "epoch": 0.15333333333333332,
+      "grad_norm": 3.953125,
+      "learning_rate": 2e-05,
+      "loss": 30.6811,
+      "step": 230
+    },
+    {
+      "epoch": 0.15666666666666668,
+      "grad_norm": 3.609375,
+      "learning_rate": 2e-05,
+      "loss": 30.6916,
+      "step": 235
+    },
+    {
+      "epoch": 0.16,
+      "grad_norm": 4.1875,
+      "learning_rate": 2e-05,
+      "loss": 30.3585,
+      "step": 240
+    },
+    {
+      "epoch": 0.16333333333333333,
+      "grad_norm": 5.90625,
+      "learning_rate": 2e-05,
+      "loss": 30.4089,
+      "step": 245
+    },
+    {
+      "epoch": 0.16666666666666666,
+      "grad_norm": 15.3125,
+      "learning_rate": 2e-05,
+      "loss": 30.3882,
+      "step": 250
+    },
+    {
+      "epoch": 0.17,
+      "grad_norm": 8.25,
+      "learning_rate": 2e-05,
+      "loss": 30.2357,
+      "step": 255
+    },
+    {
+      "epoch": 0.17333333333333334,
+      "grad_norm": 8.875,
+      "learning_rate": 2e-05,
+      "loss": 30.2875,
+      "step": 260
+    },
+    {
+      "epoch": 0.17666666666666667,
+      "grad_norm": 21.375,
+      "learning_rate": 2e-05,
+      "loss": 30.1799,
+      "step": 265
+    },
+    {
+      "epoch": 0.18,
+      "grad_norm": 33.25,
+      "learning_rate": 2e-05,
+      "loss": 30.3195,
+      "step": 270
+    },
+    {
+      "epoch": 0.18333333333333332,
+      "grad_norm": 14.0625,
+      "learning_rate": 2e-05,
+      "loss": 30.3163,
+      "step": 275
+    },
+    {
+      "epoch": 0.18666666666666668,
+      "grad_norm": 5.25,
+      "learning_rate": 2e-05,
+      "loss": 30.2876,
+      "step": 280
+    },
+    {
+      "epoch": 0.19,
+      "grad_norm": 3.78125,
+      "learning_rate": 2e-05,
+      "loss": 30.3209,
+      "step": 285
+    },
+    {
+      "epoch": 0.19333333333333333,
+      "grad_norm": 3.078125,
+      "learning_rate": 2e-05,
+      "loss": 30.1198,
+      "step": 290
+    },
+    {
+      "epoch": 0.19666666666666666,
+      "grad_norm": 4.5625,
+      "learning_rate": 2e-05,
+      "loss": 30.0731,
+      "step": 295
+    },
+    {
+      "epoch": 0.2,
+      "grad_norm": 25.5,
+      "learning_rate": 2e-05,
+      "loss": 29.9634,
+      "step": 300
+    },
+    {
+      "epoch": 0.2,
+      "eval_loss": 7.543545246124268,
+      "eval_runtime": 6.7597,
+      "eval_samples_per_second": 39.794,
+      "eval_steps_per_second": 1.036,
+      "step": 300
+    },
+    {
+      "epoch": 0.20333333333333334,
+      "grad_norm": 17.375,
+      "learning_rate": 2e-05,
+      "loss": 29.8938,
+      "step": 305
+    },
+    {
+      "epoch": 0.20666666666666667,
+      "grad_norm": 24.375,
+      "learning_rate": 2e-05,
+      "loss": 29.8926,
+      "step": 310
+    },
+    {
+      "epoch": 0.21,
+      "grad_norm": 36.5,
+      "learning_rate": 2e-05,
+      "loss": 29.9906,
+      "step": 315
+    },
+    {
+      "epoch": 0.21333333333333335,
+      "grad_norm": 23.0,
+      "learning_rate": 2e-05,
+      "loss": 29.9687,
+      "step": 320
+    },
+    {
+      "epoch": 0.21666666666666667,
+      "grad_norm": 30.625,
+      "learning_rate": 2e-05,
+      "loss": 30.0537,
+      "step": 325
+    },
+    {
+      "epoch": 0.22,
+      "grad_norm": 26.0,
+      "learning_rate": 2e-05,
+      "loss": 30.3012,
+      "step": 330
+    },
+    {
+      "epoch": 0.22333333333333333,
+      "grad_norm": 24.0,
+      "learning_rate": 2e-05,
+      "loss": 29.9831,
+      "step": 335
+    },
+    {
+      "epoch": 0.22666666666666666,
+      "grad_norm": 5.53125,
+      "learning_rate": 2e-05,
+      "loss": 30.1414,
+      "step": 340
+    },
+    {
+      "epoch": 0.23,
+      "grad_norm": 8.5625,
+      "learning_rate": 2e-05,
+      "loss": 29.8688,
+      "step": 345
+    },
+    {
+      "epoch": 0.23333333333333334,
+      "grad_norm": 15.375,
+      "learning_rate": 2e-05,
+      "loss": 29.9341,
+      "step": 350
+    },
+    {
+      "epoch": 0.23666666666666666,
+      "grad_norm": 4.625,
+      "learning_rate": 2e-05,
+      "loss": 29.8085,
+      "step": 355
+    },
+    {
+      "epoch": 0.24,
+      "grad_norm": 5.0625,
+      "learning_rate": 2e-05,
+      "loss": 29.7093,
+      "step": 360
+    },
+    {
+      "epoch": 0.24333333333333335,
+      "grad_norm": 6.8125,
+      "learning_rate": 2e-05,
+      "loss": 29.6956,
+      "step": 365
+    },
+    {
+      "epoch": 0.24666666666666667,
+      "grad_norm": 5.09375,
+      "learning_rate": 2e-05,
+      "loss": 29.7583,
+      "step": 370
+    },
+    {
+      "epoch": 0.25,
+      "grad_norm": 12.625,
+      "learning_rate": 2e-05,
+      "loss": 29.6723,
+      "step": 375
+    },
+    {
+      "epoch": 0.25333333333333335,
+      "grad_norm": 9.5,
+      "learning_rate": 2e-05,
+      "loss": 29.6157,
+      "step": 380
+    },
+    {
+      "epoch": 0.25666666666666665,
+      "grad_norm": 23.5,
+      "learning_rate": 2e-05,
+      "loss": 29.6261,
+      "step": 385
+    },
+    {
+      "epoch": 0.26,
+      "grad_norm": 21.75,
+      "learning_rate": 2e-05,
+      "loss": 29.6411,
+      "step": 390
+    },
+    {
+      "epoch": 0.2633333333333333,
+      "grad_norm": 30.25,
+      "learning_rate": 2e-05,
+      "loss": 29.7162,
+      "step": 395
+    },
+    {
+      "epoch": 0.26666666666666666,
+      "grad_norm": 8.3125,
+      "learning_rate": 2e-05,
+      "loss": 29.6952,
+      "step": 400
+    },
+    {
+      "epoch": 0.26666666666666666,
+      "eval_loss": 7.468276023864746,
+      "eval_runtime": 6.838,
+      "eval_samples_per_second": 39.339,
+      "eval_steps_per_second": 1.024,
+      "step": 400
     }
   ],
   "logging_steps": 5,
@@ -323,7 +619,7 @@
       "attributes": {}
     }
   },
-  "total_flos": 1.3081469656236032e+17,
+  "total_flos": 2.6162939312472064e+17,
   "train_batch_size": 10,
   "trial_name": null,
   "trial_params": null