Upload folder using huggingface_hub

outputs/tiny-50M/checkpoint-94/model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:36957c6f1f015099525b790d2dd70f38b1a921e4ab9120e74448810b3c0997fc
+oid sha256:ed4868ff639de4b8d629ffc284da1110b14c804b5174492236433a12c251511a
 size 223914096

outputs/tiny-50M/checkpoint-94/optimizer.pt

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:3cff9b0c82ec23f2f10c71dc86cb68272042f6adb0f48573551f6115ad062f99
-size 447876619
+oid sha256:d73bad267e0fd27eac0de697d1fe24d529b1c634312881e6ca8ce191f1606f6b
+size 447875595

outputs/tiny-50M/checkpoint-94/trainer_state.json

@@ -11,331 +11,331 @@
   "log_history": [
     {
       "epoch": 0.021333333333333333,
-      "grad_norm": 29.011188507080078,
+      "grad_norm": 30.166709899902344,
       "learning_rate": 0.00029680851063829784,
-      "loss": 8.346978187561035,
+      "loss": 8.347488403320312,
       "step": 2
     },
     {
       "epoch": 0.042666666666666665,
-      "grad_norm": 13.481355667114258,
+      "grad_norm": 13.746070861816406,
       "learning_rate": 0.0002904255319148936,
-      "loss": 2.6404876708984375,
+      "loss": 2.675719976425171,
       "step": 4
     },
     {
       "epoch": 0.064,
-      "grad_norm": 7.892824649810791,
+      "grad_norm": 8.038883209228516,
       "learning_rate": 0.00028404255319148934,
-      "loss": 2.0632431507110596,
+      "loss": 2.0796334743499756,
       "step": 6
     },
     {
       "epoch": 0.08533333333333333,
-      "grad_norm": 5.1439290046691895,
+      "grad_norm": 5.246901035308838,
       "learning_rate": 0.00027765957446808506,
-      "loss": 1.717237949371338,
+      "loss": 1.725084662437439,
       "step": 8
     },
     {
       "epoch": 0.10666666666666667,
-      "grad_norm": 3.4443705081939697,
+      "grad_norm": 3.53300142288208,
       "learning_rate": 0.00027127659574468084,
-      "loss": 1.546836495399475,
+      "loss": 1.5517196655273438,
       "step": 10
     },
     {
       "epoch": 0.128,
-      "grad_norm": 1.2741241455078125,
+      "grad_norm": 1.3462578058242798,
       "learning_rate": 0.00026489361702127656,
-      "loss": 1.5641388893127441,
+      "loss": 1.5625920295715332,
       "step": 12
     },
     {
       "epoch": 0.14933333333333335,
-      "grad_norm": 0.4521211087703705,
+      "grad_norm": 0.7539430260658264,
       "learning_rate": 0.0002585106382978723,
-      "loss": 1.4650248289108276,
+      "loss": 1.4509238004684448,
       "step": 14
     },
     {
       "epoch": 0.17066666666666666,
-      "grad_norm": 0.7001396417617798,
+      "grad_norm": 1.9513685703277588,
       "learning_rate": 0.00025212765957446806,
-      "loss": 1.723739504814148,
+      "loss": 1.6689962148666382,
       "step": 16
     },
     {
       "epoch": 0.192,
-      "grad_norm": 2.849344253540039,
+      "grad_norm": 1.351525068283081,
       "learning_rate": 0.00024574468085106384,
-      "loss": 1.2521086931228638,
+      "loss": 1.1256853342056274,
       "step": 18
     },
     {
       "epoch": 0.21333333333333335,
-      "grad_norm": 1.0618754625320435,
+      "grad_norm": 1.0175305604934692,
       "learning_rate": 0.00023936170212765956,
-      "loss": 1.3180286884307861,
+      "loss": 1.2274049520492554,
       "step": 20
     },
     {
       "epoch": 0.23466666666666666,
-      "grad_norm": 0.7910650968551636,
+      "grad_norm": 0.8081133365631104,
       "learning_rate": 0.00023297872340425529,
-      "loss": 0.7831555008888245,
+      "loss": 0.7245161533355713,
       "step": 22
     },
     {
       "epoch": 0.256,
-      "grad_norm": 0.5811737775802612,
+      "grad_norm": 0.564518928527832,
       "learning_rate": 0.00022659574468085106,
-      "loss": 0.8747992515563965,
+      "loss": 0.8335387706756592,
       "step": 24
     },
     {
       "epoch": 0.2773333333333333,
-      "grad_norm": 0.5306895971298218,
+      "grad_norm": 0.47961825132369995,
       "learning_rate": 0.00022021276595744679,
-      "loss": 0.946044921875,
+      "loss": 0.9343984127044678,
       "step": 26
     },
     {
       "epoch": 0.2986666666666667,
-      "grad_norm": 0.4814009666442871,
+      "grad_norm": 0.5059517621994019,
       "learning_rate": 0.00021382978723404254,
-      "loss": 1.2863211631774902,
+      "loss": 1.2788163423538208,
       "step": 28
     },
     {
       "epoch": 0.32,
-      "grad_norm": 0.40367525815963745,
+      "grad_norm": 0.3515514135360718,
       "learning_rate": 0.0002074468085106383,
-      "loss": 0.6992202401161194,
+      "loss": 0.6979052424430847,
       "step": 30
     },
     {
       "epoch": 0.3413333333333333,
-      "grad_norm": 0.33995431661605835,
+      "grad_norm": 0.30817732214927673,
       "learning_rate": 0.00020106382978723404,
-      "loss": 0.8039097785949707,
+      "loss": 0.804260790348053,
       "step": 32
     },
     {
       "epoch": 0.3626666666666667,
-      "grad_norm": 0.29279589653015137,
+      "grad_norm": 0.2735461890697479,
       "learning_rate": 0.00019468085106382976,
-      "loss": 0.7619299292564392,
+      "loss": 0.7646240592002869,
       "step": 34
     },
     {
       "epoch": 0.384,
-      "grad_norm": 0.24546465277671814,
+      "grad_norm": 0.21854309737682343,
       "learning_rate": 0.0001882978723404255,
-      "loss": 0.8064662218093872,
+      "loss": 0.8073861598968506,
       "step": 36
     },
     {
       "epoch": 0.4053333333333333,
-      "grad_norm": 0.22012704610824585,
+      "grad_norm": 0.19453339278697968,
       "learning_rate": 0.00018191489361702126,
-      "loss": 0.5786138772964478,
+      "loss": 0.5784091949462891,
       "step": 38
     },
     {
       "epoch": 0.4266666666666667,
-      "grad_norm": 0.2339271903038025,
+      "grad_norm": 0.23420196771621704,
       "learning_rate": 0.000175531914893617,
-      "loss": 0.7726966142654419,
+      "loss": 0.7726412415504456,
       "step": 40
     },
     {
       "epoch": 0.448,
-      "grad_norm": 0.2187328040599823,
+      "grad_norm": 0.21530155837535858,
       "learning_rate": 0.00016914893617021274,
-      "loss": 0.7539166808128357,
+      "loss": 0.7511515021324158,
       "step": 42
     },
     {
       "epoch": 0.4693333333333333,
-      "grad_norm": 0.19738425314426422,
+      "grad_norm": 0.18182571232318878,
       "learning_rate": 0.00016276595744680849,
-      "loss": 0.5378025770187378,
+      "loss": 0.536228597164154,
       "step": 44
     },
     {
       "epoch": 0.49066666666666664,
-      "grad_norm": 0.18012943863868713,
+      "grad_norm": 0.15741167962551117,
       "learning_rate": 0.00015638297872340426,
-      "loss": 0.7240568399429321,
+      "loss": 0.7213630080223083,
       "step": 46
     },
     {
       "epoch": 0.512,
-      "grad_norm": 0.17003561556339264,
+      "grad_norm": 0.1518542468547821,
       "learning_rate": 0.00015,
-      "loss": 0.7885584235191345,
+      "loss": 0.7869961857795715,
       "step": 48
     },
     {
       "epoch": 0.5333333333333333,
-      "grad_norm": 0.1656249612569809,
+      "grad_norm": 0.14520101249217987,
       "learning_rate": 0.00014361702127659574,
-      "loss": 0.7779578566551208,
+      "loss": 0.7752764225006104,
       "step": 50
     },
     {
       "epoch": 0.5546666666666666,
-      "grad_norm": 0.19503864645957947,
+      "grad_norm": 0.17257414758205414,
       "learning_rate": 0.0001372340425531915,
-      "loss": 0.8448032736778259,
+      "loss": 0.8407772779464722,
       "step": 52
     },
     {
       "epoch": 0.576,
-      "grad_norm": 0.19109377264976501,
+      "grad_norm": 0.16877472400665283,
       "learning_rate": 0.00013085106382978724,
-      "loss": 0.7850212454795837,
+      "loss": 0.7839096784591675,
       "step": 54
     },
     {
       "epoch": 0.5973333333333334,
-      "grad_norm": 0.2633759081363678,
+      "grad_norm": 0.24243956804275513,
       "learning_rate": 0.00012446808510638296,
-      "loss": 0.8420689105987549,
+      "loss": 0.841733455657959,
       "step": 56
     },
     {
       "epoch": 0.6186666666666667,
-      "grad_norm": 0.1693897396326065,
+      "grad_norm": 0.14054574072360992,
       "learning_rate": 0.00011808510638297871,
-      "loss": 0.645514726638794,
+      "loss": 0.6435402631759644,
       "step": 58
     },
     {
       "epoch": 0.64,
-      "grad_norm": 0.16540351510047913,
+      "grad_norm": 0.13848860561847687,
       "learning_rate": 0.00011170212765957445,
-      "loss": 0.7244110107421875,
+      "loss": 0.7245650291442871,
       "step": 60
     },
     {
       "epoch": 0.6613333333333333,
-      "grad_norm": 0.25264379382133484,
+      "grad_norm": 0.23272359371185303,
       "learning_rate": 0.0001053191489361702,
-      "loss": 0.8276220560073853,
+      "loss": 0.8280035853385925,
       "step": 62
     },
     {
       "epoch": 0.6826666666666666,
-      "grad_norm": 0.1877814531326294,
+      "grad_norm": 0.1792154610157013,
       "learning_rate": 9.893617021276594e-05,
-      "loss": 0.8581035733222961,
+      "loss": 0.8571745753288269,
       "step": 64
     },
     {
       "epoch": 0.704,
-      "grad_norm": 0.16655665636062622,
+      "grad_norm": 0.16959930956363678,
       "learning_rate": 9.25531914893617e-05,
-      "loss": 0.9341365098953247,
+      "loss": 0.933184802532196,
       "step": 66
     },
     {
       "epoch": 0.7253333333333334,
-      "grad_norm": 0.1424597203731537,
+      "grad_norm": 0.13914260268211365,
       "learning_rate": 8.617021276595745e-05,
-      "loss": 0.7335399389266968,
+      "loss": 0.7348431944847107,
       "step": 68
     },
     {
       "epoch": 0.7466666666666667,
-      "grad_norm": 0.15033434331417084,
+      "grad_norm": 0.1400301605463028,
       "learning_rate": 7.978723404255319e-05,
-      "loss": 0.6669926047325134,
+      "loss": 0.6656860113143921,
       "step": 70
     },
     {
       "epoch": 0.768,
-      "grad_norm": 0.15904343128204346,
+      "grad_norm": 0.16361679136753082,
       "learning_rate": 7.340425531914892e-05,
-      "loss": 0.7523277401924133,
+      "loss": 0.75230473279953,
       "step": 72
     },
     {
       "epoch": 0.7893333333333333,
-      "grad_norm": 0.16284826397895813,
+      "grad_norm": 0.1539808064699173,
       "learning_rate": 6.702127659574467e-05,
-      "loss": 0.9841910600662231,
+      "loss": 0.9810104370117188,
       "step": 74
     },
     {
       "epoch": 0.8106666666666666,
-      "grad_norm": 0.14707544445991516,
+      "grad_norm": 0.1371268332004547,
       "learning_rate": 6.063829787234042e-05,
-      "loss": 0.6877110600471497,
+      "loss": 0.6880193948745728,
       "step": 76
     },
     {
       "epoch": 0.832,
-      "grad_norm": 0.12658557295799255,
+      "grad_norm": 0.11491774022579193,
       "learning_rate": 5.425531914893617e-05,
-      "loss": 0.49134188890457153,
+      "loss": 0.4922926127910614,
       "step": 78
     },
     {
       "epoch": 0.8533333333333334,
-      "grad_norm": 0.21714496612548828,
+      "grad_norm": 0.21343013644218445,
       "learning_rate": 4.787234042553191e-05,
-      "loss": 1.1129697561264038,
+      "loss": 1.116054654121399,
       "step": 80
     },
     {
       "epoch": 0.8746666666666667,
-      "grad_norm": 0.14592401683330536,
+      "grad_norm": 0.13298730552196503,
       "learning_rate": 4.1489361702127656e-05,
-      "loss": 0.5422960519790649,
+      "loss": 0.5433835983276367,
       "step": 82
     },
     {
       "epoch": 0.896,
-      "grad_norm": 0.27245721220970154,
+      "grad_norm": 0.27838391065597534,
       "learning_rate": 3.51063829787234e-05,
-      "loss": 0.9125586748123169,
+      "loss": 0.9210352897644043,
       "step": 84
     },
     {
       "epoch": 0.9173333333333333,
-      "grad_norm": 0.23456934094429016,
+      "grad_norm": 0.2603234350681305,
       "learning_rate": 2.8723404255319147e-05,
-      "loss": 0.8048152327537537,
+      "loss": 0.8113033175468445,
       "step": 86
     },
     {
       "epoch": 0.9386666666666666,
-      "grad_norm": 0.2302902489900589,
+      "grad_norm": 0.1652015596628189,
       "learning_rate": 2.234042553191489e-05,
-      "loss": 0.9489067792892456,
+      "loss": 0.9470769166946411,
       "step": 88
     },
     {
       "epoch": 0.96,
-      "grad_norm": 0.19670090079307556,
+      "grad_norm": 0.18887323141098022,
       "learning_rate": 1.5957446808510637e-05,
-      "loss": 0.8251653909683228,
+      "loss": 0.8322729468345642,
       "step": 90
     },
     {
       "epoch": 0.9813333333333333,
-      "grad_norm": 0.19505082070827484,
+      "grad_norm": 0.14641888439655304,
       "learning_rate": 9.574468085106381e-06,
-      "loss": 0.7231743335723877,
+      "loss": 0.7308990359306335,
       "step": 92
     },
     {
       "epoch": 1.0,
-      "grad_norm": 0.17158855497837067,
+      "grad_norm": 0.16242855787277222,
       "learning_rate": 3.1914893617021273e-06,
-      "loss": 0.7263050079345703,
+      "loss": 0.738246500492096,
       "step": 94
     }
   ],

outputs/tiny-50M/model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:36957c6f1f015099525b790d2dd70f38b1a921e4ab9120e74448810b3c0997fc
+oid sha256:ed4868ff639de4b8d629ffc284da1110b14c804b5174492236433a12c251511a
 size 223914096