Upload folder using huggingface_hub

outputs/tiny-50M/checkpoint-94/model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:eb37e75638225d45f356e5b8f75eef0bb1e660bda25db4aab80c9560f1b68ab3
+oid sha256:8ac60534512b1d96ab438a8604ed4361bdafa0057e94bd532deddd61b2355c2a
 size 223914096

outputs/tiny-50M/checkpoint-94/optimizer.pt

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:72a1d26b00da6f0d49777ba5fe366c4f069a527ebb5d4982755265114a3bf0e5
+oid sha256:a99b2d20b379d1568502ce8577c451749db453377faa16b9f193dea2203aec41
 size 447876619

outputs/tiny-50M/checkpoint-94/trainer_state.json

@@ -11,331 +11,331 @@
   "log_history": [
     {
       "epoch": 0.021333333333333333,
-      "grad_norm": 27.891077041625977,
+      "grad_norm": 31.225147247314453,
       "learning_rate": 0.00029680851063829784,
-      "loss": 8.188338279724121,
+      "loss": 8.52867317199707,
       "step": 2
     },
     {
       "epoch": 0.042666666666666665,
-      "grad_norm": 14.125041961669922,
+      "grad_norm": 13.479415893554688,
       "learning_rate": 0.0002904255319148936,
-      "loss": 2.679720640182495,
+      "loss": 2.7213046550750732,
       "step": 4
     },
     {
       "epoch": 0.064,
-      "grad_norm": 8.574689865112305,
+      "grad_norm": 7.317852973937988,
       "learning_rate": 0.00028404255319148934,
-      "loss": 2.110288381576538,
+      "loss": 2.033416271209717,
       "step": 6
     },
     {
       "epoch": 0.08533333333333333,
-      "grad_norm": 5.935618877410889,
+      "grad_norm": 4.662449836730957,
       "learning_rate": 0.00027765957446808506,
-      "loss": 1.751796007156372,
+      "loss": 1.6911412477493286,
       "step": 8
     },
     {
       "epoch": 0.10666666666666667,
-      "grad_norm": 4.077890396118164,
+      "grad_norm": 3.142587423324585,
       "learning_rate": 0.00027127659574468084,
-      "loss": 1.5699422359466553,
+      "loss": 1.5356372594833374,
       "step": 10
     },
     {
       "epoch": 0.128,
-      "grad_norm": 1.7314372062683105,
+      "grad_norm": 1.1281284093856812,
       "learning_rate": 0.00026489361702127656,
-      "loss": 1.5714269876480103,
+      "loss": 1.5556082725524902,
       "step": 12
     },
     {
       "epoch": 0.14933333333333335,
-      "grad_norm": 0.7056333422660828,
+      "grad_norm": 0.9458932876586914,
       "learning_rate": 0.0002585106382978723,
-      "loss": 1.4632405042648315,
+      "loss": 1.4359612464904785,
       "step": 14
     },
     {
       "epoch": 0.17066666666666666,
-      "grad_norm": 1.3542344570159912,
+      "grad_norm": 1.44228196144104,
       "learning_rate": 0.00025212765957446806,
-      "loss": 1.688467264175415,
+      "loss": 1.6867344379425049,
       "step": 16
     },
     {
       "epoch": 0.192,
-      "grad_norm": 1.9246461391448975,
+      "grad_norm": 1.0805906057357788,
       "learning_rate": 0.00024574468085106384,
-      "loss": 1.1537200212478638,
+      "loss": 1.1430644989013672,
       "step": 18
     },
     {
       "epoch": 0.21333333333333335,
-      "grad_norm": 1.034641981124878,
+      "grad_norm": 1.4411908388137817,
       "learning_rate": 0.00023936170212765956,
-      "loss": 1.225510597229004,
+      "loss": 1.2227848768234253,
       "step": 20
     },
     {
       "epoch": 0.23466666666666666,
-      "grad_norm": 0.8350309729576111,
+      "grad_norm": 0.8173074722290039,
       "learning_rate": 0.00023297872340425529,
-      "loss": 0.7377459406852722,
+      "loss": 0.7304412126541138,
       "step": 22
     },
     {
       "epoch": 0.256,
-      "grad_norm": 0.6457085013389587,
+      "grad_norm": 0.6062348484992981,
       "learning_rate": 0.00022659574468085106,
-      "loss": 0.8371815085411072,
+      "loss": 0.8404697179794312,
       "step": 24
     },
     {
       "epoch": 0.2773333333333333,
-      "grad_norm": 0.4902364909648895,
+      "grad_norm": 0.4316070079803467,
       "learning_rate": 0.00022021276595744679,
-      "loss": 0.9324028491973877,
+      "loss": 0.9314869046211243,
       "step": 26
     },
     {
       "epoch": 0.2986666666666667,
-      "grad_norm": 0.4754069447517395,
+      "grad_norm": 0.6301507949829102,
       "learning_rate": 0.00021382978723404254,
-      "loss": 1.2818946838378906,
+      "loss": 1.2809929847717285,
       "step": 28
     },
     {
       "epoch": 0.32,
-      "grad_norm": 0.37646088004112244,
+      "grad_norm": 0.3357005715370178,
       "learning_rate": 0.0002074468085106383,
-      "loss": 0.6978985667228699,
+      "loss": 0.6974232196807861,
       "step": 30
     },
     {
       "epoch": 0.3413333333333333,
-      "grad_norm": 0.31723642349243164,
+      "grad_norm": 0.2994663119316101,
       "learning_rate": 0.00020106382978723404,
-      "loss": 0.8003444671630859,
+      "loss": 0.8036333918571472,
       "step": 32
     },
     {
       "epoch": 0.3626666666666667,
-      "grad_norm": 0.2721378803253174,
+      "grad_norm": 0.2758641839027405,
       "learning_rate": 0.00019468085106382976,
-      "loss": 0.7599869966506958,
+      "loss": 0.764110803604126,
       "step": 34
     },
     {
       "epoch": 0.384,
-      "grad_norm": 0.22330692410469055,
+      "grad_norm": 0.2245205193758011,
       "learning_rate": 0.0001882978723404255,
-      "loss": 0.8038197159767151,
+      "loss": 0.8084566593170166,
       "step": 36
     },
     {
       "epoch": 0.4053333333333333,
-      "grad_norm": 0.20500066876411438,
+      "grad_norm": 0.19165082275867462,
       "learning_rate": 0.00018191489361702126,
-      "loss": 0.5764169096946716,
+      "loss": 0.5781641006469727,
       "step": 38
     },
     {
       "epoch": 0.4266666666666667,
-      "grad_norm": 0.22691726684570312,
+      "grad_norm": 0.2245481312274933,
       "learning_rate": 0.000175531914893617,
-      "loss": 0.7676916718482971,
+      "loss": 0.7706995606422424,
       "step": 40
     },
     {
       "epoch": 0.448,
-      "grad_norm": 0.20387689769268036,
+      "grad_norm": 0.23645305633544922,
       "learning_rate": 0.00016914893617021274,
-      "loss": 0.746467113494873,
+      "loss": 0.7513458132743835,
       "step": 42
     },
     {
       "epoch": 0.4693333333333333,
-      "grad_norm": 0.18681247532367706,
+      "grad_norm": 0.1810406893491745,
       "learning_rate": 0.00016276595744680849,
-      "loss": 0.5307923555374146,
+      "loss": 0.5361976623535156,
       "step": 44
     },
     {
       "epoch": 0.49066666666666664,
-      "grad_norm": 0.1740407943725586,
+      "grad_norm": 0.1478956639766693,
       "learning_rate": 0.00015638297872340426,
-      "loss": 0.7160762548446655,
+      "loss": 0.7217134237289429,
       "step": 46
     },
     {
       "epoch": 0.512,
-      "grad_norm": 0.16660162806510925,
+      "grad_norm": 0.1493946611881256,
       "learning_rate": 0.00015,
-      "loss": 0.7801742553710938,
+      "loss": 0.7867408394813538,
       "step": 48
     },
     {
       "epoch": 0.5333333333333333,
-      "grad_norm": 0.1622432917356491,
+      "grad_norm": 0.1440344601869583,
       "learning_rate": 0.00014361702127659574,
-      "loss": 0.7674417495727539,
+      "loss": 0.7758527994155884,
       "step": 50
     },
     {
       "epoch": 0.5546666666666666,
-      "grad_norm": 0.18814705312252045,
+      "grad_norm": 0.18880832195281982,
       "learning_rate": 0.0001372340425531915,
-      "loss": 0.8312627077102661,
+      "loss": 0.8403156399726868,
       "step": 52
     },
     {
       "epoch": 0.576,
-      "grad_norm": 0.1740627884864807,
+      "grad_norm": 0.17265242338180542,
       "learning_rate": 0.00013085106382978724,
-      "loss": 0.7709924578666687,
+      "loss": 0.7809760570526123,
       "step": 54
     },
     {
       "epoch": 0.5973333333333334,
-      "grad_norm": 0.22229698300361633,
+      "grad_norm": 0.24294261634349823,
       "learning_rate": 0.00012446808510638296,
-      "loss": 0.8270488977432251,
+      "loss": 0.836655855178833,
       "step": 56
     },
     {
       "epoch": 0.6186666666666667,
-      "grad_norm": 0.15972581505775452,
+      "grad_norm": 0.19952146708965302,
       "learning_rate": 0.00011808510638297871,
-      "loss": 0.6334844827651978,
+      "loss": 0.643369734287262,
       "step": 58
     },
     {
       "epoch": 0.64,
-      "grad_norm": 0.1379707306623459,
+      "grad_norm": 0.1467123031616211,
       "learning_rate": 0.00011170212765957445,
-      "loss": 0.7120527625083923,
+      "loss": 0.7194958329200745,
       "step": 60
     },
     {
       "epoch": 0.6613333333333333,
-      "grad_norm": 0.2790004014968872,
+      "grad_norm": 0.21924762427806854,
       "learning_rate": 0.0001053191489361702,
-      "loss": 0.8171743750572205,
+      "loss": 0.8223744034767151,
       "step": 62
     },
     {
       "epoch": 0.6826666666666666,
-      "grad_norm": 0.1823876053094864,
+      "grad_norm": 0.18434031307697296,
       "learning_rate": 9.893617021276594e-05,
-      "loss": 0.8414923548698425,
+      "loss": 0.8513956665992737,
       "step": 64
     },
     {
       "epoch": 0.704,
-      "grad_norm": 0.29915851354599,
+      "grad_norm": 0.17000234127044678,
       "learning_rate": 9.25531914893617e-05,
-      "loss": 0.918161928653717,
+      "loss": 0.9248026013374329,
       "step": 66
     },
     {
       "epoch": 0.7253333333333334,
-      "grad_norm": 0.176341250538826,
+      "grad_norm": 0.14066942036151886,
       "learning_rate": 8.617021276595745e-05,
-      "loss": 0.7184064388275146,
+      "loss": 0.7293943166732788,
       "step": 68
     },
     {
       "epoch": 0.7466666666666667,
-      "grad_norm": 0.17686301469802856,
+      "grad_norm": 0.1496291160583496,
       "learning_rate": 7.978723404255319e-05,
-      "loss": 0.6526279449462891,
+      "loss": 0.6617099642753601,
       "step": 70
     },
     {
       "epoch": 0.768,
-      "grad_norm": 0.20190149545669556,
+      "grad_norm": 0.14691130816936493,
       "learning_rate": 7.340425531914892e-05,
-      "loss": 0.7309628129005432,
+      "loss": 0.7476689219474792,
       "step": 72
     },
     {
       "epoch": 0.7893333333333333,
-      "grad_norm": 0.21101532876491547,
+      "grad_norm": 0.15452657639980316,
       "learning_rate": 6.702127659574467e-05,
-      "loss": 0.9511830806732178,
+      "loss": 0.9742180109024048,
       "step": 74
     },
     {
       "epoch": 0.8106666666666666,
-      "grad_norm": 0.1681501567363739,
+      "grad_norm": 0.13311609625816345,
       "learning_rate": 6.063829787234042e-05,
-      "loss": 0.6639315485954285,
+      "loss": 0.6841458678245544,
       "step": 76
     },
     {
       "epoch": 0.832,
-      "grad_norm": 0.14183035492897034,
+      "grad_norm": 0.1134224608540535,
       "learning_rate": 5.425531914893617e-05,
-      "loss": 0.4753434956073761,
+      "loss": 0.48961079120635986,
       "step": 78
     },
     {
       "epoch": 0.8533333333333334,
-      "grad_norm": 0.22351470589637756,
+      "grad_norm": 0.20785805583000183,
       "learning_rate": 4.787234042553191e-05,
-      "loss": 1.092122197151184,
+      "loss": 1.116832971572876,
       "step": 80
     },
     {
       "epoch": 0.8746666666666667,
-      "grad_norm": 0.137473464012146,
+      "grad_norm": 0.12565848231315613,
       "learning_rate": 4.1489361702127656e-05,
-      "loss": 0.5258777737617493,
+      "loss": 0.5400999784469604,
       "step": 82
     },
     {
       "epoch": 0.896,
-      "grad_norm": 0.2574065923690796,
+      "grad_norm": 0.2639591097831726,
       "learning_rate": 3.51063829787234e-05,
-      "loss": 0.8849478960037231,
+      "loss": 0.9202085733413696,
       "step": 84
     },
     {
       "epoch": 0.9173333333333333,
-      "grad_norm": 0.23935051262378693,
+      "grad_norm": 0.15751990675926208,
       "learning_rate": 2.8723404255319147e-05,
-      "loss": 0.778895378112793,
+      "loss": 0.8095049858093262,
       "step": 86
     },
     {
       "epoch": 0.9386666666666666,
-      "grad_norm": 0.1803659349679947,
+      "grad_norm": 0.16098466515541077,
       "learning_rate": 2.234042553191489e-05,
-      "loss": 0.9232269525527954,
+      "loss": 0.9447997808456421,
       "step": 88
     },
     {
       "epoch": 0.96,
-      "grad_norm": 0.1991172581911087,
+      "grad_norm": 0.2030881941318512,
       "learning_rate": 1.5957446808510637e-05,
-      "loss": 0.791124165058136,
+      "loss": 0.8310367465019226,
       "step": 90
     },
     {
       "epoch": 0.9813333333333333,
-      "grad_norm": 0.18827132880687714,
+      "grad_norm": 0.14937874674797058,
       "learning_rate": 9.574468085106381e-06,
-      "loss": 0.6922212839126587,
+      "loss": 0.7282548546791077,
       "step": 92
     },
     {
       "epoch": 1.0,
-      "grad_norm": 0.20552892982959747,
+      "grad_norm": 0.16161267459392548,
       "learning_rate": 3.1914893617021273e-06,
-      "loss": 0.6898891925811768,
+      "loss": 0.7375127077102661,
       "step": 94
     }
   ],

outputs/tiny-50M/model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:eb37e75638225d45f356e5b8f75eef0bb1e660bda25db4aab80c9560f1b68ab3
+oid sha256:8ac60534512b1d96ab438a8604ed4361bdafa0057e94bd532deddd61b2355c2a
 size 223914096