CocoRoF commited on
Commit
4ea35f0
·
verified ·
1 Parent(s): d651eb2

Training in progress, step 9000, checkpoint

Browse files
last-checkpoint/model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:866e75c99e401c6fc4314023695489d65fcd5b9eaca8dde7642e6125835d6762
3
  size 737582948
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:f8d206265a0b197c430d5db1dceb9e0719e92da9b59d0c3da6842f0e99e941d8
3
  size 737582948
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:ff5bd566a6290228d61c2b0a64576637d68ab6f88e45b96b393bed3fe1419863
3
  size 1475256250
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:1696326f679683a9f34c793252e2017911d534537abfc1dc9d0a3fe8f45106b6
3
  size 1475256250
last-checkpoint/rng_state_0.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:bc43fb30d4954a7fe8242ecf9efc90cf1895ba433c6b84aed827fd7e8890fc47
3
  size 15920
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:f335a0d32127eae0fdcf59f45dca546cc29b400ceb49efdaf226d770bb1f9985
3
  size 15920
last-checkpoint/rng_state_1.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:070e6d875daa93eee00ceb16c7956211f031e29ae89c0bf2b8c1638bfc724904
3
  size 15920
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:bf72c9ac54b677d04298e8196362c894fb1bbab0b170c6b126a20403defdbe5e
3
  size 15920
last-checkpoint/rng_state_2.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:afcb6da67f70f314a010a9987a5b352b967a4f9fa86b16cc95539556cc4d4b57
3
  size 15984
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:b838592ef20a1667b8825d9074c8bbc834f905d4bafc3831091c8d2ef1222e8e
3
  size 15984
last-checkpoint/rng_state_3.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:50d6b0a99b3ef96868343a1a08693fcc566709fe5025abcde86626cac6379389
3
  size 15920
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:5614c95101f8338093d02ef29f758ebbc594454a0c062b29967faccef1f5681e
3
  size 15920
last-checkpoint/rng_state_4.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:e08e9ba40189eac7d5cd9c7fdb48812d033226be82605e39640894f69559aa36
3
  size 15920
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:8574fbcf678031bfce3030b6ab38ab711fea77e25850d96e78211b3ee5d3b3c7
3
  size 15920
last-checkpoint/rng_state_5.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:e39da057b37f74f810adcb1a33229a68d68a756d6cc2abf032078fbe45fc3a55
3
  size 15984
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:553aaee47dca935766711df0292d8f3994cc3563450e4309eec18f2ce8bbccbd
3
  size 15984
last-checkpoint/rng_state_6.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:3b8b6d464ceead03c3bbad95ead841465f74b330a13ee3ce979e17fb8e372b42
3
  size 15920
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:451b633025bf7f06c687f3adc2e2f5d7e58a1f353e44407c357c3324212aac8c
3
  size 15920
last-checkpoint/rng_state_7.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:35f8ceff7347b2e4d980c59159b27487947fb8e524c24e87a3115123f2bc8a95
3
  size 15920
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:5ab5745b6d1b865720b4ea79e3beb1dd68a908a1259f3f247f874c6e1cde631b
3
  size 15920
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:a3cb85ac9abf82ce747c60e9879ff175c317b429dff1e2463093126cce085180
3
  size 1000
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:1489ea3c74c8e04296c65d61ebf0a8744873b77492a299b4f5f0b241898def6f
3
  size 1000
last-checkpoint/trainer_state.json CHANGED
@@ -1,9 +1,9 @@
1
  {
2
  "best_metric": null,
3
  "best_model_checkpoint": null,
4
- "epoch": 4.071281961526834,
5
  "eval_steps": 500,
6
- "global_step": 8000,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
@@ -5607,6 +5607,706 @@
5607
  "learning_rate": 4.9886349591497816e-05,
5608
  "loss": 0.6804,
5609
  "step": 8000
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
5610
  }
5611
  ],
5612
  "logging_steps": 10,
 
1
  {
2
  "best_metric": null,
3
  "best_model_checkpoint": null,
4
+ "epoch": 4.58043882957565,
5
  "eval_steps": 500,
6
+ "global_step": 9000,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
 
5607
  "learning_rate": 4.9886349591497816e-05,
5608
  "loss": 0.6804,
5609
  "step": 8000
5610
+ },
5611
+ {
5612
+ "epoch": 4.076373530207323,
5613
+ "grad_norm": 0.1279604583978653,
5614
+ "learning_rate": 4.988620752848719e-05,
5615
+ "loss": 0.6793,
5616
+ "step": 8010
5617
+ },
5618
+ {
5619
+ "epoch": 4.0814650988878105,
5620
+ "grad_norm": 0.12138471007347107,
5621
+ "learning_rate": 4.988606546547656e-05,
5622
+ "loss": 0.6814,
5623
+ "step": 8020
5624
+ },
5625
+ {
5626
+ "epoch": 4.086556667568298,
5627
+ "grad_norm": 0.13427557051181793,
5628
+ "learning_rate": 4.9885923402465935e-05,
5629
+ "loss": 0.6752,
5630
+ "step": 8030
5631
+ },
5632
+ {
5633
+ "epoch": 4.091648236248787,
5634
+ "grad_norm": 0.14821045100688934,
5635
+ "learning_rate": 4.988578133945531e-05,
5636
+ "loss": 0.6775,
5637
+ "step": 8040
5638
+ },
5639
+ {
5640
+ "epoch": 4.096739804929275,
5641
+ "grad_norm": 0.13484236598014832,
5642
+ "learning_rate": 4.988563927644468e-05,
5643
+ "loss": 0.6846,
5644
+ "step": 8050
5645
+ },
5646
+ {
5647
+ "epoch": 4.101831373609763,
5648
+ "grad_norm": 0.07954470813274384,
5649
+ "learning_rate": 4.9885497213434055e-05,
5650
+ "loss": 0.684,
5651
+ "step": 8060
5652
+ },
5653
+ {
5654
+ "epoch": 4.106922942290251,
5655
+ "grad_norm": 0.10616060346364975,
5656
+ "learning_rate": 4.988535515042342e-05,
5657
+ "loss": 0.6822,
5658
+ "step": 8070
5659
+ },
5660
+ {
5661
+ "epoch": 4.11201451097074,
5662
+ "grad_norm": 0.10499216616153717,
5663
+ "learning_rate": 4.9885213087412794e-05,
5664
+ "loss": 0.6798,
5665
+ "step": 8080
5666
+ },
5667
+ {
5668
+ "epoch": 4.1171060796512275,
5669
+ "grad_norm": 0.12274570018053055,
5670
+ "learning_rate": 4.988507102440216e-05,
5671
+ "loss": 0.6799,
5672
+ "step": 8090
5673
+ },
5674
+ {
5675
+ "epoch": 4.122197648331715,
5676
+ "grad_norm": 0.11465749889612198,
5677
+ "learning_rate": 4.9884928961391534e-05,
5678
+ "loss": 0.6817,
5679
+ "step": 8100
5680
+ },
5681
+ {
5682
+ "epoch": 4.127289217012204,
5683
+ "grad_norm": 0.09962257742881775,
5684
+ "learning_rate": 4.988478689838091e-05,
5685
+ "loss": 0.6844,
5686
+ "step": 8110
5687
+ },
5688
+ {
5689
+ "epoch": 4.132380785692692,
5690
+ "grad_norm": 0.1151047945022583,
5691
+ "learning_rate": 4.988464483537028e-05,
5692
+ "loss": 0.6787,
5693
+ "step": 8120
5694
+ },
5695
+ {
5696
+ "epoch": 4.13747235437318,
5697
+ "grad_norm": 0.1360507756471634,
5698
+ "learning_rate": 4.988450277235965e-05,
5699
+ "loss": 0.6791,
5700
+ "step": 8130
5701
+ },
5702
+ {
5703
+ "epoch": 4.142563923053668,
5704
+ "grad_norm": 0.16751664876937866,
5705
+ "learning_rate": 4.9884360709349026e-05,
5706
+ "loss": 0.6738,
5707
+ "step": 8140
5708
+ },
5709
+ {
5710
+ "epoch": 4.147655491734157,
5711
+ "grad_norm": 0.18576379120349884,
5712
+ "learning_rate": 4.98842186463384e-05,
5713
+ "loss": 0.678,
5714
+ "step": 8150
5715
+ },
5716
+ {
5717
+ "epoch": 4.152747060414645,
5718
+ "grad_norm": 0.12279310077428818,
5719
+ "learning_rate": 4.988407658332777e-05,
5720
+ "loss": 0.6786,
5721
+ "step": 8160
5722
+ },
5723
+ {
5724
+ "epoch": 4.157838629095132,
5725
+ "grad_norm": 0.14428728818893433,
5726
+ "learning_rate": 4.9883934520317145e-05,
5727
+ "loss": 0.6756,
5728
+ "step": 8170
5729
+ },
5730
+ {
5731
+ "epoch": 4.162930197775621,
5732
+ "grad_norm": 0.1211373507976532,
5733
+ "learning_rate": 4.988379245730652e-05,
5734
+ "loss": 0.6775,
5735
+ "step": 8180
5736
+ },
5737
+ {
5738
+ "epoch": 4.168021766456109,
5739
+ "grad_norm": 0.13393299281597137,
5740
+ "learning_rate": 4.988365039429589e-05,
5741
+ "loss": 0.6769,
5742
+ "step": 8190
5743
+ },
5744
+ {
5745
+ "epoch": 4.173113335136597,
5746
+ "grad_norm": 0.12077504396438599,
5747
+ "learning_rate": 4.9883508331285265e-05,
5748
+ "loss": 0.6829,
5749
+ "step": 8200
5750
+ },
5751
+ {
5752
+ "epoch": 4.178204903817085,
5753
+ "grad_norm": 0.10940321534872055,
5754
+ "learning_rate": 4.988336626827463e-05,
5755
+ "loss": 0.6809,
5756
+ "step": 8210
5757
+ },
5758
+ {
5759
+ "epoch": 4.183296472497574,
5760
+ "grad_norm": 0.09884709119796753,
5761
+ "learning_rate": 4.9883224205264004e-05,
5762
+ "loss": 0.6813,
5763
+ "step": 8220
5764
+ },
5765
+ {
5766
+ "epoch": 4.188388041178062,
5767
+ "grad_norm": 0.10086120665073395,
5768
+ "learning_rate": 4.988308214225338e-05,
5769
+ "loss": 0.6809,
5770
+ "step": 8230
5771
+ },
5772
+ {
5773
+ "epoch": 4.19347960985855,
5774
+ "grad_norm": 0.11668648570775986,
5775
+ "learning_rate": 4.988294007924275e-05,
5776
+ "loss": 0.6798,
5777
+ "step": 8240
5778
+ },
5779
+ {
5780
+ "epoch": 4.198571178539038,
5781
+ "grad_norm": 0.12528111040592194,
5782
+ "learning_rate": 4.9882798016232123e-05,
5783
+ "loss": 0.6765,
5784
+ "step": 8250
5785
+ },
5786
+ {
5787
+ "epoch": 4.203662747219526,
5788
+ "grad_norm": 0.11714299023151398,
5789
+ "learning_rate": 4.9882655953221497e-05,
5790
+ "loss": 0.6744,
5791
+ "step": 8260
5792
+ },
5793
+ {
5794
+ "epoch": 4.2087543159000145,
5795
+ "grad_norm": 0.11050295829772949,
5796
+ "learning_rate": 4.988251389021087e-05,
5797
+ "loss": 0.6874,
5798
+ "step": 8270
5799
+ },
5800
+ {
5801
+ "epoch": 4.213845884580502,
5802
+ "grad_norm": 0.09499291330575943,
5803
+ "learning_rate": 4.9882371827200236e-05,
5804
+ "loss": 0.6817,
5805
+ "step": 8280
5806
+ },
5807
+ {
5808
+ "epoch": 4.218937453260991,
5809
+ "grad_norm": 0.09335146099328995,
5810
+ "learning_rate": 4.988222976418961e-05,
5811
+ "loss": 0.6818,
5812
+ "step": 8290
5813
+ },
5814
+ {
5815
+ "epoch": 4.224029021941479,
5816
+ "grad_norm": 0.1219559907913208,
5817
+ "learning_rate": 4.988208770117898e-05,
5818
+ "loss": 0.681,
5819
+ "step": 8300
5820
+ },
5821
+ {
5822
+ "epoch": 4.229120590621967,
5823
+ "grad_norm": 0.14629492163658142,
5824
+ "learning_rate": 4.9881945638168355e-05,
5825
+ "loss": 0.6822,
5826
+ "step": 8310
5827
+ },
5828
+ {
5829
+ "epoch": 4.234212159302455,
5830
+ "grad_norm": 0.13365550339221954,
5831
+ "learning_rate": 4.988180357515773e-05,
5832
+ "loss": 0.6805,
5833
+ "step": 8320
5834
+ },
5835
+ {
5836
+ "epoch": 4.239303727982943,
5837
+ "grad_norm": 0.141509547829628,
5838
+ "learning_rate": 4.98816615121471e-05,
5839
+ "loss": 0.6783,
5840
+ "step": 8330
5841
+ },
5842
+ {
5843
+ "epoch": 4.2443952966634315,
5844
+ "grad_norm": 0.13036063313484192,
5845
+ "learning_rate": 4.9881519449136475e-05,
5846
+ "loss": 0.6756,
5847
+ "step": 8340
5848
+ },
5849
+ {
5850
+ "epoch": 4.249486865343919,
5851
+ "grad_norm": 0.11939451843500137,
5852
+ "learning_rate": 4.988137738612584e-05,
5853
+ "loss": 0.6826,
5854
+ "step": 8350
5855
+ },
5856
+ {
5857
+ "epoch": 4.254578434024408,
5858
+ "grad_norm": 0.12008455395698547,
5859
+ "learning_rate": 4.9881235323115214e-05,
5860
+ "loss": 0.681,
5861
+ "step": 8360
5862
+ },
5863
+ {
5864
+ "epoch": 4.259670002704896,
5865
+ "grad_norm": 0.11019112914800644,
5866
+ "learning_rate": 4.988109326010459e-05,
5867
+ "loss": 0.6856,
5868
+ "step": 8370
5869
+ },
5870
+ {
5871
+ "epoch": 4.264761571385384,
5872
+ "grad_norm": 0.10078281164169312,
5873
+ "learning_rate": 4.988095119709396e-05,
5874
+ "loss": 0.6792,
5875
+ "step": 8380
5876
+ },
5877
+ {
5878
+ "epoch": 4.269853140065872,
5879
+ "grad_norm": 0.1294504553079605,
5880
+ "learning_rate": 4.988080913408333e-05,
5881
+ "loss": 0.6825,
5882
+ "step": 8390
5883
+ },
5884
+ {
5885
+ "epoch": 4.274944708746361,
5886
+ "grad_norm": 0.1074661836028099,
5887
+ "learning_rate": 4.9880667071072706e-05,
5888
+ "loss": 0.6799,
5889
+ "step": 8400
5890
+ },
5891
+ {
5892
+ "epoch": 4.280036277426849,
5893
+ "grad_norm": 0.11285123229026794,
5894
+ "learning_rate": 4.988052500806208e-05,
5895
+ "loss": 0.6831,
5896
+ "step": 8410
5897
+ },
5898
+ {
5899
+ "epoch": 4.285127846107336,
5900
+ "grad_norm": 0.12429996579885483,
5901
+ "learning_rate": 4.988038294505145e-05,
5902
+ "loss": 0.6793,
5903
+ "step": 8420
5904
+ },
5905
+ {
5906
+ "epoch": 4.290219414787825,
5907
+ "grad_norm": 0.10803820192813873,
5908
+ "learning_rate": 4.9880240882040826e-05,
5909
+ "loss": 0.6787,
5910
+ "step": 8430
5911
+ },
5912
+ {
5913
+ "epoch": 4.295310983468313,
5914
+ "grad_norm": 0.12693211436271667,
5915
+ "learning_rate": 4.98800988190302e-05,
5916
+ "loss": 0.6729,
5917
+ "step": 8440
5918
+ },
5919
+ {
5920
+ "epoch": 4.300402552148801,
5921
+ "grad_norm": 0.11828629672527313,
5922
+ "learning_rate": 4.987995675601957e-05,
5923
+ "loss": 0.6829,
5924
+ "step": 8450
5925
+ },
5926
+ {
5927
+ "epoch": 4.305494120829289,
5928
+ "grad_norm": 0.11893879622220993,
5929
+ "learning_rate": 4.987981469300894e-05,
5930
+ "loss": 0.681,
5931
+ "step": 8460
5932
+ },
5933
+ {
5934
+ "epoch": 4.310585689509777,
5935
+ "grad_norm": 0.12228237092494965,
5936
+ "learning_rate": 4.987967262999831e-05,
5937
+ "loss": 0.6793,
5938
+ "step": 8470
5939
+ },
5940
+ {
5941
+ "epoch": 4.315677258190266,
5942
+ "grad_norm": 0.11881165206432343,
5943
+ "learning_rate": 4.9879530566987684e-05,
5944
+ "loss": 0.681,
5945
+ "step": 8480
5946
+ },
5947
+ {
5948
+ "epoch": 4.320768826870753,
5949
+ "grad_norm": 0.09753947705030441,
5950
+ "learning_rate": 4.987938850397705e-05,
5951
+ "loss": 0.6812,
5952
+ "step": 8490
5953
+ },
5954
+ {
5955
+ "epoch": 4.325860395551242,
5956
+ "grad_norm": 0.10875561088323593,
5957
+ "learning_rate": 4.9879246440966424e-05,
5958
+ "loss": 0.6764,
5959
+ "step": 8500
5960
+ },
5961
+ {
5962
+ "epoch": 4.33095196423173,
5963
+ "grad_norm": 0.1029878631234169,
5964
+ "learning_rate": 4.98791043779558e-05,
5965
+ "loss": 0.6793,
5966
+ "step": 8510
5967
+ },
5968
+ {
5969
+ "epoch": 4.3360435329122184,
5970
+ "grad_norm": 0.11321298032999039,
5971
+ "learning_rate": 4.987896231494517e-05,
5972
+ "loss": 0.6805,
5973
+ "step": 8520
5974
+ },
5975
+ {
5976
+ "epoch": 4.341135101592706,
5977
+ "grad_norm": 0.12302636355161667,
5978
+ "learning_rate": 4.987882025193454e-05,
5979
+ "loss": 0.6841,
5980
+ "step": 8530
5981
+ },
5982
+ {
5983
+ "epoch": 4.346226670273195,
5984
+ "grad_norm": 0.0927717313170433,
5985
+ "learning_rate": 4.9878678188923916e-05,
5986
+ "loss": 0.6848,
5987
+ "step": 8540
5988
+ },
5989
+ {
5990
+ "epoch": 4.351318238953683,
5991
+ "grad_norm": 0.1418168693780899,
5992
+ "learning_rate": 4.987853612591329e-05,
5993
+ "loss": 0.6764,
5994
+ "step": 8550
5995
+ },
5996
+ {
5997
+ "epoch": 4.35640980763417,
5998
+ "grad_norm": 0.12036493420600891,
5999
+ "learning_rate": 4.987839406290266e-05,
6000
+ "loss": 0.6783,
6001
+ "step": 8560
6002
+ },
6003
+ {
6004
+ "epoch": 4.361501376314659,
6005
+ "grad_norm": 0.14609991014003754,
6006
+ "learning_rate": 4.9878251999892036e-05,
6007
+ "loss": 0.676,
6008
+ "step": 8570
6009
+ },
6010
+ {
6011
+ "epoch": 4.366592944995147,
6012
+ "grad_norm": 0.1448822170495987,
6013
+ "learning_rate": 4.987810993688141e-05,
6014
+ "loss": 0.6803,
6015
+ "step": 8580
6016
+ },
6017
+ {
6018
+ "epoch": 4.3716845136756355,
6019
+ "grad_norm": 0.14650079607963562,
6020
+ "learning_rate": 4.987796787387078e-05,
6021
+ "loss": 0.6795,
6022
+ "step": 8590
6023
+ },
6024
+ {
6025
+ "epoch": 4.376776082356123,
6026
+ "grad_norm": 0.10146970301866531,
6027
+ "learning_rate": 4.987782581086015e-05,
6028
+ "loss": 0.6826,
6029
+ "step": 8600
6030
+ },
6031
+ {
6032
+ "epoch": 4.381867651036612,
6033
+ "grad_norm": 0.10098574310541153,
6034
+ "learning_rate": 4.987768374784952e-05,
6035
+ "loss": 0.6814,
6036
+ "step": 8610
6037
+ },
6038
+ {
6039
+ "epoch": 4.3869592197171,
6040
+ "grad_norm": 0.12981392443180084,
6041
+ "learning_rate": 4.9877541684838894e-05,
6042
+ "loss": 0.6774,
6043
+ "step": 8620
6044
+ },
6045
+ {
6046
+ "epoch": 4.392050788397588,
6047
+ "grad_norm": 0.1231103241443634,
6048
+ "learning_rate": 4.987739962182827e-05,
6049
+ "loss": 0.6751,
6050
+ "step": 8630
6051
+ },
6052
+ {
6053
+ "epoch": 4.397142357078076,
6054
+ "grad_norm": 0.17549310624599457,
6055
+ "learning_rate": 4.987725755881764e-05,
6056
+ "loss": 0.6773,
6057
+ "step": 8640
6058
+ },
6059
+ {
6060
+ "epoch": 4.402233925758564,
6061
+ "grad_norm": 0.1261102259159088,
6062
+ "learning_rate": 4.9877115495807014e-05,
6063
+ "loss": 0.6778,
6064
+ "step": 8650
6065
+ },
6066
+ {
6067
+ "epoch": 4.4073254944390525,
6068
+ "grad_norm": 0.12228421121835709,
6069
+ "learning_rate": 4.987697343279639e-05,
6070
+ "loss": 0.6815,
6071
+ "step": 8660
6072
+ },
6073
+ {
6074
+ "epoch": 4.41241706311954,
6075
+ "grad_norm": 0.08992882072925568,
6076
+ "learning_rate": 4.987683136978576e-05,
6077
+ "loss": 0.6829,
6078
+ "step": 8670
6079
+ },
6080
+ {
6081
+ "epoch": 4.417508631800029,
6082
+ "grad_norm": 0.10478372871875763,
6083
+ "learning_rate": 4.987668930677513e-05,
6084
+ "loss": 0.6758,
6085
+ "step": 8680
6086
+ },
6087
+ {
6088
+ "epoch": 4.422600200480517,
6089
+ "grad_norm": 0.1255083978176117,
6090
+ "learning_rate": 4.9876547243764506e-05,
6091
+ "loss": 0.6741,
6092
+ "step": 8690
6093
+ },
6094
+ {
6095
+ "epoch": 4.4276917691610045,
6096
+ "grad_norm": 0.13139568269252777,
6097
+ "learning_rate": 4.987640518075387e-05,
6098
+ "loss": 0.6803,
6099
+ "step": 8700
6100
+ },
6101
+ {
6102
+ "epoch": 4.432783337841493,
6103
+ "grad_norm": 0.1472860723733902,
6104
+ "learning_rate": 4.9876263117743246e-05,
6105
+ "loss": 0.6759,
6106
+ "step": 8710
6107
+ },
6108
+ {
6109
+ "epoch": 4.437874906521981,
6110
+ "grad_norm": 0.16318807005882263,
6111
+ "learning_rate": 4.987612105473262e-05,
6112
+ "loss": 0.6868,
6113
+ "step": 8720
6114
+ },
6115
+ {
6116
+ "epoch": 4.44296647520247,
6117
+ "grad_norm": 0.1145109310746193,
6118
+ "learning_rate": 4.987597899172199e-05,
6119
+ "loss": 0.6788,
6120
+ "step": 8730
6121
+ },
6122
+ {
6123
+ "epoch": 4.448058043882957,
6124
+ "grad_norm": 0.09544923901557922,
6125
+ "learning_rate": 4.987583692871136e-05,
6126
+ "loss": 0.682,
6127
+ "step": 8740
6128
+ },
6129
+ {
6130
+ "epoch": 4.453149612563446,
6131
+ "grad_norm": 0.10780615359544754,
6132
+ "learning_rate": 4.987569486570073e-05,
6133
+ "loss": 0.6781,
6134
+ "step": 8750
6135
+ },
6136
+ {
6137
+ "epoch": 4.458241181243934,
6138
+ "grad_norm": 0.14260242879390717,
6139
+ "learning_rate": 4.9875552802690104e-05,
6140
+ "loss": 0.6782,
6141
+ "step": 8760
6142
+ },
6143
+ {
6144
+ "epoch": 4.463332749924422,
6145
+ "grad_norm": 0.13693778216838837,
6146
+ "learning_rate": 4.987541073967948e-05,
6147
+ "loss": 0.6771,
6148
+ "step": 8770
6149
+ },
6150
+ {
6151
+ "epoch": 4.46842431860491,
6152
+ "grad_norm": 0.10794325917959213,
6153
+ "learning_rate": 4.987526867666885e-05,
6154
+ "loss": 0.6789,
6155
+ "step": 8780
6156
+ },
6157
+ {
6158
+ "epoch": 4.473515887285398,
6159
+ "grad_norm": 0.11324315518140793,
6160
+ "learning_rate": 4.9875126613658224e-05,
6161
+ "loss": 0.684,
6162
+ "step": 8790
6163
+ },
6164
+ {
6165
+ "epoch": 4.478607455965887,
6166
+ "grad_norm": 0.10087355971336365,
6167
+ "learning_rate": 4.98749845506476e-05,
6168
+ "loss": 0.6819,
6169
+ "step": 8800
6170
+ },
6171
+ {
6172
+ "epoch": 4.483699024646374,
6173
+ "grad_norm": 0.09752973914146423,
6174
+ "learning_rate": 4.987484248763697e-05,
6175
+ "loss": 0.6819,
6176
+ "step": 8810
6177
+ },
6178
+ {
6179
+ "epoch": 4.488790593326863,
6180
+ "grad_norm": 0.12462896853685379,
6181
+ "learning_rate": 4.987470042462634e-05,
6182
+ "loss": 0.6844,
6183
+ "step": 8820
6184
+ },
6185
+ {
6186
+ "epoch": 4.493882162007351,
6187
+ "grad_norm": 0.12875770032405853,
6188
+ "learning_rate": 4.9874558361615716e-05,
6189
+ "loss": 0.6784,
6190
+ "step": 8830
6191
+ },
6192
+ {
6193
+ "epoch": 4.4989737306878395,
6194
+ "grad_norm": 0.11722705513238907,
6195
+ "learning_rate": 4.987441629860509e-05,
6196
+ "loss": 0.6797,
6197
+ "step": 8840
6198
+ },
6199
+ {
6200
+ "epoch": 4.504065299368327,
6201
+ "grad_norm": 0.16931360960006714,
6202
+ "learning_rate": 4.987427423559446e-05,
6203
+ "loss": 0.6766,
6204
+ "step": 8850
6205
+ },
6206
+ {
6207
+ "epoch": 4.509156868048816,
6208
+ "grad_norm": 0.13619418442249298,
6209
+ "learning_rate": 4.987413217258383e-05,
6210
+ "loss": 0.6774,
6211
+ "step": 8860
6212
+ },
6213
+ {
6214
+ "epoch": 4.514248436729304,
6215
+ "grad_norm": 0.19465768337249756,
6216
+ "learning_rate": 4.98739901095732e-05,
6217
+ "loss": 0.6832,
6218
+ "step": 8870
6219
+ },
6220
+ {
6221
+ "epoch": 4.519340005409791,
6222
+ "grad_norm": 0.11889132857322693,
6223
+ "learning_rate": 4.9873848046562575e-05,
6224
+ "loss": 0.6848,
6225
+ "step": 8880
6226
+ },
6227
+ {
6228
+ "epoch": 4.52443157409028,
6229
+ "grad_norm": 0.10783824324607849,
6230
+ "learning_rate": 4.987370598355195e-05,
6231
+ "loss": 0.6793,
6232
+ "step": 8890
6233
+ },
6234
+ {
6235
+ "epoch": 4.529523142770768,
6236
+ "grad_norm": 0.11385292559862137,
6237
+ "learning_rate": 4.987356392054132e-05,
6238
+ "loss": 0.6754,
6239
+ "step": 8900
6240
+ },
6241
+ {
6242
+ "epoch": 4.5346147114512565,
6243
+ "grad_norm": 0.13017722964286804,
6244
+ "learning_rate": 4.987342185753069e-05,
6245
+ "loss": 0.6778,
6246
+ "step": 8910
6247
+ },
6248
+ {
6249
+ "epoch": 4.539706280131744,
6250
+ "grad_norm": 0.13603904843330383,
6251
+ "learning_rate": 4.987327979452006e-05,
6252
+ "loss": 0.6758,
6253
+ "step": 8920
6254
+ },
6255
+ {
6256
+ "epoch": 4.544797848812232,
6257
+ "grad_norm": 0.15172545611858368,
6258
+ "learning_rate": 4.9873137731509434e-05,
6259
+ "loss": 0.677,
6260
+ "step": 8930
6261
+ },
6262
+ {
6263
+ "epoch": 4.549889417492721,
6264
+ "grad_norm": 0.13269858062267303,
6265
+ "learning_rate": 4.987299566849881e-05,
6266
+ "loss": 0.6823,
6267
+ "step": 8940
6268
+ },
6269
+ {
6270
+ "epoch": 4.5549809861732085,
6271
+ "grad_norm": 0.14247867465019226,
6272
+ "learning_rate": 4.987285360548818e-05,
6273
+ "loss": 0.6803,
6274
+ "step": 8950
6275
+ },
6276
+ {
6277
+ "epoch": 4.560072554853697,
6278
+ "grad_norm": 0.1458357870578766,
6279
+ "learning_rate": 4.987271154247755e-05,
6280
+ "loss": 0.6755,
6281
+ "step": 8960
6282
+ },
6283
+ {
6284
+ "epoch": 4.565164123534185,
6285
+ "grad_norm": 0.1240466758608818,
6286
+ "learning_rate": 4.9872569479466926e-05,
6287
+ "loss": 0.6793,
6288
+ "step": 8970
6289
+ },
6290
+ {
6291
+ "epoch": 4.5702556922146735,
6292
+ "grad_norm": 0.14014077186584473,
6293
+ "learning_rate": 4.98724274164563e-05,
6294
+ "loss": 0.6812,
6295
+ "step": 8980
6296
+ },
6297
+ {
6298
+ "epoch": 4.575347260895161,
6299
+ "grad_norm": 0.1574947088956833,
6300
+ "learning_rate": 4.987228535344567e-05,
6301
+ "loss": 0.6752,
6302
+ "step": 8990
6303
+ },
6304
+ {
6305
+ "epoch": 4.58043882957565,
6306
+ "grad_norm": 0.12997229397296906,
6307
+ "learning_rate": 4.987214329043504e-05,
6308
+ "loss": 0.6853,
6309
+ "step": 9000
6310
  }
6311
  ],
6312
  "logging_steps": 10,