sumeet9 commited on
Commit
be2a408
·
1 Parent(s): 813cb42

Training in progress, step 130000, checkpoint

Browse files
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:31935a056a05b23012119ad8c50b9744c27dc830aaad53b1375ff64fe6ad8212
3
  size 1465
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:ffe5d3cea85e5a644f8d8aa5d30d04a347ce021d18bfa07b0fbf77ef2f4853ea
3
  size 1465
last-checkpoint/trainer_state.json CHANGED
@@ -2,9 +2,9 @@
2
  "best_global_step": null,
3
  "best_metric": null,
4
  "best_model_checkpoint": null,
5
- "epoch": 1.0283771606455312,
6
  "eval_steps": 500,
7
- "global_step": 129000,
8
  "is_hyper_param_search": false,
9
  "is_local_process_zero": true,
10
  "is_world_process_zero": true,
@@ -90308,6 +90308,706 @@
90308
  "learning_rate": 0.0002292567255812416,
90309
  "loss": 0.5718,
90310
  "step": 129000
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
90311
  }
90312
  ],
90313
  "logging_steps": 10,
@@ -90327,7 +91027,7 @@
90327
  "attributes": {}
90328
  }
90329
  },
90330
- "total_flos": 1.2801486407194903e+19,
90331
  "train_batch_size": 2048,
90332
  "trial_name": null,
90333
  "trial_params": null
 
2
  "best_global_step": null,
3
  "best_metric": null,
4
  "best_model_checkpoint": null,
5
+ "epoch": 1.0324731711313182,
6
  "eval_steps": 500,
7
+ "global_step": 130000,
8
  "is_hyper_param_search": false,
9
  "is_local_process_zero": true,
10
  "is_world_process_zero": true,
 
90308
  "learning_rate": 0.0002292567255812416,
90309
  "loss": 0.5718,
90310
  "step": 129000
90311
+ },
90312
+ {
90313
+ "epoch": 1.028418120750389,
90314
+ "grad_norm": 0.2535022795200348,
90315
+ "learning_rate": 0.0002292245348379937,
90316
+ "loss": 0.5631,
90317
+ "step": 129010
90318
+ },
90319
+ {
90320
+ "epoch": 1.028459080855247,
90321
+ "grad_norm": 0.2419162541627884,
90322
+ "learning_rate": 0.00022919234444159254,
90323
+ "loss": 0.5596,
90324
+ "step": 129020
90325
+ },
90326
+ {
90327
+ "epoch": 1.0285000409601048,
90328
+ "grad_norm": 0.2283964604139328,
90329
+ "learning_rate": 0.0002291601543925756,
90330
+ "loss": 0.5708,
90331
+ "step": 129030
90332
+ },
90333
+ {
90334
+ "epoch": 1.0285410010649627,
90335
+ "grad_norm": 0.21379101276397705,
90336
+ "learning_rate": 0.0002291279646914803,
90337
+ "loss": 0.5624,
90338
+ "step": 129040
90339
+ },
90340
+ {
90341
+ "epoch": 1.0285819611698206,
90342
+ "grad_norm": 0.22246696054935455,
90343
+ "learning_rate": 0.00022909577533884406,
90344
+ "loss": 0.5637,
90345
+ "step": 129050
90346
+ },
90347
+ {
90348
+ "epoch": 1.0286229212746785,
90349
+ "grad_norm": 0.23123447597026825,
90350
+ "learning_rate": 0.00022906358633520424,
90351
+ "loss": 0.5515,
90352
+ "step": 129060
90353
+ },
90354
+ {
90355
+ "epoch": 1.0286638813795363,
90356
+ "grad_norm": 0.21952956914901733,
90357
+ "learning_rate": 0.00022903139768109819,
90358
+ "loss": 0.5644,
90359
+ "step": 129070
90360
+ },
90361
+ {
90362
+ "epoch": 1.0287048414843942,
90363
+ "grad_norm": 0.21052215993404388,
90364
+ "learning_rate": 0.0002289992093770634,
90365
+ "loss": 0.556,
90366
+ "step": 129080
90367
+ },
90368
+ {
90369
+ "epoch": 1.028745801589252,
90370
+ "grad_norm": 0.25922873616218567,
90371
+ "learning_rate": 0.00022896702142363715,
90372
+ "loss": 0.5655,
90373
+ "step": 129090
90374
+ },
90375
+ {
90376
+ "epoch": 1.02878676169411,
90377
+ "grad_norm": 0.24194706976413727,
90378
+ "learning_rate": 0.00022893483382135693,
90379
+ "loss": 0.5589,
90380
+ "step": 129100
90381
+ },
90382
+ {
90383
+ "epoch": 1.0288277217989679,
90384
+ "grad_norm": 0.2402937412261963,
90385
+ "learning_rate": 0.00022890264657076002,
90386
+ "loss": 0.5634,
90387
+ "step": 129110
90388
+ },
90389
+ {
90390
+ "epoch": 1.0288686819038257,
90391
+ "grad_norm": 0.22874237596988678,
90392
+ "learning_rate": 0.00022887045967238392,
90393
+ "loss": 0.5603,
90394
+ "step": 129120
90395
+ },
90396
+ {
90397
+ "epoch": 1.0289096420086836,
90398
+ "grad_norm": 0.24881026148796082,
90399
+ "learning_rate": 0.00022883827312676587,
90400
+ "loss": 0.5617,
90401
+ "step": 129130
90402
+ },
90403
+ {
90404
+ "epoch": 1.0289506021135415,
90405
+ "grad_norm": 0.21983279287815094,
90406
+ "learning_rate": 0.0002288060869344432,
90407
+ "loss": 0.5559,
90408
+ "step": 129140
90409
+ },
90410
+ {
90411
+ "epoch": 1.0289915622183994,
90412
+ "grad_norm": 0.22761501371860504,
90413
+ "learning_rate": 0.00022877390109595335,
90414
+ "loss": 0.5606,
90415
+ "step": 129150
90416
+ },
90417
+ {
90418
+ "epoch": 1.029032522323257,
90419
+ "grad_norm": 0.22884446382522583,
90420
+ "learning_rate": 0.00022874171561183357,
90421
+ "loss": 0.5521,
90422
+ "step": 129160
90423
+ },
90424
+ {
90425
+ "epoch": 1.029073482428115,
90426
+ "grad_norm": 0.20581765472888947,
90427
+ "learning_rate": 0.00022870953048262133,
90428
+ "loss": 0.5522,
90429
+ "step": 129170
90430
+ },
90431
+ {
90432
+ "epoch": 1.0291144425329728,
90433
+ "grad_norm": 0.21962015330791473,
90434
+ "learning_rate": 0.00022867734570885382,
90435
+ "loss": 0.5543,
90436
+ "step": 129180
90437
+ },
90438
+ {
90439
+ "epoch": 1.0291554026378307,
90440
+ "grad_norm": 0.23224546015262604,
90441
+ "learning_rate": 0.00022864516129106853,
90442
+ "loss": 0.5558,
90443
+ "step": 129190
90444
+ },
90445
+ {
90446
+ "epoch": 1.0291963627426886,
90447
+ "grad_norm": 0.2351229190826416,
90448
+ "learning_rate": 0.0002286129772298026,
90449
+ "loss": 0.5595,
90450
+ "step": 129200
90451
+ },
90452
+ {
90453
+ "epoch": 1.0292373228475464,
90454
+ "grad_norm": 0.21554674208164215,
90455
+ "learning_rate": 0.00022858079352559344,
90456
+ "loss": 0.5528,
90457
+ "step": 129210
90458
+ },
90459
+ {
90460
+ "epoch": 1.0292782829524043,
90461
+ "grad_norm": 0.23113539814949036,
90462
+ "learning_rate": 0.00022854861017897836,
90463
+ "loss": 0.5589,
90464
+ "step": 129220
90465
+ },
90466
+ {
90467
+ "epoch": 1.0293192430572622,
90468
+ "grad_norm": 0.2150139957666397,
90469
+ "learning_rate": 0.00022851642719049457,
90470
+ "loss": 0.5531,
90471
+ "step": 129230
90472
+ },
90473
+ {
90474
+ "epoch": 1.02936020316212,
90475
+ "grad_norm": 0.2513771057128906,
90476
+ "learning_rate": 0.0002284842445606795,
90477
+ "loss": 0.5486,
90478
+ "step": 129240
90479
+ },
90480
+ {
90481
+ "epoch": 1.029401163266978,
90482
+ "grad_norm": 0.23747287690639496,
90483
+ "learning_rate": 0.00022845206229007035,
90484
+ "loss": 0.5496,
90485
+ "step": 129250
90486
+ },
90487
+ {
90488
+ "epoch": 1.0294421233718358,
90489
+ "grad_norm": 0.22102394700050354,
90490
+ "learning_rate": 0.0002284198803792045,
90491
+ "loss": 0.5491,
90492
+ "step": 129260
90493
+ },
90494
+ {
90495
+ "epoch": 1.0294830834766937,
90496
+ "grad_norm": 0.22866523265838623,
90497
+ "learning_rate": 0.0002283876988286191,
90498
+ "loss": 0.5499,
90499
+ "step": 129270
90500
+ },
90501
+ {
90502
+ "epoch": 1.0295240435815516,
90503
+ "grad_norm": 0.22398221492767334,
90504
+ "learning_rate": 0.00022835551763885148,
90505
+ "loss": 0.5502,
90506
+ "step": 129280
90507
+ },
90508
+ {
90509
+ "epoch": 1.0295650036864095,
90510
+ "grad_norm": 0.22303526103496552,
90511
+ "learning_rate": 0.00022832333681043894,
90512
+ "loss": 0.549,
90513
+ "step": 129290
90514
+ },
90515
+ {
90516
+ "epoch": 1.0296059637912673,
90517
+ "grad_norm": 0.23399217426776886,
90518
+ "learning_rate": 0.00022829115634391865,
90519
+ "loss": 0.541,
90520
+ "step": 129300
90521
+ },
90522
+ {
90523
+ "epoch": 1.0296469238961252,
90524
+ "grad_norm": 0.23221176862716675,
90525
+ "learning_rate": 0.00022825897623982792,
90526
+ "loss": 0.5446,
90527
+ "step": 129310
90528
+ },
90529
+ {
90530
+ "epoch": 1.029687884000983,
90531
+ "grad_norm": 0.2688588798046112,
90532
+ "learning_rate": 0.00022822679649870403,
90533
+ "loss": 0.5504,
90534
+ "step": 129320
90535
+ },
90536
+ {
90537
+ "epoch": 1.029728844105841,
90538
+ "grad_norm": 0.22221912443637848,
90539
+ "learning_rate": 0.00022819461712108414,
90540
+ "loss": 0.5387,
90541
+ "step": 129330
90542
+ },
90543
+ {
90544
+ "epoch": 1.0297698042106989,
90545
+ "grad_norm": 0.2135552167892456,
90546
+ "learning_rate": 0.0002281624381075057,
90547
+ "loss": 0.5457,
90548
+ "step": 129340
90549
+ },
90550
+ {
90551
+ "epoch": 1.0298107643155567,
90552
+ "grad_norm": 0.23156622052192688,
90553
+ "learning_rate": 0.00022813025945850562,
90554
+ "loss": 0.5436,
90555
+ "step": 129350
90556
+ },
90557
+ {
90558
+ "epoch": 1.0298517244204146,
90559
+ "grad_norm": 0.23645702004432678,
90560
+ "learning_rate": 0.00022809808117462126,
90561
+ "loss": 0.5468,
90562
+ "step": 129360
90563
+ },
90564
+ {
90565
+ "epoch": 1.0298926845252723,
90566
+ "grad_norm": 0.22886045277118683,
90567
+ "learning_rate": 0.00022806590325638994,
90568
+ "loss": 0.547,
90569
+ "step": 129370
90570
+ },
90571
+ {
90572
+ "epoch": 1.0299336446301302,
90573
+ "grad_norm": 0.23626893758773804,
90574
+ "learning_rate": 0.0002280337257043487,
90575
+ "loss": 0.5486,
90576
+ "step": 129380
90577
+ },
90578
+ {
90579
+ "epoch": 1.029974604734988,
90580
+ "grad_norm": 0.21499298512935638,
90581
+ "learning_rate": 0.0002280015485190349,
90582
+ "loss": 0.5461,
90583
+ "step": 129390
90584
+ },
90585
+ {
90586
+ "epoch": 1.030015564839846,
90587
+ "grad_norm": 0.2557345926761627,
90588
+ "learning_rate": 0.0002279693717009856,
90589
+ "loss": 0.5398,
90590
+ "step": 129400
90591
+ },
90592
+ {
90593
+ "epoch": 1.0300565249447038,
90594
+ "grad_norm": 0.20687484741210938,
90595
+ "learning_rate": 0.00022793719525073815,
90596
+ "loss": 0.537,
90597
+ "step": 129410
90598
+ },
90599
+ {
90600
+ "epoch": 1.0300974850495617,
90601
+ "grad_norm": 0.22519412636756897,
90602
+ "learning_rate": 0.00022790501916882964,
90603
+ "loss": 0.5394,
90604
+ "step": 129420
90605
+ },
90606
+ {
90607
+ "epoch": 1.0301384451544195,
90608
+ "grad_norm": 0.2171546071767807,
90609
+ "learning_rate": 0.00022787284345579718,
90610
+ "loss": 0.54,
90611
+ "step": 129430
90612
+ },
90613
+ {
90614
+ "epoch": 1.0301794052592774,
90615
+ "grad_norm": 0.22217543423175812,
90616
+ "learning_rate": 0.00022784066811217806,
90617
+ "loss": 0.5316,
90618
+ "step": 129440
90619
+ },
90620
+ {
90621
+ "epoch": 1.0302203653641353,
90622
+ "grad_norm": 0.22511018812656403,
90623
+ "learning_rate": 0.00022780849313850938,
90624
+ "loss": 0.5377,
90625
+ "step": 129450
90626
+ },
90627
+ {
90628
+ "epoch": 1.0302613254689932,
90629
+ "grad_norm": 0.21806959807872772,
90630
+ "learning_rate": 0.00022777631853532839,
90631
+ "loss": 0.5366,
90632
+ "step": 129460
90633
+ },
90634
+ {
90635
+ "epoch": 1.030302285573851,
90636
+ "grad_norm": 0.21709971129894257,
90637
+ "learning_rate": 0.00022774414430317208,
90638
+ "loss": 0.5351,
90639
+ "step": 129470
90640
+ },
90641
+ {
90642
+ "epoch": 1.030343245678709,
90643
+ "grad_norm": 0.20859059691429138,
90644
+ "learning_rate": 0.00022771197044257785,
90645
+ "loss": 0.5262,
90646
+ "step": 129480
90647
+ },
90648
+ {
90649
+ "epoch": 1.0303842057835668,
90650
+ "grad_norm": 0.22044707834720612,
90651
+ "learning_rate": 0.00022767979695408264,
90652
+ "loss": 0.5286,
90653
+ "step": 129490
90654
+ },
90655
+ {
90656
+ "epoch": 1.0304251658884247,
90657
+ "grad_norm": 0.21480795741081238,
90658
+ "learning_rate": 0.0002276476238382236,
90659
+ "loss": 0.5383,
90660
+ "step": 129500
90661
+ },
90662
+ {
90663
+ "epoch": 1.0304661259932826,
90664
+ "grad_norm": 0.20934566855430603,
90665
+ "learning_rate": 0.00022761545109553798,
90666
+ "loss": 0.5298,
90667
+ "step": 129510
90668
+ },
90669
+ {
90670
+ "epoch": 1.0305070860981405,
90671
+ "grad_norm": 0.2482489049434662,
90672
+ "learning_rate": 0.00022758327872656272,
90673
+ "loss": 0.5267,
90674
+ "step": 129520
90675
+ },
90676
+ {
90677
+ "epoch": 1.0305480462029983,
90678
+ "grad_norm": 0.23037932813167572,
90679
+ "learning_rate": 0.00022755110673183517,
90680
+ "loss": 0.5287,
90681
+ "step": 129530
90682
+ },
90683
+ {
90684
+ "epoch": 1.0305890063078562,
90685
+ "grad_norm": 0.22186876833438873,
90686
+ "learning_rate": 0.0002275189351118922,
90687
+ "loss": 0.5317,
90688
+ "step": 129540
90689
+ },
90690
+ {
90691
+ "epoch": 1.030629966412714,
90692
+ "grad_norm": 0.21672187745571136,
90693
+ "learning_rate": 0.0002274867638672712,
90694
+ "loss": 0.5217,
90695
+ "step": 129550
90696
+ },
90697
+ {
90698
+ "epoch": 1.030670926517572,
90699
+ "grad_norm": 0.23448461294174194,
90700
+ "learning_rate": 0.00022745459299850903,
90701
+ "loss": 0.523,
90702
+ "step": 129560
90703
+ },
90704
+ {
90705
+ "epoch": 1.0307118866224299,
90706
+ "grad_norm": 0.21557046473026276,
90707
+ "learning_rate": 0.0002274224225061428,
90708
+ "loss": 0.5266,
90709
+ "step": 129570
90710
+ },
90711
+ {
90712
+ "epoch": 1.0307528467272877,
90713
+ "grad_norm": 0.21069304645061493,
90714
+ "learning_rate": 0.00022739025239070973,
90715
+ "loss": 0.524,
90716
+ "step": 129580
90717
+ },
90718
+ {
90719
+ "epoch": 1.0307938068321454,
90720
+ "grad_norm": 0.21890667080879211,
90721
+ "learning_rate": 0.00022735808265274678,
90722
+ "loss": 0.5189,
90723
+ "step": 129590
90724
+ },
90725
+ {
90726
+ "epoch": 1.0308347669370033,
90727
+ "grad_norm": 0.21893452107906342,
90728
+ "learning_rate": 0.0002273259132927911,
90729
+ "loss": 0.5242,
90730
+ "step": 129600
90731
+ },
90732
+ {
90733
+ "epoch": 1.0308757270418611,
90734
+ "grad_norm": 0.22360163927078247,
90735
+ "learning_rate": 0.00022729374431137967,
90736
+ "loss": 0.5277,
90737
+ "step": 129610
90738
+ },
90739
+ {
90740
+ "epoch": 1.030916687146719,
90741
+ "grad_norm": 0.22283783555030823,
90742
+ "learning_rate": 0.00022726157570904977,
90743
+ "loss": 0.5214,
90744
+ "step": 129620
90745
+ },
90746
+ {
90747
+ "epoch": 1.030957647251577,
90748
+ "grad_norm": 0.2123573273420334,
90749
+ "learning_rate": 0.0002272294074863382,
90750
+ "loss": 0.5188,
90751
+ "step": 129630
90752
+ },
90753
+ {
90754
+ "epoch": 1.0309986073564348,
90755
+ "grad_norm": 0.2204805314540863,
90756
+ "learning_rate": 0.00022719723964378206,
90757
+ "loss": 0.5201,
90758
+ "step": 129640
90759
+ },
90760
+ {
90761
+ "epoch": 1.0310395674612927,
90762
+ "grad_norm": 0.21352501213550568,
90763
+ "learning_rate": 0.00022716507218191852,
90764
+ "loss": 0.5136,
90765
+ "step": 129650
90766
+ },
90767
+ {
90768
+ "epoch": 1.0310805275661505,
90769
+ "grad_norm": 0.294736385345459,
90770
+ "learning_rate": 0.00022713290510128443,
90771
+ "loss": 0.5096,
90772
+ "step": 129660
90773
+ },
90774
+ {
90775
+ "epoch": 1.0311214876710084,
90776
+ "grad_norm": 0.23692181706428528,
90777
+ "learning_rate": 0.00022710073840241703,
90778
+ "loss": 0.5186,
90779
+ "step": 129670
90780
+ },
90781
+ {
90782
+ "epoch": 1.0311624477758663,
90783
+ "grad_norm": 0.2946621775627136,
90784
+ "learning_rate": 0.00022706857208585317,
90785
+ "loss": 0.5029,
90786
+ "step": 129680
90787
+ },
90788
+ {
90789
+ "epoch": 1.0312034078807242,
90790
+ "grad_norm": 0.22740475833415985,
90791
+ "learning_rate": 0.00022703640615213003,
90792
+ "loss": 0.5011,
90793
+ "step": 129690
90794
+ },
90795
+ {
90796
+ "epoch": 1.031244367985582,
90797
+ "grad_norm": 0.217087522149086,
90798
+ "learning_rate": 0.00022700424060178448,
90799
+ "loss": 0.5078,
90800
+ "step": 129700
90801
+ },
90802
+ {
90803
+ "epoch": 1.03128532809044,
90804
+ "grad_norm": 0.22046546638011932,
90805
+ "learning_rate": 0.00022697207543535353,
90806
+ "loss": 0.5024,
90807
+ "step": 129710
90808
+ },
90809
+ {
90810
+ "epoch": 1.0313262881952978,
90811
+ "grad_norm": 0.2091134786605835,
90812
+ "learning_rate": 0.00022693991065337427,
90813
+ "loss": 0.5016,
90814
+ "step": 129720
90815
+ },
90816
+ {
90817
+ "epoch": 1.0313672483001557,
90818
+ "grad_norm": 0.21458885073661804,
90819
+ "learning_rate": 0.00022690774625638358,
90820
+ "loss": 0.502,
90821
+ "step": 129730
90822
+ },
90823
+ {
90824
+ "epoch": 1.0314082084050136,
90825
+ "grad_norm": 0.22222396731376648,
90826
+ "learning_rate": 0.00022687558224491856,
90827
+ "loss": 0.5,
90828
+ "step": 129740
90829
+ },
90830
+ {
90831
+ "epoch": 1.0314491685098715,
90832
+ "grad_norm": 0.22709310054779053,
90833
+ "learning_rate": 0.00022684341861951607,
90834
+ "loss": 0.4907,
90835
+ "step": 129750
90836
+ },
90837
+ {
90838
+ "epoch": 1.0314901286147293,
90839
+ "grad_norm": 0.2556207478046417,
90840
+ "learning_rate": 0.0002268112553807133,
90841
+ "loss": 0.4934,
90842
+ "step": 129760
90843
+ },
90844
+ {
90845
+ "epoch": 1.0315310887195872,
90846
+ "grad_norm": 0.21507330238819122,
90847
+ "learning_rate": 0.00022677909252904696,
90848
+ "loss": 0.4897,
90849
+ "step": 129770
90850
+ },
90851
+ {
90852
+ "epoch": 1.031572048824445,
90853
+ "grad_norm": 0.2176489681005478,
90854
+ "learning_rate": 0.00022674693006505408,
90855
+ "loss": 0.485,
90856
+ "step": 129780
90857
+ },
90858
+ {
90859
+ "epoch": 1.031613008929303,
90860
+ "grad_norm": 0.21327771246433258,
90861
+ "learning_rate": 0.00022671476798927172,
90862
+ "loss": 0.4837,
90863
+ "step": 129790
90864
+ },
90865
+ {
90866
+ "epoch": 1.0316539690341606,
90867
+ "grad_norm": 0.2083541750907898,
90868
+ "learning_rate": 0.00022668260630223668,
90869
+ "loss": 0.482,
90870
+ "step": 129800
90871
+ },
90872
+ {
90873
+ "epoch": 1.0316949291390185,
90874
+ "grad_norm": 0.22063927352428436,
90875
+ "learning_rate": 0.00022665044500448604,
90876
+ "loss": 0.4732,
90877
+ "step": 129810
90878
+ },
90879
+ {
90880
+ "epoch": 1.0317358892438764,
90881
+ "grad_norm": 0.2093539834022522,
90882
+ "learning_rate": 0.0002266182840965566,
90883
+ "loss": 0.475,
90884
+ "step": 129820
90885
+ },
90886
+ {
90887
+ "epoch": 1.0317768493487343,
90888
+ "grad_norm": 0.20705004036426544,
90889
+ "learning_rate": 0.00022658612357898545,
90890
+ "loss": 0.4625,
90891
+ "step": 129830
90892
+ },
90893
+ {
90894
+ "epoch": 1.0318178094535921,
90895
+ "grad_norm": 0.20913855731487274,
90896
+ "learning_rate": 0.00022655396345230939,
90897
+ "loss": 0.4594,
90898
+ "step": 129840
90899
+ },
90900
+ {
90901
+ "epoch": 1.03185876955845,
90902
+ "grad_norm": 0.23892179131507874,
90903
+ "learning_rate": 0.00022652180371706527,
90904
+ "loss": 0.4635,
90905
+ "step": 129850
90906
+ },
90907
+ {
90908
+ "epoch": 1.031899729663308,
90909
+ "grad_norm": 0.20826543867588043,
90910
+ "learning_rate": 0.00022648964437379016,
90911
+ "loss": 0.4546,
90912
+ "step": 129860
90913
+ },
90914
+ {
90915
+ "epoch": 1.0319406897681658,
90916
+ "grad_norm": 0.20247308909893036,
90917
+ "learning_rate": 0.00022645748542302082,
90918
+ "loss": 0.4549,
90919
+ "step": 129870
90920
+ },
90921
+ {
90922
+ "epoch": 1.0319816498730237,
90923
+ "grad_norm": 0.21848739683628082,
90924
+ "learning_rate": 0.00022642532686529429,
90925
+ "loss": 0.444,
90926
+ "step": 129880
90927
+ },
90928
+ {
90929
+ "epoch": 1.0320226099778815,
90930
+ "grad_norm": 0.2074226588010788,
90931
+ "learning_rate": 0.00022639316870114732,
90932
+ "loss": 0.4388,
90933
+ "step": 129890
90934
+ },
90935
+ {
90936
+ "epoch": 1.0320635700827394,
90937
+ "grad_norm": 0.20567505061626434,
90938
+ "learning_rate": 0.00022636101093111694,
90939
+ "loss": 0.4343,
90940
+ "step": 129900
90941
+ },
90942
+ {
90943
+ "epoch": 1.0321045301875973,
90944
+ "grad_norm": 0.20634371042251587,
90945
+ "learning_rate": 0.00022632885355573987,
90946
+ "loss": 0.4269,
90947
+ "step": 129910
90948
+ },
90949
+ {
90950
+ "epoch": 1.0321454902924552,
90951
+ "grad_norm": 0.20954392850399017,
90952
+ "learning_rate": 0.000226296696575553,
90953
+ "loss": 0.4232,
90954
+ "step": 129920
90955
+ },
90956
+ {
90957
+ "epoch": 1.032186450397313,
90958
+ "grad_norm": 0.20572377741336823,
90959
+ "learning_rate": 0.00022626453999109332,
90960
+ "loss": 0.406,
90961
+ "step": 129930
90962
+ },
90963
+ {
90964
+ "epoch": 1.032227410502171,
90965
+ "grad_norm": 0.22832858562469482,
90966
+ "learning_rate": 0.0002262323838028975,
90967
+ "loss": 0.391,
90968
+ "step": 129940
90969
+ },
90970
+ {
90971
+ "epoch": 1.0322683706070288,
90972
+ "grad_norm": 0.2064061313867569,
90973
+ "learning_rate": 0.00022620022801150255,
90974
+ "loss": 0.3844,
90975
+ "step": 129950
90976
+ },
90977
+ {
90978
+ "epoch": 1.0323093307118867,
90979
+ "grad_norm": 0.19140693545341492,
90980
+ "learning_rate": 0.0002261680726174452,
90981
+ "loss": 0.3784,
90982
+ "step": 129960
90983
+ },
90984
+ {
90985
+ "epoch": 1.0323502908167446,
90986
+ "grad_norm": 0.2098281979560852,
90987
+ "learning_rate": 0.00022613591762126242,
90988
+ "loss": 0.3581,
90989
+ "step": 129970
90990
+ },
90991
+ {
90992
+ "epoch": 1.0323912509216024,
90993
+ "grad_norm": 0.2277950793504715,
90994
+ "learning_rate": 0.00022610376302349092,
90995
+ "loss": 0.3514,
90996
+ "step": 129980
90997
+ },
90998
+ {
90999
+ "epoch": 1.0324322110264603,
91000
+ "grad_norm": 0.1931663602590561,
91001
+ "learning_rate": 0.00022607160882466752,
91002
+ "loss": 0.3397,
91003
+ "step": 129990
91004
+ },
91005
+ {
91006
+ "epoch": 1.0324731711313182,
91007
+ "grad_norm": 0.18283513188362122,
91008
+ "learning_rate": 0.00022603945502532908,
91009
+ "loss": 0.3261,
91010
+ "step": 130000
91011
  }
91012
  ],
91013
  "logging_steps": 10,
 
91027
  "attributes": {}
91028
  }
91029
  },
91030
+ "total_flos": 1.2900724034099479e+19,
91031
  "train_batch_size": 2048,
91032
  "trial_name": null,
91033
  "trial_params": null