RetentionLabs commited on
Commit
f6456b6
·
verified ·
1 Parent(s): d80a5e5

Back up edu-shared-rotation-b64-mhc-dim/checkpoint-7500

Browse files
edu-shared-rotation-b64-mhc-dim/checkpoint-7500/checkpoint.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:a5205d9aa24d533a364046fb89b5aab0127e5d89cf116d4c16f7ead84f734c8e
3
+ size 13355276440
edu-shared-rotation-b64-mhc-dim/checkpoint-7500/manifest.json ADDED
@@ -0,0 +1,657 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "step": 7500,
3
+ "files": [
4
+ "checkpoint.safetensors"
5
+ ],
6
+ "groups": {
7
+ "muon": [
8
+ {
9
+ "lr": 0.0,
10
+ "weight_decay": 0.0,
11
+ "momentum": 0.95,
12
+ "nesterov": true,
13
+ "ns_coefficients": [
14
+ 3.4445,
15
+ -4.775,
16
+ 2.0315
17
+ ],
18
+ "eps": 1e-07,
19
+ "ns_steps": 5,
20
+ "adjust_lr_fn": "match_rms_adamw",
21
+ "params": [
22
+ 0,
23
+ 1,
24
+ 2,
25
+ 3,
26
+ 4,
27
+ 5,
28
+ 6,
29
+ 7,
30
+ 8,
31
+ 9,
32
+ 10,
33
+ 11,
34
+ 12,
35
+ 13,
36
+ 14,
37
+ 15,
38
+ 16,
39
+ 17,
40
+ 18,
41
+ 19,
42
+ 20,
43
+ 21,
44
+ 22,
45
+ 23,
46
+ 24,
47
+ 25,
48
+ 26,
49
+ 27,
50
+ 28,
51
+ 29,
52
+ 30,
53
+ 31,
54
+ 32,
55
+ 33,
56
+ 34,
57
+ 35,
58
+ 36,
59
+ 37,
60
+ 38,
61
+ 39
62
+ ]
63
+ }
64
+ ],
65
+ "adamw": [
66
+ {
67
+ "weight_decay": 0.0,
68
+ "lr": 0.0,
69
+ "betas": [
70
+ 0.9,
71
+ 0.999
72
+ ],
73
+ "eps": 1e-08,
74
+ "amsgrad": false,
75
+ "maximize": false,
76
+ "foreach": null,
77
+ "capturable": false,
78
+ "differentiable": false,
79
+ "fused": null,
80
+ "decoupled_weight_decay": true,
81
+ "params": [
82
+ 0,
83
+ 1,
84
+ 2,
85
+ 3,
86
+ 4,
87
+ 5,
88
+ 6,
89
+ 7,
90
+ 8,
91
+ 9,
92
+ 10,
93
+ 11,
94
+ 12,
95
+ 13,
96
+ 14,
97
+ 15,
98
+ 16,
99
+ 17,
100
+ 18,
101
+ 19,
102
+ 20,
103
+ 21,
104
+ 22,
105
+ 23,
106
+ 24,
107
+ 25,
108
+ 26,
109
+ 27,
110
+ 28,
111
+ 29,
112
+ 30,
113
+ 31,
114
+ 32,
115
+ 33,
116
+ 34,
117
+ 35,
118
+ 36,
119
+ 37,
120
+ 38,
121
+ 39,
122
+ 40,
123
+ 41,
124
+ 42,
125
+ 43,
126
+ 44,
127
+ 45,
128
+ 46,
129
+ 47,
130
+ 48,
131
+ 49,
132
+ 50,
133
+ 51,
134
+ 52,
135
+ 53,
136
+ 54,
137
+ 55,
138
+ 56,
139
+ 57,
140
+ 58,
141
+ 59,
142
+ 60,
143
+ 61,
144
+ 62,
145
+ 63,
146
+ 64,
147
+ 65,
148
+ 66,
149
+ 67,
150
+ 68,
151
+ 69,
152
+ 70,
153
+ 71,
154
+ 72,
155
+ 73,
156
+ 74,
157
+ 75,
158
+ 76,
159
+ 77,
160
+ 78,
161
+ 79,
162
+ 80,
163
+ 81,
164
+ 82,
165
+ 83,
166
+ 84,
167
+ 85,
168
+ 86,
169
+ 87,
170
+ 88,
171
+ 89,
172
+ 90,
173
+ 91,
174
+ 92,
175
+ 93,
176
+ 94,
177
+ 95,
178
+ 96,
179
+ 97,
180
+ 98,
181
+ 99,
182
+ 100,
183
+ 101,
184
+ 102,
185
+ 103,
186
+ 104,
187
+ 105,
188
+ 106,
189
+ 107,
190
+ 108,
191
+ 109,
192
+ 110,
193
+ 111,
194
+ 112,
195
+ 113,
196
+ 114,
197
+ 115,
198
+ 116
199
+ ]
200
+ },
201
+ {
202
+ "weight_decay": 0.0,
203
+ "lr_scale": 10.0,
204
+ "lr": 0.0,
205
+ "betas": [
206
+ 0.9,
207
+ 0.999
208
+ ],
209
+ "eps": 1e-08,
210
+ "amsgrad": false,
211
+ "maximize": false,
212
+ "foreach": null,
213
+ "capturable": false,
214
+ "differentiable": false,
215
+ "fused": null,
216
+ "decoupled_weight_decay": true,
217
+ "params": [
218
+ 117,
219
+ 118,
220
+ 119,
221
+ 120,
222
+ 121,
223
+ 122,
224
+ 123,
225
+ 124,
226
+ 125,
227
+ 126,
228
+ 127,
229
+ 128,
230
+ 129,
231
+ 130,
232
+ 131,
233
+ 132,
234
+ 133,
235
+ 134,
236
+ 135,
237
+ 136,
238
+ 137,
239
+ 138,
240
+ 139,
241
+ 140,
242
+ 141,
243
+ 142,
244
+ 143,
245
+ 144,
246
+ 145,
247
+ 146,
248
+ 147,
249
+ 148,
250
+ 149,
251
+ 150,
252
+ 151,
253
+ 152,
254
+ 153,
255
+ 154,
256
+ 155,
257
+ 156,
258
+ 157,
259
+ 158,
260
+ 159,
261
+ 160,
262
+ 161,
263
+ 162,
264
+ 163,
265
+ 164,
266
+ 165,
267
+ 166,
268
+ 167,
269
+ 168,
270
+ 169,
271
+ 170,
272
+ 171,
273
+ 172,
274
+ 173,
275
+ 174,
276
+ 175,
277
+ 176,
278
+ 177,
279
+ 178,
280
+ 179,
281
+ 180,
282
+ 181,
283
+ 182,
284
+ 183,
285
+ 184,
286
+ 185,
287
+ 186,
288
+ 187,
289
+ 188,
290
+ 189,
291
+ 190,
292
+ 191,
293
+ 192,
294
+ 193,
295
+ 194,
296
+ 195,
297
+ 196,
298
+ 197,
299
+ 198,
300
+ 199,
301
+ 200,
302
+ 201,
303
+ 202,
304
+ 203,
305
+ 204,
306
+ 205,
307
+ 206,
308
+ 207,
309
+ 208,
310
+ 209,
311
+ 210,
312
+ 211,
313
+ 212,
314
+ 213,
315
+ 214,
316
+ 215,
317
+ 216,
318
+ 217,
319
+ 218,
320
+ 219,
321
+ 220,
322
+ 221,
323
+ 222,
324
+ 223,
325
+ 224,
326
+ 225,
327
+ 226,
328
+ 227,
329
+ 228,
330
+ 229,
331
+ 230,
332
+ 231,
333
+ 232,
334
+ 233,
335
+ 234,
336
+ 235,
337
+ 236,
338
+ 237,
339
+ 238,
340
+ 239,
341
+ 240,
342
+ 241,
343
+ 242,
344
+ 243,
345
+ 244,
346
+ 245,
347
+ 246,
348
+ 247,
349
+ 248,
350
+ 249,
351
+ 250,
352
+ 251,
353
+ 252,
354
+ 253,
355
+ 254,
356
+ 255,
357
+ 256,
358
+ 257,
359
+ 258,
360
+ 259,
361
+ 260,
362
+ 261,
363
+ 262,
364
+ 263,
365
+ 264,
366
+ 265,
367
+ 266,
368
+ 267,
369
+ 268,
370
+ 269,
371
+ 270,
372
+ 271,
373
+ 272,
374
+ 273,
375
+ 274,
376
+ 275,
377
+ 276,
378
+ 277,
379
+ 278,
380
+ 279,
381
+ 280,
382
+ 281,
383
+ 282,
384
+ 283,
385
+ 284,
386
+ 285,
387
+ 286,
388
+ 287,
389
+ 288,
390
+ 289,
391
+ 290,
392
+ 291,
393
+ 292,
394
+ 293,
395
+ 294,
396
+ 295,
397
+ 296,
398
+ 297,
399
+ 298,
400
+ 299,
401
+ 300,
402
+ 301,
403
+ 302,
404
+ 303,
405
+ 304,
406
+ 305,
407
+ 306,
408
+ 307,
409
+ 308,
410
+ 309,
411
+ 310,
412
+ 311,
413
+ 312,
414
+ 313,
415
+ 314,
416
+ 315,
417
+ 316,
418
+ 317,
419
+ 318,
420
+ 319,
421
+ 320,
422
+ 321,
423
+ 322,
424
+ 323,
425
+ 324,
426
+ 325,
427
+ 326,
428
+ 327,
429
+ 328,
430
+ 329,
431
+ 330,
432
+ 331,
433
+ 332,
434
+ 333,
435
+ 334,
436
+ 335,
437
+ 336,
438
+ 337,
439
+ 338,
440
+ 339,
441
+ 340,
442
+ 341,
443
+ 342,
444
+ 343,
445
+ 344,
446
+ 345,
447
+ 346,
448
+ 347,
449
+ 348,
450
+ 349,
451
+ 350,
452
+ 351,
453
+ 352,
454
+ 353,
455
+ 354,
456
+ 355,
457
+ 356,
458
+ 357,
459
+ 358,
460
+ 359,
461
+ 360,
462
+ 361,
463
+ 362,
464
+ 363,
465
+ 364,
466
+ 365,
467
+ 366,
468
+ 367,
469
+ 368,
470
+ 369,
471
+ 370,
472
+ 371,
473
+ 372,
474
+ 373,
475
+ 374,
476
+ 375,
477
+ 376,
478
+ 377,
479
+ 378,
480
+ 379,
481
+ 380,
482
+ 381,
483
+ 382,
484
+ 383,
485
+ 384,
486
+ 385,
487
+ 386,
488
+ 387,
489
+ 388,
490
+ 389,
491
+ 390,
492
+ 391,
493
+ 392,
494
+ 393,
495
+ 394,
496
+ 395,
497
+ 396,
498
+ 397,
499
+ 398,
500
+ 399,
501
+ 400,
502
+ 401,
503
+ 402,
504
+ 403,
505
+ 404,
506
+ 405
507
+ ]
508
+ }
509
+ ],
510
+ "tables": [
511
+ {
512
+ "lr": 0.0,
513
+ "betas": [
514
+ 0.9,
515
+ 0.999
516
+ ],
517
+ "eps": 1e-08,
518
+ "params": [
519
+ 0,
520
+ 1
521
+ ]
522
+ }
523
+ ]
524
+ },
525
+ "extra": {
526
+ "documents_used": {
527
+ "fra_Latn@fineweb2-hq": 10366,
528
+ "por_Latn@fineweb2-hq": 8865,
529
+ "deu_Latn@fineweb2-hq": 11914,
530
+ "ron_Latn": 4693,
531
+ "swe_Latn@fineweb2-hq": 9114,
532
+ "dan_Latn@fineweb2-hq": 8013,
533
+ "bul_Cyrl": 5008,
534
+ "ru@fineweb2-hq": 12013,
535
+ "ces_Latn@fineweb2-hq": 6556,
536
+ "ell_Grek@fineweb2-hq": 7035,
537
+ "ukr_Cyrl": 2716,
538
+ "spa_Latn@fineweb2-hq": 12010,
539
+ "nld_Latn@fineweb2-hq": 12770,
540
+ "slk_Latn": 4355,
541
+ "hrv_Latn": 1429,
542
+ "pol_Latn@fineweb2-hq": 10644,
543
+ "lit_Latn": 3614,
544
+ "nob_Latn": 8182,
545
+ "nno_Latn": 2566,
546
+ "fas_Arab@fineweb2-hq": 9508,
547
+ "slv_Latn": 4557,
548
+ "guj_Gujr": 1091,
549
+ "lvs_Latn": 4102,
550
+ "ita_Latn@fineweb2-hq": 10031,
551
+ "oci_Latn": 1005,
552
+ "npi_Deva": 4217,
553
+ "mar_Deva": 2191,
554
+ "bel_Cyrl": 2014,
555
+ "srp_Cyrl": 2350,
556
+ "ltz_Latn": 2011,
557
+ "vec_Latn": 644,
558
+ "asm_Beng": 382,
559
+ "cym_Latn": 2981,
560
+ "szl_Latn": 491,
561
+ "ast_Latn": 810,
562
+ "hne_Deva": 526,
563
+ "awa_Deva": 420,
564
+ "mai_Deva": 230,
565
+ "bho_Deva": 871,
566
+ "snd_Arab": 388,
567
+ "gle_Latn": 1884,
568
+ "fao_Latn": 1863,
569
+ "hi": 6643,
570
+ "pan_Guru": 2027,
571
+ "ben_Beng": 2138,
572
+ "ory_Orya": 1573,
573
+ "tgk_Cyrl": 2282,
574
+ "ydd_Hebr": 898,
575
+ "lmo_Latn": 643,
576
+ "lij_Latn": 436,
577
+ "scn_Latn": 772,
578
+ "fur_Latn": 708,
579
+ "srd_Latn": 876,
580
+ "glg_Latn": 3375,
581
+ "cat_Latn": 4811,
582
+ "isl_Latn": 2866,
583
+ "als_Latn": 1532,
584
+ "lim_Latn": 829,
585
+ "afr_Latn": 1558,
586
+ "mkd_Cyrl": 3539,
587
+ "sin_Sinh": 2277,
588
+ "urd_Arab": 4023,
589
+ "mag_Deva": 72,
590
+ "bos_Latn": 3169,
591
+ "hye_Armn": 2049,
592
+ "zh@fineweb2-hq": 17344,
593
+ "yue_Hani": 2270,
594
+ "mya_Mymr": 697,
595
+ "ar@fineweb2-hq": 6834,
596
+ "ars_Arab": 305,
597
+ "apc_Arab": 617,
598
+ "arz_Arab": 1988,
599
+ "ary_Arab": 3486,
600
+ "acm_Arab": 437,
601
+ "aeb_Arab": 449,
602
+ "heb_Hebr": 3855,
603
+ "mlt_Latn": 1192,
604
+ "ind_Latn@fineweb2-hq": 4708,
605
+ "zsm_Latn": 3158,
606
+ "fil_Latn": 1757,
607
+ "ceb_Latn": 1168,
608
+ "jav_Latn": 568,
609
+ "sun_Latn": 777,
610
+ "min_Latn": 207,
611
+ "ban_Latn": 344,
612
+ "bjn_Latn": 561,
613
+ "pag_Latn": 320,
614
+ "ilo_Latn": 730,
615
+ "war_Latn": 433,
616
+ "tam_Taml": 2957,
617
+ "tel_Telu": 694,
618
+ "kan_Knda": 1054,
619
+ "mal_Mlym": 1950,
620
+ "tur_Latn@fineweb2-hq": 10129,
621
+ "azj_Latn": 4791,
622
+ "uzn_Latn": 1806,
623
+ "kaz_Cyrl": 1636,
624
+ "bak_Cyrl": 1332,
625
+ "tat_Cyrl": 513,
626
+ "tha_Thai": 5800,
627
+ "lao_Laoo": 943,
628
+ "fin_Latn": 6150,
629
+ "ekk_Latn": 4246,
630
+ "hun_Latn@fineweb2-hq": 5169,
631
+ "vie_Latn@fineweb2-hq": 8243,
632
+ "khm_Khmr": 1509,
633
+ "ja@fineweb2-hq": 19143,
634
+ "ko@korean-webtext-edu": 1948,
635
+ "kat_Geor": 970,
636
+ "eus_Latn": 2415,
637
+ "hat_Latn": 1204,
638
+ "pap_Latn": 491,
639
+ "kea_Latn": 119,
640
+ "tpi_Latn": 290,
641
+ "swh_Latn": 1958,
642
+ "en": 49259
643
+ },
644
+ "documents_start": {},
645
+ "first_step": 0,
646
+ "run_name": "edu-shared-rotation-b64-mhc-dim",
647
+ "wandb": "https://wandb.ai/haan_modeling/polyplex/runs/198d9dxc",
648
+ "batch_size": 64,
649
+ "row_frames": 1024,
650
+ "lr_schedule": "cosine-restarts",
651
+ "language_stream_folded": true,
652
+ "stream_connections": true,
653
+ "stream_cross_scales": true,
654
+ "language_lora_layers": [],
655
+ "language_lora_rank": 16
656
+ }
657
+ }