RetentionLabs commited on
Commit
f5a1d81
·
verified ·
1 Parent(s): b25c3f5

Add qk-norm-personaplex checkpoint 3750 (language LoRA and rotation unfolded)

Browse files
qk-norm-personaplex/checkpoint-3750/checkpoint.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:4b260aef8c5957f5689c1ce3615cf9a344164285a55e06264c64e1100ace58f1
3
+ size 12914540044
qk-norm-personaplex/checkpoint-3750/manifest.json ADDED
@@ -0,0 +1,1021 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "step": 3750,
3
+ "files": [
4
+ "checkpoint.safetensors"
5
+ ],
6
+ "groups": {
7
+ "muon": [
8
+ {
9
+ "lr": 0.0,
10
+ "weight_decay": 0.0,
11
+ "momentum": 0.95,
12
+ "nesterov": true,
13
+ "ns_coefficients": [
14
+ 3.4445,
15
+ -4.775,
16
+ 2.0315
17
+ ],
18
+ "eps": 1e-07,
19
+ "ns_steps": 5,
20
+ "adjust_lr_fn": "match_rms_adamw",
21
+ "params": [
22
+ 0,
23
+ 1,
24
+ 2,
25
+ 3,
26
+ 4,
27
+ 5,
28
+ 6,
29
+ 7,
30
+ 8,
31
+ 9,
32
+ 10,
33
+ 11,
34
+ 12,
35
+ 13,
36
+ 14,
37
+ 15,
38
+ 16,
39
+ 17,
40
+ 18,
41
+ 19,
42
+ 20,
43
+ 21,
44
+ 22,
45
+ 23
46
+ ]
47
+ }
48
+ ],
49
+ "adamw": [
50
+ {
51
+ "weight_decay": 0.0,
52
+ "lr": 0.0,
53
+ "betas": [
54
+ 0.9,
55
+ 0.999
56
+ ],
57
+ "eps": 1e-08,
58
+ "amsgrad": false,
59
+ "maximize": false,
60
+ "foreach": null,
61
+ "capturable": false,
62
+ "differentiable": false,
63
+ "fused": null,
64
+ "decoupled_weight_decay": true,
65
+ "params": [
66
+ 0,
67
+ 1,
68
+ 2,
69
+ 3,
70
+ 4,
71
+ 5,
72
+ 6,
73
+ 7,
74
+ 8,
75
+ 9,
76
+ 10,
77
+ 11,
78
+ 12,
79
+ 13,
80
+ 14,
81
+ 15,
82
+ 16,
83
+ 17,
84
+ 18,
85
+ 19,
86
+ 20,
87
+ 21,
88
+ 22,
89
+ 23,
90
+ 24,
91
+ 25,
92
+ 26,
93
+ 27,
94
+ 28,
95
+ 29,
96
+ 30,
97
+ 31,
98
+ 32,
99
+ 33,
100
+ 34,
101
+ 35,
102
+ 36,
103
+ 37,
104
+ 38,
105
+ 39,
106
+ 40,
107
+ 41,
108
+ 42,
109
+ 43,
110
+ 44,
111
+ 45,
112
+ 46,
113
+ 47,
114
+ 48,
115
+ 49,
116
+ 50,
117
+ 51,
118
+ 52,
119
+ 53,
120
+ 54,
121
+ 55,
122
+ 56,
123
+ 57,
124
+ 58,
125
+ 59,
126
+ 60,
127
+ 61,
128
+ 62,
129
+ 63,
130
+ 64,
131
+ 65,
132
+ 66,
133
+ 67,
134
+ 68,
135
+ 69,
136
+ 70,
137
+ 71,
138
+ 72,
139
+ 73,
140
+ 74,
141
+ 75,
142
+ 76,
143
+ 77,
144
+ 78,
145
+ 79,
146
+ 80,
147
+ 81,
148
+ 82,
149
+ 83,
150
+ 84,
151
+ 85,
152
+ 86,
153
+ 87,
154
+ 88,
155
+ 89,
156
+ 90,
157
+ 91,
158
+ 92,
159
+ 93,
160
+ 94,
161
+ 95,
162
+ 96,
163
+ 97,
164
+ 98,
165
+ 99,
166
+ 100,
167
+ 101,
168
+ 102,
169
+ 103,
170
+ 104,
171
+ 105,
172
+ 106,
173
+ 107,
174
+ 108,
175
+ 109,
176
+ 110,
177
+ 111,
178
+ 112,
179
+ 113,
180
+ 114,
181
+ 115,
182
+ 116,
183
+ 117,
184
+ 118,
185
+ 119,
186
+ 120,
187
+ 121,
188
+ 122,
189
+ 123,
190
+ 124,
191
+ 125,
192
+ 126,
193
+ 127,
194
+ 128,
195
+ 129,
196
+ 130,
197
+ 131,
198
+ 132,
199
+ 133,
200
+ 134,
201
+ 135,
202
+ 136,
203
+ 137,
204
+ 138,
205
+ 139,
206
+ 140,
207
+ 141,
208
+ 142,
209
+ 143,
210
+ 144,
211
+ 145,
212
+ 146,
213
+ 147,
214
+ 148,
215
+ 149,
216
+ 150,
217
+ 151,
218
+ 152,
219
+ 153,
220
+ 154,
221
+ 155,
222
+ 156,
223
+ 157,
224
+ 158,
225
+ 159,
226
+ 160,
227
+ 161,
228
+ 162,
229
+ 163,
230
+ 164,
231
+ 165,
232
+ 166,
233
+ 167,
234
+ 168,
235
+ 169,
236
+ 170,
237
+ 171,
238
+ 172,
239
+ 173,
240
+ 174,
241
+ 175,
242
+ 176,
243
+ 177,
244
+ 178,
245
+ 179,
246
+ 180,
247
+ 181,
248
+ 182,
249
+ 183,
250
+ 184,
251
+ 185,
252
+ 186,
253
+ 187,
254
+ 188,
255
+ 189,
256
+ 190,
257
+ 191,
258
+ 192,
259
+ 193,
260
+ 194,
261
+ 195,
262
+ 196,
263
+ 197,
264
+ 198,
265
+ 199,
266
+ 200,
267
+ 201,
268
+ 202,
269
+ 203,
270
+ 204,
271
+ 205,
272
+ 206,
273
+ 207,
274
+ 208,
275
+ 209,
276
+ 210,
277
+ 211,
278
+ 212,
279
+ 213,
280
+ 214,
281
+ 215,
282
+ 216,
283
+ 217,
284
+ 218,
285
+ 219,
286
+ 220,
287
+ 221,
288
+ 222,
289
+ 223,
290
+ 224,
291
+ 225,
292
+ 226,
293
+ 227,
294
+ 228,
295
+ 229,
296
+ 230,
297
+ 231,
298
+ 232,
299
+ 233,
300
+ 234,
301
+ 235,
302
+ 236,
303
+ 237,
304
+ 238,
305
+ 239,
306
+ 240,
307
+ 241,
308
+ 242,
309
+ 243,
310
+ 244,
311
+ 245,
312
+ 246,
313
+ 247,
314
+ 248,
315
+ 249,
316
+ 250,
317
+ 251,
318
+ 252,
319
+ 253,
320
+ 254,
321
+ 255,
322
+ 256,
323
+ 257,
324
+ 258,
325
+ 259,
326
+ 260,
327
+ 261,
328
+ 262
329
+ ]
330
+ },
331
+ {
332
+ "weight_decay": 0.0,
333
+ "lr_scale": 10.0,
334
+ "lr": 0.0,
335
+ "betas": [
336
+ 0.9,
337
+ 0.999
338
+ ],
339
+ "eps": 1e-08,
340
+ "amsgrad": false,
341
+ "maximize": false,
342
+ "foreach": null,
343
+ "capturable": false,
344
+ "differentiable": false,
345
+ "fused": null,
346
+ "decoupled_weight_decay": true,
347
+ "params": [
348
+ 263,
349
+ 264,
350
+ 265,
351
+ 266,
352
+ 267,
353
+ 268,
354
+ 269,
355
+ 270,
356
+ 271,
357
+ 272,
358
+ 273,
359
+ 274,
360
+ 275,
361
+ 276,
362
+ 277,
363
+ 278,
364
+ 279,
365
+ 280,
366
+ 281,
367
+ 282,
368
+ 283,
369
+ 284,
370
+ 285,
371
+ 286,
372
+ 287,
373
+ 288,
374
+ 289,
375
+ 290,
376
+ 291,
377
+ 292,
378
+ 293,
379
+ 294,
380
+ 295,
381
+ 296,
382
+ 297,
383
+ 298,
384
+ 299,
385
+ 300,
386
+ 301,
387
+ 302,
388
+ 303,
389
+ 304,
390
+ 305,
391
+ 306,
392
+ 307,
393
+ 308,
394
+ 309,
395
+ 310,
396
+ 311,
397
+ 312,
398
+ 313,
399
+ 314,
400
+ 315,
401
+ 316,
402
+ 317,
403
+ 318,
404
+ 319,
405
+ 320,
406
+ 321,
407
+ 322,
408
+ 323,
409
+ 324,
410
+ 325,
411
+ 326,
412
+ 327,
413
+ 328,
414
+ 329,
415
+ 330,
416
+ 331,
417
+ 332,
418
+ 333,
419
+ 334,
420
+ 335,
421
+ 336,
422
+ 337,
423
+ 338,
424
+ 339,
425
+ 340,
426
+ 341,
427
+ 342,
428
+ 343,
429
+ 344,
430
+ 345,
431
+ 346,
432
+ 347,
433
+ 348,
434
+ 349,
435
+ 350,
436
+ 351,
437
+ 352,
438
+ 353,
439
+ 354,
440
+ 355,
441
+ 356,
442
+ 357,
443
+ 358,
444
+ 359,
445
+ 360,
446
+ 361,
447
+ 362,
448
+ 363,
449
+ 364,
450
+ 365,
451
+ 366,
452
+ 367,
453
+ 368,
454
+ 369,
455
+ 370,
456
+ 371,
457
+ 372,
458
+ 373,
459
+ 374,
460
+ 375,
461
+ 376,
462
+ 377,
463
+ 378,
464
+ 379,
465
+ 380,
466
+ 381,
467
+ 382,
468
+ 383,
469
+ 384,
470
+ 385,
471
+ 386,
472
+ 387,
473
+ 388,
474
+ 389,
475
+ 390,
476
+ 391,
477
+ 392,
478
+ 393,
479
+ 394,
480
+ 395,
481
+ 396,
482
+ 397,
483
+ 398,
484
+ 399,
485
+ 400,
486
+ 401,
487
+ 402,
488
+ 403,
489
+ 404,
490
+ 405,
491
+ 406,
492
+ 407,
493
+ 408,
494
+ 409,
495
+ 410,
496
+ 411,
497
+ 412,
498
+ 413,
499
+ 414,
500
+ 415,
501
+ 416,
502
+ 417,
503
+ 418,
504
+ 419,
505
+ 420,
506
+ 421,
507
+ 422,
508
+ 423,
509
+ 424,
510
+ 425,
511
+ 426,
512
+ 427,
513
+ 428,
514
+ 429,
515
+ 430,
516
+ 431,
517
+ 432,
518
+ 433,
519
+ 434,
520
+ 435,
521
+ 436,
522
+ 437,
523
+ 438,
524
+ 439,
525
+ 440,
526
+ 441,
527
+ 442,
528
+ 443,
529
+ 444,
530
+ 445,
531
+ 446,
532
+ 447,
533
+ 448,
534
+ 449,
535
+ 450,
536
+ 451,
537
+ 452,
538
+ 453,
539
+ 454,
540
+ 455,
541
+ 456,
542
+ 457,
543
+ 458,
544
+ 459,
545
+ 460,
546
+ 461,
547
+ 462,
548
+ 463,
549
+ 464,
550
+ 465,
551
+ 466,
552
+ 467,
553
+ 468,
554
+ 469,
555
+ 470,
556
+ 471,
557
+ 472,
558
+ 473,
559
+ 474,
560
+ 475,
561
+ 476,
562
+ 477,
563
+ 478,
564
+ 479,
565
+ 480,
566
+ 481,
567
+ 482,
568
+ 483,
569
+ 484,
570
+ 485,
571
+ 486,
572
+ 487,
573
+ 488,
574
+ 489,
575
+ 490,
576
+ 491,
577
+ 492,
578
+ 493,
579
+ 494,
580
+ 495,
581
+ 496,
582
+ 497,
583
+ 498,
584
+ 499,
585
+ 500,
586
+ 501,
587
+ 502,
588
+ 503,
589
+ 504,
590
+ 505,
591
+ 506,
592
+ 507,
593
+ 508,
594
+ 509,
595
+ 510,
596
+ 511,
597
+ 512,
598
+ 513,
599
+ 514,
600
+ 515,
601
+ 516,
602
+ 517,
603
+ 518,
604
+ 519,
605
+ 520,
606
+ 521,
607
+ 522,
608
+ 523,
609
+ 524,
610
+ 525,
611
+ 526,
612
+ 527,
613
+ 528,
614
+ 529,
615
+ 530,
616
+ 531,
617
+ 532,
618
+ 533,
619
+ 534,
620
+ 535,
621
+ 536,
622
+ 537,
623
+ 538,
624
+ 539,
625
+ 540,
626
+ 541,
627
+ 542,
628
+ 543,
629
+ 544,
630
+ 545,
631
+ 546,
632
+ 547,
633
+ 548,
634
+ 549,
635
+ 550,
636
+ 551
637
+ ]
638
+ },
639
+ {
640
+ "weight_decay": 0.0,
641
+ "lr_scale": 0.1,
642
+ "low_rank": true,
643
+ "lr": 0.0,
644
+ "betas": [
645
+ 0.9,
646
+ 0.999
647
+ ],
648
+ "eps": 1e-08,
649
+ "amsgrad": false,
650
+ "maximize": false,
651
+ "foreach": null,
652
+ "capturable": false,
653
+ "differentiable": false,
654
+ "fused": null,
655
+ "decoupled_weight_decay": true,
656
+ "params": [
657
+ 552,
658
+ 553,
659
+ 554,
660
+ 555,
661
+ 556,
662
+ 557,
663
+ 558,
664
+ 559,
665
+ 560,
666
+ 561,
667
+ 562,
668
+ 563,
669
+ 564,
670
+ 565,
671
+ 566,
672
+ 567,
673
+ 568,
674
+ 569,
675
+ 570,
676
+ 571,
677
+ 572,
678
+ 573,
679
+ 574,
680
+ 575,
681
+ 576,
682
+ 577,
683
+ 578,
684
+ 579,
685
+ 580,
686
+ 581,
687
+ 582,
688
+ 583,
689
+ 584,
690
+ 585,
691
+ 586,
692
+ 587,
693
+ 588,
694
+ 589,
695
+ 590,
696
+ 591,
697
+ 592,
698
+ 593,
699
+ 594,
700
+ 595,
701
+ 596,
702
+ 597,
703
+ 598,
704
+ 599,
705
+ 600,
706
+ 601,
707
+ 602,
708
+ 603,
709
+ 604,
710
+ 605,
711
+ 606,
712
+ 607,
713
+ 608,
714
+ 609,
715
+ 610,
716
+ 611,
717
+ 612,
718
+ 613,
719
+ 614,
720
+ 615,
721
+ 616,
722
+ 617,
723
+ 618,
724
+ 619,
725
+ 620,
726
+ 621,
727
+ 622,
728
+ 623,
729
+ 624,
730
+ 625,
731
+ 626,
732
+ 627,
733
+ 628,
734
+ 629,
735
+ 630,
736
+ 631,
737
+ 632,
738
+ 633,
739
+ 634,
740
+ 635,
741
+ 636,
742
+ 637,
743
+ 638,
744
+ 639,
745
+ 640,
746
+ 641,
747
+ 642,
748
+ 643,
749
+ 644,
750
+ 645,
751
+ 646,
752
+ 647,
753
+ 648,
754
+ 649,
755
+ 650,
756
+ 651,
757
+ 652,
758
+ 653,
759
+ 654,
760
+ 655,
761
+ 656,
762
+ 657,
763
+ 658,
764
+ 659,
765
+ 660,
766
+ 661,
767
+ 662,
768
+ 663,
769
+ 664,
770
+ 665,
771
+ 666,
772
+ 667,
773
+ 668,
774
+ 669,
775
+ 670,
776
+ 671,
777
+ 672,
778
+ 673,
779
+ 674,
780
+ 675,
781
+ 676,
782
+ 677,
783
+ 678,
784
+ 679,
785
+ 680,
786
+ 681,
787
+ 682,
788
+ 683,
789
+ 684,
790
+ 685,
791
+ 686,
792
+ 687,
793
+ 688,
794
+ 689,
795
+ 690,
796
+ 691,
797
+ 692,
798
+ 693,
799
+ 694,
800
+ 695,
801
+ 696,
802
+ 697,
803
+ 698,
804
+ 699,
805
+ 700,
806
+ 701,
807
+ 702,
808
+ 703,
809
+ 704,
810
+ 705,
811
+ 706,
812
+ 707,
813
+ 708,
814
+ 709,
815
+ 710,
816
+ 711,
817
+ 712,
818
+ 713,
819
+ 714,
820
+ 715,
821
+ 716,
822
+ 717,
823
+ 718,
824
+ 719,
825
+ 720,
826
+ 721
827
+ ]
828
+ }
829
+ ],
830
+ "tables": [
831
+ {
832
+ "lr": 0.0,
833
+ "betas": [
834
+ 0.9,
835
+ 0.999
836
+ ],
837
+ "eps": 1e-08,
838
+ "params": [
839
+ 0,
840
+ 1
841
+ ]
842
+ }
843
+ ]
844
+ },
845
+ "extra": {
846
+ "documents_used": {
847
+ "fra_Latn@fineweb2-hq": 10366,
848
+ "por_Latn@fineweb2-hq": 8865,
849
+ "deu_Latn@fineweb2-hq": 11914,
850
+ "ron_Latn": 4693,
851
+ "swe_Latn@fineweb2-hq": 9114,
852
+ "dan_Latn@fineweb2-hq": 8013,
853
+ "bul_Cyrl": 5008,
854
+ "ru@fineweb2-hq": 12013,
855
+ "ces_Latn@fineweb2-hq": 6556,
856
+ "ell_Grek@fineweb2-hq": 7035,
857
+ "ukr_Cyrl": 2716,
858
+ "spa_Latn@fineweb2-hq": 12010,
859
+ "nld_Latn@fineweb2-hq": 12770,
860
+ "slk_Latn": 4355,
861
+ "hrv_Latn": 1429,
862
+ "pol_Latn@fineweb2-hq": 10644,
863
+ "lit_Latn": 3614,
864
+ "nob_Latn": 8182,
865
+ "nno_Latn": 2566,
866
+ "fas_Arab@fineweb2-hq": 9508,
867
+ "slv_Latn": 4557,
868
+ "guj_Gujr": 1091,
869
+ "lvs_Latn": 4102,
870
+ "ita_Latn@fineweb2-hq": 10031,
871
+ "oci_Latn": 1005,
872
+ "npi_Deva": 4217,
873
+ "mar_Deva": 2191,
874
+ "bel_Cyrl": 2014,
875
+ "srp_Cyrl": 2350,
876
+ "ltz_Latn": 2011,
877
+ "vec_Latn": 644,
878
+ "asm_Beng": 382,
879
+ "cym_Latn": 2981,
880
+ "szl_Latn": 491,
881
+ "ast_Latn": 810,
882
+ "hne_Deva": 526,
883
+ "awa_Deva": 420,
884
+ "mai_Deva": 230,
885
+ "bho_Deva": 871,
886
+ "snd_Arab": 388,
887
+ "gle_Latn": 1884,
888
+ "fao_Latn": 1863,
889
+ "hi": 6643,
890
+ "pan_Guru": 2027,
891
+ "ben_Beng": 2138,
892
+ "ory_Orya": 1573,
893
+ "tgk_Cyrl": 2282,
894
+ "ydd_Hebr": 898,
895
+ "lmo_Latn": 643,
896
+ "lij_Latn": 436,
897
+ "scn_Latn": 772,
898
+ "fur_Latn": 708,
899
+ "srd_Latn": 876,
900
+ "glg_Latn": 3375,
901
+ "cat_Latn": 4811,
902
+ "isl_Latn": 2866,
903
+ "als_Latn": 1532,
904
+ "lim_Latn": 829,
905
+ "afr_Latn": 1558,
906
+ "mkd_Cyrl": 3539,
907
+ "sin_Sinh": 2277,
908
+ "urd_Arab": 4023,
909
+ "mag_Deva": 72,
910
+ "bos_Latn": 3169,
911
+ "hye_Armn": 2049,
912
+ "zh@fineweb2-hq": 17344,
913
+ "yue_Hani": 2270,
914
+ "mya_Mymr": 697,
915
+ "ar@fineweb2-hq": 6834,
916
+ "ars_Arab": 305,
917
+ "apc_Arab": 617,
918
+ "arz_Arab": 1988,
919
+ "ary_Arab": 3486,
920
+ "acm_Arab": 437,
921
+ "aeb_Arab": 449,
922
+ "heb_Hebr": 3855,
923
+ "mlt_Latn": 1192,
924
+ "ind_Latn@fineweb2-hq": 4708,
925
+ "zsm_Latn": 3158,
926
+ "fil_Latn": 1757,
927
+ "ceb_Latn": 1168,
928
+ "jav_Latn": 568,
929
+ "sun_Latn": 777,
930
+ "min_Latn": 207,
931
+ "ban_Latn": 344,
932
+ "bjn_Latn": 561,
933
+ "pag_Latn": 320,
934
+ "ilo_Latn": 730,
935
+ "war_Latn": 433,
936
+ "tam_Taml": 2957,
937
+ "tel_Telu": 694,
938
+ "kan_Knda": 1054,
939
+ "mal_Mlym": 1950,
940
+ "tur_Latn@fineweb2-hq": 10129,
941
+ "azj_Latn": 4791,
942
+ "uzn_Latn": 1806,
943
+ "kaz_Cyrl": 1636,
944
+ "bak_Cyrl": 1332,
945
+ "tat_Cyrl": 513,
946
+ "tha_Thai": 5800,
947
+ "lao_Laoo": 943,
948
+ "fin_Latn": 6150,
949
+ "ekk_Latn": 4246,
950
+ "hun_Latn@fineweb2-hq": 5169,
951
+ "vie_Latn@fineweb2-hq": 8243,
952
+ "khm_Khmr": 1509,
953
+ "ja@fineweb2-hq": 19143,
954
+ "ko@korean-webtext-edu": 1948,
955
+ "kat_Geor": 970,
956
+ "eus_Latn": 2415,
957
+ "hat_Latn": 1204,
958
+ "pap_Latn": 491,
959
+ "kea_Latn": 119,
960
+ "tpi_Latn": 290,
961
+ "swh_Latn": 1958,
962
+ "en": 49259
963
+ },
964
+ "documents_start": {},
965
+ "first_step": 0,
966
+ "run_name": "qk-norm-personaplex",
967
+ "wandb": "https://wandb.ai/haan_modeling/polyplex/runs/dxnradpn",
968
+ "batch_size": 128,
969
+ "row_frames": 1024,
970
+ "lr_schedule": "cosine-restarts",
971
+ "dual_stream": true,
972
+ "dynamic_stream_connections": true,
973
+ "language_lora_layers": [
974
+ 7,
975
+ 8,
976
+ 9,
977
+ 10,
978
+ 11,
979
+ 12,
980
+ 13,
981
+ 14,
982
+ 15,
983
+ 16,
984
+ 17,
985
+ 18,
986
+ 19,
987
+ 20,
988
+ 21,
989
+ 22,
990
+ 23
991
+ ],
992
+ "language_lora_rank": 16,
993
+ "language_down_rotation_layers": [
994
+ 7,
995
+ 8,
996
+ 9,
997
+ 10,
998
+ 11,
999
+ 12,
1000
+ 13,
1001
+ 14,
1002
+ 15,
1003
+ 16,
1004
+ 17,
1005
+ 18,
1006
+ 19,
1007
+ 20,
1008
+ 21,
1009
+ 22,
1010
+ 23
1011
+ ],
1012
+ "language_down_rotation_rank": 16,
1013
+ "language_attention_layers": [
1014
+ 32,
1015
+ 33,
1016
+ 34,
1017
+ 35
1018
+ ],
1019
+ "qk_norm": true
1020
+ }
1021
+ }