final-step-022888 (copied from udgamlabs/launchkit-runs@59fd2737e4, main-1/milestones/final-step-022888)
Browse files
final-step-022888/config.json
ADDED
|
@@ -0,0 +1,120 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"architectures": [
|
| 3 |
+
"Gemma4ForCausalLM"
|
| 4 |
+
],
|
| 5 |
+
"model_type": "gemma4_text",
|
| 6 |
+
"vocab_size": 32000,
|
| 7 |
+
"hidden_size": 1024,
|
| 8 |
+
"intermediate_size": 3584,
|
| 9 |
+
"num_hidden_layers": 18,
|
| 10 |
+
"num_attention_heads": 8,
|
| 11 |
+
"num_key_value_heads": 2,
|
| 12 |
+
"head_dim": 64,
|
| 13 |
+
"global_head_dim": 128,
|
| 14 |
+
"per_layer_config": {
|
| 15 |
+
"0": {
|
| 16 |
+
"head_dim": 128
|
| 17 |
+
},
|
| 18 |
+
"1": {
|
| 19 |
+
"head_dim": 128
|
| 20 |
+
},
|
| 21 |
+
"2": {
|
| 22 |
+
"head_dim": 128
|
| 23 |
+
},
|
| 24 |
+
"3": {
|
| 25 |
+
"head_dim": 128
|
| 26 |
+
},
|
| 27 |
+
"4": {
|
| 28 |
+
"head_dim": 128
|
| 29 |
+
},
|
| 30 |
+
"5": {
|
| 31 |
+
"head_dim": 128
|
| 32 |
+
},
|
| 33 |
+
"6": {
|
| 34 |
+
"head_dim": 128
|
| 35 |
+
},
|
| 36 |
+
"7": {
|
| 37 |
+
"head_dim": 128
|
| 38 |
+
},
|
| 39 |
+
"8": {
|
| 40 |
+
"head_dim": 128
|
| 41 |
+
},
|
| 42 |
+
"9": {
|
| 43 |
+
"head_dim": 128
|
| 44 |
+
},
|
| 45 |
+
"10": {
|
| 46 |
+
"head_dim": 128
|
| 47 |
+
},
|
| 48 |
+
"11": {
|
| 49 |
+
"head_dim": 128
|
| 50 |
+
},
|
| 51 |
+
"12": {
|
| 52 |
+
"head_dim": 128
|
| 53 |
+
},
|
| 54 |
+
"13": {
|
| 55 |
+
"head_dim": 128
|
| 56 |
+
},
|
| 57 |
+
"14": {
|
| 58 |
+
"head_dim": 128
|
| 59 |
+
},
|
| 60 |
+
"15": {
|
| 61 |
+
"head_dim": 128
|
| 62 |
+
},
|
| 63 |
+
"16": {
|
| 64 |
+
"head_dim": 128
|
| 65 |
+
},
|
| 66 |
+
"17": {
|
| 67 |
+
"head_dim": 128
|
| 68 |
+
}
|
| 69 |
+
},
|
| 70 |
+
"hidden_activation": "gelu_pytorch_tanh",
|
| 71 |
+
"max_position_embeddings": 4096,
|
| 72 |
+
"rms_norm_eps": 1e-06,
|
| 73 |
+
"sliding_window": 512,
|
| 74 |
+
"layer_types": [
|
| 75 |
+
"full_attention",
|
| 76 |
+
"full_attention",
|
| 77 |
+
"full_attention",
|
| 78 |
+
"full_attention",
|
| 79 |
+
"full_attention",
|
| 80 |
+
"full_attention",
|
| 81 |
+
"full_attention",
|
| 82 |
+
"full_attention",
|
| 83 |
+
"full_attention",
|
| 84 |
+
"full_attention",
|
| 85 |
+
"full_attention",
|
| 86 |
+
"full_attention",
|
| 87 |
+
"full_attention",
|
| 88 |
+
"full_attention",
|
| 89 |
+
"full_attention",
|
| 90 |
+
"full_attention",
|
| 91 |
+
"full_attention",
|
| 92 |
+
"full_attention"
|
| 93 |
+
],
|
| 94 |
+
"final_logit_softcapping": 15.0,
|
| 95 |
+
"tie_word_embeddings": true,
|
| 96 |
+
"hidden_size_per_layer_input": 0,
|
| 97 |
+
"vocab_size_per_layer_input": 32000,
|
| 98 |
+
"num_kv_shared_layers": 0,
|
| 99 |
+
"use_double_wide_mlp": false,
|
| 100 |
+
"attention_k_eq_v": false,
|
| 101 |
+
"enable_moe_block": false,
|
| 102 |
+
"attention_bias": false,
|
| 103 |
+
"attention_dropout": 0.0,
|
| 104 |
+
"use_cache": true,
|
| 105 |
+
"rope_parameters": {
|
| 106 |
+
"sliding_attention": {
|
| 107 |
+
"rope_type": "default",
|
| 108 |
+
"rope_theta": 10000.0
|
| 109 |
+
},
|
| 110 |
+
"full_attention": {
|
| 111 |
+
"rope_type": "proportional",
|
| 112 |
+
"partial_rotary_factor": 1.0,
|
| 113 |
+
"rope_theta": 1000000.0
|
| 114 |
+
}
|
| 115 |
+
},
|
| 116 |
+
"pad_token_id": 0,
|
| 117 |
+
"eos_token_id": 2,
|
| 118 |
+
"bos_token_id": 1,
|
| 119 |
+
"dtype": "float32"
|
| 120 |
+
}
|
final-step-022888/fresh.json
ADDED
|
@@ -0,0 +1 @@
|
|
|
|
|
|
|
| 1 |
+
{"benchmark": "fresh-text", "model": "/kit/work/train/final-step-022888", "revision": null, "data": "/kit/job/fresh_te_2026_10.parquet", "n_docs": 416, "bpb": 0.3606367086287776, "bos": true, "ctx": 1024, "dtype": "float32", "device": "cuda", "date": "2026-10-26", "seconds": 15.4, "per_doc": [{"id": "wiki:508522", "bits": 1133.2609056101705, "bytes": 4085, "tokens": 368}, {"id": "wiki:508525", "bits": 4096.641933059826, "bytes": 12648, "tokens": 1119}, {"id": "wiki:508526", "bits": 4266.789251113964, "bytes": 11221, "tokens": 993}, {"id": "wiki:508537", "bits": 11098.523860756919, "bytes": 26387, "tokens": 2502}, {"id": "wiki:508554", "bits": 2097.694439373656, "bytes": 9773, "tokens": 712}, {"id": "wiki:508592", "bits": 3563.050288574552, "bytes": 9962, "tokens": 944}, {"id": "wiki:508621", "bits": 3999.8346434811615, "bytes": 12142, "tokens": 1116}, {"id": "wiki:508724", "bits": 10329.032204960506, "bytes": 28095, "tokens": 2356}, {"id": "wiki:508726", "bits": 11051.137879964439, "bytes": 25102, "tokens": 2376}, {"id": "wiki:508730", "bits": 7858.23359467028, "bytes": 18290, "tokens": 2110}, {"id": "wiki:508731", "bits": 6580.953481641973, "bytes": 15891, "tokens": 1639}, {"id": "wiki:508736", "bits": 10687.222634766295, "bytes": 25239, "tokens": 2451}, {"id": "wiki:508737", "bits": 4283.065270929814, "bytes": 13164, "tokens": 1058}, {"id": "wiki:508798", "bits": 7973.450303445327, "bytes": 25613, "tokens": 2268}, {"id": "wiki:508816", "bits": 4422.95381279814, "bytes": 9916, "tokens": 1086}, {"id": "wiki:508819", "bits": 7234.783310045681, "bytes": 16529, "tokens": 1796}, {"id": "wiki:508822", "bits": 8988.235602405113, "bytes": 22744, "tokens": 1957}, {"id": "wiki:508918", "bits": 4837.163983614404, "bytes": 13869, "tokens": 1324}, {"id": "wiki:508919", "bits": 2747.891311763984, "bytes": 8717, "tokens": 788}, {"id": "wiki:508964", "bits": 1845.5771410098687, "bytes": 5524, "tokens": 535}, {"id": "wiki:508990", "bits": 7512.928424266933, "bytes": 18177, "tokens": 1686}, {"id": "wiki:509010", "bits": 3058.5973151562166, "bytes": 6637, "tokens": 673}, {"id": "wiki:509030", "bits": 4541.65752622974, "bytes": 14264, "tokens": 1390}, {"id": "wiki:509031", "bits": 8464.350449603631, "bytes": 25411, "tokens": 2250}, {"id": "wiki:509036", "bits": 947.556713882696, "bytes": 3401, "tokens": 307}, {"id": "wiki:509058", "bits": 840.1381002492409, "bytes": 3855, "tokens": 277}, {"id": "wiki:509060", "bits": 1109.6952429134624, "bytes": 2809, "tokens": 325}, {"id": "wiki:509083", "bits": 6377.139940543896, "bytes": 21135, "tokens": 1720}, {"id": "wiki:509085", "bits": 1599.2327361324506, "bytes": 6487, "tokens": 703}, {"id": "wiki:509141", "bits": 7730.815044271484, "bytes": 20601, "tokens": 2004}, {"id": "wiki:509144", "bits": 11304.517184268536, "bytes": 24536, "tokens": 2540}, {"id": "wiki:509168", "bits": 1063.438480944491, "bytes": 3079, "tokens": 313}, {"id": "wiki:509179", "bits": 11088.131133530682, "bytes": 27251, "tokens": 2599}, {"id": "wiki:509182", "bits": 3401.0926247546, "bytes": 7879, "tokens": 940}, {"id": "wiki:509183", "bits": 5745.414918428076, "bytes": 13282, "tokens": 1268}, {"id": "wiki:509200", "bits": 2232.3180336994214, "bytes": 6804, "tokens": 632}, {"id": "wiki:509203", "bits": 1050.8582224543954, "bytes": 3414, "tokens": 301}, {"id": "wiki:509216", "bits": 10886.230721937358, "bytes": 26037, "tokens": 2612}, {"id": "wiki:509217", "bits": 5707.950107695225, "bytes": 13878, "tokens": 1338}, {"id": "wiki:509225", "bits": 6254.889411017357, "bytes": 18913, "tokens": 1760}, {"id": "wiki:509229", "bits": 2895.031588785196, "bytes": 9218, "tokens": 844}, {"id": "wiki:509235", "bits": 10805.870036950419, "bytes": 27654, "tokens": 2466}, {"id": "wiki:509263", "bits": 2254.0227395483425, "bytes": 6811, "tokens": 663}, {"id": "wiki:509296", "bits": 1227.6330969628523, "bytes": 4268, "tokens": 433}, {"id": "wiki:509301", "bits": 4767.555620938739, "bytes": 17161, "tokens": 1348}, {"id": "wiki:509311", "bits": 9644.949610132737, "bytes": 24895, "tokens": 2348}, {"id": "wiki:509315", "bits": 4024.3960554574187, "bytes": 9077, "tokens": 839}, {"id": "wiki:509347", "bits": 5642.932234391607, "bytes": 17448, "tokens": 1533}, {"id": "wiki:509356", "bits": 7330.577063211114, "bytes": 15668, "tokens": 1486}, {"id": "wiki:509357", "bits": 3875.16000610796, "bytes": 14206, "tokens": 1052}, {"id": "wiki:509358", "bits": 3358.5583488394655, "bytes": 15100, "tokens": 1114}, {"id": "wiki:509381", "bits": 7612.068249873773, "bytes": 23026, "tokens": 2109}, {"id": "wiki:509387", "bits": 8384.990290886353, "bytes": 22634, "tokens": 2121}, {"id": "wiki:509411", "bits": 2653.046792762417, "bytes": 5866, "tokens": 569}, {"id": "wiki:509418", "bits": 6843.819822263917, "bytes": 16493, "tokens": 1515}, {"id": "wiki:509419", "bits": 4888.282620826762, "bytes": 13041, "tokens": 1203}, {"id": "wiki:509421", "bits": 8125.156238295524, "bytes": 24018, "tokens": 2300}, {"id": "wiki:509425", "bits": 6992.996373871345, "bytes": 16528, "tokens": 1706}, {"id": "wiki:509429", "bits": 9177.831830314673, "bytes": 25910, "tokens": 2401}, {"id": "wiki:509435", "bits": 1426.6164406459702, "bytes": 4267, "tokens": 364}, {"id": "wiki:509452", "bits": 5902.311438274323, "bytes": 17375, "tokens": 1700}, {"id": "wiki:509453", "bits": 8077.126574596007, "bytes": 26450, "tokens": 2106}, {"id": "wiki:509454", "bits": 3664.9138570816935, "bytes": 11992, "tokens": 958}, {"id": "wiki:509456", "bits": 1941.5498221735365, "bytes": 5371, "tokens": 455}, {"id": "wiki:509458", "bits": 1792.8844305216971, "bytes": 5735, "tokens": 463}, {"id": "wiki:509467", "bits": 1883.8772425848747, "bytes": 5546, "tokens": 512}, {"id": "wiki:509469", "bits": 932.6388561951836, "bytes": 2735, "tokens": 240}, {"id": "wiki:509483", "bits": 1083.6763646503987, "bytes": 3724, "tokens": 325}, {"id": "wiki:509484", "bits": 1855.8640920265198, "bytes": 4310, "tokens": 450}, {"id": "wiki:509487", "bits": 3982.427225477652, "bytes": 9582, "tokens": 970}, {"id": "wiki:509491", "bits": 3026.5811789680515, "bytes": 7078, "tokens": 664}, {"id": "wiki:509498", "bits": 1636.8939097767504, "bytes": 6034, "tokens": 638}, {"id": "wiki:509500", "bits": 4155.877711117322, "bytes": 13659, "tokens": 1179}, {"id": "wiki:509501", "bits": 1398.8079301800851, "bytes": 4385, "tokens": 410}, {"id": "wiki:509512", "bits": 1364.9251135615118, "bytes": 5393, "tokens": 465}, {"id": "wiki:509539", "bits": 1730.1990492186965, "bytes": 7362, "tokens": 532}, {"id": "wiki:509544", "bits": 1485.8372933610938, "bytes": 4796, "tokens": 352}, {"id": "wiki:509545", "bits": 3831.5567575798445, "bytes": 13270, "tokens": 983}, {"id": "wiki:509548", "bits": 1116.7234501512305, "bytes": 2895, "tokens": 308}, {"id": "wiki:509562", "bits": 1298.571884404923, "bytes": 4374, "tokens": 354}, {"id": "wiki:509565", "bits": 1017.422989996762, "bytes": 3835, "tokens": 331}, {"id": "wiki:509567", "bits": 1424.9996606382942, "bytes": 4773, "tokens": 401}, {"id": "wiki:509568", "bits": 11294.181098496465, "bytes": 26288, "tokens": 2324}, {"id": "wiki:509580", "bits": 2803.508684916223, "bytes": 8429, "tokens": 728}, {"id": "wiki:509584", "bits": 2053.6964672721706, "bytes": 7546, "tokens": 669}, {"id": "wiki:509590", "bits": 6881.707825890232, "bytes": 24458, "tokens": 1765}, {"id": "wiki:509606", "bits": 5533.653544461537, "bytes": 14306, "tokens": 1366}, {"id": "wiki:509621", "bits": 11996.143967307331, "bytes": 28938, "tokens": 2582}, {"id": "wiki:509633", "bits": 2449.55124070648, "bytes": 7568, "tokens": 525}, {"id": "wiki:509642", "bits": 2497.96165473295, "bytes": 8265, "tokens": 782}, {"id": "wiki:509643", "bits": 1805.1066569050877, "bytes": 6524, "tokens": 589}, {"id": "wiki:509645", "bits": 1730.9686509433895, "bytes": 6940, "tokens": 489}, {"id": "wiki:509647", "bits": 1206.2755924412156, "bytes": 4174, "tokens": 359}, {"id": "wiki:509659", "bits": 1316.8018472723668, "bytes": 4010, "tokens": 351}, {"id": "wiki:509660", "bits": 1249.7874122404096, "bytes": 4898, "tokens": 376}, {"id": "wiki:509692", "bits": 2491.0605990844792, "bytes": 8610, "tokens": 706}, {"id": "wiki:509702", "bits": 7943.464454095405, "bytes": 25941, "tokens": 2313}, {"id": "wiki:509712", "bits": 1301.5453296039425, "bytes": 3819, "tokens": 265}, {"id": "wiki:509713", "bits": 1521.086637344142, "bytes": 5522, "tokens": 442}, {"id": "wiki:509715", "bits": 1500.6240369790332, "bytes": 5599, "tokens": 436}, {"id": "wiki:509729", "bits": 2741.0145593278717, "bytes": 11667, "tokens": 872}, {"id": "wiki:509744", "bits": 2413.2484053007515, "bytes": 6070, "tokens": 423}, {"id": "wiki:509763", "bits": 2218.7672317070874, "bytes": 7125, "tokens": 602}, {"id": "wiki:509772", "bits": 2084.4303448430614, "bytes": 7147, "tokens": 533}, {"id": "wiki:509774", "bits": 1363.833230107714, "bytes": 3653, "tokens": 323}, {"id": "wiki:509775", "bits": 3995.811955518868, "bytes": 10043, "tokens": 971}, {"id": "wiki:509778", "bits": 2679.2224091341714, "bytes": 7292, "tokens": 667}, {"id": "wiki:509781", "bits": 4366.345082115324, "bytes": 11232, "tokens": 1126}, {"id": "wiki:509788", "bits": 5047.729833254151, "bytes": 15511, "tokens": 1283}, {"id": "wiki:509797", "bits": 1998.2298444806493, "bytes": 6656, "tokens": 569}, {"id": "wiki:509802", "bits": 1502.2107901917298, "bytes": 5403, "tokens": 486}, {"id": "wiki:509814", "bits": 2345.5544489290396, "bytes": 7976, "tokens": 675}, {"id": "wiki:509816", "bits": 1810.3434708376894, "bytes": 6643, "tokens": 623}, {"id": "wiki:509842", "bits": 2128.8807441369354, "bytes": 6349, "tokens": 590}, {"id": "wiki:509862", "bits": 1228.0576106830747, "bytes": 2844, "tokens": 294}, {"id": "wiki:509876", "bits": 5466.301065834489, "bytes": 16154, "tokens": 1473}, {"id": "wiki:509877", "bits": 3040.4840253191182, "bytes": 8067, "tokens": 782}, {"id": "wiki:509888", "bits": 1891.9788417018199, "bytes": 5315, "tokens": 511}, {"id": "wiki:509889", "bits": 981.0050665527984, "bytes": 2995, "tokens": 255}, {"id": "wiki:509891", "bits": 4472.54861217907, "bytes": 11659, "tokens": 1132}, {"id": "wiki:509895", "bits": 9302.077776853028, "bytes": 26740, "tokens": 2284}, {"id": "wiki:509897", "bits": 1192.4151886566594, "bytes": 4664, "tokens": 340}, {"id": "wiki:509899", "bits": 5770.838984374172, "bytes": 15823, "tokens": 1372}, {"id": "wiki:509901", "bits": 1755.049788296431, "bytes": 3247, "tokens": 485}, {"id": "wiki:509902", "bits": 1696.9496130584432, "bytes": 6696, "tokens": 542}, {"id": "wiki:509904", "bits": 1987.803766378756, "bytes": 5709, "tokens": 485}, {"id": "wiki:509905", "bits": 3976.3056117132255, "bytes": 9945, "tokens": 1108}, {"id": "wiki:509907", "bits": 1362.610584804812, "bytes": 4374, "tokens": 354}, {"id": "wiki:509909", "bits": 1923.5682627918316, "bytes": 4418, "tokens": 396}, {"id": "wiki:509931", "bits": 1627.9163383534842, "bytes": 4760, "tokens": 371}, {"id": "wiki:509945", "bits": 2439.6651165835133, "bytes": 7950, "tokens": 707}, {"id": "wiki:509953", "bits": 4257.290217286392, "bytes": 9937, "tokens": 839}, {"id": "wiki:509956", "bits": 1798.895953375792, "bytes": 4303, "tokens": 402}, {"id": "wiki:509962", "bits": 1808.87365482069, "bytes": 5122, "tokens": 435}, {"id": "wiki:509972", "bits": 9075.035053675003, "bytes": 26018, "tokens": 2318}, {"id": "wiki:509973", "bits": 2069.596579792515, "bytes": 6013, "tokens": 537}, {"id": "wiki:509985", "bits": 2456.940826145408, "bytes": 6514, "tokens": 600}, {"id": "wiki:509989", "bits": 1943.6987192547044, "bytes": 5755, "tokens": 538}, {"id": "wiki:509994", "bits": 4500.478726761867, "bytes": 11769, "tokens": 1141}, {"id": "wiki:510002", "bits": 2540.241847607284, "bytes": 7683, "tokens": 721}, {"id": "wiki:510011", "bits": 2854.6887846004156, "bytes": 9646, "tokens": 791}, {"id": "wiki:510023", "bits": 887.6982540636247, "bytes": 3282, "tokens": 263}, {"id": "wiki:510027", "bits": 1643.1324387230945, "bytes": 5976, "tokens": 529}, {"id": "wiki:510029", "bits": 1404.2832854252947, "bytes": 4471, "tokens": 376}, {"id": "wiki:510033", "bits": 6248.701954039013, "bytes": 26371, "tokens": 1855}, {"id": "wiki:510036", "bits": 1164.6759775680437, "bytes": 3674, "tokens": 294}, {"id": "wiki:510038", "bits": 3790.4712525086884, "bytes": 14250, "tokens": 1112}, {"id": "wiki:510039", "bits": 2853.52117374579, "bytes": 8561, "tokens": 753}, {"id": "wiki:510041", "bits": 1687.0546834237523, "bytes": 4729, "tokens": 443}, {"id": "wiki:510042", "bits": 2353.0218750916097, "bytes": 7093, "tokens": 679}, {"id": "wiki:510043", "bits": 1945.3002657270974, "bytes": 7333, "tokens": 546}, {"id": "wiki:510044", "bits": 2988.1489947171826, "bytes": 9762, "tokens": 860}, {"id": "wiki:510045", "bits": 1254.8981312451212, "bytes": 4032, "tokens": 328}, {"id": "wiki:510046", "bits": 1046.4889275368594, "bytes": 2950, "tokens": 247}, {"id": "wiki:510057", "bits": 2717.7761094468337, "bytes": 7537, "tokens": 636}, {"id": "wiki:510060", "bits": 1839.2091710411792, "bytes": 5666, "tokens": 559}, {"id": "wiki:510112", "bits": 2207.6222716280326, "bytes": 5945, "tokens": 566}, {"id": "wiki:510118", "bits": 2116.739528461407, "bytes": 5681, "tokens": 530}, {"id": "wiki:510120", "bits": 2706.959771065325, "bytes": 6663, "tokens": 616}, {"id": "wiki:510122", "bits": 2827.6290948515543, "bytes": 8097, "tokens": 717}, {"id": "wiki:510123", "bits": 3031.950427796985, "bytes": 11171, "tokens": 899}, {"id": "wiki:510124", "bits": 1324.7619418159045, "bytes": 4232, "tokens": 367}, {"id": "wiki:510126", "bits": 3974.0106972338917, "bytes": 13056, "tokens": 1130}, {"id": "wiki:510127", "bits": 1353.6608387985943, "bytes": 5166, "tokens": 455}, {"id": "wiki:510143", "bits": 1187.9927965034267, "bytes": 4832, "tokens": 362}, {"id": "wiki:510735", "bits": 1171.2170638972304, "bytes": 3315, "tokens": 282}, {"id": "wiki:510736", "bits": 1145.554104418058, "bytes": 4501, "tokens": 366}, {"id": "wiki:510737", "bits": 1477.7677463068246, "bytes": 5528, "tokens": 478}, {"id": "wiki:510738", "bits": 9085.611573944703, "bytes": 20143, "tokens": 2224}, {"id": "wiki:510749", "bits": 2233.41660934213, "bytes": 7814, "tokens": 649}, {"id": "wiki:510768", "bits": 1529.1292395325352, "bytes": 5206, "tokens": 548}, {"id": "wiki:510769", "bits": 1467.2594247254278, "bytes": 4938, "tokens": 427}, {"id": "wiki:510772", "bits": 942.6833914740681, "bytes": 2861, "tokens": 279}, {"id": "wiki:510782", "bits": 3493.335995592845, "bytes": 9691, "tokens": 863}, {"id": "wiki:510789", "bits": 3426.7416715252484, "bytes": 8992, "tokens": 817}, {"id": "wiki:510790", "bits": 7248.101470418263, "bytes": 18550, "tokens": 1733}, {"id": "wiki:510797", "bits": 10213.531364335899, "bytes": 25078, "tokens": 2361}, {"id": "wiki:510798", "bits": 7780.532724568525, "bytes": 23960, "tokens": 2040}, {"id": "wiki:510809", "bits": 9573.372070870195, "bytes": 24172, "tokens": 2335}, {"id": "wiki:510811", "bits": 7965.905564889819, "bytes": 23144, "tokens": 2418}, {"id": "wiki:510849", "bits": 846.4018129591161, "bytes": 3228, "tokens": 328}, {"id": "wiki:510851", "bits": 2390.9616551268623, "bytes": 4815, "tokens": 430}, {"id": "wiki:510854", "bits": 3521.513280889739, "bytes": 10757, "tokens": 855}, {"id": "wiki:510859", "bits": 1792.4242544789918, "bytes": 4037, "tokens": 309}, {"id": "wiki:510860", "bits": 1602.2540833152498, "bytes": 4698, "tokens": 445}, {"id": "wiki:510861", "bits": 2117.2845896371336, "bytes": 6961, "tokens": 606}, {"id": "wiki:510862", "bits": 1252.259559656972, "bytes": 4520, "tokens": 346}, {"id": "wiki:510864", "bits": 1628.041200509733, "bytes": 5763, "tokens": 431}, {"id": "wiki:510886", "bits": 2047.7416519135795, "bytes": 4663, "tokens": 446}, {"id": "wiki:510889", "bits": 1895.5607477609801, "bytes": 4701, "tokens": 396}, {"id": "wiki:510903", "bits": 9680.102797927757, "bytes": 25204, "tokens": 2504}, {"id": "wiki:510904", "bits": 912.9020061063815, "bytes": 3486, "tokens": 237}, {"id": "wiki:510908", "bits": 6701.426772723443, "bytes": 16483, "tokens": 1797}, {"id": "wiki:510910", "bits": 8288.400123213027, "bytes": 21081, "tokens": 1914}, {"id": "wiki:510913", "bits": 11236.209167281571, "bytes": 25591, "tokens": 2564}, {"id": "wiki:510917", "bits": 907.3755788931715, "bytes": 2897, "tokens": 265}, {"id": "wiki:510971", "bits": 3007.827200097902, "bytes": 7963, "tokens": 819}, {"id": "wiki:510972", "bits": 2450.4571517526633, "bytes": 7729, "tokens": 730}, {"id": "wiki:510973", "bits": 9778.68384777436, "bytes": 23582, "tokens": 2516}, {"id": "wiki:510975", "bits": 7176.432794109375, "bytes": 16993, "tokens": 1991}, {"id": "wiki:510976", "bits": 3656.3151868279183, "bytes": 16494, "tokens": 1156}, {"id": "wiki:510989", "bits": 2136.904502530239, "bytes": 6774, "tokens": 543}, {"id": "wiki:510998", "bits": 2677.2829071218043, "bytes": 8066, "tokens": 706}, {"id": "wiki:511005", "bits": 1535.2268802912924, "bytes": 4967, "tokens": 416}, {"id": "wiki:511021", "bits": 1051.5975332187572, "bytes": 3922, "tokens": 275}, {"id": "wiki:511023", "bits": 1043.2676952379215, "bytes": 3147, "tokens": 345}, {"id": "wiki:511044", "bits": 2506.458269105842, "bytes": 8305, "tokens": 783}, {"id": "wiki:511045", "bits": 926.7288608912685, "bytes": 2780, "tokens": 244}, {"id": "wiki:511062", "bits": 1469.318505587009, "bytes": 4679, "tokens": 390}, {"id": "wiki:511065", "bits": 1817.0557363147943, "bytes": 5322, "tokens": 494}, {"id": "wiki:511071", "bits": 1244.1677346580407, "bytes": 2965, "tokens": 259}, {"id": "wiki:511077", "bits": 2072.2421077349263, "bytes": 6450, "tokens": 596}, {"id": "wiki:511087", "bits": 2210.644851582473, "bytes": 4578, "tokens": 449}, {"id": "wiki:511089", "bits": 8625.13695835049, "bytes": 18893, "tokens": 2185}, {"id": "wiki:511092", "bits": 1902.164881554112, "bytes": 5190, "tokens": 475}, {"id": "wiki:511106", "bits": 2024.9890901694816, "bytes": 6264, "tokens": 576}, {"id": "wiki:511120", "bits": 2395.6535839939725, "bytes": 6881, "tokens": 601}, {"id": "wiki:511131", "bits": 1703.737253715907, "bytes": 4611, "tokens": 346}, {"id": "wiki:511140", "bits": 1560.6401154579673, "bytes": 5054, "tokens": 444}, {"id": "wiki:511150", "bits": 1289.2466713787862, "bytes": 4321, "tokens": 375}, {"id": "wiki:511172", "bits": 2242.8846477684324, "bytes": 6875, "tokens": 560}, {"id": "wiki:511185", "bits": 2474.870961338644, "bytes": 8595, "tokens": 735}, {"id": "wiki:511186", "bits": 3459.479859674796, "bytes": 6625, "tokens": 568}, {"id": "wiki:511198", "bits": 3853.8540743678027, "bytes": 5648, "tokens": 589}, {"id": "wiki:511223", "bits": 1586.450303093168, "bytes": 4777, "tokens": 461}, {"id": "wiki:511226", "bits": 4111.346873473848, "bytes": 13004, "tokens": 1200}, {"id": "wiki:511253", "bits": 3345.645021868403, "bytes": 5406, "tokens": 573}, {"id": "wiki:511256", "bits": 716.4097416900329, "bytes": 3552, "tokens": 257}, {"id": "wiki:511267", "bits": 1464.0732383631519, "bytes": 4267, "tokens": 411}, {"id": "wiki:511268", "bits": 4818.122064510874, "bytes": 16373, "tokens": 1150}, {"id": "wiki:511272", "bits": 1358.255466761152, "bytes": 3403, "tokens": 303}, {"id": "wiki:511273", "bits": 2524.8617886093693, "bytes": 5708, "tokens": 491}, {"id": "wiki:511278", "bits": 6324.709898470457, "bytes": 16765, "tokens": 1462}, {"id": "wiki:511280", "bits": 11513.851671148775, "bytes": 26700, "tokens": 2478}, {"id": "wiki:511283", "bits": 2822.522778602705, "bytes": 8281, "tokens": 737}, {"id": "wiki:511290", "bits": 7352.911363148313, "bytes": 19116, "tokens": 2017}, {"id": "wiki:511305", "bits": 4477.048011284053, "bytes": 10765, "tokens": 1035}, {"id": "wiki:511306", "bits": 10491.967456692077, "bytes": 24645, "tokens": 2306}, {"id": "wiki:511316", "bits": 5298.546733646513, "bytes": 13972, "tokens": 1286}, {"id": "wiki:511317", "bits": 10777.980956052257, "bytes": 26432, "tokens": 2850}, {"id": "wiki:511319", "bits": 6489.428090215938, "bytes": 16681, "tokens": 1666}, {"id": "wiki:511320", "bits": 1715.3288293496119, "bytes": 6347, "tokens": 506}, {"id": "wiki:511321", "bits": 1871.4607666128488, "bytes": 5387, "tokens": 446}, {"id": "wiki:511322", "bits": 8656.369073788512, "bytes": 21397, "tokens": 2236}, {"id": "wiki:511329", "bits": 1304.8000228474325, "bytes": 3976, "tokens": 383}, {"id": "wiki:511331", "bits": 2833.9063680494846, "bytes": 6653, "tokens": 703}, {"id": "wiki:511333", "bits": 2263.3454870311966, "bytes": 6337, "tokens": 605}, {"id": "wiki:511346", "bits": 11204.917865046149, "bytes": 26572, "tokens": 2444}, {"id": "wiki:511365", "bits": 10063.804027970124, "bytes": 25158, "tokens": 2485}, {"id": "wiki:511366", "bits": 3198.4802655245976, "bytes": 7365, "tokens": 750}, {"id": "wiki:511371", "bits": 10813.539461551942, "bytes": 27634, "tokens": 2471}, {"id": "wiki:511372", "bits": 9273.472279520987, "bytes": 21589, "tokens": 2186}, {"id": "wiki:511374", "bits": 10563.92838793509, "bytes": 26090, "tokens": 2547}, {"id": "wiki:511379", "bits": 5984.600442273739, "bytes": 20643, "tokens": 1838}, {"id": "wiki:511384", "bits": 1438.5592681423525, "bytes": 3003, "tokens": 290}, {"id": "wiki:511385", "bits": 2496.844411405387, "bytes": 9255, "tokens": 652}, {"id": "wiki:511392", "bits": 1235.454768862086, "bytes": 3386, "tokens": 306}, {"id": "wiki:511393", "bits": 2355.090818126322, "bytes": 8891, "tokens": 613}, {"id": "wiki:511394", "bits": 1737.0967587727123, "bytes": 5204, "tokens": 419}, {"id": "wiki:511402", "bits": 941.9933915753618, "bytes": 2760, "tokens": 234}, {"id": "wiki:511406", "bits": 4061.4312893008055, "bytes": 11392, "tokens": 1121}, {"id": "wiki:511413", "bits": 1469.9382375021564, "bytes": 3800, "tokens": 361}, {"id": "wiki:511414", "bits": 1778.11388904533, "bytes": 4530, "tokens": 402}, {"id": "wiki:511415", "bits": 2212.5412065873916, "bytes": 7349, "tokens": 622}, {"id": "wiki:511416", "bits": 1046.18434488632, "bytes": 2712, "tokens": 276}, {"id": "wiki:511418", "bits": 1290.2667018569148, "bytes": 3880, "tokens": 323}, {"id": "wiki:511423", "bits": 1357.16243859083, "bytes": 3861, "tokens": 363}, {"id": "wiki:511424", "bits": 1962.0916721441629, "bytes": 6170, "tokens": 591}, {"id": "wiki:511425", "bits": 1671.6281313239342, "bytes": 5440, "tokens": 423}, {"id": "wiki:511431", "bits": 2531.693809045923, "bytes": 9161, "tokens": 657}, {"id": "wiki:511438", "bits": 10460.41237709779, "bytes": 25858, "tokens": 2464}, {"id": "wiki:511443", "bits": 10739.449533684257, "bytes": 25787, "tokens": 2502}, {"id": "wiki:511453", "bits": 3683.6442371804224, "bytes": 8005, "tokens": 864}, {"id": "wiki:511454", "bits": 2835.8312529123896, "bytes": 6988, "tokens": 594}, {"id": "wiki:511478", "bits": 1342.0559668421859, "bytes": 3635, "tokens": 316}, {"id": "wiki:511479", "bits": 1739.2817584519494, "bytes": 5822, "tokens": 453}, {"id": "wiki:511483", "bits": 1321.0217126559437, "bytes": 3555, "tokens": 313}, {"id": "wiki:511485", "bits": 1517.464402041285, "bytes": 3918, "tokens": 353}, {"id": "wiki:511496", "bits": 1875.7025577206189, "bytes": 5436, "tokens": 528}, {"id": "wiki:511498", "bits": 929.3391667867832, "bytes": 3099, "tokens": 249}, {"id": "wiki:511520", "bits": 10718.78352599832, "bytes": 24750, "tokens": 2370}, {"id": "wiki:511546", "bits": 1588.6472782683497, "bytes": 5134, "tokens": 541}, {"id": "wiki:511562", "bits": 6478.444887387256, "bytes": 15183, "tokens": 1576}, {"id": "wiki:511565", "bits": 2607.3926800158483, "bytes": 8208, "tokens": 678}, {"id": "wiki:511566", "bits": 1648.1512281854057, "bytes": 4286, "tokens": 454}, {"id": "wiki:511567", "bits": 11010.391959452927, "bytes": 26160, "tokens": 2421}, {"id": "wiki:511568", "bits": 4781.357291960095, "bytes": 12202, "tokens": 1208}, {"id": "wiki:511586", "bits": 4462.902834498615, "bytes": 11777, "tokens": 1120}, {"id": "wiki:511588", "bits": 7787.855024890991, "bytes": 21686, "tokens": 2058}, {"id": "wiki:511592", "bits": 4839.48789024109, "bytes": 12499, "tokens": 1085}, {"id": "wiki:511602", "bits": 7068.453445489325, "bytes": 18384, "tokens": 1756}, {"id": "wiki:511640", "bits": 1135.0139068842195, "bytes": 3339, "tokens": 318}, {"id": "wiki:511652", "bits": 2729.6540403218087, "bytes": 7883, "tokens": 684}, {"id": "wiki:511655", "bits": 1010.7078187007883, "bytes": 2648, "tokens": 230}, {"id": "wiki:511663", "bits": 8392.613530578881, "bytes": 20092, "tokens": 1951}, {"id": "wiki:511678", "bits": 5279.760790768804, "bytes": 12623, "tokens": 1250}, {"id": "wiki:511679", "bits": 3260.773273225169, "bytes": 8916, "tokens": 715}, {"id": "wiki:511687", "bits": 1419.2235091125867, "bytes": 5584, "tokens": 512}, {"id": "wiki:511688", "bits": 1576.185718076296, "bytes": 5361, "tokens": 537}, {"id": "wiki:511720", "bits": 3015.20304893854, "bytes": 7069, "tokens": 712}, {"id": "wiki:511723", "bits": 4534.657562670827, "bytes": 16137, "tokens": 1610}, {"id": "wiki:511725", "bits": 4144.334521770542, "bytes": 10395, "tokens": 948}, {"id": "wiki:511726", "bits": 5044.7182601893655, "bytes": 12409, "tokens": 1262}, {"id": "wiki:511777", "bits": 1219.481482539314, "bytes": 4722, "tokens": 424}, {"id": "wiki:511778", "bits": 1307.3351296728226, "bytes": 4333, "tokens": 406}, {"id": "wiki:511783", "bits": 11706.568583420272, "bytes": 27682, "tokens": 2591}, {"id": "wiki:511785", "bits": 11975.77499154563, "bytes": 27134, "tokens": 2162}, {"id": "wiki:511790", "bits": 6931.804055136296, "bytes": 17225, "tokens": 1624}, {"id": "wiki:511803", "bits": 1305.9790808672997, "bytes": 5436, "tokens": 387}, {"id": "wiki:511812", "bits": 11364.114824830338, "bytes": 25667, "tokens": 2457}, {"id": "wiki:511831", "bits": 3107.631335522993, "bytes": 8142, "tokens": 743}, {"id": "wiki:511832", "bits": 7637.840639849897, "bytes": 22684, "tokens": 1851}, {"id": "wiki:511833", "bits": 6335.530639607828, "bytes": 21609, "tokens": 1793}, {"id": "wiki:511834", "bits": 5605.927951921931, "bytes": 14895, "tokens": 1401}, {"id": "wiki:511835", "bits": 825.540939298723, "bytes": 2746, "tokens": 305}, {"id": "wiki:511852", "bits": 3648.840628200852, "bytes": 13005, "tokens": 1198}, {"id": "wiki:511853", "bits": 10767.547569375634, "bytes": 26615, "tokens": 2461}, {"id": "wiki:511857", "bits": 9984.051979953561, "bytes": 26094, "tokens": 2523}, {"id": "wiki:511863", "bits": 4216.720803257391, "bytes": 12262, "tokens": 1071}, {"id": "wiki:511869", "bits": 12204.46773553809, "bytes": 27850, "tokens": 2601}, {"id": "wiki:511872", "bits": 6272.791764821102, "bytes": 20515, "tokens": 1727}, {"id": "wiki:511874", "bits": 10062.838591664686, "bytes": 26486, "tokens": 2465}, {"id": "wiki:511877", "bits": 2707.22745862174, "bytes": 9623, "tokens": 822}, {"id": "wiki:511878", "bits": 3569.7097209813114, "bytes": 12215, "tokens": 1040}, {"id": "wiki:511949", "bits": 2539.0416563592785, "bytes": 9449, "tokens": 642}, {"id": "wiki:511974", "bits": 11694.604347523511, "bytes": 27214, "tokens": 2495}, {"id": "wiki:512001", "bits": 3259.8596133286683, "bytes": 10115, "tokens": 880}, {"id": "wiki:512024", "bits": 864.1664045319374, "bytes": 3108, "tokens": 260}, {"id": "wiki:512025", "bits": 4033.4056349158022, "bytes": 9913, "tokens": 1054}, {"id": "wiki:512026", "bits": 10385.942843619676, "bytes": 24180, "tokens": 2851}, {"id": "wiki:512030", "bits": 4497.1483501451075, "bytes": 12135, "tokens": 1110}, {"id": "wiki:512068", "bits": 2980.676989688516, "bytes": 12805, "tokens": 899}, {"id": "wiki:512090", "bits": 2000.1519115798023, "bytes": 6182, "tokens": 531}, {"id": "wiki:512109", "bits": 2226.1689687521953, "bytes": 6514, "tokens": 514}, {"id": "wiki:512110", "bits": 2192.888184970204, "bytes": 5506, "tokens": 497}, {"id": "wiki:512112", "bits": 2905.2549640071984, "bytes": 9234, "tokens": 772}, {"id": "wiki:512113", "bits": 5517.48662493595, "bytes": 13853, "tokens": 1235}, {"id": "wiki:512114", "bits": 2164.9113131201525, "bytes": 6065, "tokens": 519}, {"id": "wiki:512129", "bits": 2255.7875402081017, "bytes": 10483, "tokens": 735}, {"id": "wiki:512130", "bits": 3544.554487308155, "bytes": 15585, "tokens": 975}, {"id": "wiki:512131", "bits": 6752.183811596847, "bytes": 17665, "tokens": 1622}, {"id": "wiki:512174", "bits": 2048.7844006119562, "bytes": 7711, "tokens": 580}, {"id": "wiki:512175", "bits": 8602.65835808991, "bytes": 23093, "tokens": 2472}, {"id": "wiki:512177", "bits": 2240.9643417716243, "bytes": 6300, "tokens": 587}, {"id": "wiki:512179", "bits": 1806.8596581791367, "bytes": 5699, "tokens": 491}, {"id": "wiki:512180", "bits": 1249.5968609666984, "bytes": 4831, "tokens": 415}, {"id": "wiki:512183", "bits": 1495.3615109521968, "bytes": 4586, "tokens": 393}, {"id": "wiki:512191", "bits": 2757.136218523196, "bytes": 10199, "tokens": 812}, {"id": "wiki:512214", "bits": 1833.5051366564926, "bytes": 6109, "tokens": 518}, {"id": "wiki:512218", "bits": 1334.681526883423, "bytes": 3987, "tokens": 354}, {"id": "wiki:512231", "bits": 4568.395638690435, "bytes": 14936, "tokens": 1241}, {"id": "wiki:512236", "bits": 1794.5617043949183, "bytes": 5219, "tokens": 438}, {"id": "wiki:512237", "bits": 3660.5667718317072, "bytes": 14330, "tokens": 1025}, {"id": "wiki:512242", "bits": 1606.6029494455856, "bytes": 5197, "tokens": 386}, {"id": "wiki:512255", "bits": 3807.8181546328733, "bytes": 9803, "tokens": 787}, {"id": "wiki:512258", "bits": 3005.983325942859, "bytes": 8456, "tokens": 812}, {"id": "wiki:512271", "bits": 5465.257788805408, "bytes": 15583, "tokens": 1385}, {"id": "wiki:512274", "bits": 7694.750574068128, "bytes": 20398, "tokens": 2133}, {"id": "wiki:513143", "bits": 1306.6357959316886, "bytes": 4236, "tokens": 328}, {"id": "wiki:513155", "bits": 860.511236615232, "bytes": 2452, "tokens": 251}, {"id": "wiki:513156", "bits": 1050.5595394967115, "bytes": 3197, "tokens": 356}, {"id": "wiki:513158", "bits": 3178.3638978804834, "bytes": 11579, "tokens": 804}, {"id": "wiki:513166", "bits": 4760.1603999723075, "bytes": 13345, "tokens": 1215}, {"id": "wiki:513195", "bits": 1705.4853239033903, "bytes": 4500, "tokens": 384}, {"id": "wiki:513199", "bits": 2112.004452586849, "bytes": 6957, "tokens": 542}, {"id": "wiki:513216", "bits": 2350.2299995443427, "bytes": 8067, "tokens": 813}, {"id": "wiki:513217", "bits": 7369.716286025876, "bytes": 16671, "tokens": 1772}, {"id": "wiki:513239", "bits": 1949.449422851529, "bytes": 6185, "tokens": 481}, {"id": "wiki:513260", "bits": 1053.5495390577726, "bytes": 3054, "tokens": 274}, {"id": "wiki:513308", "bits": 2519.140319311469, "bytes": 5675, "tokens": 713}, {"id": "wiki:513341", "bits": 1060.5445495163406, "bytes": 4044, "tokens": 339}, {"id": "wiki:513365", "bits": 2530.795646850057, "bytes": 12118, "tokens": 770}, {"id": "wiki:513381", "bits": 1709.5665024773111, "bytes": 5171, "tokens": 403}, {"id": "wiki:513424", "bits": 5779.375311604939, "bytes": 15215, "tokens": 1322}, {"id": "wiki:513426", "bits": 10583.968764013023, "bytes": 23293, "tokens": 2692}, {"id": "wiki:513427", "bits": 1781.4670279098964, "bytes": 4069, "tokens": 354}, {"id": "wiki:513428", "bits": 4090.5117119076895, "bytes": 9442, "tokens": 981}, {"id": "wiki:513437", "bits": 1101.4740649473028, "bytes": 4616, "tokens": 341}, {"id": "wiki:513471", "bits": 3007.6148111551147, "bytes": 8046, "tokens": 712}, {"id": "wiki:513475", "bits": 6898.00911752473, "bytes": 20196, "tokens": 2023}, {"id": "wiki:513507", "bits": 3028.252817313769, "bytes": 11650, "tokens": 859}, {"id": "wiki:513512", "bits": 1763.115989256245, "bytes": 4860, "tokens": 413}, {"id": "wiki:513513", "bits": 1661.9649627578237, "bytes": 5095, "tokens": 462}, {"id": "wiki:513515", "bits": 1182.653750579707, "bytes": 4637, "tokens": 344}, {"id": "wiki:513518", "bits": 1535.1062447806712, "bytes": 4718, "tokens": 401}, {"id": "wiki:513525", "bits": 1467.1669668523239, "bytes": 4207, "tokens": 360}, {"id": "wiki:513539", "bits": 9464.76488926421, "bytes": 24780, "tokens": 2408}, {"id": "wiki:513540", "bits": 2344.404272987628, "bytes": 6408, "tokens": 696}, {"id": "wiki:513548", "bits": 4682.754932775119, "bytes": 13463, "tokens": 1135}, {"id": "wiki:513559", "bits": 11060.295083826879, "bytes": 26497, "tokens": 2373}, {"id": "wiki:513561", "bits": 10942.510885957076, "bytes": 25836, "tokens": 2719}, {"id": "wiki:513568", "bits": 6295.428754223821, "bytes": 15120, "tokens": 1515}, {"id": "wiki:513572", "bits": 10159.702478669957, "bytes": 26707, "tokens": 2381}, {"id": "wiki:513576", "bits": 4304.517346647368, "bytes": 9225, "tokens": 953}, {"id": "wiki:513580", "bits": 2714.1699001753145, "bytes": 5962, "tokens": 664}, {"id": "wiki:513581", "bits": 1706.904244062624, "bytes": 6190, "tokens": 514}, {"id": "wiki:513600", "bits": 7749.346331750129, "bytes": 25584, "tokens": 2163}, {"id": "wiki:513602", "bits": 1574.6480996190205, "bytes": 4595, "tokens": 420}, {"id": "wiki:513604", "bits": 1147.111887497182, "bytes": 4855, "tokens": 334}, {"id": "wiki:513605", "bits": 1326.8410992442168, "bytes": 4248, "tokens": 425}, {"id": "wiki:513617", "bits": 1356.872473089753, "bytes": 2832, "tokens": 359}, {"id": "wiki:513627", "bits": 966.1765848092864, "bytes": 4428, "tokens": 352}, {"id": "wiki:513629", "bits": 689.0809555028809, "bytes": 2935, "tokens": 233}, {"id": "wiki:513630", "bits": 863.9198502036604, "bytes": 3604, "tokens": 304}, {"id": "wiki:513631", "bits": 939.3695251917918, "bytes": 4107, "tokens": 334}, {"id": "wiki:513633", "bits": 1514.4370671105135, "bytes": 3942, "tokens": 364}, {"id": "wiki:513652", "bits": 1212.6801052835604, "bytes": 3438, "tokens": 381}, {"id": "wiki:513662", "bits": 1420.926759245394, "bytes": 4708, "tokens": 464}, {"id": "wiki:513664", "bits": 7011.861566354571, "bytes": 21174, "tokens": 1778}, {"id": "wiki:513670", "bits": 4296.497374624107, "bytes": 16197, "tokens": 1051}, {"id": "wiki:513672", "bits": 2950.7951334320564, "bytes": 6731, "tokens": 785}, {"id": "wiki:513673", "bits": 619.7850123831897, "bytes": 2850, "tokens": 234}, {"id": "wiki:513674", "bits": 4589.312955680979, "bytes": 9049, "tokens": 923}, {"id": "wiki:513675", "bits": 1509.771554778576, "bytes": 3332, "tokens": 370}, {"id": "wiki:513676", "bits": 2906.127766329299, "bytes": 6975, "tokens": 772}, {"id": "wiki:513677", "bits": 791.6977474829084, "bytes": 3339, "tokens": 256}]}
|
final-step-022888/model.safetensors
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:74011a3d44151353b8ac58147de02f1047556d94dcb56f32bb66b84a6c2b87dd
|
| 3 |
+
size 1112885088
|
final-step-022888/peak_score.json
ADDED
|
@@ -0,0 +1 @@
|
|
|
|
|
|
|
| 1 |
+
{"peak_gb": 1.8}
|
final-step-022888/tokenizer.json
ADDED
|
The diff for this file is too large to render.
See raw diff
|
|
|
final-step-022888/tokenizer_config.json
ADDED
|
@@ -0,0 +1,8 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"tokenizer_class": "PreTrainedTokenizerFast",
|
| 3 |
+
"bos_token": "<s>",
|
| 4 |
+
"eos_token": "</s>",
|
| 5 |
+
"unk_token": "<unk>",
|
| 6 |
+
"add_bos_token": true,
|
| 7 |
+
"add_eos_token": false
|
| 8 |
+
}
|
final-step-022888/train_state.json
ADDED
|
@@ -0,0 +1,80 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"label": "final",
|
| 3 |
+
"step": 22888,
|
| 4 |
+
"tokens": 11999903744,
|
| 5 |
+
"val_bpb_approx": 0.36597241158570143,
|
| 6 |
+
"samples": [
|
| 7 |
+
"తెలుగు భాషకు ప్రాచీన హోదా కోసం కృషి చేసిన వారిలో గిడుగు రామ్మూర్తి పంతులు ఒకరు. ఆయన జయంతి సందర్భంగా తెలుగు భాషా దినోత్సవం జరుపుకుంటున్నాం. ఈ సందర్భంగా గిడుగు రామ్మూర్తి పంతులు గురించి కొన్ని విషయాలు తెలుసుకుందాం.\n గిడుగు రామ్మూర్తి పంతులు 18",
|
| 8 |
+
"ఒక రోజు ఒక రైతు తన పొలంలో పని చేసుకుంటూ ఉండగా ఒక పెద్ద పాము అతని కంట పడింది. ఆ పాము అతని మీద పడగ విప్పి బుసలు కొడుతూ ఉంది. ఆ పాము తన మీద పడగ విప్పి బుసలు కొడుతూ ఉంటే ఆ రైతుకి ఏమి చేయాలో అర్థం కాలేదు.\nఅప్పుడు ఆ రైతు",
|
| 9 |
+
"వర్షాకాలంలో ఈ ఆహార పదార్థాలు తినొద్దు..\nవర్షాకాలంలో చాలా మంది వేడివేడి ఆహార పదార్థాలను తినడానికి ఇష్టపడతారు. అయితే వర్షాకాలంలో కొన్ని ఆహార పదార్థాలను తినకపోవడమే మంచిది.\nవర్షాకాలంలో చాలా మంది వేడివేడి ఆహార పదార్థాలను తినడానికి ఇష్టపడతారు. అయితే వర్షాకాలంలో కొన్ని ఆహార పదార్థాలను",
|
| 10 |
+
"చిన్నప్పుడు మా అమ్మమ్మ చెప్పిన కథలు, మా అమ్మ చెప్పిన కథలు, మా నాన్న చెప్పిన కథలు, మా తాత చెప్పిన కథలు, మా నాన్న చెప్పిన కథలు, మా అమ్మ చెప్పిన కథలు, మా అమ్మమ్మ చెప్పిన కథలు, మా తాత చెప్పిన కథలు, మా నాన్న చెప్పిన కథలు, మా అమ్మ చెప్పిన కథలు,",
|
| 11 |
+
"సూర్యుడు ఉదయించగానే, సూర్యుడు ఉదయించగానే, సూర్యుడు ఉదయించగానే, సూర్యుడు ఉదయించగానే, సూర్యుడు ఉదయించగానే, సూర్యుడు ఉదయించగానే, సూర్యుడు ఉదయించగానే, సూర్యుడు ఉదయించగానే, సూర్యుడు ఉదయించగానే, సూర్యుడు ఉదయించగానే, సూర్యుడు ఉదయ",
|
| 12 |
+
"పుస్తకాలు చదవడం వల్ల ఎన్నో ప్రయోజనాలు ఉన్నాయి. పుస్తకాలు చదవడం వల్ల జ్ఞాపకశక్తి పెరుగుతుంది.\n పుస్తకాలు చదవడం వల్ల ఎన్నో ప్రయోజనాలు ఉన్నాయి. పుస్తకాలు చదవడం వల్ల జ్ఞాపకశక్తి పెరుగుతుంది.\n పుస్తకాలు చదవడం వల్ల ఎన్నో ప్రయోజనాలు ఉన్నాయి. పుస్తకాలు చదవడం వల్ల జ్ఞాపకశక్తి పెరుగుతుంది.\n పుస్తకాలు చదవడం వల్ల ఎన్నో ప్రయోజనాలు ఉన్నాయి"
|
| 13 |
+
],
|
| 14 |
+
"samples_sampled": [
|
| 15 |
+
"తెలుగు భాష దినోత్సవం గురించి ప్రత్యేకంగా చెప్పాల్సిన అవసరం లేదు. తెలుగు భాషపై ఉన్న ప్రేమతో ప్రతి ఏడాది తెలుగు భాష దినోత్సవం నిర్వహిస్తూ ఉంటారు. ఈ ఏడాది తెలుగు భాష గురించి ప్రపంచవ్యాప్తంగా ఉన్న తెలుగు వాళ్లు అంతా ఒక్క చోట కలిసి మాట్లాడుకున్నారు. ఈ కార్యక్రమానికి తెలుగు భాషపై ఉన్న ప్రేమ చాటుతూ..తెలుగు భాష గొప��పతనాన్ని తెలుపుతూ..తెలుగు భాష గొప్పతనాన్ని ప్రపంచం మొత్తానికి తెలిపారు. ఆ విశేషాలే",
|
| 16 |
+
"ఒక రోజు ఒక రైతు తన పొలంలో వరి పొలం దున్నుతున్నాడు. రైతు పొలం దున్నుతుండగా ఒక పెద్ద పాము కనబడింది. ఆ పొలంలోని పామును చూసి రైతు భయపడి దాని వైపు పరిగెత్తాడు.\nఅప్పుడు రైతు భార్య \"పాము తన భర్త వైపు చాలా కోపం గా చూసింది.\nఈ పాము నా భర్త ను కాటు వేసింది\" అని చెప్పింది.\nఅప్పుడు",
|
| 17 |
+
"వర్షాకాలంలో మనం తీసుకోవాల్సిన జాగ్రత్తలు..\nRains In Telangana: వర్షాకాలంలో వర్షాలు అధికంగా వచ్చే అవకాశం ఉన్నందున ప్రజలంతా అప్రమత్తంగా ఉండాలని, తగిన జాగ్రత్తలు తీసుకోవాలని ప్రజలకు సూచించారు. ప్రజలు అప్రమత్తంగా ఉండడం ద్వారా ప్రాణాపాయం నుంచి బయటపడవచ్చని ఆయన సూచించారు.\nRains In Telangana: వర్షాకాలంలో వర్షాలు అధికంగా వచ్చే అవకాశం ఉన్నందున ప్రజలంతా అప్రమత్తంగా ఉండాలని, తగిన జాగ్రత్తలు తీసుకోవాలని ప్రజలకు సూచించారు. ప్రజలు అప్రమత్తంగా",
|
| 18 |
+
"చిన్నప్పుడు మా అమ్మమ్మగారు నాకో కథ చెప్పేవారు. ఓరోజు ఓ తాతయ్య నాతోబాటు నా స్నేహితులతో కలిసి ఒక పల్లెకు వెళ్లారు. ఆ పల్లెలో ఓ ఇల్లుంది. ఆ ఇంటిపేరు 'రాళ్ళపల్లి'. ఆ ఇంటిపేరుతో ఓ చెట్టు ఉండేది. ఆ చెట్టుమీద ఓ గుడ్లగూబ గూడుండేది. ఈ కథ ప్రకారం ఆ ఇంటిపేరుతో గుడ్లగూబ",
|
| 19 |
+
"సూర్యుడు ఉదయించగానే సూర్యుడు ఉదయించేను.\nపసికూనలు\nఇనుపకుంపటి మీద\nపందిరి మంచము\nఆసనముపై\nఆసనముపై\nఅరవిరిసిన ము\nచల్లని వెన్నెలలో\nచిరుగుటొడుపుతో\nపాదుకొనగ వచ్చిన\nఆడశిశువు\nఆ",
|
| 20 |
+
"పుస్తకాలు చదవడం వల్ల కలిగే ప్రయోజనాలు, పుస్తకాలు చదవడం వల్ల కలిగే నష్టాలు, పుస్తకాలు చదవడం వల్ల కలిగే ప్రయోజనాల గురించి మనం ఈ రోజు తెలుసుకుందాం.\nపుస్తకాలు చదవడం వల్ల కలిగే ప్రయోజనాలు..\n1. పుస్తకాలను చదవడం అలవాటు చేసుకోవడం వల్ల జ్ఞాపకశక్తి పెరుగుతుంది. మీకు జ్ఞాపకశక్తి తక్కువగా ఉంటే, మీరు మీ ఇంటి నుండి పుస్తకాలను చదవడం ప్రారంభించవచ్చు.\n2. మీరు ప్రతిరోజూ 20 నిమిషాల"
|
| 21 |
+
],
|
| 22 |
+
"reader": {
|
| 23 |
+
"pass": 2,
|
| 24 |
+
"pos_in_pass": 1807620010,
|
| 25 |
+
"consumed_tokens": 11999903744,
|
| 26 |
+
"stream_tokens": 5096141867,
|
| 27 |
+
"passes_done": 2.355
|
| 28 |
+
},
|
| 29 |
+
"plan": {
|
| 30 |
+
"params": 278214162,
|
| 31 |
+
"rules": {
|
| 32 |
+
"scaling_params": 245446162,
|
| 33 |
+
"target_tokens": 2945353944,
|
| 34 |
+
"auto_batch_tokens": 524288,
|
| 35 |
+
"batch_tokens": 524288,
|
| 36 |
+
"lr_scale": 1.0,
|
| 37 |
+
"weight_decay_rule": 0.12492802653805604,
|
| 38 |
+
"weight_decay_used": 0.06246401326902802,
|
| 39 |
+
"D_REF": 1314133056,
|
| 40 |
+
"counts": {
|
| 41 |
+
"wte": 32768000,
|
| 42 |
+
"value_embeds": 0,
|
| 43 |
+
"lm_head": 0,
|
| 44 |
+
"transformer_matrices": 245446162,
|
| 45 |
+
"scalars": 0,
|
| 46 |
+
"total": 278214162
|
| 47 |
+
}
|
| 48 |
+
},
|
| 49 |
+
"steps": 22888,
|
| 50 |
+
"gate_fork": 4578,
|
| 51 |
+
"gate_step": 5722,
|
| 52 |
+
"final_cooldown_from": 18310,
|
| 53 |
+
"half_step": 11444,
|
| 54 |
+
"milestones": [
|
| 55 |
+
2289,
|
| 56 |
+
4578,
|
| 57 |
+
6866,
|
| 58 |
+
9155,
|
| 59 |
+
11444,
|
| 60 |
+
13733,
|
| 61 |
+
16022,
|
| 62 |
+
18310,
|
| 63 |
+
20599
|
| 64 |
+
],
|
| 65 |
+
"live_steps": 39,
|
| 66 |
+
"warmup": 500,
|
| 67 |
+
"momentum_warmup": 400,
|
| 68 |
+
"tokens_per_step": 524288,
|
| 69 |
+
"rows_per_step": 512,
|
| 70 |
+
"micro_rows": 32,
|
| 71 |
+
"accum": 16,
|
| 72 |
+
"train_tokens_available": 5096141867,
|
| 73 |
+
"passes_planned": 2.355,
|
| 74 |
+
"gpu": "NVIDIA H100 80GB HBM3",
|
| 75 |
+
"gpu_gb": 85.0,
|
| 76 |
+
"compute_dtype": "torch.bfloat16",
|
| 77 |
+
"flops_per_token": 1895301120,
|
| 78 |
+
"peak_tflops": 989.0
|
| 79 |
+
}
|
| 80 |
+
}
|