| { | |
| "source_name": "refseq", | |
| "record_count": 22772841, | |
| "tokenizer": { | |
| "sequence_type": "protein", | |
| "special_tokens": [ | |
| "<|pad|>", | |
| "<|bos|>", | |
| "<|eos|>", | |
| "<|endoftext|>", | |
| "<|protein|>" | |
| ], | |
| "str_to_int": { | |
| "<|pad|>": 0, | |
| "<|bos|>": 1, | |
| "<|eos|>": 2, | |
| "<|endoftext|>": 3, | |
| "<|protein|>": 4, | |
| "\n": 5, | |
| "A": 6, | |
| "C": 7, | |
| "D": 8, | |
| "E": 9, | |
| "F": 10, | |
| "G": 11, | |
| "H": 12, | |
| "I": 13, | |
| "K": 14, | |
| "L": 15, | |
| "M": 16, | |
| "N": 17, | |
| "P": 18, | |
| "Q": 19, | |
| "R": 20, | |
| "S": 21, | |
| "T": 22, | |
| "V": 23, | |
| "W": 24, | |
| "Y": 25, | |
| "X": 26, | |
| "AA": 27, | |
| "LL": 28, | |
| "AL": 29, | |
| "SS": 30, | |
| "AG": 31, | |
| "VL": 32, | |
| "GG": 33, | |
| "SL": 34, | |
| "EL": 35, | |
| "AV": 36, | |
| "RL": 37, | |
| "GL": 38, | |
| "TL": 39, | |
| "DL": 40, | |
| "EE": 41, | |
| "VV": 42, | |
| "AE": 43, | |
| "AS": 44, | |
| "AR": 45, | |
| "IL": 46, | |
| "AD": 47, | |
| "AT": 48, | |
| "PL": 49, | |
| "KL": 50, | |
| "RR": 51, | |
| "SG": 52, | |
| "AI": 53, | |
| "AP": 54, | |
| "DG": 55, | |
| "TG": 56, | |
| "QL": 57, | |
| "TV": 58, | |
| "KK": 59, | |
| "FL": 60, | |
| "SV": 61, | |
| "DE": 62, | |
| "NL": 63, | |
| "DV": 64, | |
| "GV": 65, | |
| "SP": 66, | |
| "TP": 67, | |
| "AK": 68, | |
| "IV": 69, | |
| "ER": 70, | |
| "SR": 71, | |
| "IG": 72, | |
| "SE": 73, | |
| "AQ": 74, | |
| "DP": 75, | |
| "AF": 76, | |
| "YL": 77, | |
| "IE": 78, | |
| "ST": 79, | |
| "DR": 80, | |
| "KE": 81, | |
| "PP": 82, | |
| "TT": 83, | |
| "SI": 84, | |
| "GR": 85, | |
| "AN": 86, | |
| "PV": 87, | |
| "SK": 88, | |
| "DD": 89, | |
| "SF": 90, | |
| "QQ": 91, | |
| "GE": 92, | |
| "SN": 93, | |
| "TE": 94, | |
| "IR": 95, | |
| "HL": 96, | |
| "KV": 97, | |
| "TR": 98, | |
| "PE": 99, | |
| "DI": 100, | |
| "ML": 101, | |
| "KR": 102, | |
| "FV": 103, | |
| "PG": 104, | |
| "SQ": 105, | |
| "AY": 106, | |
| "SD": 107, | |
| "NV": 108, | |
| "TI": 109, | |
| "EV": 110, | |
| "NG": 111, | |
| "FG": 112, | |
| "QV": 113, | |
| "QR": 114, | |
| "II": 115, | |
| "KG": 116, | |
| "AM": 117, | |
| "SY": 118, | |
| "PR": 119, | |
| "AH": 120, | |
| "KN": 121, | |
| "KI": 122, | |
| "FE": 123, | |
| "RV": 124, | |
| "TD": 125, | |
| "QE": 126, | |
| "NN": 127, | |
| "RE": 128, | |
| "YV": 129, | |
| "NE": 130, | |
| "TF": 131, | |
| "GI": 132, | |
| "WL": 133, | |
| "DF": 134, | |
| "NI": 135, | |
| "KP": 136, | |
| "QG": 137, | |
| "YG": 138, | |
| "SH": 139, | |
| "KD": 140, | |
| "YR": 141, | |
| "NR": 142, | |
| "MV": 143, | |
| "NP": 144, | |
| "YE": 145, | |
| "KT": 146, | |
| "FI": 147, | |
| "FR": 148, | |
| "HV": 149, | |
| "CL": 150, | |
| "KQ": 151, | |
| "ID": 152, | |
| "VE": 153, | |
| "PD": 154, | |
| "SM": 155, | |
| "TQ": 156, | |
| "FD": 157, | |
| "IP": 158, | |
| "HG": 159, | |
| "TN": 160, | |
| "VR": 161, | |
| "AAL": 162, | |
| "HR": 163, | |
| "VG": 164, | |
| "AW": 165, | |
| "ME": 166, | |
| "TY": 167, | |
| "AC": 168, | |
| "ALL": 169, | |
| "QP": 170, | |
| "QI": 171, | |
| "KY": 172, | |
| "FF": 173, | |
| "MR": 174, | |
| "ND": 175, | |
| "EG": 176, | |
| "MG": 177, | |
| "TK": 178, | |
| "FP": 179, | |
| "HP": 180, | |
| "RG": 181, | |
| "HE": 182, | |
| "TS": 183, | |
| "IN": 184, | |
| "DY": 185, | |
| "KF": 186, | |
| "LLL": 187, | |
| "QD": 188, | |
| "SC": 189, | |
| "PI": 190, | |
| "GD": 191, | |
| "YD": 192, | |
| "SW": 193, | |
| "IF": 194, | |
| "TH": 195, | |
| "QN": 196, | |
| "VD": 197, | |
| "YI": 198, | |
| "MP": 199, | |
| "YP": 200, | |
| "VP": 201, | |
| "FN": 202, | |
| "QK": 203, | |
| "CG": 204, | |
| "RD": 205, | |
| "AGL": 206, | |
| "IT": 207, | |
| "AVL": 208, | |
| "IK": 209, | |
| "QT": 210, | |
| "ED": 211, | |
| "FT": 212, | |
| "RP": 213, | |
| "MD": 214, | |
| "GP": 215, | |
| "VI": 216, | |
| "MI": 217, | |
| "YN": 218, | |
| "EI": 219, | |
| "GF": 220, | |
| "EK": 221, | |
| "QF": 222, | |
| "SLL": 223, | |
| "YF": 224, | |
| "AEL": 225, | |
| "NK": 226, | |
| "GT": 227, | |
| "HI": 228, | |
| "NF": 229, | |
| "WR": 230, | |
| "NT": 231, | |
| "HD": 232, | |
| "MT": 233, | |
| "SSL": 234, | |
| "VT": 235, | |
| "EP": 236, | |
| "ASL": 237, | |
| "DT": 238, | |
| "MK": 239, | |
| "ARL": 240, | |
| "NY": 241, | |
| "NQ": 242, | |
| "SAA": 243, | |
| "RI": 244, | |
| "PT": 245, | |
| "GK": 246, | |
| "EQ": 247, | |
| "DK": 248, | |
| "CV": 249, | |
| "HF": 250, | |
| "GY": 251, | |
| "SAL": 252, | |
| "ADL": 253, | |
| "PF": 254, | |
| "ET": 255 | |
| }, | |
| "int_to_str": { | |
| "0": "<|pad|>", | |
| "1": "<|bos|>", | |
| "2": "<|eos|>", | |
| "3": "<|endoftext|>", | |
| "4": "<|protein|>", | |
| "5": "\n", | |
| "6": "A", | |
| "7": "C", | |
| "8": "D", | |
| "9": "E", | |
| "10": "F", | |
| "11": "G", | |
| "12": "H", | |
| "13": "I", | |
| "14": "K", | |
| "15": "L", | |
| "16": "M", | |
| "17": "N", | |
| "18": "P", | |
| "19": "Q", | |
| "20": "R", | |
| "21": "S", | |
| "22": "T", | |
| "23": "V", | |
| "24": "W", | |
| "25": "Y", | |
| "26": "X", | |
| "27": "AA", | |
| "28": "LL", | |
| "29": "AL", | |
| "30": "SS", | |
| "31": "AG", | |
| "32": "VL", | |
| "33": "GG", | |
| "34": "SL", | |
| "35": "EL", | |
| "36": "AV", | |
| "37": "RL", | |
| "38": "GL", | |
| "39": "TL", | |
| "40": "DL", | |
| "41": "EE", | |
| "42": "VV", | |
| "43": "AE", | |
| "44": "AS", | |
| "45": "AR", | |
| "46": "IL", | |
| "47": "AD", | |
| "48": "AT", | |
| "49": "PL", | |
| "50": "KL", | |
| "51": "RR", | |
| "52": "SG", | |
| "53": "AI", | |
| "54": "AP", | |
| "55": "DG", | |
| "56": "TG", | |
| "57": "QL", | |
| "58": "TV", | |
| "59": "KK", | |
| "60": "FL", | |
| "61": "SV", | |
| "62": "DE", | |
| "63": "NL", | |
| "64": "DV", | |
| "65": "GV", | |
| "66": "SP", | |
| "67": "TP", | |
| "68": "AK", | |
| "69": "IV", | |
| "70": "ER", | |
| "71": "SR", | |
| "72": "IG", | |
| "73": "SE", | |
| "74": "AQ", | |
| "75": "DP", | |
| "76": "AF", | |
| "77": "YL", | |
| "78": "IE", | |
| "79": "ST", | |
| "80": "DR", | |
| "81": "KE", | |
| "82": "PP", | |
| "83": "TT", | |
| "84": "SI", | |
| "85": "GR", | |
| "86": "AN", | |
| "87": "PV", | |
| "88": "SK", | |
| "89": "DD", | |
| "90": "SF", | |
| "91": "QQ", | |
| "92": "GE", | |
| "93": "SN", | |
| "94": "TE", | |
| "95": "IR", | |
| "96": "HL", | |
| "97": "KV", | |
| "98": "TR", | |
| "99": "PE", | |
| "100": "DI", | |
| "101": "ML", | |
| "102": "KR", | |
| "103": "FV", | |
| "104": "PG", | |
| "105": "SQ", | |
| "106": "AY", | |
| "107": "SD", | |
| "108": "NV", | |
| "109": "TI", | |
| "110": "EV", | |
| "111": "NG", | |
| "112": "FG", | |
| "113": "QV", | |
| "114": "QR", | |
| "115": "II", | |
| "116": "KG", | |
| "117": "AM", | |
| "118": "SY", | |
| "119": "PR", | |
| "120": "AH", | |
| "121": "KN", | |
| "122": "KI", | |
| "123": "FE", | |
| "124": "RV", | |
| "125": "TD", | |
| "126": "QE", | |
| "127": "NN", | |
| "128": "RE", | |
| "129": "YV", | |
| "130": "NE", | |
| "131": "TF", | |
| "132": "GI", | |
| "133": "WL", | |
| "134": "DF", | |
| "135": "NI", | |
| "136": "KP", | |
| "137": "QG", | |
| "138": "YG", | |
| "139": "SH", | |
| "140": "KD", | |
| "141": "YR", | |
| "142": "NR", | |
| "143": "MV", | |
| "144": "NP", | |
| "145": "YE", | |
| "146": "KT", | |
| "147": "FI", | |
| "148": "FR", | |
| "149": "HV", | |
| "150": "CL", | |
| "151": "KQ", | |
| "152": "ID", | |
| "153": "VE", | |
| "154": "PD", | |
| "155": "SM", | |
| "156": "TQ", | |
| "157": "FD", | |
| "158": "IP", | |
| "159": "HG", | |
| "160": "TN", | |
| "161": "VR", | |
| "162": "AAL", | |
| "163": "HR", | |
| "164": "VG", | |
| "165": "AW", | |
| "166": "ME", | |
| "167": "TY", | |
| "168": "AC", | |
| "169": "ALL", | |
| "170": "QP", | |
| "171": "QI", | |
| "172": "KY", | |
| "173": "FF", | |
| "174": "MR", | |
| "175": "ND", | |
| "176": "EG", | |
| "177": "MG", | |
| "178": "TK", | |
| "179": "FP", | |
| "180": "HP", | |
| "181": "RG", | |
| "182": "HE", | |
| "183": "TS", | |
| "184": "IN", | |
| "185": "DY", | |
| "186": "KF", | |
| "187": "LLL", | |
| "188": "QD", | |
| "189": "SC", | |
| "190": "PI", | |
| "191": "GD", | |
| "192": "YD", | |
| "193": "SW", | |
| "194": "IF", | |
| "195": "TH", | |
| "196": "QN", | |
| "197": "VD", | |
| "198": "YI", | |
| "199": "MP", | |
| "200": "YP", | |
| "201": "VP", | |
| "202": "FN", | |
| "203": "QK", | |
| "204": "CG", | |
| "205": "RD", | |
| "206": "AGL", | |
| "207": "IT", | |
| "208": "AVL", | |
| "209": "IK", | |
| "210": "QT", | |
| "211": "ED", | |
| "212": "FT", | |
| "213": "RP", | |
| "214": "MD", | |
| "215": "GP", | |
| "216": "VI", | |
| "217": "MI", | |
| "218": "YN", | |
| "219": "EI", | |
| "220": "GF", | |
| "221": "EK", | |
| "222": "QF", | |
| "223": "SLL", | |
| "224": "YF", | |
| "225": "AEL", | |
| "226": "NK", | |
| "227": "GT", | |
| "228": "HI", | |
| "229": "NF", | |
| "230": "WR", | |
| "231": "NT", | |
| "232": "HD", | |
| "233": "MT", | |
| "234": "SSL", | |
| "235": "VT", | |
| "236": "EP", | |
| "237": "ASL", | |
| "238": "DT", | |
| "239": "MK", | |
| "240": "ARL", | |
| "241": "NY", | |
| "242": "NQ", | |
| "243": "SAA", | |
| "244": "RI", | |
| "245": "PT", | |
| "246": "GK", | |
| "247": "EQ", | |
| "248": "DK", | |
| "249": "CV", | |
| "250": "HF", | |
| "251": "GY", | |
| "252": "SAL", | |
| "253": "ADL", | |
| "254": "PF", | |
| "255": "ET" | |
| }, | |
| "bpe_merges": [ | |
| { | |
| "pair": [ | |
| 6, | |
| 6 | |
| ], | |
| "new_id": 27 | |
| }, | |
| { | |
| "pair": [ | |
| 15, | |
| 15 | |
| ], | |
| "new_id": 28 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 15 | |
| ], | |
| "new_id": 29 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 21 | |
| ], | |
| "new_id": 30 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 11 | |
| ], | |
| "new_id": 31 | |
| }, | |
| { | |
| "pair": [ | |
| 23, | |
| 15 | |
| ], | |
| "new_id": 32 | |
| }, | |
| { | |
| "pair": [ | |
| 11, | |
| 11 | |
| ], | |
| "new_id": 33 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 15 | |
| ], | |
| "new_id": 34 | |
| }, | |
| { | |
| "pair": [ | |
| 9, | |
| 15 | |
| ], | |
| "new_id": 35 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 23 | |
| ], | |
| "new_id": 36 | |
| }, | |
| { | |
| "pair": [ | |
| 20, | |
| 15 | |
| ], | |
| "new_id": 37 | |
| }, | |
| { | |
| "pair": [ | |
| 11, | |
| 15 | |
| ], | |
| "new_id": 38 | |
| }, | |
| { | |
| "pair": [ | |
| 22, | |
| 15 | |
| ], | |
| "new_id": 39 | |
| }, | |
| { | |
| "pair": [ | |
| 8, | |
| 15 | |
| ], | |
| "new_id": 40 | |
| }, | |
| { | |
| "pair": [ | |
| 9, | |
| 9 | |
| ], | |
| "new_id": 41 | |
| }, | |
| { | |
| "pair": [ | |
| 23, | |
| 23 | |
| ], | |
| "new_id": 42 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 9 | |
| ], | |
| "new_id": 43 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 21 | |
| ], | |
| "new_id": 44 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 20 | |
| ], | |
| "new_id": 45 | |
| }, | |
| { | |
| "pair": [ | |
| 13, | |
| 15 | |
| ], | |
| "new_id": 46 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 8 | |
| ], | |
| "new_id": 47 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 22 | |
| ], | |
| "new_id": 48 | |
| }, | |
| { | |
| "pair": [ | |
| 18, | |
| 15 | |
| ], | |
| "new_id": 49 | |
| }, | |
| { | |
| "pair": [ | |
| 14, | |
| 15 | |
| ], | |
| "new_id": 50 | |
| }, | |
| { | |
| "pair": [ | |
| 20, | |
| 20 | |
| ], | |
| "new_id": 51 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 11 | |
| ], | |
| "new_id": 52 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 13 | |
| ], | |
| "new_id": 53 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 18 | |
| ], | |
| "new_id": 54 | |
| }, | |
| { | |
| "pair": [ | |
| 8, | |
| 11 | |
| ], | |
| "new_id": 55 | |
| }, | |
| { | |
| "pair": [ | |
| 22, | |
| 11 | |
| ], | |
| "new_id": 56 | |
| }, | |
| { | |
| "pair": [ | |
| 19, | |
| 15 | |
| ], | |
| "new_id": 57 | |
| }, | |
| { | |
| "pair": [ | |
| 22, | |
| 23 | |
| ], | |
| "new_id": 58 | |
| }, | |
| { | |
| "pair": [ | |
| 14, | |
| 14 | |
| ], | |
| "new_id": 59 | |
| }, | |
| { | |
| "pair": [ | |
| 10, | |
| 15 | |
| ], | |
| "new_id": 60 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 23 | |
| ], | |
| "new_id": 61 | |
| }, | |
| { | |
| "pair": [ | |
| 8, | |
| 9 | |
| ], | |
| "new_id": 62 | |
| }, | |
| { | |
| "pair": [ | |
| 17, | |
| 15 | |
| ], | |
| "new_id": 63 | |
| }, | |
| { | |
| "pair": [ | |
| 8, | |
| 23 | |
| ], | |
| "new_id": 64 | |
| }, | |
| { | |
| "pair": [ | |
| 11, | |
| 23 | |
| ], | |
| "new_id": 65 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 18 | |
| ], | |
| "new_id": 66 | |
| }, | |
| { | |
| "pair": [ | |
| 22, | |
| 18 | |
| ], | |
| "new_id": 67 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 14 | |
| ], | |
| "new_id": 68 | |
| }, | |
| { | |
| "pair": [ | |
| 13, | |
| 23 | |
| ], | |
| "new_id": 69 | |
| }, | |
| { | |
| "pair": [ | |
| 9, | |
| 20 | |
| ], | |
| "new_id": 70 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 20 | |
| ], | |
| "new_id": 71 | |
| }, | |
| { | |
| "pair": [ | |
| 13, | |
| 11 | |
| ], | |
| "new_id": 72 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 9 | |
| ], | |
| "new_id": 73 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 19 | |
| ], | |
| "new_id": 74 | |
| }, | |
| { | |
| "pair": [ | |
| 8, | |
| 18 | |
| ], | |
| "new_id": 75 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 10 | |
| ], | |
| "new_id": 76 | |
| }, | |
| { | |
| "pair": [ | |
| 25, | |
| 15 | |
| ], | |
| "new_id": 77 | |
| }, | |
| { | |
| "pair": [ | |
| 13, | |
| 9 | |
| ], | |
| "new_id": 78 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 22 | |
| ], | |
| "new_id": 79 | |
| }, | |
| { | |
| "pair": [ | |
| 8, | |
| 20 | |
| ], | |
| "new_id": 80 | |
| }, | |
| { | |
| "pair": [ | |
| 14, | |
| 9 | |
| ], | |
| "new_id": 81 | |
| }, | |
| { | |
| "pair": [ | |
| 18, | |
| 18 | |
| ], | |
| "new_id": 82 | |
| }, | |
| { | |
| "pair": [ | |
| 22, | |
| 22 | |
| ], | |
| "new_id": 83 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 13 | |
| ], | |
| "new_id": 84 | |
| }, | |
| { | |
| "pair": [ | |
| 11, | |
| 20 | |
| ], | |
| "new_id": 85 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 17 | |
| ], | |
| "new_id": 86 | |
| }, | |
| { | |
| "pair": [ | |
| 18, | |
| 23 | |
| ], | |
| "new_id": 87 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 14 | |
| ], | |
| "new_id": 88 | |
| }, | |
| { | |
| "pair": [ | |
| 8, | |
| 8 | |
| ], | |
| "new_id": 89 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 10 | |
| ], | |
| "new_id": 90 | |
| }, | |
| { | |
| "pair": [ | |
| 19, | |
| 19 | |
| ], | |
| "new_id": 91 | |
| }, | |
| { | |
| "pair": [ | |
| 11, | |
| 9 | |
| ], | |
| "new_id": 92 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 17 | |
| ], | |
| "new_id": 93 | |
| }, | |
| { | |
| "pair": [ | |
| 22, | |
| 9 | |
| ], | |
| "new_id": 94 | |
| }, | |
| { | |
| "pair": [ | |
| 13, | |
| 20 | |
| ], | |
| "new_id": 95 | |
| }, | |
| { | |
| "pair": [ | |
| 12, | |
| 15 | |
| ], | |
| "new_id": 96 | |
| }, | |
| { | |
| "pair": [ | |
| 14, | |
| 23 | |
| ], | |
| "new_id": 97 | |
| }, | |
| { | |
| "pair": [ | |
| 22, | |
| 20 | |
| ], | |
| "new_id": 98 | |
| }, | |
| { | |
| "pair": [ | |
| 18, | |
| 9 | |
| ], | |
| "new_id": 99 | |
| }, | |
| { | |
| "pair": [ | |
| 8, | |
| 13 | |
| ], | |
| "new_id": 100 | |
| }, | |
| { | |
| "pair": [ | |
| 16, | |
| 15 | |
| ], | |
| "new_id": 101 | |
| }, | |
| { | |
| "pair": [ | |
| 14, | |
| 20 | |
| ], | |
| "new_id": 102 | |
| }, | |
| { | |
| "pair": [ | |
| 10, | |
| 23 | |
| ], | |
| "new_id": 103 | |
| }, | |
| { | |
| "pair": [ | |
| 18, | |
| 11 | |
| ], | |
| "new_id": 104 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 19 | |
| ], | |
| "new_id": 105 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 25 | |
| ], | |
| "new_id": 106 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 8 | |
| ], | |
| "new_id": 107 | |
| }, | |
| { | |
| "pair": [ | |
| 17, | |
| 23 | |
| ], | |
| "new_id": 108 | |
| }, | |
| { | |
| "pair": [ | |
| 22, | |
| 13 | |
| ], | |
| "new_id": 109 | |
| }, | |
| { | |
| "pair": [ | |
| 9, | |
| 23 | |
| ], | |
| "new_id": 110 | |
| }, | |
| { | |
| "pair": [ | |
| 17, | |
| 11 | |
| ], | |
| "new_id": 111 | |
| }, | |
| { | |
| "pair": [ | |
| 10, | |
| 11 | |
| ], | |
| "new_id": 112 | |
| }, | |
| { | |
| "pair": [ | |
| 19, | |
| 23 | |
| ], | |
| "new_id": 113 | |
| }, | |
| { | |
| "pair": [ | |
| 19, | |
| 20 | |
| ], | |
| "new_id": 114 | |
| }, | |
| { | |
| "pair": [ | |
| 13, | |
| 13 | |
| ], | |
| "new_id": 115 | |
| }, | |
| { | |
| "pair": [ | |
| 14, | |
| 11 | |
| ], | |
| "new_id": 116 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 16 | |
| ], | |
| "new_id": 117 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 25 | |
| ], | |
| "new_id": 118 | |
| }, | |
| { | |
| "pair": [ | |
| 18, | |
| 20 | |
| ], | |
| "new_id": 119 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 12 | |
| ], | |
| "new_id": 120 | |
| }, | |
| { | |
| "pair": [ | |
| 14, | |
| 17 | |
| ], | |
| "new_id": 121 | |
| }, | |
| { | |
| "pair": [ | |
| 14, | |
| 13 | |
| ], | |
| "new_id": 122 | |
| }, | |
| { | |
| "pair": [ | |
| 10, | |
| 9 | |
| ], | |
| "new_id": 123 | |
| }, | |
| { | |
| "pair": [ | |
| 20, | |
| 23 | |
| ], | |
| "new_id": 124 | |
| }, | |
| { | |
| "pair": [ | |
| 22, | |
| 8 | |
| ], | |
| "new_id": 125 | |
| }, | |
| { | |
| "pair": [ | |
| 19, | |
| 9 | |
| ], | |
| "new_id": 126 | |
| }, | |
| { | |
| "pair": [ | |
| 17, | |
| 17 | |
| ], | |
| "new_id": 127 | |
| }, | |
| { | |
| "pair": [ | |
| 20, | |
| 9 | |
| ], | |
| "new_id": 128 | |
| }, | |
| { | |
| "pair": [ | |
| 25, | |
| 23 | |
| ], | |
| "new_id": 129 | |
| }, | |
| { | |
| "pair": [ | |
| 17, | |
| 9 | |
| ], | |
| "new_id": 130 | |
| }, | |
| { | |
| "pair": [ | |
| 22, | |
| 10 | |
| ], | |
| "new_id": 131 | |
| }, | |
| { | |
| "pair": [ | |
| 11, | |
| 13 | |
| ], | |
| "new_id": 132 | |
| }, | |
| { | |
| "pair": [ | |
| 24, | |
| 15 | |
| ], | |
| "new_id": 133 | |
| }, | |
| { | |
| "pair": [ | |
| 8, | |
| 10 | |
| ], | |
| "new_id": 134 | |
| }, | |
| { | |
| "pair": [ | |
| 17, | |
| 13 | |
| ], | |
| "new_id": 135 | |
| }, | |
| { | |
| "pair": [ | |
| 14, | |
| 18 | |
| ], | |
| "new_id": 136 | |
| }, | |
| { | |
| "pair": [ | |
| 19, | |
| 11 | |
| ], | |
| "new_id": 137 | |
| }, | |
| { | |
| "pair": [ | |
| 25, | |
| 11 | |
| ], | |
| "new_id": 138 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 12 | |
| ], | |
| "new_id": 139 | |
| }, | |
| { | |
| "pair": [ | |
| 14, | |
| 8 | |
| ], | |
| "new_id": 140 | |
| }, | |
| { | |
| "pair": [ | |
| 25, | |
| 20 | |
| ], | |
| "new_id": 141 | |
| }, | |
| { | |
| "pair": [ | |
| 17, | |
| 20 | |
| ], | |
| "new_id": 142 | |
| }, | |
| { | |
| "pair": [ | |
| 16, | |
| 23 | |
| ], | |
| "new_id": 143 | |
| }, | |
| { | |
| "pair": [ | |
| 17, | |
| 18 | |
| ], | |
| "new_id": 144 | |
| }, | |
| { | |
| "pair": [ | |
| 25, | |
| 9 | |
| ], | |
| "new_id": 145 | |
| }, | |
| { | |
| "pair": [ | |
| 14, | |
| 22 | |
| ], | |
| "new_id": 146 | |
| }, | |
| { | |
| "pair": [ | |
| 10, | |
| 13 | |
| ], | |
| "new_id": 147 | |
| }, | |
| { | |
| "pair": [ | |
| 10, | |
| 20 | |
| ], | |
| "new_id": 148 | |
| }, | |
| { | |
| "pair": [ | |
| 12, | |
| 23 | |
| ], | |
| "new_id": 149 | |
| }, | |
| { | |
| "pair": [ | |
| 7, | |
| 15 | |
| ], | |
| "new_id": 150 | |
| }, | |
| { | |
| "pair": [ | |
| 14, | |
| 19 | |
| ], | |
| "new_id": 151 | |
| }, | |
| { | |
| "pair": [ | |
| 13, | |
| 8 | |
| ], | |
| "new_id": 152 | |
| }, | |
| { | |
| "pair": [ | |
| 23, | |
| 9 | |
| ], | |
| "new_id": 153 | |
| }, | |
| { | |
| "pair": [ | |
| 18, | |
| 8 | |
| ], | |
| "new_id": 154 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 16 | |
| ], | |
| "new_id": 155 | |
| }, | |
| { | |
| "pair": [ | |
| 22, | |
| 19 | |
| ], | |
| "new_id": 156 | |
| }, | |
| { | |
| "pair": [ | |
| 10, | |
| 8 | |
| ], | |
| "new_id": 157 | |
| }, | |
| { | |
| "pair": [ | |
| 13, | |
| 18 | |
| ], | |
| "new_id": 158 | |
| }, | |
| { | |
| "pair": [ | |
| 12, | |
| 11 | |
| ], | |
| "new_id": 159 | |
| }, | |
| { | |
| "pair": [ | |
| 22, | |
| 17 | |
| ], | |
| "new_id": 160 | |
| }, | |
| { | |
| "pair": [ | |
| 23, | |
| 20 | |
| ], | |
| "new_id": 161 | |
| }, | |
| { | |
| "pair": [ | |
| 27, | |
| 15 | |
| ], | |
| "new_id": 162 | |
| }, | |
| { | |
| "pair": [ | |
| 12, | |
| 20 | |
| ], | |
| "new_id": 163 | |
| }, | |
| { | |
| "pair": [ | |
| 23, | |
| 11 | |
| ], | |
| "new_id": 164 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 24 | |
| ], | |
| "new_id": 165 | |
| }, | |
| { | |
| "pair": [ | |
| 16, | |
| 9 | |
| ], | |
| "new_id": 166 | |
| }, | |
| { | |
| "pair": [ | |
| 22, | |
| 25 | |
| ], | |
| "new_id": 167 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 7 | |
| ], | |
| "new_id": 168 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 28 | |
| ], | |
| "new_id": 169 | |
| }, | |
| { | |
| "pair": [ | |
| 19, | |
| 18 | |
| ], | |
| "new_id": 170 | |
| }, | |
| { | |
| "pair": [ | |
| 19, | |
| 13 | |
| ], | |
| "new_id": 171 | |
| }, | |
| { | |
| "pair": [ | |
| 14, | |
| 25 | |
| ], | |
| "new_id": 172 | |
| }, | |
| { | |
| "pair": [ | |
| 10, | |
| 10 | |
| ], | |
| "new_id": 173 | |
| }, | |
| { | |
| "pair": [ | |
| 16, | |
| 20 | |
| ], | |
| "new_id": 174 | |
| }, | |
| { | |
| "pair": [ | |
| 17, | |
| 8 | |
| ], | |
| "new_id": 175 | |
| }, | |
| { | |
| "pair": [ | |
| 9, | |
| 11 | |
| ], | |
| "new_id": 176 | |
| }, | |
| { | |
| "pair": [ | |
| 16, | |
| 11 | |
| ], | |
| "new_id": 177 | |
| }, | |
| { | |
| "pair": [ | |
| 22, | |
| 14 | |
| ], | |
| "new_id": 178 | |
| }, | |
| { | |
| "pair": [ | |
| 10, | |
| 18 | |
| ], | |
| "new_id": 179 | |
| }, | |
| { | |
| "pair": [ | |
| 12, | |
| 18 | |
| ], | |
| "new_id": 180 | |
| }, | |
| { | |
| "pair": [ | |
| 20, | |
| 11 | |
| ], | |
| "new_id": 181 | |
| }, | |
| { | |
| "pair": [ | |
| 12, | |
| 9 | |
| ], | |
| "new_id": 182 | |
| }, | |
| { | |
| "pair": [ | |
| 22, | |
| 21 | |
| ], | |
| "new_id": 183 | |
| }, | |
| { | |
| "pair": [ | |
| 13, | |
| 17 | |
| ], | |
| "new_id": 184 | |
| }, | |
| { | |
| "pair": [ | |
| 8, | |
| 25 | |
| ], | |
| "new_id": 185 | |
| }, | |
| { | |
| "pair": [ | |
| 14, | |
| 10 | |
| ], | |
| "new_id": 186 | |
| }, | |
| { | |
| "pair": [ | |
| 28, | |
| 15 | |
| ], | |
| "new_id": 187 | |
| }, | |
| { | |
| "pair": [ | |
| 19, | |
| 8 | |
| ], | |
| "new_id": 188 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 7 | |
| ], | |
| "new_id": 189 | |
| }, | |
| { | |
| "pair": [ | |
| 18, | |
| 13 | |
| ], | |
| "new_id": 190 | |
| }, | |
| { | |
| "pair": [ | |
| 11, | |
| 8 | |
| ], | |
| "new_id": 191 | |
| }, | |
| { | |
| "pair": [ | |
| 25, | |
| 8 | |
| ], | |
| "new_id": 192 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 24 | |
| ], | |
| "new_id": 193 | |
| }, | |
| { | |
| "pair": [ | |
| 13, | |
| 10 | |
| ], | |
| "new_id": 194 | |
| }, | |
| { | |
| "pair": [ | |
| 22, | |
| 12 | |
| ], | |
| "new_id": 195 | |
| }, | |
| { | |
| "pair": [ | |
| 19, | |
| 17 | |
| ], | |
| "new_id": 196 | |
| }, | |
| { | |
| "pair": [ | |
| 23, | |
| 8 | |
| ], | |
| "new_id": 197 | |
| }, | |
| { | |
| "pair": [ | |
| 25, | |
| 13 | |
| ], | |
| "new_id": 198 | |
| }, | |
| { | |
| "pair": [ | |
| 16, | |
| 18 | |
| ], | |
| "new_id": 199 | |
| }, | |
| { | |
| "pair": [ | |
| 25, | |
| 18 | |
| ], | |
| "new_id": 200 | |
| }, | |
| { | |
| "pair": [ | |
| 23, | |
| 18 | |
| ], | |
| "new_id": 201 | |
| }, | |
| { | |
| "pair": [ | |
| 10, | |
| 17 | |
| ], | |
| "new_id": 202 | |
| }, | |
| { | |
| "pair": [ | |
| 19, | |
| 14 | |
| ], | |
| "new_id": 203 | |
| }, | |
| { | |
| "pair": [ | |
| 7, | |
| 11 | |
| ], | |
| "new_id": 204 | |
| }, | |
| { | |
| "pair": [ | |
| 20, | |
| 8 | |
| ], | |
| "new_id": 205 | |
| }, | |
| { | |
| "pair": [ | |
| 31, | |
| 15 | |
| ], | |
| "new_id": 206 | |
| }, | |
| { | |
| "pair": [ | |
| 13, | |
| 22 | |
| ], | |
| "new_id": 207 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 32 | |
| ], | |
| "new_id": 208 | |
| }, | |
| { | |
| "pair": [ | |
| 13, | |
| 14 | |
| ], | |
| "new_id": 209 | |
| }, | |
| { | |
| "pair": [ | |
| 19, | |
| 22 | |
| ], | |
| "new_id": 210 | |
| }, | |
| { | |
| "pair": [ | |
| 9, | |
| 8 | |
| ], | |
| "new_id": 211 | |
| }, | |
| { | |
| "pair": [ | |
| 10, | |
| 22 | |
| ], | |
| "new_id": 212 | |
| }, | |
| { | |
| "pair": [ | |
| 20, | |
| 18 | |
| ], | |
| "new_id": 213 | |
| }, | |
| { | |
| "pair": [ | |
| 16, | |
| 8 | |
| ], | |
| "new_id": 214 | |
| }, | |
| { | |
| "pair": [ | |
| 11, | |
| 18 | |
| ], | |
| "new_id": 215 | |
| }, | |
| { | |
| "pair": [ | |
| 23, | |
| 13 | |
| ], | |
| "new_id": 216 | |
| }, | |
| { | |
| "pair": [ | |
| 16, | |
| 13 | |
| ], | |
| "new_id": 217 | |
| }, | |
| { | |
| "pair": [ | |
| 25, | |
| 17 | |
| ], | |
| "new_id": 218 | |
| }, | |
| { | |
| "pair": [ | |
| 9, | |
| 13 | |
| ], | |
| "new_id": 219 | |
| }, | |
| { | |
| "pair": [ | |
| 11, | |
| 10 | |
| ], | |
| "new_id": 220 | |
| }, | |
| { | |
| "pair": [ | |
| 9, | |
| 14 | |
| ], | |
| "new_id": 221 | |
| }, | |
| { | |
| "pair": [ | |
| 19, | |
| 10 | |
| ], | |
| "new_id": 222 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 28 | |
| ], | |
| "new_id": 223 | |
| }, | |
| { | |
| "pair": [ | |
| 25, | |
| 10 | |
| ], | |
| "new_id": 224 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 35 | |
| ], | |
| "new_id": 225 | |
| }, | |
| { | |
| "pair": [ | |
| 17, | |
| 14 | |
| ], | |
| "new_id": 226 | |
| }, | |
| { | |
| "pair": [ | |
| 11, | |
| 22 | |
| ], | |
| "new_id": 227 | |
| }, | |
| { | |
| "pair": [ | |
| 12, | |
| 13 | |
| ], | |
| "new_id": 228 | |
| }, | |
| { | |
| "pair": [ | |
| 17, | |
| 10 | |
| ], | |
| "new_id": 229 | |
| }, | |
| { | |
| "pair": [ | |
| 24, | |
| 20 | |
| ], | |
| "new_id": 230 | |
| }, | |
| { | |
| "pair": [ | |
| 17, | |
| 22 | |
| ], | |
| "new_id": 231 | |
| }, | |
| { | |
| "pair": [ | |
| 12, | |
| 8 | |
| ], | |
| "new_id": 232 | |
| }, | |
| { | |
| "pair": [ | |
| 16, | |
| 22 | |
| ], | |
| "new_id": 233 | |
| }, | |
| { | |
| "pair": [ | |
| 30, | |
| 15 | |
| ], | |
| "new_id": 234 | |
| }, | |
| { | |
| "pair": [ | |
| 23, | |
| 22 | |
| ], | |
| "new_id": 235 | |
| }, | |
| { | |
| "pair": [ | |
| 9, | |
| 18 | |
| ], | |
| "new_id": 236 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 34 | |
| ], | |
| "new_id": 237 | |
| }, | |
| { | |
| "pair": [ | |
| 8, | |
| 22 | |
| ], | |
| "new_id": 238 | |
| }, | |
| { | |
| "pair": [ | |
| 16, | |
| 14 | |
| ], | |
| "new_id": 239 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 37 | |
| ], | |
| "new_id": 240 | |
| }, | |
| { | |
| "pair": [ | |
| 17, | |
| 25 | |
| ], | |
| "new_id": 241 | |
| }, | |
| { | |
| "pair": [ | |
| 17, | |
| 19 | |
| ], | |
| "new_id": 242 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 27 | |
| ], | |
| "new_id": 243 | |
| }, | |
| { | |
| "pair": [ | |
| 20, | |
| 13 | |
| ], | |
| "new_id": 244 | |
| }, | |
| { | |
| "pair": [ | |
| 18, | |
| 22 | |
| ], | |
| "new_id": 245 | |
| }, | |
| { | |
| "pair": [ | |
| 11, | |
| 14 | |
| ], | |
| "new_id": 246 | |
| }, | |
| { | |
| "pair": [ | |
| 9, | |
| 19 | |
| ], | |
| "new_id": 247 | |
| }, | |
| { | |
| "pair": [ | |
| 8, | |
| 14 | |
| ], | |
| "new_id": 248 | |
| }, | |
| { | |
| "pair": [ | |
| 7, | |
| 23 | |
| ], | |
| "new_id": 249 | |
| }, | |
| { | |
| "pair": [ | |
| 12, | |
| 10 | |
| ], | |
| "new_id": 250 | |
| }, | |
| { | |
| "pair": [ | |
| 11, | |
| 25 | |
| ], | |
| "new_id": 251 | |
| }, | |
| { | |
| "pair": [ | |
| 21, | |
| 29 | |
| ], | |
| "new_id": 252 | |
| }, | |
| { | |
| "pair": [ | |
| 6, | |
| 40 | |
| ], | |
| "new_id": 253 | |
| }, | |
| { | |
| "pair": [ | |
| 18, | |
| 10 | |
| ], | |
| "new_id": 254 | |
| }, | |
| { | |
| "pair": [ | |
| 9, | |
| 22 | |
| ], | |
| "new_id": 255 | |
| } | |
| ] | |
| }, | |
| "builder": { | |
| "type": "local_refseq_sequence_only_from_train_txt", | |
| "source_name": "refseq", | |
| "tokenizer_type": "bpe", | |
| "vocab_size_requested": 256, | |
| "rebuilt_from_existing_train_text": true, | |
| "tokenizer_train_record_count": 22772841, | |
| "tokenizer_train_line_limit": null, | |
| "tokenizer_resume": true, | |
| "tokenizer_workers": 4, | |
| "vocab_size_actual": 256 | |
| } | |
| } | |