{ "source_name": "refseq", "record_count": 22772841, "tokenizer": { "sequence_type": "protein", "special_tokens": [ "<|pad|>", "<|bos|>", "<|eos|>", "<|endoftext|>", "<|protein|>" ], "str_to_int": { "<|pad|>": 0, "<|bos|>": 1, "<|eos|>": 2, "<|endoftext|>": 3, "<|protein|>": 4, "\n": 5, "A": 6, "C": 7, "D": 8, "E": 9, "F": 10, "G": 11, "H": 12, "I": 13, "K": 14, "L": 15, "M": 16, "N": 17, "P": 18, "Q": 19, "R": 20, "S": 21, "T": 22, "V": 23, "W": 24, "Y": 25, "X": 26, "AA": 27, "LL": 28, "AL": 29, "SS": 30, "AG": 31, "VL": 32, "GG": 33, "SL": 34, "EL": 35, "AV": 36, "RL": 37, "GL": 38, "TL": 39, "DL": 40, "EE": 41, "VV": 42, "AE": 43, "AS": 44, "AR": 45, "IL": 46, "AD": 47, "AT": 48, "PL": 49, "KL": 50, "RR": 51, "SG": 52, "AI": 53, "AP": 54, "DG": 55, "TG": 56, "QL": 57, "TV": 58, "KK": 59, "FL": 60, "SV": 61, "DE": 62, "NL": 63, "DV": 64, "GV": 65, "SP": 66, "TP": 67, "AK": 68, "IV": 69, "ER": 70, "SR": 71, "IG": 72, "SE": 73, "AQ": 74, "DP": 75, "AF": 76, "YL": 77, "IE": 78, "ST": 79, "DR": 80, "KE": 81, "PP": 82, "TT": 83, "SI": 84, "GR": 85, "AN": 86, "PV": 87, "SK": 88, "DD": 89, "SF": 90, "QQ": 91, "GE": 92, "SN": 93, "TE": 94, "IR": 95, "HL": 96, "KV": 97, "TR": 98, "PE": 99, "DI": 100, "ML": 101, "KR": 102, "FV": 103, "PG": 104, "SQ": 105, "AY": 106, "SD": 107, "NV": 108, "TI": 109, "EV": 110, "NG": 111, "FG": 112, "QV": 113, "QR": 114, "II": 115, "KG": 116, "AM": 117, "SY": 118, "PR": 119, "AH": 120, "KN": 121, "KI": 122, "FE": 123, "RV": 124, "TD": 125, "QE": 126, "NN": 127, "RE": 128, "YV": 129, "NE": 130, "TF": 131, "GI": 132, "WL": 133, "DF": 134, "NI": 135, "KP": 136, "QG": 137, "YG": 138, "SH": 139, "KD": 140, "YR": 141, "NR": 142, "MV": 143, "NP": 144, "YE": 145, "KT": 146, "FI": 147, "FR": 148, "HV": 149, "CL": 150, "KQ": 151, "ID": 152, "VE": 153, "PD": 154, "SM": 155, "TQ": 156, "FD": 157, "IP": 158, "HG": 159, "TN": 160, "VR": 161, "AAL": 162, "HR": 163, "VG": 164, "AW": 165, "ME": 166, "TY": 167, "AC": 168, "ALL": 169, "QP": 170, "QI": 171, "KY": 172, "FF": 173, "MR": 174, "ND": 175, "EG": 176, "MG": 177, "TK": 178, "FP": 179, "HP": 180, "RG": 181, "HE": 182, "TS": 183, "IN": 184, "DY": 185, "KF": 186, "LLL": 187, "QD": 188, "SC": 189, "PI": 190, "GD": 191, "YD": 192, "SW": 193, "IF": 194, "TH": 195, "QN": 196, "VD": 197, "YI": 198, "MP": 199, "YP": 200, "VP": 201, "FN": 202, "QK": 203, "CG": 204, "RD": 205, "AGL": 206, "IT": 207, "AVL": 208, "IK": 209, "QT": 210, "ED": 211, "FT": 212, "RP": 213, "MD": 214, "GP": 215, "VI": 216, "MI": 217, "YN": 218, "EI": 219, "GF": 220, "EK": 221, "QF": 222, "SLL": 223, "YF": 224, "AEL": 225, "NK": 226, "GT": 227, "HI": 228, "NF": 229, "WR": 230, "NT": 231, "HD": 232, "MT": 233, "SSL": 234, "VT": 235, "EP": 236, "ASL": 237, "DT": 238, "MK": 239, "ARL": 240, "NY": 241, "NQ": 242, "SAA": 243, "RI": 244, "PT": 245, "GK": 246, "EQ": 247, "DK": 248, "CV": 249, "HF": 250, "GY": 251, "SAL": 252, "ADL": 253, "PF": 254, "ET": 255 }, "int_to_str": { "0": "<|pad|>", "1": "<|bos|>", "2": "<|eos|>", "3": "<|endoftext|>", "4": "<|protein|>", "5": "\n", "6": "A", "7": "C", "8": "D", "9": "E", "10": "F", "11": "G", "12": "H", "13": "I", "14": "K", "15": "L", "16": "M", "17": "N", "18": "P", "19": "Q", "20": "R", "21": "S", "22": "T", "23": "V", "24": "W", "25": "Y", "26": "X", "27": "AA", "28": "LL", "29": "AL", "30": "SS", "31": "AG", "32": "VL", "33": "GG", "34": "SL", "35": "EL", "36": "AV", "37": "RL", "38": "GL", "39": "TL", "40": "DL", "41": "EE", "42": "VV", "43": "AE", "44": "AS", "45": "AR", "46": "IL", "47": "AD", "48": "AT", "49": "PL", "50": "KL", "51": "RR", "52": "SG", "53": "AI", "54": "AP", "55": "DG", "56": "TG", "57": "QL", "58": "TV", "59": "KK", "60": "FL", "61": "SV", "62": "DE", "63": "NL", "64": "DV", "65": "GV", "66": "SP", "67": "TP", "68": "AK", "69": "IV", "70": "ER", "71": "SR", "72": "IG", "73": "SE", "74": "AQ", "75": "DP", "76": "AF", "77": "YL", "78": "IE", "79": "ST", "80": "DR", "81": "KE", "82": "PP", "83": "TT", "84": "SI", "85": "GR", "86": "AN", "87": "PV", "88": "SK", "89": "DD", "90": "SF", "91": "QQ", "92": "GE", "93": "SN", "94": "TE", "95": "IR", "96": "HL", "97": "KV", "98": "TR", "99": "PE", "100": "DI", "101": "ML", "102": "KR", "103": "FV", "104": "PG", "105": "SQ", "106": "AY", "107": "SD", "108": "NV", "109": "TI", "110": "EV", "111": "NG", "112": "FG", "113": "QV", "114": "QR", "115": "II", "116": "KG", "117": "AM", "118": "SY", "119": "PR", "120": "AH", "121": "KN", "122": "KI", "123": "FE", "124": "RV", "125": "TD", "126": "QE", "127": "NN", "128": "RE", "129": "YV", "130": "NE", "131": "TF", "132": "GI", "133": "WL", "134": "DF", "135": "NI", "136": "KP", "137": "QG", "138": "YG", "139": "SH", "140": "KD", "141": "YR", "142": "NR", "143": "MV", "144": "NP", "145": "YE", "146": "KT", "147": "FI", "148": "FR", "149": "HV", "150": "CL", "151": "KQ", "152": "ID", "153": "VE", "154": "PD", "155": "SM", "156": "TQ", "157": "FD", "158": "IP", "159": "HG", "160": "TN", "161": "VR", "162": "AAL", "163": "HR", "164": "VG", "165": "AW", "166": "ME", "167": "TY", "168": "AC", "169": "ALL", "170": "QP", "171": "QI", "172": "KY", "173": "FF", "174": "MR", "175": "ND", "176": "EG", "177": "MG", "178": "TK", "179": "FP", "180": "HP", "181": "RG", "182": "HE", "183": "TS", "184": "IN", "185": "DY", "186": "KF", "187": "LLL", "188": "QD", "189": "SC", "190": "PI", "191": "GD", "192": "YD", "193": "SW", "194": "IF", "195": "TH", "196": "QN", "197": "VD", "198": "YI", "199": "MP", "200": "YP", "201": "VP", "202": "FN", "203": "QK", "204": "CG", "205": "RD", "206": "AGL", "207": "IT", "208": "AVL", "209": "IK", "210": "QT", "211": "ED", "212": "FT", "213": "RP", "214": "MD", "215": "GP", "216": "VI", "217": "MI", "218": "YN", "219": "EI", "220": "GF", "221": "EK", "222": "QF", "223": "SLL", "224": "YF", "225": "AEL", "226": "NK", "227": "GT", "228": "HI", "229": "NF", "230": "WR", "231": "NT", "232": "HD", "233": "MT", "234": "SSL", "235": "VT", "236": "EP", "237": "ASL", "238": "DT", "239": "MK", "240": "ARL", "241": "NY", "242": "NQ", "243": "SAA", "244": "RI", "245": "PT", "246": "GK", "247": "EQ", "248": "DK", "249": "CV", "250": "HF", "251": "GY", "252": "SAL", "253": "ADL", "254": "PF", "255": "ET" }, "bpe_merges": [ { "pair": [ 6, 6 ], "new_id": 27 }, { "pair": [ 15, 15 ], "new_id": 28 }, { "pair": [ 6, 15 ], "new_id": 29 }, { "pair": [ 21, 21 ], "new_id": 30 }, { "pair": [ 6, 11 ], "new_id": 31 }, { "pair": [ 23, 15 ], "new_id": 32 }, { "pair": [ 11, 11 ], "new_id": 33 }, { "pair": [ 21, 15 ], "new_id": 34 }, { "pair": [ 9, 15 ], "new_id": 35 }, { "pair": [ 6, 23 ], "new_id": 36 }, { "pair": [ 20, 15 ], "new_id": 37 }, { "pair": [ 11, 15 ], "new_id": 38 }, { "pair": [ 22, 15 ], "new_id": 39 }, { "pair": [ 8, 15 ], "new_id": 40 }, { "pair": [ 9, 9 ], "new_id": 41 }, { "pair": [ 23, 23 ], "new_id": 42 }, { "pair": [ 6, 9 ], "new_id": 43 }, { "pair": [ 6, 21 ], "new_id": 44 }, { "pair": [ 6, 20 ], "new_id": 45 }, { "pair": [ 13, 15 ], "new_id": 46 }, { "pair": [ 6, 8 ], "new_id": 47 }, { "pair": [ 6, 22 ], "new_id": 48 }, { "pair": [ 18, 15 ], "new_id": 49 }, { "pair": [ 14, 15 ], "new_id": 50 }, { "pair": [ 20, 20 ], "new_id": 51 }, { "pair": [ 21, 11 ], "new_id": 52 }, { "pair": [ 6, 13 ], "new_id": 53 }, { "pair": [ 6, 18 ], "new_id": 54 }, { "pair": [ 8, 11 ], "new_id": 55 }, { "pair": [ 22, 11 ], "new_id": 56 }, { "pair": [ 19, 15 ], "new_id": 57 }, { "pair": [ 22, 23 ], "new_id": 58 }, { "pair": [ 14, 14 ], "new_id": 59 }, { "pair": [ 10, 15 ], "new_id": 60 }, { "pair": [ 21, 23 ], "new_id": 61 }, { "pair": [ 8, 9 ], "new_id": 62 }, { "pair": [ 17, 15 ], "new_id": 63 }, { "pair": [ 8, 23 ], "new_id": 64 }, { "pair": [ 11, 23 ], "new_id": 65 }, { "pair": [ 21, 18 ], "new_id": 66 }, { "pair": [ 22, 18 ], "new_id": 67 }, { "pair": [ 6, 14 ], "new_id": 68 }, { "pair": [ 13, 23 ], "new_id": 69 }, { "pair": [ 9, 20 ], "new_id": 70 }, { "pair": [ 21, 20 ], "new_id": 71 }, { "pair": [ 13, 11 ], "new_id": 72 }, { "pair": [ 21, 9 ], "new_id": 73 }, { "pair": [ 6, 19 ], "new_id": 74 }, { "pair": [ 8, 18 ], "new_id": 75 }, { "pair": [ 6, 10 ], "new_id": 76 }, { "pair": [ 25, 15 ], "new_id": 77 }, { "pair": [ 13, 9 ], "new_id": 78 }, { "pair": [ 21, 22 ], "new_id": 79 }, { "pair": [ 8, 20 ], "new_id": 80 }, { "pair": [ 14, 9 ], "new_id": 81 }, { "pair": [ 18, 18 ], "new_id": 82 }, { "pair": [ 22, 22 ], "new_id": 83 }, { "pair": [ 21, 13 ], "new_id": 84 }, { "pair": [ 11, 20 ], "new_id": 85 }, { "pair": [ 6, 17 ], "new_id": 86 }, { "pair": [ 18, 23 ], "new_id": 87 }, { "pair": [ 21, 14 ], "new_id": 88 }, { "pair": [ 8, 8 ], "new_id": 89 }, { "pair": [ 21, 10 ], "new_id": 90 }, { "pair": [ 19, 19 ], "new_id": 91 }, { "pair": [ 11, 9 ], "new_id": 92 }, { "pair": [ 21, 17 ], "new_id": 93 }, { "pair": [ 22, 9 ], "new_id": 94 }, { "pair": [ 13, 20 ], "new_id": 95 }, { "pair": [ 12, 15 ], "new_id": 96 }, { "pair": [ 14, 23 ], "new_id": 97 }, { "pair": [ 22, 20 ], "new_id": 98 }, { "pair": [ 18, 9 ], "new_id": 99 }, { "pair": [ 8, 13 ], "new_id": 100 }, { "pair": [ 16, 15 ], "new_id": 101 }, { "pair": [ 14, 20 ], "new_id": 102 }, { "pair": [ 10, 23 ], "new_id": 103 }, { "pair": [ 18, 11 ], "new_id": 104 }, { "pair": [ 21, 19 ], "new_id": 105 }, { "pair": [ 6, 25 ], "new_id": 106 }, { "pair": [ 21, 8 ], "new_id": 107 }, { "pair": [ 17, 23 ], "new_id": 108 }, { "pair": [ 22, 13 ], "new_id": 109 }, { "pair": [ 9, 23 ], "new_id": 110 }, { "pair": [ 17, 11 ], "new_id": 111 }, { "pair": [ 10, 11 ], "new_id": 112 }, { "pair": [ 19, 23 ], "new_id": 113 }, { "pair": [ 19, 20 ], "new_id": 114 }, { "pair": [ 13, 13 ], "new_id": 115 }, { "pair": [ 14, 11 ], "new_id": 116 }, { "pair": [ 6, 16 ], "new_id": 117 }, { "pair": [ 21, 25 ], "new_id": 118 }, { "pair": [ 18, 20 ], "new_id": 119 }, { "pair": [ 6, 12 ], "new_id": 120 }, { "pair": [ 14, 17 ], "new_id": 121 }, { "pair": [ 14, 13 ], "new_id": 122 }, { "pair": [ 10, 9 ], "new_id": 123 }, { "pair": [ 20, 23 ], "new_id": 124 }, { "pair": [ 22, 8 ], "new_id": 125 }, { "pair": [ 19, 9 ], "new_id": 126 }, { "pair": [ 17, 17 ], "new_id": 127 }, { "pair": [ 20, 9 ], "new_id": 128 }, { "pair": [ 25, 23 ], "new_id": 129 }, { "pair": [ 17, 9 ], "new_id": 130 }, { "pair": [ 22, 10 ], "new_id": 131 }, { "pair": [ 11, 13 ], "new_id": 132 }, { "pair": [ 24, 15 ], "new_id": 133 }, { "pair": [ 8, 10 ], "new_id": 134 }, { "pair": [ 17, 13 ], "new_id": 135 }, { "pair": [ 14, 18 ], "new_id": 136 }, { "pair": [ 19, 11 ], "new_id": 137 }, { "pair": [ 25, 11 ], "new_id": 138 }, { "pair": [ 21, 12 ], "new_id": 139 }, { "pair": [ 14, 8 ], "new_id": 140 }, { "pair": [ 25, 20 ], "new_id": 141 }, { "pair": [ 17, 20 ], "new_id": 142 }, { "pair": [ 16, 23 ], "new_id": 143 }, { "pair": [ 17, 18 ], "new_id": 144 }, { "pair": [ 25, 9 ], "new_id": 145 }, { "pair": [ 14, 22 ], "new_id": 146 }, { "pair": [ 10, 13 ], "new_id": 147 }, { "pair": [ 10, 20 ], "new_id": 148 }, { "pair": [ 12, 23 ], "new_id": 149 }, { "pair": [ 7, 15 ], "new_id": 150 }, { "pair": [ 14, 19 ], "new_id": 151 }, { "pair": [ 13, 8 ], "new_id": 152 }, { "pair": [ 23, 9 ], "new_id": 153 }, { "pair": [ 18, 8 ], "new_id": 154 }, { "pair": [ 21, 16 ], "new_id": 155 }, { "pair": [ 22, 19 ], "new_id": 156 }, { "pair": [ 10, 8 ], "new_id": 157 }, { "pair": [ 13, 18 ], "new_id": 158 }, { "pair": [ 12, 11 ], "new_id": 159 }, { "pair": [ 22, 17 ], "new_id": 160 }, { "pair": [ 23, 20 ], "new_id": 161 }, { "pair": [ 27, 15 ], "new_id": 162 }, { "pair": [ 12, 20 ], "new_id": 163 }, { "pair": [ 23, 11 ], "new_id": 164 }, { "pair": [ 6, 24 ], "new_id": 165 }, { "pair": [ 16, 9 ], "new_id": 166 }, { "pair": [ 22, 25 ], "new_id": 167 }, { "pair": [ 6, 7 ], "new_id": 168 }, { "pair": [ 6, 28 ], "new_id": 169 }, { "pair": [ 19, 18 ], "new_id": 170 }, { "pair": [ 19, 13 ], "new_id": 171 }, { "pair": [ 14, 25 ], "new_id": 172 }, { "pair": [ 10, 10 ], "new_id": 173 }, { "pair": [ 16, 20 ], "new_id": 174 }, { "pair": [ 17, 8 ], "new_id": 175 }, { "pair": [ 9, 11 ], "new_id": 176 }, { "pair": [ 16, 11 ], "new_id": 177 }, { "pair": [ 22, 14 ], "new_id": 178 }, { "pair": [ 10, 18 ], "new_id": 179 }, { "pair": [ 12, 18 ], "new_id": 180 }, { "pair": [ 20, 11 ], "new_id": 181 }, { "pair": [ 12, 9 ], "new_id": 182 }, { "pair": [ 22, 21 ], "new_id": 183 }, { "pair": [ 13, 17 ], "new_id": 184 }, { "pair": [ 8, 25 ], "new_id": 185 }, { "pair": [ 14, 10 ], "new_id": 186 }, { "pair": [ 28, 15 ], "new_id": 187 }, { "pair": [ 19, 8 ], "new_id": 188 }, { "pair": [ 21, 7 ], "new_id": 189 }, { "pair": [ 18, 13 ], "new_id": 190 }, { "pair": [ 11, 8 ], "new_id": 191 }, { "pair": [ 25, 8 ], "new_id": 192 }, { "pair": [ 21, 24 ], "new_id": 193 }, { "pair": [ 13, 10 ], "new_id": 194 }, { "pair": [ 22, 12 ], "new_id": 195 }, { "pair": [ 19, 17 ], "new_id": 196 }, { "pair": [ 23, 8 ], "new_id": 197 }, { "pair": [ 25, 13 ], "new_id": 198 }, { "pair": [ 16, 18 ], "new_id": 199 }, { "pair": [ 25, 18 ], "new_id": 200 }, { "pair": [ 23, 18 ], "new_id": 201 }, { "pair": [ 10, 17 ], "new_id": 202 }, { "pair": [ 19, 14 ], "new_id": 203 }, { "pair": [ 7, 11 ], "new_id": 204 }, { "pair": [ 20, 8 ], "new_id": 205 }, { "pair": [ 31, 15 ], "new_id": 206 }, { "pair": [ 13, 22 ], "new_id": 207 }, { "pair": [ 6, 32 ], "new_id": 208 }, { "pair": [ 13, 14 ], "new_id": 209 }, { "pair": [ 19, 22 ], "new_id": 210 }, { "pair": [ 9, 8 ], "new_id": 211 }, { "pair": [ 10, 22 ], "new_id": 212 }, { "pair": [ 20, 18 ], "new_id": 213 }, { "pair": [ 16, 8 ], "new_id": 214 }, { "pair": [ 11, 18 ], "new_id": 215 }, { "pair": [ 23, 13 ], "new_id": 216 }, { "pair": [ 16, 13 ], "new_id": 217 }, { "pair": [ 25, 17 ], "new_id": 218 }, { "pair": [ 9, 13 ], "new_id": 219 }, { "pair": [ 11, 10 ], "new_id": 220 }, { "pair": [ 9, 14 ], "new_id": 221 }, { "pair": [ 19, 10 ], "new_id": 222 }, { "pair": [ 21, 28 ], "new_id": 223 }, { "pair": [ 25, 10 ], "new_id": 224 }, { "pair": [ 6, 35 ], "new_id": 225 }, { "pair": [ 17, 14 ], "new_id": 226 }, { "pair": [ 11, 22 ], "new_id": 227 }, { "pair": [ 12, 13 ], "new_id": 228 }, { "pair": [ 17, 10 ], "new_id": 229 }, { "pair": [ 24, 20 ], "new_id": 230 }, { "pair": [ 17, 22 ], "new_id": 231 }, { "pair": [ 12, 8 ], "new_id": 232 }, { "pair": [ 16, 22 ], "new_id": 233 }, { "pair": [ 30, 15 ], "new_id": 234 }, { "pair": [ 23, 22 ], "new_id": 235 }, { "pair": [ 9, 18 ], "new_id": 236 }, { "pair": [ 6, 34 ], "new_id": 237 }, { "pair": [ 8, 22 ], "new_id": 238 }, { "pair": [ 16, 14 ], "new_id": 239 }, { "pair": [ 6, 37 ], "new_id": 240 }, { "pair": [ 17, 25 ], "new_id": 241 }, { "pair": [ 17, 19 ], "new_id": 242 }, { "pair": [ 21, 27 ], "new_id": 243 }, { "pair": [ 20, 13 ], "new_id": 244 }, { "pair": [ 18, 22 ], "new_id": 245 }, { "pair": [ 11, 14 ], "new_id": 246 }, { "pair": [ 9, 19 ], "new_id": 247 }, { "pair": [ 8, 14 ], "new_id": 248 }, { "pair": [ 7, 23 ], "new_id": 249 }, { "pair": [ 12, 10 ], "new_id": 250 }, { "pair": [ 11, 25 ], "new_id": 251 }, { "pair": [ 21, 29 ], "new_id": 252 }, { "pair": [ 6, 40 ], "new_id": 253 }, { "pair": [ 18, 10 ], "new_id": 254 }, { "pair": [ 9, 22 ], "new_id": 255 } ] }, "builder": { "type": "local_refseq_sequence_only_from_train_txt", "source_name": "refseq", "tokenizer_type": "bpe", "vocab_size_requested": 256, "rebuilt_from_existing_train_text": true, "tokenizer_train_record_count": 22772841, "tokenizer_train_line_limit": null, "tokenizer_resume": true, "tokenizer_workers": 4, "vocab_size_actual": 256 } }