HPL-rus / tokenizer.json
bashkirtsevich's picture
Upload 4 files
581d38d verified
Raw History Blame Contribute Delete
5.8 kB
{
"char_to_int": {
"\n": 0,
" ": 1,
"!": 2,
"\"": 3,
"'": 4,
"(": 5,
")": 6,
"*": 7,
",": 8,
"-": 9,
".": 10,
"/": 11,
"0": 12,
"1": 13,
"2": 14,
"3": 15,
"4": 16,
"5": 17,
"6": 18,
"7": 19,
"8": 20,
"9": 21,
":": 22,
";": 23,
"?": 24,
"A": 25,
"C": 26,
"D": 27,
"E": 28,
"F": 29,
"G": 30,
"H": 31,
"I": 32,
"K": 33,
"L": 34,
"M": 35,
"N": 36,
"O": 37,
"P": 38,
"Q": 39,
"R": 40,
"S": 41,
"T": 42,
"U": 43,
"V": 44,
"X": 45,
"_": 46,
"a": 47,
"b": 48,
"c": 49,
"d": 50,
"e": 51,
"f": 52,
"g": 53,
"h": 54,
"i": 55,
"k": 56,
"l": 57,
"m": 58,
"n": 59,
"o": 60,
"p": 61,
"q": 62,
"r": 63,
"s": 64,
"t": 65,
"u": 66,
"v": 67,
"x": 68,
"y": 69,
"«": 70,
"°": 71,
"´": 72,
"»": 73,
"×": 74,
"˚": 75,
"́": 76,
"А": 77,
"Б": 78,
"В": 79,
"Г": 80,
"Д": 81,
"Е": 82,
"Ж": 83,
"З": 84,
"И": 85,
"Й": 86,
"К": 87,
"Л": 88,
"М": 89,
"Н": 90,
"О": 91,
"П": 92,
"Р": 93,
"С": 94,
"Т": 95,
"У": 96,
"Ф": 97,
"Х": 98,
"Ц": 99,
"Ч": 100,
"Ш": 101,
"Щ": 102,
"Ъ": 103,
"Ы": 104,
"Ь": 105,
"Э": 106,
"Ю": 107,
"Я": 108,
"а": 109,
"б": 110,
"в": 111,
"г": 112,
"д": 113,
"е": 114,
"ж": 115,
"з": 116,
"и": 117,
"й": 118,
"к": 119,
"л": 120,
"м": 121,
"н": 122,
"о": 123,
"п": 124,
"р": 125,
"с": 126,
"т": 127,
"у": 128,
"ф": 129,
"х": 130,
"ц": 131,
"ч": 132,
"ш": 133,
"щ": 134,
"ъ": 135,
"ы": 136,
"ь": 137,
"э": 138,
"ю": 139,
"я": 140,
"ё": 141,
"‑": 142,
"–": 143,
"—": 144,
"‘": 145,
"’": 146,
"“": 147,
"„": 148,
"…": 149,
"′": 150,
"№": 151
},
"int_to_char": {
"0": "\n",
"1": " ",
"2": "!",
"3": "\"",
"4": "'",
"5": "(",
"6": ")",
"7": "*",
"8": ",",
"9": "-",
"10": ".",
"11": "/",
"12": "0",
"13": "1",
"14": "2",
"15": "3",
"16": "4",
"17": "5",
"18": "6",
"19": "7",
"20": "8",
"21": "9",
"22": ":",
"23": ";",
"24": "?",
"25": "A",
"26": "C",
"27": "D",
"28": "E",
"29": "F",
"30": "G",
"31": "H",
"32": "I",
"33": "K",
"34": "L",
"35": "M",
"36": "N",
"37": "O",
"38": "P",
"39": "Q",
"40": "R",
"41": "S",
"42": "T",
"43": "U",
"44": "V",
"45": "X",
"46": "_",
"47": "a",
"48": "b",
"49": "c",
"50": "d",
"51": "e",
"52": "f",
"53": "g",
"54": "h",
"55": "i",
"56": "k",
"57": "l",
"58": "m",
"59": "n",
"60": "o",
"61": "p",
"62": "q",
"63": "r",
"64": "s",
"65": "t",
"66": "u",
"67": "v",
"68": "x",
"69": "y",
"70": "«",
"71": "°",
"72": "´",
"73": "»",
"74": "×",
"75": "˚",
"76": "́",
"77": "А",
"78": "Б",
"79": "В",
"80": "Г",
"81": "Д",
"82": "Е",
"83": "Ж",
"84": "З",
"85": "И",
"86": "Й",
"87": "К",
"88": "Л",
"89": "М",
"90": "Н",
"91": "О",
"92": "П",
"93": "Р",
"94": "С",
"95": "Т",
"96": "У",
"97": "Ф",
"98": "Х",
"99": "Ц",
"100": "Ч",
"101": "Ш",
"102": "Щ",
"103": "Ъ",
"104": "Ы",
"105": "Ь",
"106": "Э",
"107": "Ю",
"108": "Я",
"109": "а",
"110": "б",
"111": "в",
"112": "г",
"113": "д",
"114": "е",
"115": "ж",
"116": "з",
"117": "и",
"118": "й",
"119": "к",
"120": "л",
"121": "м",
"122": "н",
"123": "о",
"124": "п",
"125": "р",
"126": "с",
"127": "т",
"128": "у",
"129": "ф",
"130": "х",
"131": "ц",
"132": "ч",
"133": "ш",
"134": "щ",
"135": "ъ",
"136": "ы",
"137": "ь",
"138": "э",
"139": "ю",
"140": "я",
"141": "ё",
"142": "‑",
"143": "–",
"144": "—",
"145": "‘",
"146": "’",
"147": "“",
"148": "„",
"149": "…",
"150": "′",
"151": "№"
}
}