Download tokenizer.json from bashkirtsevich/HPL-rus: direct link, hf CLI and curl.
- Browser
- Download file 5.8 kB
-
https://huggingface.co/bashkirtsevich/HPL-rus/resolve/main/tokenizer.json
- Command line
-
hf download hf://bashkirtsevich/HPL-rus/tokenizer.json
-
curl -L -o tokenizer.json https://huggingface.co/bashkirtsevich/HPL-rus/resolve/main/tokenizer.json
5.8 kB
| { | |
| "char_to_int": { | |
| "\n": 0, | |
| " ": 1, | |
| "!": 2, | |
| "\"": 3, | |
| "'": 4, | |
| "(": 5, | |
| ")": 6, | |
| "*": 7, | |
| ",": 8, | |
| "-": 9, | |
| ".": 10, | |
| "/": 11, | |
| "0": 12, | |
| "1": 13, | |
| "2": 14, | |
| "3": 15, | |
| "4": 16, | |
| "5": 17, | |
| "6": 18, | |
| "7": 19, | |
| "8": 20, | |
| "9": 21, | |
| ":": 22, | |
| ";": 23, | |
| "?": 24, | |
| "A": 25, | |
| "C": 26, | |
| "D": 27, | |
| "E": 28, | |
| "F": 29, | |
| "G": 30, | |
| "H": 31, | |
| "I": 32, | |
| "K": 33, | |
| "L": 34, | |
| "M": 35, | |
| "N": 36, | |
| "O": 37, | |
| "P": 38, | |
| "Q": 39, | |
| "R": 40, | |
| "S": 41, | |
| "T": 42, | |
| "U": 43, | |
| "V": 44, | |
| "X": 45, | |
| "_": 46, | |
| "a": 47, | |
| "b": 48, | |
| "c": 49, | |
| "d": 50, | |
| "e": 51, | |
| "f": 52, | |
| "g": 53, | |
| "h": 54, | |
| "i": 55, | |
| "k": 56, | |
| "l": 57, | |
| "m": 58, | |
| "n": 59, | |
| "o": 60, | |
| "p": 61, | |
| "q": 62, | |
| "r": 63, | |
| "s": 64, | |
| "t": 65, | |
| "u": 66, | |
| "v": 67, | |
| "x": 68, | |
| "y": 69, | |
| "«": 70, | |
| "°": 71, | |
| "´": 72, | |
| "»": 73, | |
| "×": 74, | |
| "˚": 75, | |
| "́": 76, | |
| "А": 77, | |
| "Б": 78, | |
| "В": 79, | |
| "Г": 80, | |
| "Д": 81, | |
| "Е": 82, | |
| "Ж": 83, | |
| "З": 84, | |
| "И": 85, | |
| "Й": 86, | |
| "К": 87, | |
| "Л": 88, | |
| "М": 89, | |
| "Н": 90, | |
| "О": 91, | |
| "П": 92, | |
| "Р": 93, | |
| "С": 94, | |
| "Т": 95, | |
| "У": 96, | |
| "Ф": 97, | |
| "Х": 98, | |
| "Ц": 99, | |
| "Ч": 100, | |
| "Ш": 101, | |
| "Щ": 102, | |
| "Ъ": 103, | |
| "Ы": 104, | |
| "Ь": 105, | |
| "Э": 106, | |
| "Ю": 107, | |
| "Я": 108, | |
| "а": 109, | |
| "б": 110, | |
| "в": 111, | |
| "г": 112, | |
| "д": 113, | |
| "е": 114, | |
| "ж": 115, | |
| "з": 116, | |
| "и": 117, | |
| "й": 118, | |
| "к": 119, | |
| "л": 120, | |
| "м": 121, | |
| "н": 122, | |
| "о": 123, | |
| "п": 124, | |
| "р": 125, | |
| "с": 126, | |
| "т": 127, | |
| "у": 128, | |
| "ф": 129, | |
| "х": 130, | |
| "ц": 131, | |
| "ч": 132, | |
| "ш": 133, | |
| "щ": 134, | |
| "ъ": 135, | |
| "ы": 136, | |
| "ь": 137, | |
| "э": 138, | |
| "ю": 139, | |
| "я": 140, | |
| "ё": 141, | |
| "‑": 142, | |
| "–": 143, | |
| "—": 144, | |
| "‘": 145, | |
| "’": 146, | |
| "“": 147, | |
| "„": 148, | |
| "…": 149, | |
| "′": 150, | |
| "№": 151 | |
| }, | |
| "int_to_char": { | |
| "0": "\n", | |
| "1": " ", | |
| "2": "!", | |
| "3": "\"", | |
| "4": "'", | |
| "5": "(", | |
| "6": ")", | |
| "7": "*", | |
| "8": ",", | |
| "9": "-", | |
| "10": ".", | |
| "11": "/", | |
| "12": "0", | |
| "13": "1", | |
| "14": "2", | |
| "15": "3", | |
| "16": "4", | |
| "17": "5", | |
| "18": "6", | |
| "19": "7", | |
| "20": "8", | |
| "21": "9", | |
| "22": ":", | |
| "23": ";", | |
| "24": "?", | |
| "25": "A", | |
| "26": "C", | |
| "27": "D", | |
| "28": "E", | |
| "29": "F", | |
| "30": "G", | |
| "31": "H", | |
| "32": "I", | |
| "33": "K", | |
| "34": "L", | |
| "35": "M", | |
| "36": "N", | |
| "37": "O", | |
| "38": "P", | |
| "39": "Q", | |
| "40": "R", | |
| "41": "S", | |
| "42": "T", | |
| "43": "U", | |
| "44": "V", | |
| "45": "X", | |
| "46": "_", | |
| "47": "a", | |
| "48": "b", | |
| "49": "c", | |
| "50": "d", | |
| "51": "e", | |
| "52": "f", | |
| "53": "g", | |
| "54": "h", | |
| "55": "i", | |
| "56": "k", | |
| "57": "l", | |
| "58": "m", | |
| "59": "n", | |
| "60": "o", | |
| "61": "p", | |
| "62": "q", | |
| "63": "r", | |
| "64": "s", | |
| "65": "t", | |
| "66": "u", | |
| "67": "v", | |
| "68": "x", | |
| "69": "y", | |
| "70": "«", | |
| "71": "°", | |
| "72": "´", | |
| "73": "»", | |
| "74": "×", | |
| "75": "˚", | |
| "76": "́", | |
| "77": "А", | |
| "78": "Б", | |
| "79": "В", | |
| "80": "Г", | |
| "81": "Д", | |
| "82": "Е", | |
| "83": "Ж", | |
| "84": "З", | |
| "85": "И", | |
| "86": "Й", | |
| "87": "К", | |
| "88": "Л", | |
| "89": "М", | |
| "90": "Н", | |
| "91": "О", | |
| "92": "П", | |
| "93": "Р", | |
| "94": "С", | |
| "95": "Т", | |
| "96": "У", | |
| "97": "Ф", | |
| "98": "Х", | |
| "99": "Ц", | |
| "100": "Ч", | |
| "101": "Ш", | |
| "102": "Щ", | |
| "103": "Ъ", | |
| "104": "Ы", | |
| "105": "Ь", | |
| "106": "Э", | |
| "107": "Ю", | |
| "108": "Я", | |
| "109": "а", | |
| "110": "б", | |
| "111": "в", | |
| "112": "г", | |
| "113": "д", | |
| "114": "е", | |
| "115": "ж", | |
| "116": "з", | |
| "117": "и", | |
| "118": "й", | |
| "119": "к", | |
| "120": "л", | |
| "121": "м", | |
| "122": "н", | |
| "123": "о", | |
| "124": "п", | |
| "125": "р", | |
| "126": "с", | |
| "127": "т", | |
| "128": "у", | |
| "129": "ф", | |
| "130": "х", | |
| "131": "ц", | |
| "132": "ч", | |
| "133": "ш", | |
| "134": "щ", | |
| "135": "ъ", | |
| "136": "ы", | |
| "137": "ь", | |
| "138": "э", | |
| "139": "ю", | |
| "140": "я", | |
| "141": "ё", | |
| "142": "‑", | |
| "143": "–", | |
| "144": "—", | |
| "145": "‘", | |
| "146": "’", | |
| "147": "“", | |
| "148": "„", | |
| "149": "…", | |
| "150": "′", | |
| "151": "№" | |
| } | |
| } |