Download tokenizer.json from DeepImagix/AlysiumTinyLLM: direct link, hf CLI and curl.
- Browser
- Download file 2.75 kB
-
https://huggingface.co/DeepImagix/AlysiumTinyLLM/resolve/main/tokenizer.json
- Command line
-
hf download hf://DeepImagix/AlysiumTinyLLM/tokenizer.json
-
curl -L -o tokenizer.json https://huggingface.co/DeepImagix/AlysiumTinyLLM/resolve/main/tokenizer.json
2.75 kB
| { | |
| "char_to_id": { | |
| "\t": 0, | |
| "\n": 1, | |
| " ": 2, | |
| "!": 3, | |
| "\"": 4, | |
| "#": 5, | |
| "$": 6, | |
| "&": 7, | |
| "'": 8, | |
| "(": 9, | |
| ")": 10, | |
| "*": 11, | |
| "+": 12, | |
| ",": 13, | |
| "-": 14, | |
| ".": 15, | |
| "/": 16, | |
| "0": 17, | |
| "1": 18, | |
| "2": 19, | |
| "3": 20, | |
| "4": 21, | |
| "5": 22, | |
| "6": 23, | |
| "7": 24, | |
| "8": 25, | |
| "9": 26, | |
| ":": 27, | |
| ";": 28, | |
| ">": 29, | |
| "?": 30, | |
| "@": 31, | |
| "[": 32, | |
| "]": 33, | |
| "_": 34, | |
| "`": 35, | |
| "a": 36, | |
| "b": 37, | |
| "c": 38, | |
| "d": 39, | |
| "e": 40, | |
| "f": 41, | |
| "g": 42, | |
| "h": 43, | |
| "i": 44, | |
| "j": 45, | |
| "k": 46, | |
| "l": 47, | |
| "m": 48, | |
| "n": 49, | |
| "o": 50, | |
| "p": 51, | |
| "q": 52, | |
| "r": 53, | |
| "s": 54, | |
| "t": 55, | |
| "u": 56, | |
| "v": 57, | |
| "w": 58, | |
| "x": 59, | |
| "y": 60, | |
| "z": 61, | |
| "{": 62, | |
| "}": 63, | |
| "Β‘": 64, | |
| "Γ ": 65, | |
| "Γ©": 66, | |
| "β": 67, | |
| "β": 68, | |
| "β": 69, | |
| "βΊ": 70, | |
| "β¨": 71, | |
| "οΈ": 72, | |
| "π": 73, | |
| "π": 74, | |
| "π‘": 75, | |
| "πͺ": 76, | |
| "π": 77, | |
| "π": 78, | |
| "π": 79, | |
| "π": 80, | |
| "π": 81, | |
| "π": 82, | |
| "π‘": 83, | |
| "π€": 84, | |
| "π€": 85 | |
| }, | |
| "id_to_char": { | |
| "0": "\t", | |
| "1": "\n", | |
| "2": " ", | |
| "3": "!", | |
| "4": "\"", | |
| "5": "#", | |
| "6": "$", | |
| "7": "&", | |
| "8": "'", | |
| "9": "(", | |
| "10": ")", | |
| "11": "*", | |
| "12": "+", | |
| "13": ",", | |
| "14": "-", | |
| "15": ".", | |
| "16": "/", | |
| "17": "0", | |
| "18": "1", | |
| "19": "2", | |
| "20": "3", | |
| "21": "4", | |
| "22": "5", | |
| "23": "6", | |
| "24": "7", | |
| "25": "8", | |
| "26": "9", | |
| "27": ":", | |
| "28": ";", | |
| "29": ">", | |
| "30": "?", | |
| "31": "@", | |
| "32": "[", | |
| "33": "]", | |
| "34": "_", | |
| "35": "`", | |
| "36": "a", | |
| "37": "b", | |
| "38": "c", | |
| "39": "d", | |
| "40": "e", | |
| "41": "f", | |
| "42": "g", | |
| "43": "h", | |
| "44": "i", | |
| "45": "j", | |
| "46": "k", | |
| "47": "l", | |
| "48": "m", | |
| "49": "n", | |
| "50": "o", | |
| "51": "p", | |
| "52": "q", | |
| "53": "r", | |
| "54": "s", | |
| "55": "t", | |
| "56": "u", | |
| "57": "v", | |
| "58": "w", | |
| "59": "x", | |
| "60": "y", | |
| "61": "z", | |
| "62": "{", | |
| "63": "}", | |
| "64": "Β‘", | |
| "65": "Γ ", | |
| "66": "Γ©", | |
| "67": "β", | |
| "68": "β", | |
| "69": "β", | |
| "70": "βΊ", | |
| "71": "β¨", | |
| "72": "οΈ", | |
| "73": "π", | |
| "74": "π", | |
| "75": "π‘", | |
| "76": "πͺ", | |
| "77": "π", | |
| "78": "π", | |
| "79": "π", | |
| "80": "π", | |
| "81": "π", | |
| "82": "π", | |
| "83": "π‘", | |
| "84": "π€", | |
| "85": "π€" | |
| }, | |
| "vocab_size": 86 | |
| } |