| { | |
| "tokenizer_class": "Cortex0BPETokenizer", | |
| "model_type": "bpe", | |
| "vocab_size": 32000, | |
| "byte_fallback": true, | |
| "pre_tokenizer": "ByteLevel", | |
| "add_prefix_space": false, | |
| "special_tokens": [ | |
| "<|pad|>", | |
| "<|bos|>", | |
| "<|eos|>", | |
| "<|unk|>", | |
| "<|think|>", | |
| "<|plan|>", | |
| "<|tool_call|>", | |
| "<|tool_result|>", | |
| "<|critic|>", | |
| "<|moe_route|>", | |
| "<|image_start|>", | |
| "<|image_end|>", | |
| "<|image_pad|>", | |
| "<|audio_start|>", | |
| "<|audio_end|>", | |
| "<|audio_pad|>", | |
| "<|video_start|>", | |
| "<|video_end|>", | |
| "<|video_pad|>" | |
| ], | |
| "pad_token": "<|pad|>", | |
| "bos_token": "<|bos|>", | |
| "eos_token": "<|eos|>", | |
| "unk_token": "<|unk|>" | |
| } |