{ "backend": "tokenizers", "bos_token": "<|bos|>", "clean_up_tokenization_spaces": false, "cls_token": "<|cls|>", "eos_token": "<|eos|>", "extra_special_tokens": [ "<|think|>", "<|reason|>", "<|summary|>", "<|translate|>", "<|code|>", "<|math|>", "<|user|>", "<|assistant|>", "<|system|>" ], "is_local": true, "local_files_only": false, "mask_token": "<|mask|>", "model_max_length": 131072, "pad_token": "<|pad|>", "sep_token": "<|sep|>", "special_tokens": { "assistant": "<|assistant|>", "bos": "<|bos|>", "cls": "<|cls|>", "eos": "<|eos|>", "mask": "<|mask|>", "pad": "<|pad|>", "sep": "<|sep|>", "system": "<|system|>", "unk": "<|unk|>", "user": "<|user|>", "代码": "<|代码|>", "思考": "<|思考|>", "总结": "<|总结|>", "推理": "<|推理|>", "数学": "<|数学|>", "翻译": "<|翻译|>" }, "tokenizer_class": "TokenizersBackend", "unk_token": "<|unk|>", "vocab_size": 152064 }