tokenizer_config.json

{
  "backend": "tokenizers",
  "bos_token": "<|bos|>",
  "clean_up_tokenization_spaces": false,
  "cls_token": "<|cls|>",
  "eos_token": "<|eos|>",
  "extra_special_tokens": [
    "<|think|>",
    "<|reason|>",
    "<|summary|>",
    "<|translate|>",
    "<|code|>",
    "<|math|>",
    "<|user|>",
    "<|assistant|>",
    "<|system|>"
  ],
  "is_local": true,
  "local_files_only": false,
  "mask_token": "<|mask|>",
  "model_max_length": 131072,
  "pad_token": "<|pad|>",
  "sep_token": "<|sep|>",
  "special_tokens": {
    "assistant": "<|assistant|>",
    "bos": "<|bos|>",
    "cls": "<|cls|>",
    "eos": "<|eos|>",
    "mask": "<|mask|>",
    "pad": "<|pad|>",
    "sep": "<|sep|>",
    "system": "<|system|>",
    "unk": "<|unk|>",
    "user": "<|user|>",
    "代码": "<|代码|>",
    "思考": "<|思考|>",
    "总结": "<|总结|>",
    "推理": "<|推理|>",
    "数学": "<|数学|>",
    "翻译": "<|翻译|>"
  },
  "tokenizer_class": "TokenizersBackend",
  "unk_token": "<|unk|>",
  "vocab_size": 152064
}