| { | |
| "module": "keras_hub.src.models.modern_bert.modern_bert_tokenizer", | |
| "class_name": "ModernBertTokenizer", | |
| "config": { | |
| "name": "modern_bert_tokenizer", | |
| "trainable": true, | |
| "dtype": { | |
| "module": "keras", | |
| "class_name": "DTypePolicy", | |
| "config": { | |
| "name": "int32" | |
| }, | |
| "registered_name": null | |
| }, | |
| "config_file": "tokenizer.json", | |
| "sequence_length": null, | |
| "add_prefix_space": false, | |
| "unsplittable_tokens": [ | |
| "|||IP_ADDRESS|||", | |
| "<|padding|>", | |
| " ", | |
| " ", | |
| " ", | |
| " ", | |
| " ", | |
| " ", | |
| " ", | |
| " ", | |
| " ", | |
| " ", | |
| " ", | |
| " ", | |
| " ", | |
| " ", | |
| " ", | |
| " ", | |
| " ", | |
| " ", | |
| " ", | |
| " ", | |
| " ", | |
| " ", | |
| " ", | |
| "|||EMAIL_ADDRESS|||", | |
| "|||PHONE_NUMBER|||", | |
| "<|endoftext|>", | |
| "[UNK]", | |
| "[CLS]", | |
| "[SEP]", | |
| "[PAD]", | |
| "[MASK]", | |
| "[unused0]", | |
| "[unused1]", | |
| "[unused2]", | |
| "[unused3]", | |
| "[unused4]", | |
| "[unused5]", | |
| "[unused6]", | |
| "[unused7]", | |
| "[unused8]", | |
| "[unused9]", | |
| "[unused10]", | |
| "[unused11]", | |
| "[unused12]", | |
| "[unused13]", | |
| "[unused14]", | |
| "[unused15]", | |
| "[unused16]", | |
| "[unused17]", | |
| "[unused18]", | |
| "[unused19]", | |
| "[unused20]", | |
| "[unused21]", | |
| "[unused22]", | |
| "[unused23]", | |
| "[unused24]", | |
| "[unused25]", | |
| "[unused26]", | |
| "[unused27]", | |
| "[unused28]", | |
| "[unused29]", | |
| "[unused30]", | |
| "[unused31]", | |
| "[unused32]", | |
| "[unused33]", | |
| "[unused34]", | |
| "[unused35]", | |
| "[unused36]", | |
| "[unused37]", | |
| "[unused38]", | |
| "[unused39]", | |
| "[unused40]", | |
| "[unused41]", | |
| "[unused42]", | |
| "[unused43]", | |
| "[unused44]", | |
| "[unused45]", | |
| "[unused46]", | |
| "[unused47]", | |
| "[unused48]", | |
| "[unused49]", | |
| "[unused50]", | |
| "[unused51]", | |
| "[unused52]", | |
| "[unused53]", | |
| "[unused54]", | |
| "[unused55]", | |
| "[unused56]", | |
| "[unused57]", | |
| "[unused58]", | |
| "[unused59]", | |
| "[unused60]", | |
| "[unused61]", | |
| "[unused62]", | |
| "[unused63]", | |
| "[unused64]", | |
| "[unused65]", | |
| "[unused66]", | |
| "[unused67]", | |
| "[unused68]", | |
| "[unused69]", | |
| "[unused70]", | |
| "[unused71]", | |
| "[unused72]", | |
| "[unused73]", | |
| "[unused74]", | |
| "[unused75]", | |
| "[unused76]", | |
| "[unused77]", | |
| "[unused78]", | |
| "[unused79]", | |
| "[unused80]", | |
| "[unused81]", | |
| "[unused82]" | |
| ] | |
| }, | |
| "registered_name": "keras_hub>ModernBertTokenizer" | |
| } |