File size: 3,700 Bytes
f696145 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 | {
"module": "keras_hub.src.models.modern_bert.modern_bert_tokenizer",
"class_name": "ModernBertTokenizer",
"config": {
"name": "modern_bert_tokenizer",
"trainable": true,
"dtype": {
"module": "keras",
"class_name": "DTypePolicy",
"config": {
"name": "int32"
},
"registered_name": null
},
"config_file": "tokenizer.json",
"sequence_length": null,
"add_prefix_space": false,
"unsplittable_tokens": [
"|||IP_ADDRESS|||",
"<|padding|>",
" ",
" ",
" ",
" ",
" ",
" ",
" ",
" ",
" ",
" ",
" ",
" ",
" ",
" ",
" ",
" ",
" ",
" ",
" ",
" ",
" ",
" ",
" ",
"|||EMAIL_ADDRESS|||",
"|||PHONE_NUMBER|||",
"<|endoftext|>",
"[UNK]",
"[CLS]",
"[SEP]",
"[PAD]",
"[MASK]",
"[unused0]",
"[unused1]",
"[unused2]",
"[unused3]",
"[unused4]",
"[unused5]",
"[unused6]",
"[unused7]",
"[unused8]",
"[unused9]",
"[unused10]",
"[unused11]",
"[unused12]",
"[unused13]",
"[unused14]",
"[unused15]",
"[unused16]",
"[unused17]",
"[unused18]",
"[unused19]",
"[unused20]",
"[unused21]",
"[unused22]",
"[unused23]",
"[unused24]",
"[unused25]",
"[unused26]",
"[unused27]",
"[unused28]",
"[unused29]",
"[unused30]",
"[unused31]",
"[unused32]",
"[unused33]",
"[unused34]",
"[unused35]",
"[unused36]",
"[unused37]",
"[unused38]",
"[unused39]",
"[unused40]",
"[unused41]",
"[unused42]",
"[unused43]",
"[unused44]",
"[unused45]",
"[unused46]",
"[unused47]",
"[unused48]",
"[unused49]",
"[unused50]",
"[unused51]",
"[unused52]",
"[unused53]",
"[unused54]",
"[unused55]",
"[unused56]",
"[unused57]",
"[unused58]",
"[unused59]",
"[unused60]",
"[unused61]",
"[unused62]",
"[unused63]",
"[unused64]",
"[unused65]",
"[unused66]",
"[unused67]",
"[unused68]",
"[unused69]",
"[unused70]",
"[unused71]",
"[unused72]",
"[unused73]",
"[unused74]",
"[unused75]",
"[unused76]",
"[unused77]",
"[unused78]",
"[unused79]",
"[unused80]",
"[unused81]",
"[unused82]"
]
},
"registered_name": "keras_hub>ModernBertTokenizer"
} |