| { |
| "module": "keras_hub.src.models.modern_bert.modern_bert_text_embedder", |
| "class_name": "ModernBertTextEmbedder", |
| "config": { |
| "backbone": { |
| "module": "keras_hub.src.models.modern_bert.modern_bert_backbone", |
| "class_name": "ModernBertBackbone", |
| "config": { |
| "name": "modern_bert_backbone", |
| "trainable": true, |
| "dtype": { |
| "module": "keras", |
| "class_name": "DTypePolicy", |
| "config": { |
| "name": "float32" |
| }, |
| "registered_name": null |
| }, |
| "vocabulary_size": 50368, |
| "hidden_dim": 768, |
| "intermediate_dim": 1152, |
| "num_layers": 22, |
| "num_heads": 12, |
| "local_attention_window": 128, |
| "global_attn_every_n_layers": 3, |
| "rotary_max_wavelength": 160000.0, |
| "local_rotary_max_wavelength": 10000.0, |
| "layer_norm_epsilon": 1e-05 |
| }, |
| "registered_name": "keras_hub>ModernBertBackbone" |
| }, |
| "preprocessor": { |
| "module": "keras_hub.src.models.modern_bert.modern_bert_text_embedder_preprocessor", |
| "class_name": "ModernBertTextEmbedderPreprocessor", |
| "config": { |
| "name": "modern_bert_text_embedder_preprocessor", |
| "trainable": true, |
| "dtype": { |
| "module": "keras", |
| "class_name": "DTypePolicy", |
| "config": { |
| "name": "float32" |
| }, |
| "registered_name": null |
| }, |
| "tokenizer": { |
| "module": "keras_hub.src.models.modern_bert.modern_bert_tokenizer", |
| "class_name": "ModernBertTokenizer", |
| "config": { |
| "name": "modern_bert_tokenizer", |
| "trainable": true, |
| "dtype": { |
| "module": "keras", |
| "class_name": "DTypePolicy", |
| "config": { |
| "name": "int32" |
| }, |
| "registered_name": null |
| }, |
| "config_file": "tokenizer.json", |
| "sequence_length": null, |
| "add_prefix_space": false, |
| "unsplittable_tokens": [ |
| "|||IP_ADDRESS|||", |
| "<|padding|>", |
| " ", |
| " ", |
| " ", |
| " ", |
| " ", |
| " ", |
| " ", |
| " ", |
| " ", |
| " ", |
| " ", |
| " ", |
| " ", |
| " ", |
| " ", |
| " ", |
| " ", |
| " ", |
| " ", |
| " ", |
| " ", |
| " ", |
| " ", |
| "|||EMAIL_ADDRESS|||", |
| "|||PHONE_NUMBER|||", |
| "<|endoftext|>", |
| "[UNK]", |
| "[CLS]", |
| "[SEP]", |
| "[PAD]", |
| "[MASK]", |
| "[unused0]", |
| "[unused1]", |
| "[unused2]", |
| "[unused3]", |
| "[unused4]", |
| "[unused5]", |
| "[unused6]", |
| "[unused7]", |
| "[unused8]", |
| "[unused9]", |
| "[unused10]", |
| "[unused11]", |
| "[unused12]", |
| "[unused13]", |
| "[unused14]", |
| "[unused15]", |
| "[unused16]", |
| "[unused17]", |
| "[unused18]", |
| "[unused19]", |
| "[unused20]", |
| "[unused21]", |
| "[unused22]", |
| "[unused23]", |
| "[unused24]", |
| "[unused25]", |
| "[unused26]", |
| "[unused27]", |
| "[unused28]", |
| "[unused29]", |
| "[unused30]", |
| "[unused31]", |
| "[unused32]", |
| "[unused33]", |
| "[unused34]", |
| "[unused35]", |
| "[unused36]", |
| "[unused37]", |
| "[unused38]", |
| "[unused39]", |
| "[unused40]", |
| "[unused41]", |
| "[unused42]", |
| "[unused43]", |
| "[unused44]", |
| "[unused45]", |
| "[unused46]", |
| "[unused47]", |
| "[unused48]", |
| "[unused49]", |
| "[unused50]", |
| "[unused51]", |
| "[unused52]", |
| "[unused53]", |
| "[unused54]", |
| "[unused55]", |
| "[unused56]", |
| "[unused57]", |
| "[unused58]", |
| "[unused59]", |
| "[unused60]", |
| "[unused61]", |
| "[unused62]", |
| "[unused63]", |
| "[unused64]", |
| "[unused65]", |
| "[unused66]", |
| "[unused67]", |
| "[unused68]", |
| "[unused69]", |
| "[unused70]", |
| "[unused71]", |
| "[unused72]", |
| "[unused73]", |
| "[unused74]", |
| "[unused75]", |
| "[unused76]", |
| "[unused77]", |
| "[unused78]", |
| "[unused79]", |
| "[unused80]", |
| "[unused81]", |
| "[unused82]" |
| ] |
| }, |
| "registered_name": "keras_hub>ModernBertTokenizer" |
| }, |
| "config_file": "preprocessor.json", |
| "sequence_length": 8192, |
| "truncate": "round_robin" |
| }, |
| "registered_name": "keras_hub>ModernBertTextEmbedderPreprocessor" |
| }, |
| "name": "modern_bert_text_embedder", |
| "pooling_mode": "mean", |
| "normalize": true |
| }, |
| "registered_name": "keras_hub>ModernBertTextEmbedder" |
| } |
