{ "module": "keras_hub.src.models.mistral3.mistral3_causal_lm", "class_name": "Mistral3CausalLM", "config": { "backbone": { "module": "keras_hub.src.models.mistral3.mistral3_backbone", "class_name": "Mistral3Backbone", "config": { "name": "mistral3_backbone_1", "trainable": true, "dtype": { "module": "keras", "class_name": "DTypePolicy", "config": { "name": "bfloat16" }, "registered_name": null }, "vocabulary_size": 131072, "num_layers": 40, "num_query_heads": 32, "hidden_dim": 5120, "intermediate_dim": 32768, "rope_max_wavelength": 100000000.0, "rope_scaling_factor": 48.0, "rope_type": "yarn", "beta_fast": 32.0, "beta_slow": 1.0, "original_max_position_embeddings": 8192, "num_key_value_heads": 8, "sliding_window": null, "head_dim": 128, "layer_norm_epsilon": 1e-05, "dropout": 0, "image_token_index": 10, "tie_word_embeddings": false, "llama_4_scaling_beta": 0.1, "attention_factor": 1.0, "vision_encoder": { "module": "keras_hub.src.models.mistral3.mistral3_vision_encoder", "class_name": "Mistral3VisionEncoder", "config": { "name": "mistral3_vision_encoder_1", "trainable": true, "dtype": { "module": "keras", "class_name": "DTypePolicy", "config": { "name": "float32" }, "registered_name": null }, "image_size": 1540, "patch_size": 14, "num_channels": 3, "hidden_dim": 1024, "num_layers": 24, "num_heads": 16, "head_dim": 64, "intermediate_dim": 4096, "rope_theta": 10000.0, "layer_norm_epsilon": 1e-05, "activation": "silu", "attention_dropout": 0.0 }, "registered_name": "keras_hub>Mistral3VisionEncoder" }, "multimodal_projector": { "module": "keras_hub.src.models.mistral3.mistral3_vision_encoder", "class_name": "Mistral3MultiModalProjector", "config": { "name": "mistral3_multi_modal_projector_1", "trainable": true, "dtype": { "module": "keras", "class_name": "DTypePolicy", "config": { "name": "float32" }, "registered_name": null }, "vision_hidden_dim": 1024, "text_hidden_dim": 5120, "spatial_merge_size": 2, "patch_size": 14, "image_size": 1540, "layer_norm_epsilon": 1e-05, "projector_hidden_act": "gelu", "multimodal_projector_bias": false }, "registered_name": "Mistral3MultiModalProjector" } }, "registered_name": "keras_hub>Mistral3Backbone" }, "preprocessor": { "module": "keras_hub.src.models.mistral3.mistral3_causal_lm_preprocessor", "class_name": "Mistral3CausalLMPreprocessor", "config": { "name": "mistral3_causal_lm_preprocessor_1", "trainable": true, "dtype": { "module": "keras", "class_name": "DTypePolicy", "config": { "name": "float32" }, "registered_name": null }, "tokenizer": { "module": "keras_hub.src.models.mistral3.mistral3_tokenizer", "class_name": "Mistral3Tokenizer", "config": { "name": "mistral3_tokenizer_1", "trainable": true, "dtype": { "module": "keras", "class_name": "DTypePolicy", "config": { "name": "int32" }, "registered_name": null }, "config_file": "tokenizer.json", "sequence_length": null, "add_prefix_space": false, "split_pattern": "[^\\r\\n\\p{L}\\p{N}]?[\\p{Lu}\\p{Lt}\\p{Lm}\\p{Lo}\\p{M}]*[\\p{Ll}\\p{Lm}\\p{Lo}\\p{M}]+|[^\\r\\n\\p{L}\\p{N}]?[\\p{Lu}\\p{Lt}\\p{Lm}\\p{Lo}\\p{M}]+[\\p{Ll}\\p{Lm}\\p{Lo}\\p{M}]*|\\p{N}| ?[^\\s\\p{L}\\p{N}]+[\\r\\n/]*|\\s*[\\r\\n]+|\\s+(?!\\S)|\\s+", "control_tokens": [ "", "", "", "[INST]", "[/INST]", "[AVAILABLE_TOOLS]", "[/AVAILABLE_TOOLS]", "[TOOL_RESULTS]", "[/TOOL_RESULTS]", "[TOOL_CALLS]", "[IMG]", "", "[IMG_BREAK]", "[IMG_END]", "[PREFIX]", "[MIDDLE]", "[SUFFIX]", "[SYSTEM_PROMPT]", "[/SYSTEM_PROMPT]", "[TOOL_CONTENT]", "", "", "", "", "[AUDIO]", "[BEGIN_AUDIO]", "", "", "", "", "", "", "[ARGS]", "[CALL_ID]", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "" ] }, "registered_name": "keras_hub>Mistral3Tokenizer" }, "image_converter": { "module": "keras_hub.src.models.mistral3.mistral3_image_converter", "class_name": "Mistral3ImageConverter", "config": { "name": "mistral3_image_converter_1", "trainable": true, "dtype": { "module": "keras", "class_name": "DTypePolicy", "config": { "name": "float32" }, "registered_name": null }, "image_size": null, "scale": [ 0.014598426619242919, 0.015007768493717055, 0.014220065717024086 ], "offset": [ -1.79226253374815, -1.7520971281645974, -1.4802197687835659 ], "interpolation": "bicubic", "antialias": true, "crop_to_aspect_ratio": false, "pad_to_aspect_ratio": false, "bounding_box_format": "yxyx", "longest_edge": 1540, "patch_size": 14, "spatial_merge_size": 2, "image_mean": [ 0.48145466, 0.4578275, 0.40821073 ], "image_std": [ 0.26862954, 0.26130258, 0.27577711 ], "rescale_factor": 0.00392156862745098 }, "registered_name": "keras_hub>Mistral3ImageConverter" }, "config_file": "preprocessor.json", "sequence_length": 1024, "add_start_token": true, "add_end_token": true, "spatial_merge_size": 2 }, "registered_name": "keras_hub>Mistral3CausalLMPreprocessor" }, "name": "mistral3_causal_lm_1" }, "registered_name": "keras_hub>Mistral3CausalLM" }