Inference-free SPLADE Italian BERT trained on QA tuples

This is a Asymmetric Inference-free SPLADE Sparse Encoder model finetuned from BSC-LT/MrBERT-es using the sentence-transformers library. It maps sentences & paragraphs to a 51200-dimensional sparse vector space and can be used for semantic search and sparse retrieval.

Model Details

Model Description

  • Model Type: Asymmetric Inference-free SPLADE Sparse Encoder
  • Base model: BSC-LT/MrBERT-es
  • Maximum Sequence Length: 8192 tokens
  • Output Dimensionality: 51200 dimensions
  • Similarity Function: Dot Product
  • Supported Modality: Text
  • Language: it
  • License: apache-2.0

Model Sources

Full Model Architecture

SparseEncoder(
  (0): Router(
    default_route='document'
    (sub_modules): ModuleDict(
      (query): Sequential(
        (0): SparseStaticEmbedding({'frozen': False}, dim=51200, tokenizer=TokenizersBackend)
      )
      (document): Sequential(
        (0): Transformer({'transformer_task': 'fill-mask', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'logits'}}, 'module_output_name': 'token_embeddings', 'architecture': 'ModernBertForMaskedLM'})
        (1): SpladePooling({'pooling_strategy': 'max', 'activation_function': 'relu', 'embedding_dimension': 51200})
      )
    )
  )
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SparseEncoder

# Download from the 🤗 Hub
model = SparseEncoder("sparse_encoder_model_id")
# Run inference
sentences = [
    'la empresa más grande de cada estado',
    'Por esta razón, la gran mayoría de las empresas más grandes de cada estado son públicas. La empresa más grande de todos los estados excepto 13 cotiza en bolsa. Aún así, hay docenas de corporaciones muy grandes que nunca optaron por hacer una oferta pública y, en muchos casos, estas compañías generan la mayor cantidad de ingresos de cualquier empresa en un estado.',
    'La toxina botulínica (BTX) es una proteína neurotóxica producida por la bacteria Clostridium botulinum y especies relacionadas. [1] Evita la liberación del neurotransmisor acetilcolina de las terminaciones axónicas en la unión neuromuscular y, por lo tanto, causa parálisis flácida. La infección con la bacteria causa el botulismo.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 51200]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[170.5666, 168.2957,   0.0904],
#         [168.2957, 395.8736,   0.4132],
#         [  0.0904,   0.4132, 368.3474]])

Evaluation

Metrics

Sparse Information Retrieval

Metric Value
dot_accuracy@10 0.9215
dot_precision@10 0.0975
dot_recall@10 0.9168
dot_ndcg@10 0.8199
dot_mrr@10 0.7921
dot_map@10 0.7861
query_active_dims 8.5613
query_sparsity_ratio 0.9998
corpus_active_dims 218.2212
corpus_sparsity_ratio 0.9957
avg_flops 1.0567

Training Details

Training Dataset

mMARCO v2 – Italian (train)

  • Source: mMARCO v2 (Google Translate), MS MARCO passage ranking machine-translated into Spanish (Bonifacio et al., 2021)
  • Loaded with: ir_datasets, dataset ID mmarco/v2/es/train (files from unicamp-dl/mmarco, data/google/)
  • Construction: one (query, positive passage) pair per qrel; 532,761 qrels → 532,751 pairs after preprocessing. No mined hard negatives (in-batch negatives only)
  • Size: 528,161 training samples
  • Columns: query and answer
  • Approximate statistics based on the first 100 samples:
    query answer
    type string string
    modality text text
    details
    • min: 4 tokens
    • mean: 10.75 tokens
    • max: 38 tokens
    • min: 31 tokens
    • mean: 85.31 tokens
    • max: 210 tokens
  • Samples:
    query answer
    ) ¿Cuál fue el impacto inmediato del éxito del proyecto manhattan? La presencia de comunicación entre mentes científicas fue tan importante para el éxito del Proyecto Manhattan como lo fue el intelecto científico. La única nube que se cierne sobre el impresionante logro de los investigadores e ingenieros atómicos es lo que realmente significó su éxito; cientos de miles de vidas inocentes destruidas.
    La justicia _________ está diseñada para reparar el daño a la víctima, la comunidad y el delincuente causado por el acto delictivo del delincuente. pregunta 19 opciones: El enfoque se basa en una teoría de la justicia que considera que el delito y la infracción son un delito contra un individuo o una comunidad, más que contra el Estado. La justicia restaurativa que fomenta el diálogo entre víctima y delincuente ha mostrado las tasas más altas de satisfacción de la víctima y responsabilidad del delincuente.
    de que color es la orina ambarina La orina de color puede ser de una variedad de colores, la mayoría de las veces tonos de amarillo, desde muy pálido o incoloro hasta muy oscuro o ámbar. Los colores inusuales o anormales de la orina pueden ser el resultado de un proceso de enfermedad, varios medicamentos (por ejemplo, los multivitamínicos pueden hacer que la orina se vuelva de color amarillo brillante) o el resultado de comer ciertos alimentos.
  • Loss: SpladeLoss with these parameters:
    {
        "loss": "SparseMultipleNegativesRankingLoss(scale=1.0, similarity_fct='dot_score', gather_across_devices=False, directions=('query_to_doc',), partition_mode='joint', hardness_mode=None, hardness_strength=0.0)",
        "document_regularizer_weight": 0.003,
        "query_regularizer_weight": 0
    }
    

Evaluation Dataset

mmarco

  • Dataset: mmarco
  • Size: 7,437 evaluation samples
  • Columns: query and answer
  • Approximate statistics based on the first 100 samples:
    query answer
    type string string
    modality text text
    details
    • min: 4 tokens
    • mean: 10.44 tokens
    • max: 38 tokens
    • min: 21 tokens
    • mean: 87.78 tokens
    • max: 232 tokens
  • Samples:
    query answer
    ¿Cuántos años sirvió William Bradford como gobernador de la colonia de Plymouth? http://en.wikipedia.org/wiki/William_Bradford_(Plymouth_Colony_governor) William Bradford (c.1590 ࢠ€Â⠀ œ 1657) fue un líder separatista inglés en Leiden, Holanda y en Plymouth Colony fue signatario del Mayflower Compact. Se desempeñó como gobernador de la colonia de Plymouth cinco veces durante unos treinta años entre 1621 y 1657.
    definir preventivo Adjetivo [editar] preventivo ࢠ€Ž (comparativo más preventivo, superlativo más preventivo) 1 Prevenir, obstaculizar o actuar como un obstáculo para. Realizado para disuadir la agresión militar.
    photoshop de superposición de color Photoshop: superposición de color. En mi tutorial de retoque a la luz del sol, le mostré cómo agregar un toque de color a su foto y al mismo tiempo darle un impulso adicional. Sin embargo, a veces una foto puede beneficiarse de un poco de color, pero simplemente no necesita ese impulso adicional. O incluso un pequeño retoque. Esta simple superposición de color es una excelente manera de agregar un toque de color sin hacer que su foto parezca que la ha editado. O para darle un poco de vida a las fotos en blanco y negro. Nota: esto funciona exactamente de la misma manera en Elements que en Photoshop.
  • Loss: SpladeLoss with these parameters:
    {
        "loss": "SparseMultipleNegativesRankingLoss(scale=1.0, similarity_fct='dot_score', gather_across_devices=False, directions=('query_to_doc',), partition_mode='joint', hardness_mode=None, hardness_strength=0.0)",
        "document_regularizer_weight": 0.003,
        "query_regularizer_weight": 0
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 64
  • num_train_epochs: 1
  • learning_rate: 2e-05
  • warmup_steps: 0.1
  • fp16: True
  • per_device_eval_batch_size: 64
  • batch_sampler: no_duplicates
  • router_mapping: {'query': 'query', 'answer': 'document'}
  • learning_rate_mapping: {'0\.sub_modules\.query\.0\.weight': 0.001}

All Hyperparameters

Click to expand
  • per_device_train_batch_size: 64
  • num_train_epochs: 1
  • max_steps: -1
  • learning_rate: 2e-05
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: None
  • warmup_steps: 0.1
  • optim: adamw_torch_fused
  • optim_args: None
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • optim_target_modules: None
  • gradient_accumulation_steps: 1
  • average_tokens_across_devices: True
  • max_grad_norm: 1.0
  • label_smoothing_factor: 0.0
  • bf16: False
  • fp16: True
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • use_liger_kernel: False
  • liger_kernel_config: None
  • use_cache: False
  • neftune_noise_alpha: None
  • torch_empty_cache_steps: None
  • auto_find_batch_size: False
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • include_num_input_tokens_seen: no
  • log_level: passive
  • log_level_replica: warning
  • disable_tqdm: False
  • project: huggingface
  • trackio_space_id: None
  • trackio_bucket_id: None
  • trackio_static_space_id: None
  • per_device_eval_batch_size: 64
  • prediction_loss_only: True
  • eval_on_start: False
  • eval_do_concat_batches: True
  • eval_use_gather_object: False
  • eval_accumulation_steps: None
  • include_for_metrics: []
  • batch_eval_metrics: False
  • save_only_model: False
  • save_on_each_node: False
  • enable_jit_checkpoint: False
  • push_to_hub: False
  • hub_private_repo: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_always_push: False
  • hub_revision: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • restore_callback_states_from_checkpoint: False
  • full_determinism: False
  • seed: 42
  • data_seed: None
  • use_cpu: False
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • parallelism_config: None
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • dataloader_prefetch_factor: None
  • dataloader_multiprocessing_context: None
  • dataloader_in_order: True
  • remove_unused_columns: True
  • label_names: None
  • train_sampling_strategy: random
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • ddp_static_graph: None
  • ddp_backend: None
  • ddp_timeout: 1800
  • fsdp: None
  • fsdp_config: None
  • deepspeed: None
  • debug: []
  • skip_memory_metrics: True
  • do_predict: False
  • resume_from_checkpoint: None
  • local_rank: -1
  • prompts: None
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional
  • router_mapping: {'query': 'query', 'answer': 'document'}
  • learning_rate_mapping: {'0\.sub_modules\.query\.0\.weight': 0.001}
  • warmup_ratio: None

Training Logs

Epoch Step Training Loss mmarco loss mmarco_dot_ndcg@10
0.0242 200 2.0431 - -
0.0485 400 1.2194 - -
0.0727 600 1.3356 - -
0.0969 800 0.6835 - -
0.1212 1000 0.3105 - -
0.1454 1200 0.2377 - -
0.1696 1400 0.1994 - -
0.1939 1600 0.1821 - -
0.2181 1800 0.1748 - -
0.2423 2000 0.1688 0.1797 0.7951
0.2666 2200 0.1686 - -
0.2908 2400 0.1785 - -
0.3150 2600 0.1759 - -
0.3393 2800 0.1671 - -
0.3635 3000 0.1727 - -
0.3877 3200 0.1696 - -
0.4120 3400 0.1659 - -
0.4362 3600 0.1547 - -
0.4604 3800 0.1551 - -
0.4847 4000 0.1470 0.1547 0.8054
0.5089 4200 0.1530 - -
0.5331 4400 0.1458 - -
0.5574 4600 0.1464 - -
0.5816 4800 0.1469 - -
0.6058 5000 0.1490 - -
0.6301 5200 0.1372 - -
0.6543 5400 0.1385 - -
0.6785 5600 0.1365 - -
0.7028 5800 0.1392 - -
0.7270 6000 0.1311 0.1407 0.8168
0.7512 6200 0.1348 - -
0.7755 6400 0.1290 - -
0.7997 6600 0.1307 - -
0.8239 6800 0.1226 - -
0.8482 7000 0.1292 - -
0.8724 7200 0.1317 - -
0.8966 7400 0.1280 - -
0.9209 7600 0.1267 - -
0.9451 7800 0.1312 - -
0.9693 8000 0.1248 0.1306 0.8199

Training Time

  • Training: 41.8 minutes

Framework Versions

  • Python: 3.13.16
  • Sentence Transformers: 5.7.0
  • Transformers: 5.22.1
  • PyTorch: 2.14.1+cu130
  • Accelerate: 1.15.0
  • Datasets: 4.8.5
  • Tokenizers: 0.23.3

Additional Resources

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

SpladeLoss

@misc{formal2022distillationhardnegativesampling,
      title={From Distillation to Hard Negative Sampling: Making Sparse Neural IR Models More Effective},
      author={Thibault Formal and Carlos Lassance and Benjamin Piwowarski and Stéphane Clinchant},
      year={2022},
      eprint={2205.04733},
      archivePrefix={arXiv},
      primaryClass={cs.IR},
      url={https://arxiv.org/abs/2205.04733},
}

SparseMultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}

FlopsLoss

@article{paria2020minimizing,
    title={Minimizing flops to learn efficient sparse representations},
    author={Paria, Biswajit and Yeh, Chih-Kuan and Yen, Ian EH and Xu, Ning and Ravikumar, Pradeep and P{'o}czos, Barnab{'a}s},
    journal={arXiv preprint arXiv:2004.05665},
    year={2020}
}
Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for lopozz/splade-MrBERT-es

Base model

BSC-LT/MrBERT
Finetuned
BSC-LT/MrBERT-es
Finetuned
(16)
this model

Dataset used to train lopozz/splade-MrBERT-es

Papers for lopozz/splade-MrBERT-es

Evaluation results