Add new SentenceTransformer model

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text

1_Pooling/config.json

@@ -0,0 +1,5 @@
+{
+    "embedding_dimension": 768,
+    "pooling_mode": "mean",
+    "include_prompt": true
+}

README.md

@@ -0,0 +1,564 @@
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:140
+- loss:MultipleNegativesRankingLoss
+base_model: intfloat/multilingual-e5-base
+widget:
+- source_sentence: 'query: Tình hình thu hồi nợ vay sau ngày kết thúc năm tài chính.'
+  sentences:
+  - 'passage: Thuyết minh Báo cáo tài chính | Phụ lục 01 | Tài sản khác (Dự án BOT)
+    | Khấu hao trong năm: 141.045.069.151 VNĐ | Giá trị hao mòn lũy kế cuối năm: 765.932.156.281
+    VNĐ.'
+  - 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.5b (*) | Tổng các khoản
+    cho vay là 2.261.257.969.704 VNĐ. Tính đến ngày 30/03/2024, công ty đã thu hồi
+    được 1.352.410.295.861 VNĐ.'
+  - 'passage: Thuyết minh Báo cáo tài chính riêng | Thuyết minh V.13 | Công ty CP
+    BOT & BT Đức Long Đắk Nông | Tỷ lệ vốn góp 70,60% | Giá gốc đầu tư: 176.500.000.000
+    VNĐ | Dự phòng tổn thất: 0 VNĐ.'
+- source_sentence: 'query: Chi tiết vay ngắn hạn ngân hàng Sacombank Gia Lai.'
+  sentences:
+  - 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh VI.9 - Chi phí khác | Chi
+    phí khấu hao tài sản cố định không sử dụng: 9.825.369.384 VNĐ | Chi phí tiền chậm
+    nộp: 928.055.072 VNĐ.'
+  - 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.23.1 | Ngân hàng TMCP
+    Sài Gòn Thương Tín - CN Gia Lai | Hợp đồng tín dụng số LD1401400008 | Dư nợ vay
+    dài hạn đến hạn trả: 55.174.137.200 VNĐ | Lãi suất 1%/tháng.'
+  - 'passage: Thuyết minh Báo cáo tài chính | Phụ lục 03 - Thuế và các khoản phải
+    nộp | Thuế nhà đất, thuê đất | Số đầu năm: 3.154.817.276 VNĐ | Số phải nộp trong
+    năm: 1.454.401.503 VNĐ | Đã nộp: (330.770.795) VNĐ | Còn phải nộp cuối năm: 4.278.447.984
+    VNĐ.'
+- source_sentence: 'query: Thu nhập tiền lương của Ban Tổng Giám đốc và Ban điều hành.'
+  sentences:
+  - 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh IV.4 - Tỷ giá hối đoái |
+    Tỷ giá mua BIDV: 3.061 VND/HKD | Tỷ giá bán BIDV: 3.150 VND/HKD | Tỷ giá bình
+    quân quy đổi: 3.048 VND/HKD.'
+  - 'passage: Thuyết minh Báo cáo tài chính riêng | Thuyết minh VII.6 | Ban Tổng Giám
+    đốc lập kế hoạch đàm phán cơ cấu lại nợ gốc vay, định giá tài sản đảm bảo, có
+    lộ trình chuyển nhượng tài sản không sinh lời, thoái vốn các lĩnh vực kém hiệu
+    quả.'
+  - 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh VIII.3a - Thu nhập quản
+    lý chủ chốt | Ông Nguyễn Tường Cọt (Tổng Giám đốc): 181.153.846 VNĐ | Ông Phạm
+    Minh Việt (Phó TGĐ): 425.000.000 VNĐ | Ông Trần Văn Phương (Phó TGĐ): 380.000.000
+    VNĐ | Tổng cộng: 1.491.925.212 VNĐ.'
+- source_sentence: 'query: Thuế thu nhập doanh nghiệp phải nộp và được miễn giảm trong
+    năm.'
+  sentences:
+  - 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.19 - Thuế TNDN | Thuế
+    TNDN phải nộp ước tính trong năm: 19.415.774.470 VNĐ | Thuế TNDN được miễn giảm:
+    (9.405.543.734) VNĐ | Tổng thuế TNDN phải nộp: 10.028.178.521 VNĐ.'
+  - 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.3 - Phải thu ngắn hạn
+    của khách hàng | Ông Lý Trần Tiến: 391.021.500.000 VNĐ | Ông Nguyễn Tuấn Vũ: 129.695.100.000
+    VNĐ | Công ty CP Dịch vụ Công cộng Đức Long Bảo Lộc: 18.186.045.256 VNĐ.'
+  - 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh VI.9 - Chi phí khác | Chi
+    phí tiền chậm nộp: 928.055.072 VNĐ | Chi phí khấu hao TSCĐ không sử dụng: 9.825.369.384
+    VNĐ.'
+- source_sentence: 'query: Vay ngắn hạn từ các công ty liên quan.'
+  sentences:
+  - 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.23.1 | Tài sản thế chấp:
+    Đảm bảo bằng toàn bộ tài sản, quyền tài sản, quyền thu phí hình thành của Dự án
+    BOT Quốc lộ 14 (trạm thu phí, xe ô tô) và số dư tiền gửi tại ngân hàng BIDV.'
+  - 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.22.1 - Vay ngắn hạn các
+    bên liên quan | Công ty CP Đầu tư Xây dựng Đức Long Gia Lai: 25.390.034.377 VNĐ
+    | Hợp đồng vay số 09/2023/HĐ ngày 15/12/2023, thời hạn 60 ngày, lãi suất 9,5%/năm,
+    tín chấp.'
+  - 'passage: Báo cáo kết quả hoạt động kinh doanh | Mã số 11 | 4. Giá vốn hàng bán
+    | Thuyết minh VI.2 | Năm nay: 899.483.792.852 VNĐ | Năm trước: 1.020.596.883.021
+    VNĐ.'
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+metrics:
+- cosine_accuracy@1
+- cosine_accuracy@5
+- cosine_accuracy@10
+- cosine_precision@1
+- cosine_precision@3
+- cosine_precision@5
+- cosine_precision@10
+- cosine_recall@1
+- cosine_recall@3
+- cosine_recall@5
+- cosine_recall@10
+- cosine_ndcg@5
+- cosine_ndcg@10
+- cosine_mrr@1
+- cosine_mrr@5
+- cosine_mrr@10
+- cosine_map@100
+model-index:
+- name: SentenceTransformer based on intfloat/multilingual-e5-base
+  results:
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: Test Set
+      type: Test_Set
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.8666666666666667
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@5
+      value: 1.0
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 1.0
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.8666666666666667
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.3333333333333334
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.20000000000000007
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.10000000000000003
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.8666666666666667
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 1.0
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 1.0
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 1.0
+      name: Cosine Recall@10
+    - type: cosine_ndcg@5
+      value: 0.9464263086904791
+      name: Cosine Ndcg@5
+    - type: cosine_ndcg@10
+      value: 0.9464263086904791
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@1
+      value: 0.8666666666666667
+      name: Cosine Mrr@1
+    - type: cosine_mrr@5
+      value: 0.9277777777777777
+      name: Cosine Mrr@5
+    - type: cosine_mrr@10
+      value: 0.9277777777777777
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.9277777777777777
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: Val Set
+      type: Val_Set
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.9333333333333333
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@5
+      value: 1.0
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 1.0
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.9333333333333333
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.3333333333333334
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.20000000000000007
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.10000000000000003
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.9333333333333333
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 1.0
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 1.0
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 1.0
+      name: Cosine Recall@10
+    - type: cosine_ndcg@5
+      value: 0.9753953169047639
+      name: Cosine Ndcg@5
+    - type: cosine_ndcg@10
+      value: 0.9753953169047639
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@1
+      value: 0.9333333333333333
+      name: Cosine Mrr@1
+    - type: cosine_mrr@5
+      value: 0.9666666666666667
+      name: Cosine Mrr@5
+    - type: cosine_mrr@10
+      value: 0.9666666666666667
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.9666666666666667
+      name: Cosine Map@100
+---
+
+# SentenceTransformer based on intfloat/multilingual-e5-base
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-base](https://huggingface.co/intfloat/multilingual-e5-base). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for retrieval.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [intfloat/multilingual-e5-base](https://huggingface.co/intfloat/multilingual-e5-base) <!-- at revision d128750597153bb5987e10b1c3493a34e5a4502a -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+- **Supported Modality:** Text
+<!-- - **Training Dataset:** Unknown -->
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/huggingface/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
+  (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'mean', 'include_prompt': True})
+  (2): Normalize({})
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("Adzpro/embedding_e5")
+# Run inference
+queries = [
+    'query: Vay ngắn hạn từ các công ty liên quan.',
+]
+documents = [
+    'passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.22.1 - Vay ngắn hạn các bên liên quan | Công ty CP Đầu tư Xây dựng Đức Long Gia Lai: 25.390.034.377 VNĐ | Hợp đồng vay số 09/2023/HĐ ngày 15/12/2023, thời hạn 60 ngày, lãi suất 9,5%/năm, tín chấp.',
+    'passage: Báo cáo kết quả hoạt động kinh doanh | Mã số 11 | 4. Giá vốn hàng bán | Thuyết minh VI.2 | Năm nay: 899.483.792.852 VNĐ | Năm trước: 1.020.596.883.021 VNĐ.',
+    'passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.23.1 | Tài sản thế chấp: Đảm bảo bằng toàn bộ tài sản, quyền tài sản, quyền thu phí hình thành của Dự án BOT Quốc lộ 14 (trạm thu phí, xe ô tô) và số dư tiền gửi tại ngân hàng BIDV.',
+]
+query_embeddings = model.encode_query(queries)
+document_embeddings = model.encode_document(documents)
+print(query_embeddings.shape, document_embeddings.shape)
+# [1, 768] [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(query_embeddings, document_embeddings)
+print(similarities)
+# tensor([[ 0.7452, -0.0219,  0.0791]])
+```
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Information Retrieval
+
+* Datasets: `Test_Set` and `Val_Set`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.sentence_transformer.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | Test_Set   | Val_Set    |
+|:--------------------|:-----------|:-----------|
+| cosine_accuracy@1   | 0.8667     | 0.9333     |
+| cosine_accuracy@5   | 1.0        | 1.0        |
+| cosine_accuracy@10  | 1.0        | 1.0        |
+| cosine_precision@1  | 0.8667     | 0.9333     |
+| cosine_precision@3  | 0.3333     | 0.3333     |
+| cosine_precision@5  | 0.2        | 0.2        |
+| cosine_precision@10 | 0.1        | 0.1        |
+| cosine_recall@1     | 0.8667     | 0.9333     |
+| cosine_recall@3     | 1.0        | 1.0        |
+| cosine_recall@5     | 1.0        | 1.0        |
+| cosine_recall@10    | 1.0        | 1.0        |
+| cosine_ndcg@5       | 0.9464     | 0.9754     |
+| **cosine_ndcg@10**  | **0.9464** | **0.9754** |
+| cosine_mrr@1        | 0.8667     | 0.9333     |
+| cosine_mrr@5        | 0.9278     | 0.9667     |
+| cosine_mrr@10       | 0.9278     | 0.9667     |
+| cosine_map@100      | 0.9278     | 0.9667     |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### Unnamed Dataset
+
+* Size: 140 training samples
+* Columns: <code>sentence_0</code> and <code>sentence_1</code>
+* Approximate statistics based on the first 100 samples:
+  |          | sentence_0                                                                         | sentence_1                                                                          |
+  |:---------|:-----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
+  | type     | string                                                                             | string                                                                              |
+  | modality | text                                                                               | text                                                                                |
+  | details  | <ul><li>min: 13 tokens</li><li>mean: 18.69 tokens</li><li>max: 25 tokens</li></ul> | <ul><li>min: 49 tokens</li><li>mean: 73.96 tokens</li><li>max: 116 tokens</li></ul> |
+* Samples:
+  | sentence_0                                                                    | sentence_1                                                                                                                                                                                                                                            |
+  |:------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>query: Tài sản đảm bảo cho đợt phát hành trái phiếu Công ty.</code>     | <code>passage: Thuyết minh Báo cáo tài chính \| Thuyết minh V.23.2 \| Trái phiếu bảo lãnh bởi Công ty CP Trồng rừng ĐLGL, Công ty TNHH Đức Long Dung Quất, Công ty CP Tập đoàn Alpha Seven và tài sản cá nhân Ông Bùi Pháp.</code>                    |
+  | <code>query: Phải thu ngắn hạn khác về lãi cho vay.</code>                    | <code>passage: Thuyết minh Báo cáo tài chính \| Thuyết minh V.6a - Phải thu ngắn hạn khác \| Phải thu về lãi cho vay đối với các tổ chức và cá nhân khác: 631.888.363.243 VNĐ \| Dự phòng phải thu lãi cho vay khó đòi: (557.632.111.992) VNĐ.</code> |
+  | <code>query: Tình hình thu hồi nợ vay sau ngày kết thúc năm tài chính.</code> | <code>passage: Thuyết minh Báo cáo tài chính \| Thuyết minh V.5b (*) \| Tổng các khoản cho vay là 2.261.257.969.704 VNĐ. Tính đến ngày 30/03/2024, công ty đã thu hồi được 1.352.410.295.861 VNĐ.</code>                                              |
+* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
+  ```json
+  {
+      "scale": 20.0,
+      "similarity_fct": "cos_sim",
+      "gather_across_devices": false,
+      "directions": [
+          "query_to_doc"
+      ],
+      "partition_mode": "joint",
+      "hardness_mode": null,
+      "hardness_strength": 0.0
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `num_train_epochs`: 5
+- `multi_dataset_batch_sampler`: round_robin
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `per_device_train_batch_size`: 8
+- `num_train_epochs`: 5
+- `max_steps`: -1
+- `learning_rate`: 5e-05
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: None
+- `warmup_steps`: 0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `optim_target_modules`: None
+- `gradient_accumulation_steps`: 1
+- `average_tokens_across_devices`: True
+- `max_grad_norm`: 1
+- `label_smoothing_factor`: 0.0
+- `bf16`: False
+- `fp16`: False
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `use_liger_kernel`: False
+- `liger_kernel_config`: None
+- `use_cache`: False
+- `neftune_noise_alpha`: None
+- `torch_empty_cache_steps`: None
+- `auto_find_batch_size`: False
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `include_num_input_tokens_seen`: no
+- `log_level`: passive
+- `log_level_replica`: warning
+- `disable_tqdm`: False
+- `project`: huggingface
+- `trackio_space_id`: None
+- `trackio_bucket_id`: None
+- `trackio_static_space_id`: None
+- `per_device_eval_batch_size`: 8
+- `prediction_loss_only`: True
+- `eval_on_start`: False
+- `eval_do_concat_batches`: True
+- `eval_use_gather_object`: False
+- `eval_accumulation_steps`: None
+- `include_for_metrics`: []
+- `batch_eval_metrics`: False
+- `save_only_model`: False
+- `save_on_each_node`: False
+- `enable_jit_checkpoint`: False
+- `push_to_hub`: False
+- `hub_private_repo`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_always_push`: False
+- `hub_revision`: None
+- `load_best_model_at_end`: False
+- `ignore_data_skip`: False
+- `restore_callback_states_from_checkpoint`: False
+- `full_determinism`: False
+- `seed`: 42
+- `data_seed`: None
+- `use_cpu`: False
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `parallelism_config`: None
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `dataloader_prefetch_factor`: None
+- `remove_unused_columns`: True
+- `label_names`: None
+- `train_sampling_strategy`: random
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `ddp_static_graph`: None
+- `ddp_backend`: None
+- `ddp_timeout`: 1800
+- `fsdp`: None
+- `fsdp_config`: None
+- `deepspeed`: None
+- `debug`: []
+- `skip_memory_metrics`: True
+- `do_predict`: False
+- `resume_from_checkpoint`: None
+- `warmup_ratio`: None
+- `local_rank`: -1
+- `prompts`: None
+- `batch_sampler`: batch_sampler
+- `multi_dataset_batch_sampler`: round_robin
+- `router_mapping`: {}
+- `learning_rate_mapping`: {}
+
+</details>
+
+### Training Logs
+| Epoch  | Step | Test_Set_cosine_ndcg@10 | Val_Set_cosine_ndcg@10 |
+|:------:|:----:|:-----------------------:|:----------------------:|
+| -1     | -1   | 0.9464                  | -                      |
+| 0.5556 | 10   | -                       | 0.9385                 |
+| 1.0    | 18   | -                       | 0.9341                 |
+| 1.1111 | 20   | -                       | 0.9464                 |
+| 1.6667 | 30   | -                       | 0.9631                 |
+| 2.0    | 36   | -                       | 0.9631                 |
+| 2.2222 | 40   | -                       | 0.9631                 |
+| 2.7778 | 50   | -                       | 0.9631                 |
+| 3.0    | 54   | -                       | 0.9631                 |
+| 3.3333 | 60   | -                       | 0.9631                 |
+| 3.8889 | 70   | -                       | 0.9754                 |
+
+
+### Training Time
+- **Training**: 1.8 minutes
+
+### Framework Versions
+- Python: 3.12.13
+- Sentence Transformers: 5.6.0
+- Transformers: 5.13.1
+- PyTorch: 2.11.0+cu128
+- Accelerate: 1.14.0
+- Datasets: 4.0.0
+- Tokenizers: 0.22.2
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{oord2019representationlearningcontrastivepredictive,
+      title={Representation Learning with Contrastive Predictive Coding},
+      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
+      year={2019},
+      eprint={1807.03748},
+      archivePrefix={arXiv},
+      primaryClass={cs.LG},
+      url={https://arxiv.org/abs/1807.03748},
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config.json

@@ -0,0 +1,30 @@
+{
+  "add_cross_attention": false,
+  "architectures": [
+    "XLMRobertaModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "dtype": "float32",
+  "eos_token_id": 2,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "is_decoder": false,
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 514,
+  "model_type": "xlm-roberta",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "output_past": true,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "tie_word_embeddings": true,
+  "transformers_version": "5.13.1",
+  "type_vocab_size": 1,
+  "use_cache": false,
+  "vocab_size": 250002
+}

config_sentence_transformers.json

@@ -0,0 +1,14 @@
+{
+  "__version__": {
+    "pytorch": "2.11.0+cu128",
+    "sentence_transformers": "5.6.0",
+    "transformers": "5.13.1"
+  },
+  "default_prompt_name": null,
+  "model_type": "SentenceTransformer",
+  "prompts": {
+    "document": "",
+    "query": ""
+  },
+  "similarity_fn_name": "cosine"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1faede29675e658681a64baf8f73b5039a9da3d324d0f746df82bc93ef1314a9
+size 1112197096

modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.base.modules.transformer.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.sentence_transformer.modules.pooling.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Normalize",
+    "type": "sentence_transformers.sentence_transformer.modules.normalize.Normalize"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,10 @@
+{
+    "transformer_task": "feature-extraction",
+    "modality_config": {
+        "text": {
+            "method": "forward",
+            "method_output_name": "last_hidden_state"
+        }
+    },
+    "module_output_name": "token_embeddings"
+}

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:883b037111086fd4dfebbbc9b7cee11e1517b5e0c0514879478661440f137085
+size 17082987

tokenizer_config.json

@@ -0,0 +1,23 @@
+{
+  "add_prefix_space": true,
+  "backend": "tokenizers",
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "is_local": true,
+  "local_files_only": false,
+  "mask_token": "<mask>",
+  "max_length": 512,
+  "model_max_length": 512,
+  "pad_to_multiple_of": null,
+  "pad_token": "<pad>",
+  "pad_token_type_id": 0,
+  "padding_side": "right",
+  "sep_token": "</s>",
+  "stride": 0,
+  "tokenizer_class": "XLMRobertaTokenizer",
+  "truncation_side": "right",
+  "truncation_strategy": "longest_first",
+  "unk_token": "<unk>"
+}