Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup
Paper • 2101.06983 • Published • 3
How to use Jbbok/my-embeddinggemma-2-dart with sentence-transformers:
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("Jbbok/my-embeddinggemma-2-dart")
sentences = [
"에스케이하이닉스의 제78기 반도체 부문(DRAM, NAND Flash 등 제품 외) 매출액은 얼마인가요?",
"에스케이하이닉스(주) | 사업보고서 | 2025-12-31\n\n나. 회사의 현황\n※ 한국채택국제회계기준에 따라 작성된 연결 기준 실적입니다.\n\n(나) 공시대상 사업부문의 구분\n\n[제78기] (단위: 백만원)\n\n## 구분\n\n### 반도체 부문\n* 매출액: 97,146,675\n* 매출액 비중: 100.0%\n* 주요제품: DRAM, NAND Flash 등\n\n### 합계\n* 매출액: 97,146,675\n* 매출액 비중: 100.0%\n* 주요제품: -",
"에스케이하이닉스(주) | 사업보고서 | 2025-12-31\n\n23. 매출액\n고객과의 계약에서 생기는 수익의 품목별 구분에 대한 공시 당기 (단위 : 백만원)\n\n## 고객과의 계약에서 생기는 수익의 품목별 구분에 대한 공시 (1)\n\n### 수익(매출액)\n(ifrs-full:Revenue)\n* 부문 합계 : 86852117000000 KRW\n* DRAM (DramMemberOfSegmentsMember)\n * 73572794000000 KRW\n* NAND Flash (NandFlashMemberOfSegmentsMember)\n * 12414618000000 KRW\n* 기타 (OthersMemberOfSegmentsMember)\n * 864705000000 KRW",
"에스케이하이닉스(주) | 사업보고서 | 2025-12-31\n\n나. 녹색경영 현황\n\n(1) 온실가스 배출량 관리/감축 활동 추진 당사는 '기후위기 대응을 위한 탄소중립 녹색성장 기본법(2022.03.25 시행)' 및 '온실가스 배출권의 할당 및 거래에 관한 법률'에 의거 2014년 9월 12일 배출권 할당대상업체로 지정되어(환경부 고시 제2014-162호), 2015년부터 온실가스 배출권거래제 참여기업으로 할당된 온실가스 배출량을 달성하기 위해 온실가스 저감장치(스크러버) 측정 기술을 개발/운영하여 배출량 저감을 유도하고, 배출권 거래를 포함한 배출권 관리/감축 등의 전사 TF 활동을 추진하고 있습니다. 배출권거래법 제24조에 따라, 정부에 보고하는 명세서 기재 내용을 기준으로 2025년 예상 온실가스 배출량은 최종 4,994,862만톤CO2e(tCO2e)입니다.\n\n당사의 온실가스 배출량 및 에너지 사용량 정보는 다음과 같습니다."
]
embeddings = model.encode(sentences)
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [4, 4]This is a sentence-transformers model finetuned from google/embeddinggemma-2. It maps inputs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, classification, clustering, and more.
SentenceTransformer(
(0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}, 'image': {'method': 'forward', 'method_output_name': 'last_hidden_state'}, 'audio': {'method': 'forward', 'method_output_name': 'last_hidden_state'}, 'video': {'method': 'forward', 'method_output_name': 'last_hidden_state'}, 'message': {'method': 'forward', 'method_output_name': 'last_hidden_state', 'format': 'structured'}}, 'module_output_name': 'token_embeddings', 'architecture': 'EmbeddingGemma2Model'})
(1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'mean', 'include_prompt': True})
(2): Normalize({'module_input_name': 'sentence_embedding', 'module_output_name': 'sentence_embedding'})
)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("Jbbok/my-embeddinggemma-2-dart")
# Run inference
queries = [
'네이버 연결 기준 제27기 영업활동으로 인한 현금흐름은 얼마인가요?',
]
documents = [
'네이버(주) | 사업보고서 | 2025-12-31\n\n가. 유동성 현황\n연결회사의 현금및현금성자산의 현금흐름 현황은 다음과 같습니다.\n\n(단위: 십억원)\n\n## 구분\n\n### 영업활동으로 인한 현금흐름\n* 제27기: 3,096\n* 제26기: 2,590\n\n### 영업으로부터 창출된 현금\n* 제27기: 3,642\n* 제26기: 3,087\n\n### 기타\n* 제27기: (546)\n* 제26기: (497)\n\n### 투자활동으로 인한 현금흐름\n* 제27기: (744)\n* 제26기: (1,340)\n\n### 재무활동으로 인한 현금흐름\n* 제27기: (525)\n* 제26기: (770)\n\n### 현금및현금성자산의 환율변동효과\n* 제27기: (39)\n* 제26기: 140\n\n### 현금및현금성자산의 증가\n* 제27기: 1,788\n* 제26기: 620\n\n### 기초의 현금및현금성자산\n* 제27기: 4,196\n* 제26기: 3,576\n\n### 기말의 현금및현금성자산\n* 제27기: 5,984\n* 제26기: 4,196',
'네이버(주) | 사업보고서 | 2025-12-31\n\n이에 힘입어 다양한 사업부문의 성장으로 2025년 연결 영업수익은 전년 대비 12.1% 성장한 12조 350억 원, 영업이익은 전년 대비 11.6% 증가한 2조 2,081억 원을 기록하며 성장세를 이어갔으며, 주요 사업 전반에서 경쟁력 강화와 함께 사업 기반을 더욱 견고히 하였습니다. 향후에도 네이버는 AI를 중심으로 한 기술 혁신과 플랫폼 고도화를 지속 추진하며, 모든 사업 영역에서 차별화된 경쟁력을 확보해 나갈 것입니다. 또한 주주가치를 최우선으로 고려하며, 장기적인 성장과 기업가치 제고를 위해 최선을 다할 것입니다.\n\n3. 재무상태 및 영업실적\n\n가. 재무상태\n\n(단위: 십억원)',
'CJ제일제당(주) | 사업보고서 | 2025-12-31\n\n38. 우발채무와 약정사항 (연결)\n전기 (단위 : 백만원)\n\n## 보증 관련 우발부채, 부동산 PF(대출) 보증에 대한 공시 전기\n\n### 사업지역\n(dart:BusinessArea)\n* 부동산 사업의 형태 > 컨소시엄 (ifrs-full:JointOperationsMember) · 사업의 구분 > 기타사업 (dart:OtherBusinessMember) · 차입금명칭 > 본PF (dart:OriginalPFMember)\n * 경북 예천군\n * 합계 구간 > 1년 초과 2년 이내 (ifrs-full:LaterThanOneYearAndNotLaterThanTwoYearsMember)\n\n### 사업장 구분\n(dart:BusinessPlaceType)\n* 부동산 사업의 형태 > 컨소시엄 (ifrs-full:JointOperationsMember) · 사업의 구분 > 기타사업 (dart:OtherBusinessMember) · 차입금명칭 > 본PF (dart:OriginalPFMember)\n * 데이터센터\n * 합계 구간 > 1년 초과 2년 이내 (ifrs-full:LaterThanOneYearAndNotLaterThanTwoYearsMember)\n\n### 신용보강 종류\n(dart:ClassesOfCreditEnhancements)\n* 부동산 사업의 형태 > 컨소시엄 (ifrs-full:JointOperationsMember) · 사업의 구분 > 기타사업 (dart:OtherBusinessMember) · 차입금명칭 > 본PF (dart:OriginalPFMember)\n * 채무인수\n * 합계 구간 > 1년 초과 2년 이내 (ifrs-full:LaterThanOneYearAndNotLaterThanTwoYearsMember)\n\n### 보증한도\n(dart:GuaranteeLimitAmount)\n* 부동산 사업의 형태 > 컨소시엄 (ifrs-full:JointOperationsMember) · 사업의 구분 > 기타사업 (dart:OtherBusinessMember) · 차입금명칭 > 본PF (dart:OriginalPFMember)\n * 91200000000 KRW\n * 합계 구간 > 1년 초과 2년 이내 (ifrs-full:LaterThanOneYearAndNotLaterThanTwoYearsMember)\n\n### 보증 부담률\n(dart:GuaranteeBurdenRate)\n* 부동산 사업의 형태 > 컨소시엄 (ifrs-full:JointOperationsMember) · 사업의 구분 > 기타사업 (dart:OtherBusinessMember) · 차입금명칭 > 본PF (dart:OriginalPFMember)\n * 1.0000 pure\n * 합계 구간 > 1년 초과 2년 이내 (ifrs-full:LaterThanOneYearAndNotLaterThanTwoYearsMember)\n\n### 보증금액\n(dart:ProvisionOfGuaranteesByEntity)\n* 부동산 사업의 형태 > 컨소시엄 (ifrs-full:JointOperationsMember) · 사업의 구분 > 기타사업 (dart:OtherBusinessMember) · 차입금명칭 > 본PF (dart:OriginalPFMember)\n * 30800000000 KRW\n * 합계 구간 > 1년 초과 2년 이내 (ifrs-full:LaterThanOneYearAndNotLaterThanTwoYearsMember)\n\n### 채무자\n(dart:Debtor)\n* 부동산 사업의 형태 > 컨소시엄 (ifrs-full:JointOperationsMember) · 사업의 구분 > 기타사업 (dart:OtherBusinessMember) · 차입금명칭 > 본PF (dart:OriginalPFMember)\n * 케이리얼티3호 일반부동산 사모투자회사\n * 합계 구간 > 1년 초과 2년 이내 (ifrs-full:LaterThanOneYearAndNotLaterThanTwoYearsMember)\n\n### 특수관계 여부\n(dart:WhetherItIsARelatedPartyRelationshipOrNot)\n* 부동산 사업의 형태 > 컨소시엄 (ifrs-full:JointOperationsMember) · 사업의 구분 > 기타사업 (dart:OtherBusinessMember) · 차입금명칭 > 본PF (dart:OriginalPFMember)\n * -\n * 합계 구간 > 1년 초과 2년 이내 (ifrs-full:LaterThanOneYearAndNotLaterThanTwoYearsMember)\n\n### 채권기관 종류\n(dart:TypeOfCreditorInstitution)\n* 부동산 사업의 형태 > 컨소시엄 (ifrs-full:JointOperationsMember) · 사업의 구분 > 기타사업 (dart:OtherBusinessMember) · 차입금명칭 > 본PF (dart:OriginalPFMember)\n * 대주단\n * 합계 구간 > 1년 초과 2년 이내 (ifrs-full:LaterThanOneYearAndNotLaterThanTwoYearsMember)\n\n### 대출잔액\n(ifrs-full:Borrowings)\n#### 부동산 사업의 형태 > 컨소시엄 (ifrs-full:JointOperationsMember) · 사업의 구분 > 기타사업 (dart:OtherBusinessMember) · 차입금명칭 > 본PF (dart:OriginalPFMember)\n* 부동산 사업의 형태 > 컨소시엄 (ifrs-full:JointOperationsMember) · 사업의 구분 > 기타사업 (dart:OtherBusinessMember) · 차입금명칭 > 본PF (dart:OriginalPFMember)\n * 30800000000 KRW\n* 합계 구간 > 1년 초과 2년 이내 (ifrs-full:LaterThanOneYearAndNotLaterThanTwoYearsMember)\n * 30800000000 KRW\n\n### 대출기간\n(dart:LoanPeriod)\n* 부동산 사업의 형태 > 컨소시엄 (ifrs-full:JointOperationsMember) · 사업의 구분 > 기타사업 (dart:OtherBusinessMember) · 차입금명칭 > 본PF (dart:OriginalPFMember)\n * 2023-09-15 ~ 2026-05-14\n * 합계 구간 > 1년 초과 2년 이내 (ifrs-full:LaterThanOneYearAndNotLaterThanTwoYearsMember)\n\n### 유동화증권 만기일\n(dart:SecuritizedSecuritiesMaturityDate)\n* 부동산 사업의 형태 > 컨소시엄 (ifrs-full:JointOperationsMember) · 사업의 구분 > 기타사업 (dart:OtherBusinessMember) · 차입금명칭 > 본PF (dart:OriginalPFMember)\n * 2026-05-14\n * 합계 구간 > 1년 초과 2년 이내 (ifrs-full:LaterThanOneYearAndNotLaterThanTwoYearsMember)\n\n### 대출 유형\n(dart:LoanType)\n* 부동산 사업의 형태 > 컨소시엄 (ifrs-full:JointOperationsMember) · 사업의 구분 > 기타사업 (dart:OtherBusinessMember) · 차입금명칭 > 본PF (dart:OriginalPFMember)\n * PF Loan\n * 합계 구간 > 1년 초과 2년 이내 (ifrs-full:LaterThanOneYearAndNotLaterThanTwoYearsMember)\n\n### 책임준공약정금액\n(dart:CommitmentsForResponsibilityCompletion)\n* 부동산 사업의 형태 > 컨소시엄 (ifrs-full:JointOperationsMember) · 사업의 구분 > 기타사업 (dart:OtherBusinessMember) · 차입금명칭 > 본PF (dart:OriginalPFMember)\n * 76000000000 KRW\n * 합계 구간 > 1년 초과 2년 이내 (ifrs-full:LaterThanOneYearAndNotLaterThanTwoYearsMember)\n\n### 자금보충 의무에 대한 상세기술\n* 1년 초과 2년 이내 (ifrs-full:LaterThanOneYearAndNotLaterThanTwoYearsMember)\n* 합계 구간 합계',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.7135, 0.2249, -0.1309]])
anchor, positive, and negative| anchor | positive | negative | |
|---|---|---|---|
| type | string | string | string |
| modality | text | text | text |
| details |
|
|
|
| anchor | positive | negative |
|---|---|---|
삼성전자 2025년 연결 매출액은 얼마인가요? |
삼성전자(주) | 사업보고서 | 2025-12-31 |
삼성전자(주) | 사업보고서 | 2025-12-31 |
삼성전자 2025년 연결 매출액은 얼마인가요? |
삼성전자(주) | 사업보고서 | 2025-12-31 |
삼성전자(주) | 사업보고서 | 2025-12-31 |
삼성전자 2025년 연결 매출액은 얼마인가요? |
삼성전자(주) | 사업보고서 | 2025-12-31 |
삼성전자(주) | 사업보고서 | 2025-12-31 |
CachedMultipleNegativesRankingLoss with these parameters:{
"scale": 20.0,
"similarity_fct": "cos_sim",
"mini_batch_size": 4,
"mini_batch_num_tokens": null,
"gather_across_devices": false,
"directions": [
"query_to_doc"
],
"partition_mode": "joint",
"hardness_mode": null,
"hardness_strength": 0.0
}
anchor, positive, and negative| anchor | positive | negative | |
|---|---|---|---|
| type | string | string | string |
| modality | text | text | text |
| details |
|
|
|
| anchor | positive | negative |
|---|---|---|
네이버 연결 기준 제27기 영업활동으로 인한 현금흐름은 얼마인가요? |
네이버(주) | 사업보고서 | 2025-12-31 |
네이버(주) | 사업보고서 | 2025-12-31 |
네이버의 제27기(2025년) 연결 기준 영업수익은 얼마인가요? |
네이버(주) | 사업보고서 | 2025-12-31 |
네이버(주) | 사업보고서 | 2025-12-31 |
CJ제일제당의 컨소시엄 참여 사업 전기말 보증한도는 얼마인가요? |
CJ제일제당(주) | 사업보고서 | 2025-12-31 |
CJ제일제당(주) | 사업보고서 | 2025-12-31 |
CachedMultipleNegativesRankingLoss with these parameters:{
"scale": 20.0,
"similarity_fct": "cos_sim",
"mini_batch_size": 4,
"mini_batch_num_tokens": null,
"gather_across_devices": false,
"directions": [
"query_to_doc"
],
"partition_mode": "joint",
"hardness_mode": null,
"hardness_strength": 0.0
}
per_device_train_batch_size: 32learning_rate: 2e-05warmup_steps: 0.1bf16: Trueper_device_eval_batch_size: 32load_best_model_at_end: Trueseed: 0prompts: {'anchor': 'task: search result | query: ', 'positive': 'title: none | text: ', 'negative': 'title: none | text: '}batch_sampler: no_duplicatesper_device_train_batch_size: 32num_train_epochs: 3max_steps: -1learning_rate: 2e-05lr_scheduler_type: linearlr_scheduler_kwargs: Nonewarmup_steps: 0.1optim: adamw_torch_fusedoptim_args: Noneweight_decay: 0.0adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08optim_target_modules: Nonegradient_accumulation_steps: 1average_tokens_across_devices: Truemax_grad_norm: 1.0label_smoothing_factor: 0.0bf16: Truefp16: Falsebf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonegradient_checkpointing: Falsegradient_checkpointing_kwargs: Nonetorch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneuse_liger_kernel: Falseliger_kernel_config: Noneuse_cache: Falseneftune_noise_alpha: Nonetorch_empty_cache_steps: Noneauto_find_batch_size: Falselog_on_each_node: Truelogging_nan_inf_filter: Trueinclude_num_input_tokens_seen: nolog_level: passivelog_level_replica: warningdisable_tqdm: Falseproject: huggingfacetrackio_space_id: Nonetrackio_bucket_id: Nonetrackio_static_space_id: Noneper_device_eval_batch_size: 32prediction_loss_only: Trueeval_on_start: Falseeval_do_concat_batches: Trueeval_use_gather_object: Falseeval_accumulation_steps: Noneinclude_for_metrics: []batch_eval_metrics: Falsesave_only_model: Falsesave_on_each_node: Falseenable_jit_checkpoint: Falsepush_to_hub: Falsehub_private_repo: Nonehub_model_id: Nonehub_strategy: every_savehub_always_push: Falsehub_revision: Noneload_best_model_at_end: Trueignore_data_skip: Falserestore_callback_states_from_checkpoint: Falsefull_determinism: Falseseed: 0data_seed: Noneuse_cpu: Falseaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}parallelism_config: Nonedataloader_drop_last: Falsedataloader_num_workers: 0dataloader_pin_memory: Truedataloader_persistent_workers: Falsedataloader_prefetch_factor: Nonedataloader_multiprocessing_context: Nonedataloader_in_order: Trueremove_unused_columns: Truelabel_names: Nonetrain_sampling_strategy: randomlength_column_name: lengthddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falseddp_static_graph: Noneddp_backend: Noneddp_timeout: 1800fsdp: Nonefsdp_config: Nonedeepspeed: Nonedebug: []skip_memory_metrics: Truedo_predict: Falseresume_from_checkpoint: Nonelocal_rank: -1prompts: {'anchor': 'task: search result | query: ', 'positive': 'title: none | text: ', 'negative': 'title: none | text: '}batch_sampler: no_duplicatesmulti_dataset_batch_sampler: proportionalrouter_mapping: {}learning_rate_mapping: {}warmup_ratio: None| Epoch | Step | Training Loss | Validation Loss |
|---|---|---|---|
| 0.25 | 29 | 1.2707 | - |
| 0.5 | 58 | 0.3641 | - |
| 0.75 | 87 | 0.2558 | - |
| 1.0 | 116 | 0.2213 | 0.7690 |
| 1.25 | 145 | 0.1610 | - |
| 1.5 | 174 | 0.1912 | - |
| 1.75 | 203 | 0.1545 | - |
| 2.0 | 232 | 0.1434 | 0.6819 |
| 2.25 | 261 | 0.1247 | - |
| 2.5 | 290 | 0.1303 | - |
| 2.75 | 319 | 0.1161 | - |
| 3.0 | 348 | 0.0802 | 0.7240 |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
@misc{gao2021scaling,
title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
year={2021},
eprint={2101.06983},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
@misc{oord2019representationlearningcontrastivepredictive,
title={Representation Learning with Contrastive Predictive Coding},
author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
year={2019},
eprint={1807.03748},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/1807.03748},
}
Base model
google/embeddinggemma-2