Update README.md
Browse files
README.md
CHANGED
|
@@ -12,7 +12,7 @@ base_model:
|
|
| 12 |
|
| 13 |
CRE(CareerInternational Recruitment Embedding)是一个Embedding模型，擅长编码招聘的工作技能等领域信息的语义。
|
| 14 |
|
| 15 |
-
|
| 16 |
```python
|
| 17 |
model = SentenceTransformer("JayThinkDiff/CRE-0.5")
|
| 18 |
|
|
@@ -30,50 +30,3 @@ print("查询结果:", util.cos_sim(query_embedding, passage_embedding))
|
|
| 30 |
<li>最大输入Token长度为512</li>
|
| 31 |
</ul>
|
| 32 |
</small>
|
| 33 |
-
|
| 34 |
-
---
|
| 35 |
-
更新日志：
|
| 36 |
-
<small>
|
| 37 |
-
|
| 38 |
-
|
| 39 |
-
<b>0.1.0-RELEASE 2024/04/02</b>
|
| 40 |
-
<ul>
|
| 41 |
-
<li>新增：</li>
|
| 42 |
-
<ul>
|
| 43 |
-
<li><strong>模型微调</strong>：引入基于智源（BAAI）bge-large-zh-v1.5模型的微调版本，作为项目的基础模型。</li>
|
| 44 |
-
<li><strong>大规模训练</strong>：在32张16GB显存的NVIDIA V100 GPUs上，通过DeepSpeed技术，对2000万条经过清洗和去重职位描述（JD）数据进行了持续预训练（Continue PreTrainning）。</li>
|
| 45 |
-
<li><strong>检索预训练方法</strong>：采用RetroMAE（Retrieval-oriented Masked Auto-Encoder）算法作为句子级别的密集检索预训练方法，通过在句子级别上应用Masked Language Modeling（MLM）任务，同时结合检索机制，优化了模型对语义信息的编码能力，提升了模型的检索能力使其在处理复杂查询时更加精准和高效。</li>
|
| 46 |
-
</ul>
|
| 47 |
-
<li>改进：无</li>
|
| 48 |
-
<li>删除：无</li>
|
| 49 |
-
<li>其他：</li>
|
| 50 |
-
<ul>
|
| 51 |
-
<li><strong>训练恢复</strong>：支持从先前保存的checkpoint恢复模型训练，提高训练过程的灵活性和效率。</li>
|
| 52 |
-
<li><strong>内存优化</strong>：引入Gradient Accumulation技术，优化了模型训练过程中的内存使用效率，允许在有限的硬件资源下进行更大规模的训练。</li>
|
| 53 |
-
</ul>
|
| 54 |
-
</ul>
|
| 55 |
-
|
| 56 |
-
<b>0.2.0-RELEASE 2024/04/13</b>
|
| 57 |
-
<ul>
|
| 58 |
-
<li>新增：</li>
|
| 59 |
-
<ul>
|
| 60 |
-
<li>对职位名称、简历中的工作经历和项目经验这三种数据进行继续训练</li>
|
| 61 |
-
</ul>
|
| 62 |
-
<li>改进：
|
| 63 |
-
<ul>
|
| 64 |
-
<li>改进CLS Token的句子表征能力</li>
|
| 65 |
-
<li>模型训练精度重新调整到FP32</li>
|
| 66 |
-
<li>采用SafeTensor</li>
|
| 67 |
-
</ul>
|
| 68 |
-
</li>
|
| 69 |
-
<li>删除：无</li>
|
| 70 |
-
<li>其他：
|
| 71 |
-
<ul>
|
| 72 |
-
<li>招聘领域的指标评估体系</li>
|
| 73 |
-
<li>自动化超参选择</li>
|
| 74 |
-
</ul>
|
| 75 |
-
</li>
|
| 76 |
-
</ul>
|
| 77 |
-
|
| 78 |
-
|
| 79 |
-
</small>
|
|
|
|
| 12 |
|
| 13 |
CRE(CareerInternational Recruitment Embedding)是一个Embedding模型，擅长编码招聘的工作技能等领域信息的语义。
|
| 14 |
|
| 15 |
+
### Using Sentence-Transformers
|
| 16 |
```python
|
| 17 |
model = SentenceTransformer("JayThinkDiff/CRE-0.5")
|
| 18 |
|
|
|
|
| 30 |
<li>最大输入Token长度为512</li>
|
| 31 |
</ul>
|
| 32 |
</small>
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|