Sentence Similarity
sentence-transformers
ONNX
Safetensors
Chinese
English
modernbert
embeddings
medical
clinical-nlp
healthcare
biomedical
fhir
traditional-chinese
taiwan
rag
text-embeddings-inference
Instructions to use weemed/IlhaEmbed with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- sentence-transformers
How to use weemed/IlhaEmbed with sentence-transformers:
from sentence_transformers import SentenceTransformer model = SentenceTransformer("weemed/IlhaEmbed") sentences = [ "帶狀皰疹", "皮蛇", "高血壓用藥", "114年成健" ] embeddings = model.encode(sentences) similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [4, 4] - Notebooks
- Google Colab
- Kaggle
docs: restore full comparative benchmark with competitors and transparent analysis
Browse files
README.md
CHANGED
|
@@ -18,62 +18,40 @@ pipeline_tag: feature-extraction
|
|
| 18 |
|
| 19 |
<p align="center">
|
| 20 |
<b>針對台灣醫療在地化深度優化的超輕量臨床語意嵌入模型 (36.78MB / 1.06ms)</b><br>
|
| 21 |
-
支援臨床英文縮寫、醫院黑話/交班術語、台華雙語醫病對話、同位語對齊
|
| 22 |
</p>
|
| 23 |
|
| 24 |
---
|
| 25 |
|
| 26 |
-
##
|
| 27 |
|
| 28 |
-
|
| 29 |
-
- 模型體積僅 **36.78 MB** (INT8 ONNX)。
|
| 30 |
-
- CPU 單次推論僅需 **1.06 ms**,記憶體佔用極低,完全適用於邊緣設備(如診間終端、照護平板、Raspberry Pi)。
|
| 31 |
-
2. **台灣臨床專屬四大維度對齊**:
|
| 32 |
-
- **英文縮寫 (Abbreviations)**:Echo, CXR, ESRD, CVA, AMI 等臨床常用縮寫。
|
| 33 |
-
- **交班黑話 (Clinical Slang)**:落水、on endo、charge、set line、DC 等護理交班與病房俚語。
|
| 34 |
-
- **台華雙語對話 (Taigi/Hokkien)**:艱苦、袂喘氣、腹肚若絞、頭犁犁等長者與病患主訴。
|
| 35 |
-
- **同位語概念 (Clinical Synonyms)**:洗腎與透析、糖尿與DM、骨折與Fx 等診斷概念對齊。
|
| 36 |
|
| 37 |
-
|
| 38 |
-
|
| 39 |
-
|
| 40 |
-
|
| 41 |
-
|
| 42 |
-
|
| 43 |
-
|
| 44 |
-
|
| 45 |
-
| 評測維度 | 類別說明 | FP32 準確率 | INT8 ONNX 準確率 |
|
| 46 |
-
| :--- | :--- | :---: | :---: |
|
| 47 |
-
| **臨床縮寫 (Abbreviations)** | Echo, CXR, ESRD, AMI, CVA 等 | **100.0%** | **96.88%** |
|
| 48 |
-
| **交班黑話 (Clinical Slang)** | 落水、on endo、charge、set line 等 | **96.88%** | **93.75%** |
|
| 49 |
-
| **台語醫病對話 (Taigi/Hokkien)** | 艱苦、袂喘氣、腹肚若絞、頭犁犁等 | **96.88%** | **91.67%** |
|
| 50 |
-
| **臨床同位語 (Clinical Synonyms)** | 洗腎/透析、糖尿/DM、骨折/Fx 等 | **100.0%** | **96.88%** |
|
| 51 |
-
| **平均準確率 (Macro Avg)** | **四大維度綜合指標** | **98.48%** | **94.79%** |
|
| 52 |
|
| 53 |
---
|
| 54 |
|
| 55 |
-
###
|
| 56 |
-
|
| 57 |
-
*測試規範:MTEB 官方 RetrievalEvaluator (v2.21.0),資料集涵蓋 100,999 篇醫療文檔與 1,000 題臨床查詢。*
|
| 58 |
|
| 59 |
-
|
| 60 |
-
|
| 61 |
-
|
| 62 |
-
| **MAP@10** | **0.0742** | Mean Average Precision at 10 |
|
| 63 |
-
| **Recall@10** | **0.1150** | 10 萬篇文檔檢索前 10 召回率 (11.5%) |
|
| 64 |
-
| **Recall@1000** | **0.3830** | 前 1000 召回率 (38.3%) |
|
| 65 |
-
| **MRR@10** | **0.0742** | Mean Reciprocal Rank at 10 |
|
| 66 |
|
| 67 |
-
|
| 68 |
-
|
| 69 |
-
|
|
|
|
| 70 |
|
| 71 |
---
|
| 72 |
|
| 73 |
## 🚀 快速上手 (Quick Start)
|
| 74 |
|
| 75 |
-
### 使用 ONNX Runtime 推論
|
| 76 |
-
|
| 77 |
```python
|
| 78 |
import numpy as np
|
| 79 |
import onnxruntime as ort
|
|
|
|
| 18 |
|
| 19 |
<p align="center">
|
| 20 |
<b>針對台灣醫療在地化深度優化的超輕量臨床語意嵌入模型 (36.78MB / 1.06ms)</b><br>
|
| 21 |
+
支援臨床英文縮寫、醫院黑話/交班術語、台華雙語醫病對話、同位語概念對齊
|
| 22 |
</p>
|
| 23 |
|
| 24 |
---
|
| 25 |
|
| 26 |
+
## 📊 綜合橫向評測對比 (Comprehensive Benchmark)
|
| 27 |
|
| 28 |
+
本模型與主流中文開源嵌入模型在 **台灣臨床四大特化維度**、**MTEB 官方檢索評測** 及 **邊緣端推論效能** 的完整真實對比:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 29 |
|
| 30 |
+
| 模型名稱 (Model) | 參數量 | 模型體積 | CPU 延遲 | 臨床縮寫 | 交班黑話 | 台語主訴 | 臨床同位語 | **平均準確率 (Macro Avg)** | MTEB 檢索 (NDCG@10) |
|
| 31 |
+
| :--- | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |
|
| 32 |
+
| **IlhaEmbed v3.1 Omni (INT8)** | **24M** | **36.78 MB** | **1.06 ms** | **96.88%** | **93.75%** | **91.67%** | **96.88%** | **94.79%** | **0.0839** |
|
| 33 |
+
| **IlhaEmbed v3.1 Omni (FP32)** | **24M** | 94.20 MB | 2.15 ms | **100.0%** | **96.88%** | **96.88%** | **100.0%** | **98.48%** | 0.0851 |
|
| 34 |
+
| BGE-small-zh-v1.5 | 24M | 130.0 MB | 4.80 ms | 58.12% | 24.30% | 0.00% | 71.50% | 38.48% | **0.4475** |
|
| 35 |
+
| text2vec-base-chinese | 110M | 410.0 MB | 12.30 ms | 62.40% | 31.80% | 12.50% | 76.20% | 45.73% | 0.4120 |
|
| 36 |
+
| Med-Embed-CN | 110M | 410.0 MB | 12.50 ms | 41.20% | 18.90% | 0.00% | 68.40% | 32.13% | 0.4612 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 37 |
|
| 38 |
---
|
| 39 |
|
| 40 |
+
### 📌 橫向對比客觀分析
|
|
|
|
|
|
|
| 41 |
|
| 42 |
+
1. **台灣臨床特化維度(主勝場)**:
|
| 43 |
+
- **全面碾壓**:在臨床英文縮寫 (96.88%)、交班黑話 (93.75%)、台語對話 (91.67%) 與醫學同位語 (96.88%) 上,IlhaEmbed 平均準確率達 **94.79%**,相比通用模型(BGE 38.48%、text2vec 45.73%)展現絕對的在地臨床理解優勢。
|
| 44 |
+
- **極限邊緣推論**:模型壓縮至 **36.78 MB**,CPU 推論僅 **1.06 ms**,體積僅為通用模型的 1/4 到 1/11,專為診間電腦與照護設備量身打造。
|
|
|
|
|
|
|
|
|
|
|
|
|
| 45 |
|
| 46 |
+
2. **MTEB 官方檢索維度(客觀局限與落後領域)**:
|
| 47 |
+
- 在 MTEB 官方 `MedicalRetrieval`(Multi-CPR 數據集,涵蓋 100,999 篇簡體中文開放網路論壇問答長文)上,IlhaEmbed 實測得分為 **NDCG@10 = 0.0839**,明顯低於在大規模網路長文檢索預訓練的通用模型(BGE ~0.44)。
|
| 48 |
+
- **原因剖析**:本模型為 24M 極小參數量架構,輸入窗口為 128 tokens,其權重全數聚焦於臨床結構化名詞與台灣醫病短句對齊,並未針對數千萬篇大陸論壇非結構化長篇爬蟲進行海量檢索預訓練。
|
| 49 |
+
- **結論**:本模型為「台灣臨床特化專家」,適合院內 EHR 檢索、台語主訴解析、交班術語對齊與邊緣部署,**不適合作為開放領域全網醫療百科搜尋引擎**。
|
| 50 |
|
| 51 |
---
|
| 52 |
|
| 53 |
## 🚀 快速上手 (Quick Start)
|
| 54 |
|
|
|
|
|
|
|
| 55 |
```python
|
| 56 |
import numpy as np
|
| 57 |
import onnxruntime as ort
|