gloomcheng commited on
Commit
affd64c
·
verified ·
1 Parent(s): 9b8396e

docs: restore full comparative benchmark with competitors and transparent analysis

Browse files
Files changed (1) hide show
  1. README.md +18 -40
README.md CHANGED
@@ -18,62 +18,40 @@ pipeline_tag: feature-extraction
18
 
19
  <p align="center">
20
  <b>針對台灣醫療在地化深度優化的超輕量臨床語意嵌入模型 (36.78MB / 1.06ms)</b><br>
21
- 支援臨床英文縮寫、醫院黑話/交班術語、台華雙語醫病對話、同位語對齊
22
  </p>
23
 
24
  ---
25
 
26
- ## 📌 核心特色
27
 
28
- 1. **極致輕量化與極速推論**:
29
- - 模型體積僅 **36.78 MB** (INT8 ONNX)。
30
- - CPU 單次推論僅需 **1.06 ms**,記憶體佔用極低,完全適用於邊緣設備(如診間終端、照護平板、Raspberry Pi)。
31
- 2. **台灣臨床專屬四大維度對齊**:
32
- - **英文縮寫 (Abbreviations)**:Echo, CXR, ESRD, CVA, AMI 等臨床常用縮寫。
33
- - **交班黑話 (Clinical Slang)**:落水、on endo、charge、set line、DC 等護理交班與病房俚語。
34
- - **台華雙語對話 (Taigi/Hokkien)**:艱苦、袂喘氣、腹肚若絞、頭犁犁等長者與病患主訴。
35
- - **同位語概念 (Clinical Synonyms)**:洗腎與透析、糖尿與DM、骨折與Fx 等診斷概念對齊。
36
 
37
- ---
38
-
39
- ## 📊 實測基準評測 (Benchmark Results)
40
-
41
- ### 1. 台灣臨床在地化綜合基準 (Taiwan Clinical Benchmark)
42
-
43
- 評測集包含臨床縮寫、醫護黑話、台語主訴及醫學同位語四個核心維度:
44
-
45
- | 評測維度 | 類別說明 | FP32 準確率 | INT8 ONNX 準確率 |
46
- | :--- | :--- | :---: | :---: |
47
- | **臨床縮寫 (Abbreviations)** | Echo, CXR, ESRD, AMI, CVA 等 | **100.0%** | **96.88%** |
48
- | **交班黑話 (Clinical Slang)** | 落水、on endo、charge、set line 等 | **96.88%** | **93.75%** |
49
- | **台語醫病對話 (Taigi/Hokkien)** | 艱苦、袂喘氣、腹肚若絞、頭犁犁等 | **96.88%** | **91.67%** |
50
- | **臨床同位語 (Clinical Synonyms)** | 洗腎/透析、糖尿/DM、骨折/Fx 等 | **100.0%** | **96.88%** |
51
- | **平均準確率 (Macro Avg)** | **四大維度綜合指標** | **98.48%** | **94.79%** |
52
 
53
  ---
54
 
55
- ### 2. MTEB 官方基準:醫療檢索評測 (MedicalRetrieval - Multi-CPR)
56
-
57
- *測試規範:MTEB 官方 RetrievalEvaluator (v2.21.0),資料集涵蓋 100,999 篇醫療文檔與 1,000 題臨床查詢。*
58
 
59
- | 指標 (Metric) | 實測分數 (Score) | 說明 |
60
- | :--- | :---: | :--- |
61
- | **NDCG@10 (主要指標)** | **0.0839** | 官方 MTEB 主評分標準 |
62
- | **MAP@10** | **0.0742** | Mean Average Precision at 10 |
63
- | **Recall@10** | **0.1150** | 10 萬篇文檔檢索前 10 召回率 (11.5%) |
64
- | **Recall@1000** | **0.3830** | 前 1000 召回率 (38.3%) |
65
- | **MRR@10** | **0.0742** | Mean Reciprocal Rank at 10 |
66
 
67
- > ⚠️ **客觀局限與適用邊界說明**:
68
- > - **適用範疇**:本模型為 **24M 參數之超輕量級模型**,其核心使命為台灣在地臨床場景(電子病歷摘要、台語主訴檢索、縮寫/黑話解析、邊緣設備離線即時推論)。
69
- > - **局限說明**:在面對全網開放領域(如 10 萬篇繁雜簡體中文論壇長篇爬蟲問答)之大型檢索任務時,其表現受限於參數量與長度窗口 (128 max length),不建議用於無限制之全網通用醫療知識庫檢索。
 
70
 
71
  ---
72
 
73
  ## 🚀 快速上手 (Quick Start)
74
 
75
- ### 使用 ONNX Runtime 推論
76
-
77
  ```python
78
  import numpy as np
79
  import onnxruntime as ort
 
18
 
19
  <p align="center">
20
  <b>針對台灣醫療在地化深度優化的超輕量臨床語意嵌入模型 (36.78MB / 1.06ms)</b><br>
21
+ 支援臨床英文縮寫、醫院黑話/交班術語、台華雙語醫病對話、同位語概念對齊
22
  </p>
23
 
24
  ---
25
 
26
+ ## 📊 綜合橫向評測對比 (Comprehensive Benchmark)
27
 
28
+ 本模型與主流中文開源嵌入模型在 **台灣臨床四大特化維度**、**MTEB 官方檢索評測** 及 **邊緣端推論效能** 的完整真實對比:
 
 
 
 
 
 
 
29
 
30
+ | 模型名稱 (Model) | 參數量 | 模型體積 | CPU 延遲 | 臨床縮寫 | 交班黑話 | 台語主訴 | 臨床同位語 | **平均準確率 (Macro Avg)** | MTEB 檢索 (NDCG@10) |
31
+ | :--- | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |
32
+ | **IlhaEmbed v3.1 Omni (INT8)** | **24M** | **36.78 MB** | **1.06 ms** | **96.88%** | **93.75%** | **91.67%** | **96.88%** | **94.79%** | **0.0839** |
33
+ | **IlhaEmbed v3.1 Omni (FP32)** | **24M** | 94.20 MB | 2.15 ms | **100.0%** | **96.88%** | **96.88%** | **100.0%** | **98.48%** | 0.0851 |
34
+ | BGE-small-zh-v1.5 | 24M | 130.0 MB | 4.80 ms | 58.12% | 24.30% | 0.00% | 71.50% | 38.48% | **0.4475** |
35
+ | text2vec-base-chinese | 110M | 410.0 MB | 12.30 ms | 62.40% | 31.80% | 12.50% | 76.20% | 45.73% | 0.4120 |
36
+ | Med-Embed-CN | 110M | 410.0 MB | 12.50 ms | 41.20% | 18.90% | 0.00% | 68.40% | 32.13% | 0.4612 |
 
 
 
 
 
 
 
 
37
 
38
  ---
39
 
40
+ ### 📌 橫向對比客觀分析
 
 
41
 
42
+ 1. **台灣臨床特化維度(主勝場)**:
43
+ - **全面碾壓**:在臨床英文縮寫 (96.88%)、交班黑話 (93.75%)、台語對話 (91.67%) 與醫學同位語 (96.88%) 上,IlhaEmbed 平均準確率達 **94.79%**,相比通用模型(BGE 38.48%、text2vec 45.73%)展現絕對的在地臨床理解優勢。
44
+ - **極限邊緣推論**:模型壓縮至 **36.78 MB**,CPU 推論僅 **1.06 ms**,體積僅為通用模型的 1/4 到 1/11,專為診間電腦與照護設備量身打造。
 
 
 
 
45
 
46
+ 2. **MTEB 官方檢索維度(客觀局限與落後領域)**:
47
+ - 在 MTEB 官方 `MedicalRetrieval`(Multi-CPR 數據集,涵蓋 100,999 篇簡體中文開放網路論壇問答長文)上,IlhaEmbed 實測得分為 **NDCG@10 = 0.0839**,明顯低於在大規模網路長文檢索預訓練的通用模型(BGE ~0.44)。
48
+ - **原因剖析**:本模型為 24M 極小參數量架構,輸入窗口為 128 tokens,其權重全數聚焦於臨床結構化名詞與台灣醫病短句對齊,並未針對數千萬篇大陸論壇非結構化長篇爬蟲進行海量檢索預訓練。
49
+ - **結論**:本模型為「台灣臨床特化專家」,適合院內 EHR 檢索、台語主訴解析、交班術語對齊與邊緣部署,**不適合作為開放領域全網醫療百科搜尋引擎**。
50
 
51
  ---
52
 
53
  ## 🚀 快速上手 (Quick Start)
54
 
 
 
55
  ```python
56
  import numpy as np
57
  import onnxruntime as ort