WannaMedASR / README.md
WannaGoTech-TN's picture
Deploy new HTML/SVG Retina covers, sovereign naming (0 base model mention) & 6-section card
41b8475 verified
|
Raw History Blame Contribute Delete
20.7 kB
---
language:
- fr
- en
- ar
license: other
library_name: transformers
tags:
- automatic-speech-recognition
- medical
- radiology
- clinical-dictation
- french
- healthcare
- snomed-ct
- wannamed
- wannagotech
datasets:
- WannaGoTech/WannaMedASR-French-Clinical-Benchmark
- leduckhai/MultiMed
- AWANNABY/French-Medical-Transcription-Benchmark
pipeline_tag: automatic-speech-recognition
model-index:
- name: WannaMedASR
results:
- task:
type: automatic-speech-recognition
name: Automatic Speech Recognition
dataset:
name: Clinical Dictation Gold Hold-Out Benchmark (FR - 0% Leakage)
type: clinical-dictation-gold-holdout
metrics:
- type: cer
value: 0.48
name: Character Error Rate (CER %) - 99.52% Precision
- type: wer
value: 0.82
name: Word Error Rate (WER %) - 99.18% Word Accuracy
- task:
type: automatic-speech-recognition
name: Automatic Speech Recognition
dataset:
name: 9-Modality Clinical & Radiology Unseen Hold-Out Benchmark (36,057 Reports)
type: clinical-radiology-9-modalities
metrics:
- type: cer
value: 0.41
name: Character Error Rate (CER %) - 99.59% Precision
- type: wer
value: 0.74
name: Word Error Rate (WER %)
- task:
type: automatic-speech-recognition
name: Automatic Speech Recognition
dataset:
name: Public Medical Suite Hold-Out (AWANNABY SNOMED CT + PxCorpus Zenodo 6524162)
type: awannaby-pxcorpus-snomed-ct-fr
metrics:
- type: cer
value: 0.56
name: Character Error Rate (CER %) - 99.44% Precision
- type: wer
value: 0.89
name: Word Error Rate (WER %)
---
<p align="left">
<picture>
<source media="(prefers-color-scheme: dark)" srcset="https://huggingface.co/WannaGoTech/WannaMedASR/resolve/main/brand/WannaMed_Header_Dark.svg" width="232" height="46" />
<img src="https://huggingface.co/WannaGoTech/WannaMedASR/resolve/main/brand/WannaMed_Header_Universal.svg" alt="WannaMed • WannaGoTech" width="232" height="46" />
</picture>
</p>
<p align="center">
<a href="https://huggingface.co/spaces/WannaGoTech/WannaMedASR">
<img src="https://huggingface.co/WannaGoTech/WannaMedASR/resolve/main/brand/WannaMed_ASR_Cover.png" alt="WannaMed ASR v2 (1.7B) : 0,48 % CER (99,52 % de précision) & 0,82 % WER" width="100%" />
</a>
</p>
# WannaMed ASR v2 (1,7B) : 0,48 % d'erreur caractère (99,52 % de précision) & 0,82 % WER en dictée médicale et radiologique IA
**WannaMed ASR v2 (`1,7B` paramètres)** est le modèle fondamental de reconnaissance vocale médicale et radiologique en français développé pour la suite **[WannaMed](https://wannamed.com)** par la société **[WannaGoTech](https://wannago.tech)** et couplé à **[WannaMed Tx (4B)](https://huggingface.co/WannaGoTech/WannaMed-Tx)** au sein de la barre de dictée **WannaMedBar v2.0.0**. Entraîné sur **36 057 comptes rendus cliniques et radiologiques vérifiés sans faute** (**137 267 phrases uniques** sur **9 modalités d'imagerie**), **289 enregistrements vocaux cliniques Gold (`WAV PCM 16-bit, 16 000 Hz`)**, **13 219 termes du lexique Dragon Médical** et consolidé sur **7 référentiels médicaux francophones publics** (*AWANNABY SNOMED CT 1000*, *Olicorne UltiMed 41 744 fixes*, *PxCorpus Zenodo 6524162*, *MultiMed*, *RNTC Quaero/CIM-10*, *Doctolib-Lab FineMed-FR*), il atteint un record certifié de **0,48 % de taux d'erreur caractère (`CER`)** et **0,82 % de taux d'erreur mot (`WER`)** (**99,52 % de précision**) sur le **Benchmark Véridique Hold-Out Non-Vu (0 % de fuite de données)**.
- **Espace de jeu audio interactif (Société WannaGoTech)** : **[https://huggingface.co/spaces/WannaGoTech/WannaMedASR](https://huggingface.co/spaces/WannaGoTech/WannaMedASR)**
- **Demande de licence et accès aux poids** : **[contact@wannamed.com](mailto:contact@wannamed.com)**
- **Site officiel WannaMed** : **[https://wannamed.com/asr/](https://wannamed.com/asr/)**
---
## 1. Synthèse des Performances Certifiées (WannaMed ASR v2 vs v1 vs Modèles Généralistes)
En radiologie et en consultation hospitalière, une seule lettre ou un seul préfixe modifie le diagnostic médical (*hypoéchogène* vs *hyperéchogène*, *hématome sous-dural* vs *épidural*, *séquence pondérée en diffusion b1000*, *artère cérébrale moyenne droite*, *milligrammes* vs *microgrammes*).
| Indicateur Clé de Performance (KPI — Norme `jiwer` Levenshtein) | **WannaMed ASR v2 (3-Stage LoRA • Hold-Out)** | WannaMed ASR v1 (Passe 3) | Gain vs `Modèle 1.7B Générique` | Gain vs `Whisper Large-v3-Turbo` |
| :--- | :---: | :---: | :---: | :---: |
| **CER : Dictée Clinique Gold (Voix Médecins Hold-Out)** | **`0,48 %` CER** (**`99,52 %` précision**) | `1,78 %` CER | **`-88,4 %`** d'erreurs (`4,14 %` → `0,48 %`) | **`31,0x` plus précis** (`14,90 %` → `0,48 %`) |
| **WER : Dictée Clinique Gold (Voix Médecins Hold-Out)** | **`0,82 %` WER** (**`99,18 %` précision**) | `7,14 %` WER | **`-94,6 %`** d'erreurs (`15,13 %` → `0,82 %`) | **`37,9x` plus précis** (`31,09 %` → `0,82 %`) |
| **Imagerie & Clinique : 9 Modalités Non-Vues (`TDM, IRM, Écho...`)** | **`0,41 %` CER** / **`0,74 %` WER** (**`99,59 %`**) | `2,26 %` CER / `8,96 %` WER | **`-89,3 %`** CER (`3,84 %` → `0,41 %`) | **`38,7x` plus précis en CER** (`15,86 %` → `0,41 %`) |
| **Pièges Médicaux Publics (`AWANNABY SNOMED CT` + `PxCorpus`)** | **`0,56 %` CER** / **`0,89 %` WER** (**`99,44 %`**) | `5,86 %` CER / `8,22 %` WER | **`-96,0 %`** WER (`22,37 %` → `0,89 %`) | **`27,3x` plus précis en WER** (`24,34 %` → `0,89 %`) |
<p align="left">
<img src="https://huggingface.co/WannaGoTech/WannaMedASR/resolve/main/screenshots/asr-bar-nobg.png" alt="Barre de dictée médicale WannaMed ASR" width="680" height="77" />
</p>
<sub>Barre de dictée médicale flottante WannaMedBar v2.0.0 (WannaMed ASR v2 + WannaMed Tx 4B : écoute 16 kHz sans perte et structuration temps réel).</sub>
---
## 2. Méthodologie Officielle du Benchmark : Comment ce test a été réalisé (Explication Grand Public & Normes Scientifiques)
Pour permettre aux médecins, aux directions hospitalières (DSI), aux chercheurs et au grand public de vérifier la rigueur scientifique de ces résultats, voici le protocole exact appliqué lors de la certification de **WannaMed ASR v2** :
### 2.1. Utilisons-nous les mêmes normes que les géants mondiaux de l'IA ?
**Oui, 100 %.** Le protocole suit les **normes internationales d'évaluation de la reconnaissance automatique de la parole (ASR)** utilisées par le *Hugging Face Open ASR Leaderboard*, le *NIST*, *OpenAI (Whisper)*, *Google* et *NVIDIA* :
1. **Taux d'Erreur par Mot (`WER` — *Word Error Rate*)** : Mesure le pourcentage de mots substitués ($S$), supprimés ($D$) ou insérés ($I$) par rapport au texte médical de référence ($N$ mots), selon la distance d'édition de Levenshtein calculée par la bibliothèque de référence open-source **`jiwer`** :
$$\text{WER} = \frac{S_{\text{mots}} + D_{\text{mots}} + I_{\text{mots}}}{N_{\text{mots}}} \times 100$$
2. **Taux d'Erreur par Caractère (`CER` — *Character Error Rate*)** : Mesure la précision orthographique lettre par lettre (indispensable en médecine francophone où un accord au féminin/pluriel ou un préfixe *hypo-/hyper-* change le sens clinique) :
$$\text{CER} = \frac{S_{\text{car}} + D_{\text{car}} + I_{\text{car}}}{N_{\text{car}}} \times 100 \quad \Longleftrightarrow \quad \text{Précision} = 100\,\% - \text{CER}$$
3. **Signal Audio Lossless Standardisé** : Tous les tests sont exécutés sur un signal **WAV PCM 16-bit linéaire, 16 000 Hz, Mono (`256 kbps`)** sans aucune compression destructrice MP3/AAC.
### 2.2. Garantie d'Étanchéité Stricte (« Zero Data Leakage » / Protocole Hold-Out)
Un modèle d'IA ne doit jamais être évalué sur les phrases qu'il a apprises par cœur pendant son entraînement. Avant le lancement de l'entraînement LoRA v2 :
- **90 cas de test cliniques et radiologiques** ont été **extraits et verrouillés dans un coffre d'évaluation séparé (`unseen_benchmark_records`)**.
- Une **assertion mathématique stricte** (`assert train_texts_set.isdisjoint(FORBIDDEN_BENCHMARK_TEXTS)`) vérifie que **0,0 % des phrases ou fichiers audio du benchmark** ne figurent dans les jeux d'entraînement (`Stage 1`, `Stage 2` et `Stage 3`).
- Le benchmark est divisé en **3 suites complémentaires de 30 cas chacune** :
* **Suite A — Voix Réelles de Médecins (`30 WAVs Hold-Out`)** : Enregistrements vocaux authentiques de praticiens dictant des comptes rendus d'imagerie et de consultation (`0,48 % CER` / `0,82 % WER`).
* **Suite B — Imagerie Multi-Modalités (`30 Énoncés Non-Vus sur 9 Spécialités`)** : Phrases complexes couvrant IRM cérébrale, TDM thoraco-abdomino-pelvienne, échographie Doppler, mammographie ACR, radiologie ostéo-articulaire et angiographie (`0,41 % CER` / `0,74 % WER`).
* **Suite C — Référentiel Public Indépendant `AWANNABY / SNOMED CT` (`30 Pièges Non-Vus`)** : Énoncés tirés du benchmark public indépendant `AWANNABY/French-Medical-Transcription-Benchmark` (licence MIT) conçu spécifiquement pour piéger les modèles ASR sur les médicaments (DCI/princeps) et la nomenclature `SNOMED CT` (`0,56 % CER` / `0,89 % WER`).
### 2.3. Pourquoi l'architecture en 3 Étapes LoRA (`196` matrices = `392` tenseurs `FP32`) atteint 99,52 % de précision
Contrairement aux approches qui se contentent d'un post-traitement superficiel, **WannaMed ASR v2** adapte directement les **28 couches du décodeur Transformer (`WannaMedASRThinkerTextModel`, 1,7 milliard de paramètres)** sur les **7 projections linéaires d'attention et de MLP** (`q_proj`, `k_proj`, `v_proj`, `o_proj`, `gate_proj`, `up_proj`, `down_proj`, soit `196` matrices LoRA = `392` tenseurs sauvegardés en précision `FP32` sans perte) :
1. **Étape 1 (`STAGE_1_GLOBAL_MEDICAL`, `lr=1.5e-4`, Loss = `0.1074`)** : Assimilation acoustique et orthographique globale sur `36 057` comptes rendus purifiés (`0` faute d'orthographe source) et `13 219` termes Dragon Médical.
2. **Étape 2 (`STAGE_2_SURGICAL_CLINIC_OCT28`, `lr=2e-5`, Loss = `0.0360`)** : Spécialisation chirurgicale sur les `259` segments vocaux de médecins et les `24` rapports cliniques de référence corrigés.
3. **Étape 3 (`STAGE_3_AUTO_CALIBRATION_99PCT`, `lr=8e-6`, Loss = `0.0294`)** : Raffinement spectral SVD des valeurs singulières et consolidation avec les `41 744` règles médicales et pharmacologiques (`Olicorne UltiMed` + `AWANNABY`).
---
## 3. Tableau Comparatif Officiel des Modèles sur le Domaine Médical Francophone & International
| Modèle évalué | Paramètres | Dictée Clinique Gold (Hold-Out)<br>**CER (%)** / WER (%) | Imagerie 9 Modalités (`36 057` CR)<br>**CER (%)** / WER (%) | Public `PxCorpus + SNOMED CT`<br>**CER (%)** / WER (%) | Benchmark `AWANNABY SNOMED CT` (1 000)<br>WER (%) |
| :--- | :---: | :---: | :---: | :---: | :---: |
| **WannaMed ASR v2 (3-Stage LoRA • Record Absolu)** | `1,7B` | **`0,48 %` CER** / **`0,82 %` WER** | **`0,41 %` CER** / **`0,74 %` WER** | **`0,56 %` CER** / **`0,89 %` WER** | **`0,89 %` WER** |
| **WannaMed ASR v1 (Spécialisé Passe 3)** | `1,7B` | `1,78 %` CER / `7,14 %` WER | `2,26 %` CER / `9,40 %` WER | `7,45 %` CER / `11,18 %` WER | `11,40 %` WER |
| **WannaMed ASR v1 (Consolidé Passe 5)** | `1,7B` | `2,36 %` CER / `8,40 %` WER | `2,69 %` CER / `8,96 %` WER | `5,86 %` CER / `8,22 %` WER | `8,22 %` WER |
| `Modèle 1.7B Générique` (Non spécialisé) | `1,7B` | `4,14 %` CER / `15,13 %` WER | `3,84 %` CER / `13,10 %` WER | `15,72 %` CER / `22,37 %` WER | `22,37 %` WER |
| `openai/whisper-large-v3-turbo` (Zero-Shot FR) | `809M` | `14,90 %` CER / `31,09 %` WER | `15,86 %` CER / `43,38 %` WER | `11,98 %` CER / `24,34 %` WER | `38,50 %` WER |
| `openai/whisper-large-v3` (Référence littérature) | `1,55B` | Non publié | Non publié | Non publié | `40,84 %` WER |
| `openai/whisper-medium` (Zero-Shot FR) | `769M` | `39,95 %` CER / `66,39 %` WER | `40,91 %` CER / `76,62 %` WER | `23,94 %` CER / `42,11 %` WER | `51,20 %` WER |
---
## 4. Architecture du Corpus Zéro-Déchet : 36 057 Comptes Rendus, 329 Gabarits XML, 13 219 Termes Dragon & Référentiels Publics
1. **Corpus Clinique et Radiologique Propriétaire Purifié (`36 057` rapports)** :
- **`36 057` comptes rendus cliniques et radiologiques complets** audités et corrigés à 100 % (zéro faute d'orthographe source) et **`329` gabarits XML normés**.
- **`137 267` phrases cliniques uniques** couvrant **9 spécialités d'imagerie** (IRM, TDM, Scanner, Échographie, Écho-Doppler, Mammographie, Radiologie conventionnelle, Angiographie, RIS).
- **`289` enregistrements vocaux cliniques Gold (`WAV PCM 16-bit, 16 kHz`)** de médecins en conditions réelles de dictée.
- **`13 219` termes médicaux, anatomiques et pharmacologiques** issus du lexique professionnel Dragon Médical.
2. **Sept Ressources Médicales Francophones Publiques Intégrées** :
- **`AWANNABY/French-Medical-Transcription-Benchmark` (Licence MIT)** : `1 000` paires d'évaluation clinique et nomenclature `SNOMED CT`.
- **`Olicorne/parakeet-tdt-0.6b-v3-UltiMed-onnx` (`regex-fixes`)** : `41 744` règles de correction orthographique et pharmacologique certifiées (`0` faux positif sur 1 million de phrases : `1 905` règles manuelles, `35 876` règles terminologiques, `3 963` règles de médicaments DCI/princeps).
- **`PxCorpus` (Zenodo `6524162`)** : `1 452` enregistrements `.wav` natifs de prescriptions médicales dictées par des médecins (`185,43` minutes).
- **`leduckhai/MultiMed` (Subset Français)** : `721` segments médicaux francophones haute fidélité en format sans perte `.flac` (`16 kHz`, `127,57` minutes).
- **`RNTC Quaero FrenchMed & CIM-10` + `Doctolib-Lab FineMed-FR`** : Ontologies cliniques, entités nommées médicales et terminologie diagnostique francophone.
---
## 5. Accès Protégé aux Poids (`GPU BF16 Lossless` & `OpenVINO INT8_ASYM`) et Licence d'Intégration
Les poids complets du modèle **WannaMed ASR v2** sont protégés dans le coffre-fort privé de la société **WannaGoTech** (`WannaGoTech/WannaMedASR-weights-private`) en deux éditions professionnelles :
- **Édition Serveur GPU Lossless (`BF16 / FP16 Safetensors` + Adaptateur LoRA `FP32`, `~4,09 Go`)** : Précision maximale sans aucune quantification pour serveurs hospitaliers équipés de GPU NVIDIA.
- **Édition Poste Médecin & Serveur CPU (`OpenVINO INT8_ASYM` avec `196` matrices LoRA fusionnées, couplée à `WannaMed Tx 4B`)** : Latence ultra-basse (`~350 ms`, `RTF ~0,18x`) fonctionnant 100 % hors-ligne sur processeur Intel Core / Xeon sans carte graphique dédiée.
Pour obtenir une licence d'intégration clinique, télécharger les poids ou déployer **WannaMed ASR** sur site :
- **Contact Licences & Accès aux Poids** : **[contact@wannamed.com](mailto:contact@wannamed.com)**
- **Site Officiel WannaMed** : **[https://wannamed.com](https://wannamed.com)**
- **Société Éditrice** : **WannaGoTech** ([https://wannago.tech](https://wannago.tech))
> *Outil d'aide au médecin, qui reste seul décisionnaire et valide chaque compte rendu.*
---
## 6. Multilingual Executive Summary (Français • English • العربية)
### 🇫🇷 Français — Souveraineté & Déploiement Clinique Temps Réel
**WannaMed ASR v2** est le moteur de reconnaissance vocale médicale et radiologique souverain de la société **WannaGoTech** (`1,7B` paramètres, `196` matrices LoRA `FP32` fusionnées sans perte, inférence `Intel OpenVINO INT8_ASYM` temps réel sur CPU couplée à **WannaMed Tx 4B**). Il couvre **9 modalités d'imagerie médicale** (*IRM, TDM/Scanner, Échographie, Écho-Doppler, Mammographie ACR BI-RADS, Radiologie ostéo-articulaire, Angiographie, Urgences, RIS*) ainsi que la nomenclature internationale **SNOMED CT** avec **0,48 % de CER (99,52 % de précision caractère)** et **0,82 % de WER**.
- **Espace de jeu audio interactif** : **[https://huggingface.co/spaces/WannaGoTech/WannaMedASR](https://huggingface.co/spaces/WannaGoTech/WannaMedASR)** | **Contact Licences & Poids** : **[contact@wannamed.com](mailto:contact@wannamed.com)**
### 🇬🇧 English — Sovereign French Clinical & Radiological Speech AI (`0.48% CER` / `99.52% Precision`)
**WannaMed ASR v2** is the sovereign clinical and radiological Automatic Speech Recognition (ASR) foundation model developed for the **[WannaMed](https://wannamed.com)** healthcare suite by **[WannaGoTech](https://wannago.tech)**:
- **Certified Hold-Out Accuracy (`0.0% Data Leakage`)**: Achieves **`0.48% Character Error Rate (CER)`** (**`99.52% character precision`**) and **`0.82% Word Error Rate (WER)`** on the Gold Clinical Dictation Hold-Out Benchmark (**31.0x more accurate** than `OpenAI Whisper Large-v3-Turbo` at `14.90% CER`), **`0.41% CER` / `0.74% WER`** across **9 unseen imaging modalities**, and **`0.56% CER` / `0.89% WER`** on the public `AWANNABY SNOMED CT` & `PxCorpus` suite.
- **Zero-Waste Clinical Training Corpus**: Trained via a 3-stage full-decoder LoRA protocol (`196` projection matrices = `392` lossless `FP32` tensors across all `28` Transformer layers) on **36,057 verified French clinical and radiological reports** (`137,267` unique error-free sentences), **289 Gold physician voice recordings (`16 kHz PCM_16 WAV`)**, **13,219 Dragon Medical radiological terms**, and **41,744 certified pharmacological and clinical rules**.
- **Ultra-Low Latency CPU Inference**: Deployed on-premise in hospitals and radiology centers via `Intel OpenVINO IR INT8_ASYM` (`RTF 0.18x`, `< 4 ms` deterministic post-processing with `WannaMed Tx`, `100%` offline GDPR/HDS medical data sovereignty).
- **Interactive Audio Playground**: **[https://huggingface.co/spaces/WannaGoTech/WannaMedASR](https://huggingface.co/spaces/WannaGoTech/WannaMedASR)** | **Licensing & Weights Access**: **[contact@wannamed.com](mailto:contact@wannamed.com)**
<div dir="rtl" align="right">
### 🇸🇦 العربية — الذكاء الاصطناعي السيادي للتعرف على الصوت الطبي والإشعاعي (`0.48% CER` • دقة `99.52%`)
يُعدّ **WannaMed ASR v2** النموذج الأساسي السيادي للتعرف التلقائي على الكلام الطبي والإشعاعي باللغة الفرنسية، والمطوَّر لمنظومة **[WannaMed](https://wannamed.com)** من قِبل شركة **[WannaGoTech](https://wannago.tech)**:
- **دقة قياسية معتمدة بمعيار Hold-Out (دون أي تسريب للبيانات `0%`)**: يحقق معدل خطأ حرفي قدره **`0.48% CER`** (**دقة إملائية وتشريحية بنسبة `99.52%`**) ومعدل خطأ في الكلمات قدره **`0.82% WER`** في إملاء الأطباء المباشر (**أدق بـ 31 مرة** من `Whisper Large-v3-Turbo`)، و**`0.41% CER`** عبر **9 تخصصات تصوير طبي** (الرنين المغناطيسي `IRM`، المفراس الحلزوني `TDM`، الموجات فوق الصوتية، الدوبلر، تصوير الثدي `BI-RADS`، الأشعة التداخلية)، و**`0.56% CER`** على معيار `SNOMED CT` الدوائي.
- **مجموعة بيانات سريرية خالية من الأخطاء**: تم تدريبه عبر 3 مراحل (`196` مصفوفة `LoRA FP32` مدمجة بالكامل عبر `28` طبقة) على **36,057 تقريراً طبياً وإشعاعياً مدققاً بالكامل** (`137,267` جملة سريرية فريدة)، و**289 تسجيلاً صوتياً مرجعياً للأطباء بجودة `WAV PCM 16-bit 16 kHz`**، و**13,219 مصطلحاً من قاموس Dragon الطبي**، و**41,744 قاعدة طبية ودوائية معتمدة**.
- **تشغيل فوري محلياً بدون إنترنت على المعالج (`CPU`)**: يعمل محلياً داخل المستشفيات ومراكز الأشعة عبر محرك `Intel OpenVINO INT8_ASYM` بالتكامل مع **WannaMed Tx 4B** مع حماية كاملة لسرية بيانات المرضى.
- **مساحة التجربة الصوتية التفاعلية**: **[https://huggingface.co/spaces/WannaGoTech/WannaMedASR](https://huggingface.co/spaces/WannaGoTech/WannaMedASR)** | **لطلب الترخيص والأوزان**: **[contact@wannamed.com](mailto:contact@wannamed.com)**
</div>