fon-sante-nlu : version de test (v0.3)
Ce modèle ne remplace pas un avis médical. Il ne pose aucun diagnostic et ne conseille aucun traitement. Il sert à comprendre la demande d'une phrase en fon pour un futur assistant d'orientation santé. Version de test : ne pas l'utiliser seul dans une situation réelle.
Classe une phrase en fon dans une des 10 intentions d'un assistant de santé : signaler une urgence, déclarer un symptôme, demander un médicament, demander un centre de santé, demander un conseil de prévention, donner des informations sur le patient ou la durée, confirmer (oui), annuler (non), ou « inconnu » (hors domaine).
Données
- 561 phrases fon, 308 formes de phrase distinctes, relues et corrigées par un locuteur natif du fon.
- Une partie des brouillons de départ vient d'une traduction automatique du français ; chaque phrase a ensuite été relue par l'auteur (corrigée, validée telle quelle ou supprimée). Elles couvrent maintenant aussi la grossesse, les enfants et vaccins, l'hygiène et le paludisme, les maladies chroniques, les blessures et la santé mentale. Les phrases sont courtes et en grande partie des variantes d'un petit nombre de formes : le modèle ne couvre pas la diversité réelle du fon parlé.
- Le jeu de données est privé.
| Intention | Phrases |
|---|---|
| declarer_symptome | 106 |
| signaler_urgence | 86 |
| inconnu | 75 |
| demande_medicament | 69 |
| fournir_duree | 62 |
| demande_conseil_prevention | 48 |
| fournir_patient_info | 39 |
| orientation_centre_sante | 36 |
| confirmation_oui | 20 |
| annulation_non | 20 |
Méthode
TF-IDF (mots 1 à 3, caractères 2 à 5) + LinearSVC calibré. Règles d'urgence écrites à la main, prioritaires sur le modèle : évanouissement (« xɛ nu », « j'ayi »), morsure de serpent (« dan ɖu »), difficulté à respirer, « ne se réveille plus » (« sɔ fɔn »), saignement (« hun ɖi », « hun ɔ nɔ te »), avalé du savon, grave accident (« alitawǒvi ɖaxó »), électrocution (« courant wli »), insensibles aux tons. Formes écrites par l'auteur. Si la confiance du modèle est inférieure à 0,3, la phrase est classée « inconnu ».
Évaluation (honnête)
Validation croisée à 5 plis par forme de phrase : les variantes d'une même forme restent ensemble, pour éviter de mesurer de la mémorisation. Une validation classique donne des scores plus élevés mais trompeurs.
| Précision | F1 macro | |
|---|---|---|
| Modèle seul | 77.4 % | 77.0 % |
| Modèle + règles + seuil 0,3 | 78.1 % | 77.7 % |
- Urgences : 72/86 reconnues (v0.2 : 62/79) ; 14 phrases non urgentes sont classées urgence (v0.2 : 11). Une urgence sur six n'est toujours pas reconnue : c'est la limite la plus importante. Les règles ont été vérifiées sur le jeu : elles ne touchent que des urgences (47 phrases) ; pour le saignement ou la difficulté à respirer, elles ne reconnaissent que les formes de l'auteur, pas les autres tournures.
- F1 par intention : 0.65 (fournir_patient_info) à 0.92 (confirmation_oui).
- Le seuil 0,3 a été choisi à la main d'après cette même validation : il est provisoire, non validé sur un jeu séparé.
Limites
- Peu de données : 561 phrases, pas de fon parlé ni de variantes régionales, ni de code-switching français-fon.
- Une phrase d'un sujet jamais vu peut être classée dans une intention de santé au lieu d'« inconnu ».
- Les règles d'urgence ne couvrent que quelques formes. Accouchement, convulsions, brûlure, intoxication autre que le savon et accident hors « grave accident » dépendent du modèle seul.
- L'application doit toujours demander une confirmation avant d'agir et proposer un contact humain ou les secours pour toute urgence.
Utilisation
from huggingface_hub import snapshot_download
import sys; p = snapshot_download("finanfa-tech/fon-sante-nlu"); sys.path.insert(0, p)
import fon_sante_nlu as f
m = f.load(p)
f.predict(m, ["Vi ce j'ayi"]) # [{'intent': 'signaler_urgence', 'confidence': 1.0, 'source': 'regle'}]
Nécessite scikit-learn==1.9.1.
Auteur
AWADEME Ronaldo, Finanfa Tech. Voir aussi : finanfa-tech/fon-nlu (assistant vocal Mobile Money).