fon-sante-nlu : version de test (v0.3)

Ce modèle ne remplace pas un avis médical. Il ne pose aucun diagnostic et ne conseille aucun traitement. Il sert à comprendre la demande d'une phrase en fon pour un futur assistant d'orientation santé. Version de test : ne pas l'utiliser seul dans une situation réelle.

Classe une phrase en fon dans une des 10 intentions d'un assistant de santé : signaler une urgence, déclarer un symptôme, demander un médicament, demander un centre de santé, demander un conseil de prévention, donner des informations sur le patient ou la durée, confirmer (oui), annuler (non), ou « inconnu » (hors domaine).

Données

  • 561 phrases fon, 308 formes de phrase distinctes, relues et corrigées par un locuteur natif du fon.
  • Une partie des brouillons de départ vient d'une traduction automatique du français ; chaque phrase a ensuite été relue par l'auteur (corrigée, validée telle quelle ou supprimée). Elles couvrent maintenant aussi la grossesse, les enfants et vaccins, l'hygiène et le paludisme, les maladies chroniques, les blessures et la santé mentale. Les phrases sont courtes et en grande partie des variantes d'un petit nombre de formes : le modèle ne couvre pas la diversité réelle du fon parlé.
  • Le jeu de données est privé.
Intention Phrases
declarer_symptome 106
signaler_urgence 86
inconnu 75
demande_medicament 69
fournir_duree 62
demande_conseil_prevention 48
fournir_patient_info 39
orientation_centre_sante 36
confirmation_oui 20
annulation_non 20

Méthode

TF-IDF (mots 1 à 3, caractères 2 à 5) + LinearSVC calibré. Règles d'urgence écrites à la main, prioritaires sur le modèle : évanouissement (« xɛ nu », « j'ayi »), morsure de serpent (« dan ɖu »), difficulté à respirer, « ne se réveille plus » (« sɔ fɔn »), saignement (« hun ɖi », « hun ɔ nɔ te »), avalé du savon, grave accident (« alitawǒvi ɖaxó »), électrocution (« courant wli »), insensibles aux tons. Formes écrites par l'auteur. Si la confiance du modèle est inférieure à 0,3, la phrase est classée « inconnu ».

Évaluation (honnête)

Validation croisée à 5 plis par forme de phrase : les variantes d'une même forme restent ensemble, pour éviter de mesurer de la mémorisation. Une validation classique donne des scores plus élevés mais trompeurs.

Précision F1 macro
Modèle seul 77.4 % 77.0 %
Modèle + règles + seuil 0,3 78.1 % 77.7 %
  • Urgences : 72/86 reconnues (v0.2 : 62/79) ; 14 phrases non urgentes sont classées urgence (v0.2 : 11). Une urgence sur six n'est toujours pas reconnue : c'est la limite la plus importante. Les règles ont été vérifiées sur le jeu : elles ne touchent que des urgences (47 phrases) ; pour le saignement ou la difficulté à respirer, elles ne reconnaissent que les formes de l'auteur, pas les autres tournures.
  • F1 par intention : 0.65 (fournir_patient_info) à 0.92 (confirmation_oui).
  • Le seuil 0,3 a été choisi à la main d'après cette même validation : il est provisoire, non validé sur un jeu séparé.

Limites

  • Peu de données : 561 phrases, pas de fon parlé ni de variantes régionales, ni de code-switching français-fon.
  • Une phrase d'un sujet jamais vu peut être classée dans une intention de santé au lieu d'« inconnu ».
  • Les règles d'urgence ne couvrent que quelques formes. Accouchement, convulsions, brûlure, intoxication autre que le savon et accident hors « grave accident » dépendent du modèle seul.
  • L'application doit toujours demander une confirmation avant d'agir et proposer un contact humain ou les secours pour toute urgence.

Utilisation

from huggingface_hub import snapshot_download
import sys; p = snapshot_download("finanfa-tech/fon-sante-nlu"); sys.path.insert(0, p)
import fon_sante_nlu as f
m = f.load(p)
f.predict(m, ["Vi ce j'ayi"])   # [{'intent': 'signaler_urgence', 'confidence': 1.0, 'source': 'regle'}]

Nécessite scikit-learn==1.9.1.

Auteur

AWADEME Ronaldo, Finanfa Tech. Voir aussi : finanfa-tech/fon-nlu (assistant vocal Mobile Money).

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support