llama-falc โ Simplification de textes administratifs en FALC ๐ซ๐ท
llama-falc est un modรจle fine-tunรฉ ร partir de Llama 3.2 3B Instruct, entraรฎnรฉ sur des paires de textes administratifs franรงais โ versions FALC (Facile ร Lire et ร Comprendre).
โ ๏ธ Note honnรชte : les rรฉsultats de ce modรจle sont dรฉcevants. Ce repository documente un projet d'apprentissage complet, incluant les รฉchecs et les dรฉcisions prises en cours de route. Le dรฉtail est dans la section Retour d'expรฉrience.
ร propos du FALC
Le FALC est une mรฉthode normรฉe de simplification du langage, dรฉfinie par 53 rรจgles europรฉennes (guide Unapei), visant ร rendre l'information accessible aux personnes en situation de handicap cognitif, d'illettrisme ou non-francophones. Obligation lรฉgale pour le service public franรงais depuis 2005.
Utilisation
from mlx_lm import load, generate
model, tokenizer = load("gpnd/llama-falc")
texte_source = "Dans le cadre de la mise en ลuvre des dispositions rรฉglementaires relatives ร l'attribution des prestations sociales, il convient de constituer un dossier de demande auprรจs des services compรฉtents."
prompt = f"[INST] Transforme ce texte administratif en FALC.\n\nTexte :\n{texte_source} [/INST]"
response = generate(model, tokenizer, prompt=prompt, max_tokens=512)
print(response)
Mรฉthodologie & pipeline
1. Collecte des donnรฉes (Firecrawl + scraping)
L'objectif initial รฉtait de constituer un dataset de paires alignรฉes {texte administratif โ version FALC} ร partir de sites gouvernementaux franรงais.
Un bot de scraping a รฉtรฉ construit avec Firecrawl, en utilisant la fonction map pour identifier des sites proposant une version FALC et une version standard en HTML. 22 pages ont รฉtรฉ dรฉtectรฉes, chacune avec sa contrepartie.
Problรจme rencontrรฉ : 22 pages entiรจres (x2) dรฉpassent la fenรชtre de contexte du LLM utilisรฉ pour l'alignement. Le contenu a dรป รชtre fractionnรฉ en รฉlรฉments plus petits avant traitement.
2. Construction du dataset (Python + Claude Sonnet 4.5)
Un script Python a รฉtรฉ dรฉveloppรฉ pour transformer les 22 pages en paires exploitables pour le fine-tuning. Claude Sonnet 4.5 a รฉtรฉ utilisรฉ comme modรจle d'alignement.
Problรจme principal : la qualitรฉ des paires gรฉnรฉrรฉes s'est rรฉvรฉlรฉe insuffisante. Les correspondances entre textes sources et versions FALC manquaient de prรฉcision โ une correspondance thรฉmatique n'est pas une correspondance d'alignement. Mรชme aprรจs amรฉlioration du code Python pour affiner les paires, la qualitรฉ est restรฉe limitรฉe.
Insight clรฉ : la raretรฉ des paires gold strictement alignรฉes sur internet est le vrai verrou du problรจme. La plupart des pages FALC en ligne sont des adaptations thรฉmatiques, pas des traductions directes d'un texte source identifiable.
3. Fine-tuning (MLX + Apple Silicon)
Plusieurs environnements ont รฉtรฉ testรฉs avant de trouver une configuration fonctionnelle :
| Environnement | Rรฉsultat |
|---|---|
| AutoTrain HuggingFace | Fonctionnalitรฉ supprimรฉe |
| Google Colab (GPU T4) | รchec de configuration |
| VSCode + kernel GPU T4 | รchec de configuration |
| VSCode + MLX (Apple Silicon) | โ Fonctionnel |
Le modรจle retenu est Llama 3.2 3B Instruct (bf16) โ choix guidรฉ par les contraintes matรฉrielles (Apple Silicon, MLX framework) plutรดt que par une รฉvaluation comparative.
4. Rรฉsultats
Les outputs du modรจle fine-tunรฉ sont de mauvaise qualitรฉ. Le modรจle ne produit pas de textes FALC conformes aux rรจgles europรฉennes.
Hypothรจses sur les causes d'รฉchec :
- Dataset insuffisant en volume (~22 paires) et en qualitรฉ d'alignement
- Modรจle de base trop petit (3B paramรจtres) pour une tรขche de transformation stylistique aussi contrainte
- Absence de filtre qualitรฉ sur les donnรฉes d'entraรฎnement (pas de rule checker implรฉmentรฉ avant entraรฎnement)
Retour d'expรฉrience
Ce projet est documentรฉ tel quel, y compris l'รฉchec, parce que le processus a de la valeur indรฉpendamment du rรฉsultat :
- Pipeline ML end-to-end rรฉalisรฉ : collecte โ alignement โ fine-tuning โ รฉvaluation
- Verrou identifiรฉ sur les donnรฉes FALC : le problรจme n'est pas le modรจle, c'est la raretรฉ des paires gold strictement alignรฉes en franรงais
- Leรงon sur le fine-tuning : la qualitรฉ du dataset prime sur tout le reste โ entraรฎner sur 22 paires mal alignรฉes produit un modรจle qui apprend du bruit
- Connaissance du stack : MLX, QLoRA, format d'instruction Llama, pipeline de scraping Firecrawl
Une V2 dรฉfendable nรฉcessiterait : 50+ paires gold validรฉes manuellement + filtre qualitรฉ automatique (rule checker Python) avant entraรฎnement + modรจle de base plus grand (7B minimum).
Stack technique
- Fine-tuning : MLX (Apple Silicon), QLoRA
- Scraping : Firecrawl (fonction
map) - Alignement des paires : Claude Sonnet 4.5
- Modรจle de base : Llama 3.2 3B Instruct bf16
Rรฉfรฉrences
- Guide FALC Unapei โ Les 53 rรจgles europรฉennes
- QLoRA: Efficient Finetuning of Quantized LLMs
- MLX โ Apple Machine Learning framework
Auteur
gpnd โ PM IA, projet portfolio d'apprentissage du cycle ML complet.
- Downloads last month
- 5
Model tree for gpnd/llama-falc
Base model
mlx-community/Llama-3.2-3B-Instruct-bf16