--- title: Example App Hackathon Gustave Eiffel 2026 emoji: 🤖 colorFrom: blue colorTo: purple sdk: gradio sdk_version: 4.44.1 python_version: '3.11' app_file: app.py pinned: false license: apache-2.0 --- # RAG — Méthodologie d'optimisation Green AI Objectif du hackathon : maximiser l'**accuracy**, minimiser les **coûts API** et l'**empreinte carbone**. > Score = f(accuracy, tokens consommés, CO₂) --- ## 1. Embeddings — Passage au local ### Baseline Les embeddings étaient générés par appel HTTP vers Azure OpenAI `text-embedding-3-small` (1536 dimensions). Chaque ingestion et chaque requête consommait du quota API et induisait une latence réseau. ### Amélioration Remplacement par `paraphrase-multilingual-MiniLM-L12-v2` (sentence-transformers, CPU/MPS, 768 dims). **Pourquoi ce modèle ?** - Le corpus est en **français**. `all-MiniLM-L6-v2` (souvent cité comme référence) est entraîné quasi-exclusivement sur de l'anglais — ses représentations vectorielles sur du texte actuariel français sont dégradées. - `paraphrase-multilingual-MiniLM-L12-v2` couvre 50+ langues, même famille d'architecture, ~130 MB, ~30 ms/requête sur CPU. Performances comparables sur texte multilingue. - Les vecteurs sont **L2-normalisés** (`normalize_embeddings=True`) : la similarité cosinus se réduit à un produit scalaire, ce qui accélère le cache sémantique et la fusion RRF. **Impact Green AI** - ~100 % du coût API embedding supprimé. - ~0 kWh par batch d'inférence locale vs. ~0,0001 kWh par 1000 tokens sur GPU distant. --- ## 2. Chunking — Parent-Child ### Baseline `RecursiveCharacterTextSplitter` avec `chunk_size=512` chars, `chunk_overlap=50`. Chunks simples stockés et envoyés au LLM. ### Problème identifié `paraphrase-multilingual-MiniLM-L12-v2` a une fenêtre maximale de **128 tokens**. 512 caractères en français ≈ 130-160 tokens → la fin de chaque chunk était **silencieusement tronquée** lors de l'encodage, dégradant la qualité des vecteurs. ### Amélioration — deux granularités ``` Texte source ↓ Parents (1024 chars) ← frontières sémantiques (titres, paragraphes) ↓ Enfants (380 chars) ← ~95 tokens FR, dans la fenêtre du modèle ``` **Pourquoi ce découpage ?** - L'**enfant** (380 chars) est l'unité de retrieval : petit = précis, dans la fenêtre du modèle. - Le **parent** (1024 chars) est l'unité de contexte LLM : plus large = meilleure compréhension sans coupure de formule ou de définition. - Un formule actuarielle + son explication tient rarement en 380 chars. Le parent garantit que le LLM voit le bloc complet. **Séparateurs adaptés au Markdown (PyMuPDF)** ```python ["---", "\n## ", "\n### ", "\n\n", "\n", ". ", " ", ""] ``` Les séparateurs `---` (changement de page) et `\n## ` (titres) sont prioritaires : le splitter coupe sur les frontières sémantiques avant de couper en milieu de paragraphe. **Overlap 50 → 80 chars** Plus de contexte préservé aux jointures — réduit les cas où la réponse est coupée entre deux chunks consécutifs. --- ## 3. Extraction PDF — PyMuPDF ### Baseline (`pypdf`) Extraction texte brut avec marqueurs `[Page X]` (~5 tokens/page, inutiles pour le LLM). ### Amélioration (`fitz / PyMuPDF`) `page.get_text("markdown")` produit du pseudo-Markdown : titres (`##`), gras (`**`), séparateurs de pages (`---`). **Pourquoi ça améliore l'accuracy ?** Un PDF actuariel contient des tableaux de taux, des formules numérotées, des sections titrées. En texte brut, tout s'aplatit. En Markdown : - Le splitter peut couper sur les titres de section (frontières naturelles). - Le LLM perçoit la hiérarchie du document (titre > corps). - Les cellules de tableau restent associées à leurs en-têtes. **Impact token** : suppression des `[Page X]` économise ~5 tokens × N pages × 3 chunks/page = ~centaines de tokens par document ingéré. --- ## 4. Retrieval hybride — Dense + BM25 + Reranking ### Baseline Top-3 ChromaDB par similarité cosinus → envoyé directement au LLM. ### Problème du dense seul La similarité cosinus mesure la proximité sémantique dans l'espace des embeddings. Elle rate les **termes rares à haute valeur** : `NFIP`, `IBNR`, `DRIAS`, `régression Bêta`, `Sogecap`. Un chunk contenant exactement `"NFIP"` peut avoir un faible score cosinus face à une question qui contient aussi `"NFIP"` si le vecteur de ce terme est dilué. ### Amélioration — pipeline en 3 étapes #### Étape 1 : Dense retrieval 15 candidats ChromaDB par similarité cosinus. #### Étape 2 : Sparse retrieval (BM25) 15 candidats supplémentaires par BM25 (TF-IDF probabiliste). BM25 pondère la fréquence du terme dans le chunk et sa rareté dans le corpus — il excelle sur les termes techniques. **Fusion par Reciprocal Rank Fusion (RRF)** ``` score_RRF(doc) = Σ 1 / (k + rang_dans_liste_i) ``` avec `k=60`. Les deux listes sont fusionnées indépendamment (rang dense séparé du rang sparse) puis dédupliquées. Un document bon dans les deux listes reçoit un score cumulé élevé. #### Étape 3 : Cross-encoder reranking `cross-encoder/mmarco-mMiniLMv2-L12-H384-v1` (multilingue, 13 langues dont FR) reclasse le pool fusionné. **Pourquoi un cross-encoder après le bi-encoder ?** - Le bi-encoder (SentenceTransformer) encode query et document **séparément** → pas d'interaction directe entre les tokens des deux textes. - Le cross-encoder encode la **paire (query, chunk)** ensemble → attention croisée complète → score de pertinence bien plus précis. - Coût justifié : on ne score que 20 candidats, pas tout le corpus. **Bilan** : seuls les 3 meilleurs chunks après reranking partent au LLM → ~80 % de prompt tokens économisés vs. top-15 naïf, meilleure accuracy. --- ## 5. Prompt — Dynamic Profiling ### Baseline Un prompt unique pour toutes les questions. ### Amélioration Classification automatique de chaque question en 5 profils : | Type | Détection | top_k | Contexte max | Guidance LLM | |------|-----------|-------|--------------|--------------| | `qcm` | Options A/B/C/D détectées | 2 | 900 chars | Comparer les options, sélectionner la meilleure lettre | | `formula` | `\b(formule\|calcul\|ratio\|taux)\b` | 4 | 1500 chars | Donner la règle de calcul exacte | | `regulatory` | `\b(règlement\|directive\|solvabilité)\b` | 5 | 2000 chars | Citer strictement le document | | `synthesis` | `\b(synthèse\|analyse\|résumé)\b` | 6 | 2500 chars | Structurer en points courts | | `default` | — | 3 | 1500 chars | Réponse factuelle précise | **Pourquoi adapter le top_k et le contexte ?** - Une QCM a 4 options : 2 chunks suffisent à couvrir les distracteurs. Envoyer 6 chunks = tokens gaspillés. - Une question de synthèse nécessite plusieurs sources pour construire une vue d'ensemble. - La guidance injectée dans le prompt oriente le LLM sur le format de réponse attendu — moins de post-processing, moins de tokens. **`temperature=0`** : décodage déterministe. Pour des QCM factuelles, la variabilité est un biais, pas un avantage. --- ## 6. Cache sémantique ### Principe Avant tout appel LLM, la question est comparée aux réponses déjà calculées via produit scalaire (cosinus sur vecteurs normalisés L2). ```python scores = np.stack(cache_embeddings) @ query_embedding if max(scores) >= 0.95 → retourner la réponse en cache ``` **Seuil 0.95** : deux formulations d'une même question de QCM (ex : avec/sans les options explicites) auront une similarité > 0.95. En dessous, ce sont des questions différentes. **Impact** : `total_token=0`, `co2_grams=0.0` sur chaque hit. Sur 875 questions avec certaines redondances, l'économie est significative. --- ## 7. Seuil de similarité minimum Si après retrieval le meilleur chunk a un score cosinus < 0.25, la question est probablement hors corpus. Le LLM n'est pas appelé. **Pourquoi ne pas désactiver pour les QCM ?** Une QCM hors corpus retournerait une lettre au hasard (25 % de chance d'être juste) mais consommerait des tokens. Avec le seuil, on retourne `"Contexte insuffisant"` (0 % juste mais 0 token). Arbitrage selon la densité du corpus. --- ## 8. Ingestion optimisée ### Baseline Ingestion séquentielle au démarrage du serveur (bloquait le lifespan FastAPI). ### Amélioration Script dédié `ingest_train_data_optimized.py` : | Étape | Optimisation | |-------|-------------| | Extraction | 8 threads parallèles (`ThreadPoolExecutor`) — I/O-bound | | Embedding | Batch de 128 chunks par appel `.encode()` — CPU/MPS | | Insertion ChromaDB | Lots de 500 pour éviter les timeouts | | Anti-doublon | Vérification des sources déjà indexées avant tout traitement | Le lifespan `app.py` ne fait qu'une chose au démarrage : reconstruire l'index BM25 en mémoire depuis ChromaDB (~200 ms). L'ingestion est découplée. --- ## 9. Récapitulatif des économies Green AI | Levier | Économie tokens | Économie CO₂ | |--------|----------------|--------------| | Embeddings locaux | 100 % coût embedding | ~100 % énergie embedding | | Cache sémantique (hit) | 100 % tokens LLM | 100 % | | Seuil similarité (hors corpus) | 100 % tokens LLM | 100 % | | Reranking 20→3 chunks | ~80 % prompt tokens | Proportionnel | | `max_tokens` adaptatif (QCM=128) | ~50 % completion tokens QCM | Proportionnel | | `temperature=0` | marginal | marginal | | Suppression `[Source:]` / `[Page X]` | ~15-20 tokens/requête | marginal |