Spaces:
Sleeping
Download README.md from YBDixit/ThePredictors: direct link, hf CLI and curl.
- Browser
- Download file 9.49 kB
-
https://huggingface.co/spaces/YBDixit/ThePredictors/resolve/main/README.md
- Command line
-
hf download hf://spaces/YBDixit/ThePredictors/README.md
-
curl -L -o README.md https://huggingface.co/spaces/YBDixit/ThePredictors/resolve/main/README.md
A newer version of the Gradio SDK is available: 6.32.0
title: Example App Hackathon Gustave Eiffel 2026
emoji: 🤖
colorFrom: blue
colorTo: purple
sdk: gradio
sdk_version: 4.44.1
python_version: '3.11'
app_file: app.py
pinned: false
license: apache-2.0
RAG — Méthodologie d'optimisation Green AI
Objectif du hackathon : maximiser l'accuracy, minimiser les coûts API et l'empreinte carbone.
Score = f(accuracy, tokens consommés, CO₂)
1. Embeddings — Passage au local
Baseline
Les embeddings étaient générés par appel HTTP vers Azure OpenAI text-embedding-3-small (1536 dimensions). Chaque ingestion et chaque requête consommait du quota API et induisait une latence réseau.
Amélioration
Remplacement par paraphrase-multilingual-MiniLM-L12-v2 (sentence-transformers, CPU/MPS, 768 dims).
Pourquoi ce modèle ?
- Le corpus est en français.
all-MiniLM-L6-v2(souvent cité comme référence) est entraîné quasi-exclusivement sur de l'anglais — ses représentations vectorielles sur du texte actuariel français sont dégradées. paraphrase-multilingual-MiniLM-L12-v2couvre 50+ langues, même famille d'architecture, ~130 MB, ~30 ms/requête sur CPU. Performances comparables sur texte multilingue.- Les vecteurs sont L2-normalisés (
normalize_embeddings=True) : la similarité cosinus se réduit à un produit scalaire, ce qui accélère le cache sémantique et la fusion RRF.
Impact Green AI
- ~100 % du coût API embedding supprimé.
- ~0 kWh par batch d'inférence locale vs. ~0,0001 kWh par 1000 tokens sur GPU distant.
2. Chunking — Parent-Child
Baseline
RecursiveCharacterTextSplitter avec chunk_size=512 chars, chunk_overlap=50. Chunks simples stockés et envoyés au LLM.
Problème identifié
paraphrase-multilingual-MiniLM-L12-v2 a une fenêtre maximale de 128 tokens. 512 caractères en français ≈ 130-160 tokens → la fin de chaque chunk était silencieusement tronquée lors de l'encodage, dégradant la qualité des vecteurs.
Amélioration — deux granularités
Texte source
↓
Parents (1024 chars) ← frontières sémantiques (titres, paragraphes)
↓
Enfants (380 chars) ← ~95 tokens FR, dans la fenêtre du modèle
Pourquoi ce découpage ?
- L'enfant (380 chars) est l'unité de retrieval : petit = précis, dans la fenêtre du modèle.
- Le parent (1024 chars) est l'unité de contexte LLM : plus large = meilleure compréhension sans coupure de formule ou de définition.
- Un formule actuarielle + son explication tient rarement en 380 chars. Le parent garantit que le LLM voit le bloc complet.
Séparateurs adaptés au Markdown (PyMuPDF)
["---", "\n## ", "\n### ", "\n\n", "\n", ". ", " ", ""]
Les séparateurs --- (changement de page) et \n## (titres) sont prioritaires : le splitter coupe sur les frontières sémantiques avant de couper en milieu de paragraphe.
Overlap 50 → 80 chars Plus de contexte préservé aux jointures — réduit les cas où la réponse est coupée entre deux chunks consécutifs.
3. Extraction PDF — PyMuPDF
Baseline (pypdf)
Extraction texte brut avec marqueurs [Page X] (~5 tokens/page, inutiles pour le LLM).
Amélioration (fitz / PyMuPDF)
page.get_text("markdown") produit du pseudo-Markdown : titres (##), gras (**), séparateurs de pages (---).
Pourquoi ça améliore l'accuracy ? Un PDF actuariel contient des tableaux de taux, des formules numérotées, des sections titrées. En texte brut, tout s'aplatit. En Markdown :
- Le splitter peut couper sur les titres de section (frontières naturelles).
- Le LLM perçoit la hiérarchie du document (titre > corps).
- Les cellules de tableau restent associées à leurs en-têtes.
Impact token : suppression des [Page X] économise ~5 tokens × N pages × 3 chunks/page = ~centaines de tokens par document ingéré.
4. Retrieval hybride — Dense + BM25 + Reranking
Baseline
Top-3 ChromaDB par similarité cosinus → envoyé directement au LLM.
Problème du dense seul
La similarité cosinus mesure la proximité sémantique dans l'espace des embeddings. Elle rate les termes rares à haute valeur : NFIP, IBNR, DRIAS, régression Bêta, Sogecap. Un chunk contenant exactement "NFIP" peut avoir un faible score cosinus face à une question qui contient aussi "NFIP" si le vecteur de ce terme est dilué.
Amélioration — pipeline en 3 étapes
Étape 1 : Dense retrieval
15 candidats ChromaDB par similarité cosinus.
Étape 2 : Sparse retrieval (BM25)
15 candidats supplémentaires par BM25 (TF-IDF probabiliste). BM25 pondère la fréquence du terme dans le chunk et sa rareté dans le corpus — il excelle sur les termes techniques.
Fusion par Reciprocal Rank Fusion (RRF)
score_RRF(doc) = Σ 1 / (k + rang_dans_liste_i)
avec k=60. Les deux listes sont fusionnées indépendamment (rang dense séparé du rang sparse) puis dédupliquées. Un document bon dans les deux listes reçoit un score cumulé élevé.
Étape 3 : Cross-encoder reranking
cross-encoder/mmarco-mMiniLMv2-L12-H384-v1 (multilingue, 13 langues dont FR) reclasse le pool fusionné.
Pourquoi un cross-encoder après le bi-encoder ?
- Le bi-encoder (SentenceTransformer) encode query et document séparément → pas d'interaction directe entre les tokens des deux textes.
- Le cross-encoder encode la paire (query, chunk) ensemble → attention croisée complète → score de pertinence bien plus précis.
- Coût justifié : on ne score que 20 candidats, pas tout le corpus.
Bilan : seuls les 3 meilleurs chunks après reranking partent au LLM → ~80 % de prompt tokens économisés vs. top-15 naïf, meilleure accuracy.
5. Prompt — Dynamic Profiling
Baseline
Un prompt unique pour toutes les questions.
Amélioration
Classification automatique de chaque question en 5 profils :
| Type | Détection | top_k | Contexte max | Guidance LLM |
|---|---|---|---|---|
qcm |
Options A/B/C/D détectées | 2 | 900 chars | Comparer les options, sélectionner la meilleure lettre |
formula |
\b(formule|calcul|ratio|taux)\b |
4 | 1500 chars | Donner la règle de calcul exacte |
regulatory |
\b(règlement|directive|solvabilité)\b |
5 | 2000 chars | Citer strictement le document |
synthesis |
\b(synthèse|analyse|résumé)\b |
6 | 2500 chars | Structurer en points courts |
default |
— | 3 | 1500 chars | Réponse factuelle précise |
Pourquoi adapter le top_k et le contexte ?
- Une QCM a 4 options : 2 chunks suffisent à couvrir les distracteurs. Envoyer 6 chunks = tokens gaspillés.
- Une question de synthèse nécessite plusieurs sources pour construire une vue d'ensemble.
- La guidance injectée dans le prompt oriente le LLM sur le format de réponse attendu — moins de post-processing, moins de tokens.
temperature=0 : décodage déterministe. Pour des QCM factuelles, la variabilité est un biais, pas un avantage.
6. Cache sémantique
Principe
Avant tout appel LLM, la question est comparée aux réponses déjà calculées via produit scalaire (cosinus sur vecteurs normalisés L2).
scores = np.stack(cache_embeddings) @ query_embedding
if max(scores) >= 0.95 → retourner la réponse en cache
Seuil 0.95 : deux formulations d'une même question de QCM (ex : avec/sans les options explicites) auront une similarité > 0.95. En dessous, ce sont des questions différentes.
Impact : total_token=0, co2_grams=0.0 sur chaque hit. Sur 875 questions avec certaines redondances, l'économie est significative.
7. Seuil de similarité minimum
Si après retrieval le meilleur chunk a un score cosinus < 0.25, la question est probablement hors corpus. Le LLM n'est pas appelé.
Pourquoi ne pas désactiver pour les QCM ?
Une QCM hors corpus retournerait une lettre au hasard (25 % de chance d'être juste) mais consommerait des tokens. Avec le seuil, on retourne "Contexte insuffisant" (0 % juste mais 0 token). Arbitrage selon la densité du corpus.
8. Ingestion optimisée
Baseline
Ingestion séquentielle au démarrage du serveur (bloquait le lifespan FastAPI).
Amélioration
Script dédié ingest_train_data_optimized.py :
| Étape | Optimisation |
|---|---|
| Extraction | 8 threads parallèles (ThreadPoolExecutor) — I/O-bound |
| Embedding | Batch de 128 chunks par appel .encode() — CPU/MPS |
| Insertion ChromaDB | Lots de 500 pour éviter les timeouts |
| Anti-doublon | Vérification des sources déjà indexées avant tout traitement |
Le lifespan app.py ne fait qu'une chose au démarrage : reconstruire l'index BM25 en mémoire depuis ChromaDB (~200 ms). L'ingestion est découplée.
9. Récapitulatif des économies Green AI
| Levier | Économie tokens | Économie CO₂ |
|---|---|---|
| Embeddings locaux | 100 % coût embedding | ~100 % énergie embedding |
| Cache sémantique (hit) | 100 % tokens LLM | 100 % |
| Seuil similarité (hors corpus) | 100 % tokens LLM | 100 % |
| Reranking 20→3 chunks | ~80 % prompt tokens | Proportionnel |
max_tokens adaptatif (QCM=128) |
~50 % completion tokens QCM | Proportionnel |
temperature=0 |
marginal | marginal |
Suppression [Source:] / [Page X] |
~15-20 tokens/requête | marginal |