ThePredictors / README.md
YBDIXIT
commit
0033bf8
|
Raw History Blame Contribute Delete
9.49 kB

A newer version of the Gradio SDK is available: 6.32.0

Upgrade
metadata
title: Example App Hackathon Gustave Eiffel 2026
emoji: 🤖
colorFrom: blue
colorTo: purple
sdk: gradio
sdk_version: 4.44.1
python_version: '3.11'
app_file: app.py
pinned: false
license: apache-2.0

RAG — Méthodologie d'optimisation Green AI

Objectif du hackathon : maximiser l'accuracy, minimiser les coûts API et l'empreinte carbone.

Score = f(accuracy, tokens consommés, CO₂)


1. Embeddings — Passage au local

Baseline

Les embeddings étaient générés par appel HTTP vers Azure OpenAI text-embedding-3-small (1536 dimensions). Chaque ingestion et chaque requête consommait du quota API et induisait une latence réseau.

Amélioration

Remplacement par paraphrase-multilingual-MiniLM-L12-v2 (sentence-transformers, CPU/MPS, 768 dims).

Pourquoi ce modèle ?

  • Le corpus est en français. all-MiniLM-L6-v2 (souvent cité comme référence) est entraîné quasi-exclusivement sur de l'anglais — ses représentations vectorielles sur du texte actuariel français sont dégradées.
  • paraphrase-multilingual-MiniLM-L12-v2 couvre 50+ langues, même famille d'architecture, ~130 MB, ~30 ms/requête sur CPU. Performances comparables sur texte multilingue.
  • Les vecteurs sont L2-normalisés (normalize_embeddings=True) : la similarité cosinus se réduit à un produit scalaire, ce qui accélère le cache sémantique et la fusion RRF.

Impact Green AI

  • ~100 % du coût API embedding supprimé.
  • ~0 kWh par batch d'inférence locale vs. ~0,0001 kWh par 1000 tokens sur GPU distant.

2. Chunking — Parent-Child

Baseline

RecursiveCharacterTextSplitter avec chunk_size=512 chars, chunk_overlap=50. Chunks simples stockés et envoyés au LLM.

Problème identifié

paraphrase-multilingual-MiniLM-L12-v2 a une fenêtre maximale de 128 tokens. 512 caractères en français ≈ 130-160 tokens → la fin de chaque chunk était silencieusement tronquée lors de l'encodage, dégradant la qualité des vecteurs.

Amélioration — deux granularités

Texte source
    ↓
Parents (1024 chars)   ← frontières sémantiques (titres, paragraphes)
    ↓
Enfants (380 chars)    ← ~95 tokens FR, dans la fenêtre du modèle

Pourquoi ce découpage ?

  • L'enfant (380 chars) est l'unité de retrieval : petit = précis, dans la fenêtre du modèle.
  • Le parent (1024 chars) est l'unité de contexte LLM : plus large = meilleure compréhension sans coupure de formule ou de définition.
  • Un formule actuarielle + son explication tient rarement en 380 chars. Le parent garantit que le LLM voit le bloc complet.

Séparateurs adaptés au Markdown (PyMuPDF)

["---", "\n## ", "\n### ", "\n\n", "\n", ". ", " ", ""]

Les séparateurs --- (changement de page) et \n## (titres) sont prioritaires : le splitter coupe sur les frontières sémantiques avant de couper en milieu de paragraphe.

Overlap 50 → 80 chars Plus de contexte préservé aux jointures — réduit les cas où la réponse est coupée entre deux chunks consécutifs.


3. Extraction PDF — PyMuPDF

Baseline (pypdf)

Extraction texte brut avec marqueurs [Page X] (~5 tokens/page, inutiles pour le LLM).

Amélioration (fitz / PyMuPDF)

page.get_text("markdown") produit du pseudo-Markdown : titres (##), gras (**), séparateurs de pages (---).

Pourquoi ça améliore l'accuracy ? Un PDF actuariel contient des tableaux de taux, des formules numérotées, des sections titrées. En texte brut, tout s'aplatit. En Markdown :

  • Le splitter peut couper sur les titres de section (frontières naturelles).
  • Le LLM perçoit la hiérarchie du document (titre > corps).
  • Les cellules de tableau restent associées à leurs en-têtes.

Impact token : suppression des [Page X] économise ~5 tokens × N pages × 3 chunks/page = ~centaines de tokens par document ingéré.


4. Retrieval hybride — Dense + BM25 + Reranking

Baseline

Top-3 ChromaDB par similarité cosinus → envoyé directement au LLM.

Problème du dense seul

La similarité cosinus mesure la proximité sémantique dans l'espace des embeddings. Elle rate les termes rares à haute valeur : NFIP, IBNR, DRIAS, régression Bêta, Sogecap. Un chunk contenant exactement "NFIP" peut avoir un faible score cosinus face à une question qui contient aussi "NFIP" si le vecteur de ce terme est dilué.

Amélioration — pipeline en 3 étapes

Étape 1 : Dense retrieval

15 candidats ChromaDB par similarité cosinus.

Étape 2 : Sparse retrieval (BM25)

15 candidats supplémentaires par BM25 (TF-IDF probabiliste). BM25 pondère la fréquence du terme dans le chunk et sa rareté dans le corpus — il excelle sur les termes techniques.

Fusion par Reciprocal Rank Fusion (RRF)

score_RRF(doc) = Σ 1 / (k + rang_dans_liste_i)

avec k=60. Les deux listes sont fusionnées indépendamment (rang dense séparé du rang sparse) puis dédupliquées. Un document bon dans les deux listes reçoit un score cumulé élevé.

Étape 3 : Cross-encoder reranking

cross-encoder/mmarco-mMiniLMv2-L12-H384-v1 (multilingue, 13 langues dont FR) reclasse le pool fusionné.

Pourquoi un cross-encoder après le bi-encoder ?

  • Le bi-encoder (SentenceTransformer) encode query et document séparément → pas d'interaction directe entre les tokens des deux textes.
  • Le cross-encoder encode la paire (query, chunk) ensemble → attention croisée complète → score de pertinence bien plus précis.
  • Coût justifié : on ne score que 20 candidats, pas tout le corpus.

Bilan : seuls les 3 meilleurs chunks après reranking partent au LLM → ~80 % de prompt tokens économisés vs. top-15 naïf, meilleure accuracy.


5. Prompt — Dynamic Profiling

Baseline

Un prompt unique pour toutes les questions.

Amélioration

Classification automatique de chaque question en 5 profils :

Type Détection top_k Contexte max Guidance LLM
qcm Options A/B/C/D détectées 2 900 chars Comparer les options, sélectionner la meilleure lettre
formula \b(formule|calcul|ratio|taux)\b 4 1500 chars Donner la règle de calcul exacte
regulatory \b(règlement|directive|solvabilité)\b 5 2000 chars Citer strictement le document
synthesis \b(synthèse|analyse|résumé)\b 6 2500 chars Structurer en points courts
default — 3 1500 chars Réponse factuelle précise

Pourquoi adapter le top_k et le contexte ?

  • Une QCM a 4 options : 2 chunks suffisent à couvrir les distracteurs. Envoyer 6 chunks = tokens gaspillés.
  • Une question de synthèse nécessite plusieurs sources pour construire une vue d'ensemble.
  • La guidance injectée dans le prompt oriente le LLM sur le format de réponse attendu — moins de post-processing, moins de tokens.

temperature=0 : décodage déterministe. Pour des QCM factuelles, la variabilité est un biais, pas un avantage.


6. Cache sémantique

Principe

Avant tout appel LLM, la question est comparée aux réponses déjà calculées via produit scalaire (cosinus sur vecteurs normalisés L2).

scores = np.stack(cache_embeddings) @ query_embedding
if max(scores) >= 0.95 → retourner la réponse en cache

Seuil 0.95 : deux formulations d'une même question de QCM (ex : avec/sans les options explicites) auront une similarité > 0.95. En dessous, ce sont des questions différentes.

Impact : total_token=0, co2_grams=0.0 sur chaque hit. Sur 875 questions avec certaines redondances, l'économie est significative.


7. Seuil de similarité minimum

Si après retrieval le meilleur chunk a un score cosinus < 0.25, la question est probablement hors corpus. Le LLM n'est pas appelé.

Pourquoi ne pas désactiver pour les QCM ? Une QCM hors corpus retournerait une lettre au hasard (25 % de chance d'être juste) mais consommerait des tokens. Avec le seuil, on retourne "Contexte insuffisant" (0 % juste mais 0 token). Arbitrage selon la densité du corpus.


8. Ingestion optimisée

Baseline

Ingestion séquentielle au démarrage du serveur (bloquait le lifespan FastAPI).

Amélioration

Script dédié ingest_train_data_optimized.py :

Étape Optimisation
Extraction 8 threads parallèles (ThreadPoolExecutor) — I/O-bound
Embedding Batch de 128 chunks par appel .encode() — CPU/MPS
Insertion ChromaDB Lots de 500 pour éviter les timeouts
Anti-doublon Vérification des sources déjà indexées avant tout traitement

Le lifespan app.py ne fait qu'une chose au démarrage : reconstruire l'index BM25 en mémoire depuis ChromaDB (~200 ms). L'ingestion est découplée.


9. Récapitulatif des économies Green AI

Levier Économie tokens Économie CO₂
Embeddings locaux 100 % coût embedding ~100 % énergie embedding
Cache sémantique (hit) 100 % tokens LLM 100 %
Seuil similarité (hors corpus) 100 % tokens LLM 100 %
Reranking 20→3 chunks ~80 % prompt tokens Proportionnel
max_tokens adaptatif (QCM=128) ~50 % completion tokens QCM Proportionnel
temperature=0 marginal marginal
Suppression [Source:] / [Page X] ~15-20 tokens/requête marginal