ThePredictors / README.md
YBDIXIT
commit
0033bf8
|
Raw History Blame Contribute Delete
9.49 kB
---
title: Example App Hackathon Gustave Eiffel 2026
emoji: 🤖
colorFrom: blue
colorTo: purple
sdk: gradio
sdk_version: 4.44.1
python_version: '3.11'
app_file: app.py
pinned: false
license: apache-2.0
---
# RAG — Méthodologie d'optimisation Green AI
Objectif du hackathon : maximiser l'**accuracy**, minimiser les **coûts API** et l'**empreinte carbone**.
> Score = f(accuracy, tokens consommés, CO₂)
---
## 1. Embeddings — Passage au local
### Baseline
Les embeddings étaient générés par appel HTTP vers Azure OpenAI `text-embedding-3-small` (1536 dimensions). Chaque ingestion et chaque requête consommait du quota API et induisait une latence réseau.
### Amélioration
Remplacement par `paraphrase-multilingual-MiniLM-L12-v2` (sentence-transformers, CPU/MPS, 768 dims).
**Pourquoi ce modèle ?**
- Le corpus est en **français**. `all-MiniLM-L6-v2` (souvent cité comme référence) est entraîné quasi-exclusivement sur de l'anglais — ses représentations vectorielles sur du texte actuariel français sont dégradées.
- `paraphrase-multilingual-MiniLM-L12-v2` couvre 50+ langues, même famille d'architecture, ~130 MB, ~30 ms/requête sur CPU. Performances comparables sur texte multilingue.
- Les vecteurs sont **L2-normalisés** (`normalize_embeddings=True`) : la similarité cosinus se réduit à un produit scalaire, ce qui accélère le cache sémantique et la fusion RRF.
**Impact Green AI**
- ~100 % du coût API embedding supprimé.
- ~0 kWh par batch d'inférence locale vs. ~0,0001 kWh par 1000 tokens sur GPU distant.
---
## 2. Chunking — Parent-Child
### Baseline
`RecursiveCharacterTextSplitter` avec `chunk_size=512` chars, `chunk_overlap=50`. Chunks simples stockés et envoyés au LLM.
### Problème identifié
`paraphrase-multilingual-MiniLM-L12-v2` a une fenêtre maximale de **128 tokens**. 512 caractères en français ≈ 130-160 tokens → la fin de chaque chunk était **silencieusement tronquée** lors de l'encodage, dégradant la qualité des vecteurs.
### Amélioration — deux granularités
```
Texte source
↓
Parents (1024 chars) ← frontières sémantiques (titres, paragraphes)
↓
Enfants (380 chars) ← ~95 tokens FR, dans la fenêtre du modèle
```
**Pourquoi ce découpage ?**
- L'**enfant** (380 chars) est l'unité de retrieval : petit = précis, dans la fenêtre du modèle.
- Le **parent** (1024 chars) est l'unité de contexte LLM : plus large = meilleure compréhension sans coupure de formule ou de définition.
- Un formule actuarielle + son explication tient rarement en 380 chars. Le parent garantit que le LLM voit le bloc complet.
**Séparateurs adaptés au Markdown (PyMuPDF)**
```python
["---", "\n## ", "\n### ", "\n\n", "\n", ". ", " ", ""]
```
Les séparateurs `---` (changement de page) et `\n## ` (titres) sont prioritaires : le splitter coupe sur les frontières sémantiques avant de couper en milieu de paragraphe.
**Overlap 50 → 80 chars**
Plus de contexte préservé aux jointures — réduit les cas où la réponse est coupée entre deux chunks consécutifs.
---
## 3. Extraction PDF — PyMuPDF
### Baseline (`pypdf`)
Extraction texte brut avec marqueurs `[Page X]` (~5 tokens/page, inutiles pour le LLM).
### Amélioration (`fitz / PyMuPDF`)
`page.get_text("markdown")` produit du pseudo-Markdown : titres (`##`), gras (`**`), séparateurs de pages (`---`).
**Pourquoi ça améliore l'accuracy ?**
Un PDF actuariel contient des tableaux de taux, des formules numérotées, des sections titrées. En texte brut, tout s'aplatit. En Markdown :
- Le splitter peut couper sur les titres de section (frontières naturelles).
- Le LLM perçoit la hiérarchie du document (titre > corps).
- Les cellules de tableau restent associées à leurs en-têtes.
**Impact token** : suppression des `[Page X]` économise ~5 tokens × N pages × 3 chunks/page = ~centaines de tokens par document ingéré.
---
## 4. Retrieval hybride — Dense + BM25 + Reranking
### Baseline
Top-3 ChromaDB par similarité cosinus → envoyé directement au LLM.
### Problème du dense seul
La similarité cosinus mesure la proximité sémantique dans l'espace des embeddings. Elle rate les **termes rares à haute valeur** : `NFIP`, `IBNR`, `DRIAS`, `régression Bêta`, `Sogecap`. Un chunk contenant exactement `"NFIP"` peut avoir un faible score cosinus face à une question qui contient aussi `"NFIP"` si le vecteur de ce terme est dilué.
### Amélioration — pipeline en 3 étapes
#### Étape 1 : Dense retrieval
15 candidats ChromaDB par similarité cosinus.
#### Étape 2 : Sparse retrieval (BM25)
15 candidats supplémentaires par BM25 (TF-IDF probabiliste). BM25 pondère la fréquence du terme dans le chunk et sa rareté dans le corpus — il excelle sur les termes techniques.
**Fusion par Reciprocal Rank Fusion (RRF)**
```
score_RRF(doc) = Σ 1 / (k + rang_dans_liste_i)
```
avec `k=60`. Les deux listes sont fusionnées indépendamment (rang dense séparé du rang sparse) puis dédupliquées. Un document bon dans les deux listes reçoit un score cumulé élevé.
#### Étape 3 : Cross-encoder reranking
`cross-encoder/mmarco-mMiniLMv2-L12-H384-v1` (multilingue, 13 langues dont FR) reclasse le pool fusionné.
**Pourquoi un cross-encoder après le bi-encoder ?**
- Le bi-encoder (SentenceTransformer) encode query et document **séparément** → pas d'interaction directe entre les tokens des deux textes.
- Le cross-encoder encode la **paire (query, chunk)** ensemble → attention croisée complète → score de pertinence bien plus précis.
- Coût justifié : on ne score que 20 candidats, pas tout le corpus.
**Bilan** : seuls les 3 meilleurs chunks après reranking partent au LLM → ~80 % de prompt tokens économisés vs. top-15 naïf, meilleure accuracy.
---
## 5. Prompt — Dynamic Profiling
### Baseline
Un prompt unique pour toutes les questions.
### Amélioration
Classification automatique de chaque question en 5 profils :
| Type | Détection | top_k | Contexte max | Guidance LLM |
|------|-----------|-------|--------------|--------------|
| `qcm` | Options A/B/C/D détectées | 2 | 900 chars | Comparer les options, sélectionner la meilleure lettre |
| `formula` | `\b(formule\|calcul\|ratio\|taux)\b` | 4 | 1500 chars | Donner la règle de calcul exacte |
| `regulatory` | `\b(règlement\|directive\|solvabilité)\b` | 5 | 2000 chars | Citer strictement le document |
| `synthesis` | `\b(synthèse\|analyse\|résumé)\b` | 6 | 2500 chars | Structurer en points courts |
| `default` | — | 3 | 1500 chars | Réponse factuelle précise |
**Pourquoi adapter le top_k et le contexte ?**
- Une QCM a 4 options : 2 chunks suffisent à couvrir les distracteurs. Envoyer 6 chunks = tokens gaspillés.
- Une question de synthèse nécessite plusieurs sources pour construire une vue d'ensemble.
- La guidance injectée dans le prompt oriente le LLM sur le format de réponse attendu — moins de post-processing, moins de tokens.
**`temperature=0`** : décodage déterministe. Pour des QCM factuelles, la variabilité est un biais, pas un avantage.
---
## 6. Cache sémantique
### Principe
Avant tout appel LLM, la question est comparée aux réponses déjà calculées via produit scalaire (cosinus sur vecteurs normalisés L2).
```python
scores = np.stack(cache_embeddings) @ query_embedding
if max(scores) >= 0.95 → retourner la réponse en cache
```
**Seuil 0.95** : deux formulations d'une même question de QCM (ex : avec/sans les options explicites) auront une similarité > 0.95. En dessous, ce sont des questions différentes.
**Impact** : `total_token=0`, `co2_grams=0.0` sur chaque hit. Sur 875 questions avec certaines redondances, l'économie est significative.
---
## 7. Seuil de similarité minimum
Si après retrieval le meilleur chunk a un score cosinus < 0.25, la question est probablement hors corpus. Le LLM n'est pas appelé.
**Pourquoi ne pas désactiver pour les QCM ?**
Une QCM hors corpus retournerait une lettre au hasard (25 % de chance d'être juste) mais consommerait des tokens. Avec le seuil, on retourne `"Contexte insuffisant"` (0 % juste mais 0 token). Arbitrage selon la densité du corpus.
---
## 8. Ingestion optimisée
### Baseline
Ingestion séquentielle au démarrage du serveur (bloquait le lifespan FastAPI).
### Amélioration
Script dédié `ingest_train_data_optimized.py` :
| Étape | Optimisation |
|-------|-------------|
| Extraction | 8 threads parallèles (`ThreadPoolExecutor`) — I/O-bound |
| Embedding | Batch de 128 chunks par appel `.encode()` — CPU/MPS |
| Insertion ChromaDB | Lots de 500 pour éviter les timeouts |
| Anti-doublon | Vérification des sources déjà indexées avant tout traitement |
Le lifespan `app.py` ne fait qu'une chose au démarrage : reconstruire l'index BM25 en mémoire depuis ChromaDB (~200 ms). L'ingestion est découplée.
---
## 9. Récapitulatif des économies Green AI
| Levier | Économie tokens | Économie CO₂ |
|--------|----------------|--------------|
| Embeddings locaux | 100 % coût embedding | ~100 % énergie embedding |
| Cache sémantique (hit) | 100 % tokens LLM | 100 % |
| Seuil similarité (hors corpus) | 100 % tokens LLM | 100 % |
| Reranking 20→3 chunks | ~80 % prompt tokens | Proportionnel |
| `max_tokens` adaptatif (QCM=128) | ~50 % completion tokens QCM | Proportionnel |
| `temperature=0` | marginal | marginal |
| Suppression `[Source:]` / `[Page X]` | ~15-20 tokens/requête | marginal |