Spaces:
Sleeping
Sleeping
|
Download README.md from YBDixit/ThePredictors: direct link, hf CLI and curl.
- Browser
- Download file 9.49 kB
-
https://huggingface.co/spaces/YBDixit/ThePredictors/resolve/main/README.md
- Command line
-
hf download hf://spaces/YBDixit/ThePredictors/README.md
-
curl -L -o README.md https://huggingface.co/spaces/YBDixit/ThePredictors/resolve/main/README.md
9.49 kB
| title: Example App Hackathon Gustave Eiffel 2026 | |
| emoji: 🤖 | |
| colorFrom: blue | |
| colorTo: purple | |
| sdk: gradio | |
| sdk_version: 4.44.1 | |
| python_version: '3.11' | |
| app_file: app.py | |
| pinned: false | |
| license: apache-2.0 | |
| # RAG — Méthodologie d'optimisation Green AI | |
| Objectif du hackathon : maximiser l'**accuracy**, minimiser les **coûts API** et l'**empreinte carbone**. | |
| > Score = f(accuracy, tokens consommés, CO₂) | |
| --- | |
| ## 1. Embeddings — Passage au local | |
| ### Baseline | |
| Les embeddings étaient générés par appel HTTP vers Azure OpenAI `text-embedding-3-small` (1536 dimensions). Chaque ingestion et chaque requête consommait du quota API et induisait une latence réseau. | |
| ### Amélioration | |
| Remplacement par `paraphrase-multilingual-MiniLM-L12-v2` (sentence-transformers, CPU/MPS, 768 dims). | |
| **Pourquoi ce modèle ?** | |
| - Le corpus est en **français**. `all-MiniLM-L6-v2` (souvent cité comme référence) est entraîné quasi-exclusivement sur de l'anglais — ses représentations vectorielles sur du texte actuariel français sont dégradées. | |
| - `paraphrase-multilingual-MiniLM-L12-v2` couvre 50+ langues, même famille d'architecture, ~130 MB, ~30 ms/requête sur CPU. Performances comparables sur texte multilingue. | |
| - Les vecteurs sont **L2-normalisés** (`normalize_embeddings=True`) : la similarité cosinus se réduit à un produit scalaire, ce qui accélère le cache sémantique et la fusion RRF. | |
| **Impact Green AI** | |
| - ~100 % du coût API embedding supprimé. | |
| - ~0 kWh par batch d'inférence locale vs. ~0,0001 kWh par 1000 tokens sur GPU distant. | |
| --- | |
| ## 2. Chunking — Parent-Child | |
| ### Baseline | |
| `RecursiveCharacterTextSplitter` avec `chunk_size=512` chars, `chunk_overlap=50`. Chunks simples stockés et envoyés au LLM. | |
| ### Problème identifié | |
| `paraphrase-multilingual-MiniLM-L12-v2` a une fenêtre maximale de **128 tokens**. 512 caractères en français ≈ 130-160 tokens → la fin de chaque chunk était **silencieusement tronquée** lors de l'encodage, dégradant la qualité des vecteurs. | |
| ### Amélioration — deux granularités | |
| ``` | |
| Texte source | |
| ↓ | |
| Parents (1024 chars) ← frontières sémantiques (titres, paragraphes) | |
| ↓ | |
| Enfants (380 chars) ← ~95 tokens FR, dans la fenêtre du modèle | |
| ``` | |
| **Pourquoi ce découpage ?** | |
| - L'**enfant** (380 chars) est l'unité de retrieval : petit = précis, dans la fenêtre du modèle. | |
| - Le **parent** (1024 chars) est l'unité de contexte LLM : plus large = meilleure compréhension sans coupure de formule ou de définition. | |
| - Un formule actuarielle + son explication tient rarement en 380 chars. Le parent garantit que le LLM voit le bloc complet. | |
| **Séparateurs adaptés au Markdown (PyMuPDF)** | |
| ```python | |
| ["---", "\n## ", "\n### ", "\n\n", "\n", ". ", " ", ""] | |
| ``` | |
| Les séparateurs `---` (changement de page) et `\n## ` (titres) sont prioritaires : le splitter coupe sur les frontières sémantiques avant de couper en milieu de paragraphe. | |
| **Overlap 50 → 80 chars** | |
| Plus de contexte préservé aux jointures — réduit les cas où la réponse est coupée entre deux chunks consécutifs. | |
| --- | |
| ## 3. Extraction PDF — PyMuPDF | |
| ### Baseline (`pypdf`) | |
| Extraction texte brut avec marqueurs `[Page X]` (~5 tokens/page, inutiles pour le LLM). | |
| ### Amélioration (`fitz / PyMuPDF`) | |
| `page.get_text("markdown")` produit du pseudo-Markdown : titres (`##`), gras (`**`), séparateurs de pages (`---`). | |
| **Pourquoi ça améliore l'accuracy ?** | |
| Un PDF actuariel contient des tableaux de taux, des formules numérotées, des sections titrées. En texte brut, tout s'aplatit. En Markdown : | |
| - Le splitter peut couper sur les titres de section (frontières naturelles). | |
| - Le LLM perçoit la hiérarchie du document (titre > corps). | |
| - Les cellules de tableau restent associées à leurs en-têtes. | |
| **Impact token** : suppression des `[Page X]` économise ~5 tokens × N pages × 3 chunks/page = ~centaines de tokens par document ingéré. | |
| --- | |
| ## 4. Retrieval hybride — Dense + BM25 + Reranking | |
| ### Baseline | |
| Top-3 ChromaDB par similarité cosinus → envoyé directement au LLM. | |
| ### Problème du dense seul | |
| La similarité cosinus mesure la proximité sémantique dans l'espace des embeddings. Elle rate les **termes rares à haute valeur** : `NFIP`, `IBNR`, `DRIAS`, `régression Bêta`, `Sogecap`. Un chunk contenant exactement `"NFIP"` peut avoir un faible score cosinus face à une question qui contient aussi `"NFIP"` si le vecteur de ce terme est dilué. | |
| ### Amélioration — pipeline en 3 étapes | |
| #### Étape 1 : Dense retrieval | |
| 15 candidats ChromaDB par similarité cosinus. | |
| #### Étape 2 : Sparse retrieval (BM25) | |
| 15 candidats supplémentaires par BM25 (TF-IDF probabiliste). BM25 pondère la fréquence du terme dans le chunk et sa rareté dans le corpus — il excelle sur les termes techniques. | |
| **Fusion par Reciprocal Rank Fusion (RRF)** | |
| ``` | |
| score_RRF(doc) = Σ 1 / (k + rang_dans_liste_i) | |
| ``` | |
| avec `k=60`. Les deux listes sont fusionnées indépendamment (rang dense séparé du rang sparse) puis dédupliquées. Un document bon dans les deux listes reçoit un score cumulé élevé. | |
| #### Étape 3 : Cross-encoder reranking | |
| `cross-encoder/mmarco-mMiniLMv2-L12-H384-v1` (multilingue, 13 langues dont FR) reclasse le pool fusionné. | |
| **Pourquoi un cross-encoder après le bi-encoder ?** | |
| - Le bi-encoder (SentenceTransformer) encode query et document **séparément** → pas d'interaction directe entre les tokens des deux textes. | |
| - Le cross-encoder encode la **paire (query, chunk)** ensemble → attention croisée complète → score de pertinence bien plus précis. | |
| - Coût justifié : on ne score que 20 candidats, pas tout le corpus. | |
| **Bilan** : seuls les 3 meilleurs chunks après reranking partent au LLM → ~80 % de prompt tokens économisés vs. top-15 naïf, meilleure accuracy. | |
| --- | |
| ## 5. Prompt — Dynamic Profiling | |
| ### Baseline | |
| Un prompt unique pour toutes les questions. | |
| ### Amélioration | |
| Classification automatique de chaque question en 5 profils : | |
| | Type | Détection | top_k | Contexte max | Guidance LLM | | |
| |------|-----------|-------|--------------|--------------| | |
| | `qcm` | Options A/B/C/D détectées | 2 | 900 chars | Comparer les options, sélectionner la meilleure lettre | | |
| | `formula` | `\b(formule\|calcul\|ratio\|taux)\b` | 4 | 1500 chars | Donner la règle de calcul exacte | | |
| | `regulatory` | `\b(règlement\|directive\|solvabilité)\b` | 5 | 2000 chars | Citer strictement le document | | |
| | `synthesis` | `\b(synthèse\|analyse\|résumé)\b` | 6 | 2500 chars | Structurer en points courts | | |
| | `default` | — | 3 | 1500 chars | Réponse factuelle précise | | |
| **Pourquoi adapter le top_k et le contexte ?** | |
| - Une QCM a 4 options : 2 chunks suffisent à couvrir les distracteurs. Envoyer 6 chunks = tokens gaspillés. | |
| - Une question de synthèse nécessite plusieurs sources pour construire une vue d'ensemble. | |
| - La guidance injectée dans le prompt oriente le LLM sur le format de réponse attendu — moins de post-processing, moins de tokens. | |
| **`temperature=0`** : décodage déterministe. Pour des QCM factuelles, la variabilité est un biais, pas un avantage. | |
| --- | |
| ## 6. Cache sémantique | |
| ### Principe | |
| Avant tout appel LLM, la question est comparée aux réponses déjà calculées via produit scalaire (cosinus sur vecteurs normalisés L2). | |
| ```python | |
| scores = np.stack(cache_embeddings) @ query_embedding | |
| if max(scores) >= 0.95 → retourner la réponse en cache | |
| ``` | |
| **Seuil 0.95** : deux formulations d'une même question de QCM (ex : avec/sans les options explicites) auront une similarité > 0.95. En dessous, ce sont des questions différentes. | |
| **Impact** : `total_token=0`, `co2_grams=0.0` sur chaque hit. Sur 875 questions avec certaines redondances, l'économie est significative. | |
| --- | |
| ## 7. Seuil de similarité minimum | |
| Si après retrieval le meilleur chunk a un score cosinus < 0.25, la question est probablement hors corpus. Le LLM n'est pas appelé. | |
| **Pourquoi ne pas désactiver pour les QCM ?** | |
| Une QCM hors corpus retournerait une lettre au hasard (25 % de chance d'être juste) mais consommerait des tokens. Avec le seuil, on retourne `"Contexte insuffisant"` (0 % juste mais 0 token). Arbitrage selon la densité du corpus. | |
| --- | |
| ## 8. Ingestion optimisée | |
| ### Baseline | |
| Ingestion séquentielle au démarrage du serveur (bloquait le lifespan FastAPI). | |
| ### Amélioration | |
| Script dédié `ingest_train_data_optimized.py` : | |
| | Étape | Optimisation | | |
| |-------|-------------| | |
| | Extraction | 8 threads parallèles (`ThreadPoolExecutor`) — I/O-bound | | |
| | Embedding | Batch de 128 chunks par appel `.encode()` — CPU/MPS | | |
| | Insertion ChromaDB | Lots de 500 pour éviter les timeouts | | |
| | Anti-doublon | Vérification des sources déjà indexées avant tout traitement | | |
| Le lifespan `app.py` ne fait qu'une chose au démarrage : reconstruire l'index BM25 en mémoire depuis ChromaDB (~200 ms). L'ingestion est découplée. | |
| --- | |
| ## 9. Récapitulatif des économies Green AI | |
| | Levier | Économie tokens | Économie CO₂ | | |
| |--------|----------------|--------------| | |
| | Embeddings locaux | 100 % coût embedding | ~100 % énergie embedding | | |
| | Cache sémantique (hit) | 100 % tokens LLM | 100 % | | |
| | Seuil similarité (hors corpus) | 100 % tokens LLM | 100 % | | |
| | Reranking 20→3 chunks | ~80 % prompt tokens | Proportionnel | | |
| | `max_tokens` adaptatif (QCM=128) | ~50 % completion tokens QCM | Proportionnel | | |
| | `temperature=0` | marginal | marginal | | |
| | Suppression `[Source:]` / `[Page X]` | ~15-20 tokens/requête | marginal | | |