Spaces:
Paused
Paused
Upload 8 files
Browse files- README.md +102 -7
- app.py +270 -0
- demo_cache.py +98 -0
- demo_rerun.py +56 -0
- exemple_avis.csv +201 -0
- generer_donnees.py +129 -0
- moteur.py +170 -0
- requirements.txt +8 -0
README.md
CHANGED
|
@@ -1,11 +1,106 @@
|
|
| 1 |
---
|
| 2 |
-
title:
|
| 3 |
-
emoji:
|
| 4 |
-
colorFrom:
|
| 5 |
-
colorTo:
|
| 6 |
-
sdk:
|
|
|
|
|
|
|
| 7 |
pinned: false
|
| 8 |
-
|
|
|
|
| 9 |
---
|
| 10 |
|
| 11 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
---
|
| 2 |
+
title: Radar Avis Clients
|
| 3 |
+
emoji: 📡
|
| 4 |
+
colorFrom: green
|
| 5 |
+
colorTo: blue
|
| 6 |
+
sdk: streamlit
|
| 7 |
+
sdk_version: 1.62.0
|
| 8 |
+
app_file: app.py
|
| 9 |
pinned: false
|
| 10 |
+
license: mit
|
| 11 |
+
hardware: cpu-basic
|
| 12 |
---
|
| 13 |
|
| 14 |
+
# 📡 Radar d'avis clients — Waaw Telecom (démo)
|
| 15 |
+
|
| 16 |
+
Application Streamlit qui ingère un CSV d'avis clients en français et répond
|
| 17 |
+
en moins d'une minute à trois questions : les clients sont-ils satisfaits ?
|
| 18 |
+
De quoi parlent-ils ? Que faut-il retenir en trois lignes ?
|
| 19 |
+
|
| 20 |
+
TP13 — Module 5 (Déploiement), Master IA.
|
| 21 |
+
|
| 22 |
+
## Capture d'écran
|
| 23 |
+
|
| 24 |
+
*(à ajouter après le premier lancement local — onglet Synthèse du tableau de bord)*
|
| 25 |
+
|
| 26 |
+
## Format du CSV attendu
|
| 27 |
+
|
| 28 |
+
| Colonne | Obligatoire | Description |
|
| 29 |
+
|---|---|---|
|
| 30 |
+
| `id` | oui | identifiant unique de l'avis |
|
| 31 |
+
| `date` | oui | date de l'avis (`AAAA-MM-JJ`) |
|
| 32 |
+
| `avis` | oui | texte de l'avis, en français |
|
| 33 |
+
| `note` | non | note client de 1 à 5, sert de vérité terrain pour évaluer le modèle |
|
| 34 |
+
|
| 35 |
+
Un jeu de démonstration de 200 avis synthétiques est fourni dans
|
| 36 |
+
`data/exemple_avis.csv` et se charge automatiquement si aucun fichier n'est
|
| 37 |
+
déposé.
|
| 38 |
+
|
| 39 |
+
## Modèles utilisés
|
| 40 |
+
|
| 41 |
+
| Tête | Modèle | Rôle |
|
| 42 |
+
|---|---|---|
|
| 43 |
+
| Sentiment | [cmarkea/distilcamembert-base-sentiment](https://huggingface.co/cmarkea/distilcamembert-base-sentiment) | classification positif / neutre / négatif + score de confiance |
|
| 44 |
+
| Thèmes | [MoritzLaurer/mDeBERTa-v3-base-mnli-xnli](https://huggingface.co/MoritzLaurer/mDeBERTa-v3-base-mnli-xnli) | zero-shot multi-étiquettes sur les thèmes choisis |
|
| 45 |
+
| Résumé | [plguillou/t5-base-fr-sum-cnndm](https://huggingface.co/plguillou/t5-base-fr-sum-cnndm) | synthèse des avis négatifs (activable, tête la plus lente) |
|
| 46 |
+
|
| 47 |
+
## Évaluation contre la vérité terrain
|
| 48 |
+
|
| 49 |
+
Quand la colonne `note` est présente, un onglet **Évaluation** calcule
|
| 50 |
+
l'accuracy et le F1-score du modèle de sentiment contre la note client
|
| 51 |
+
binarisée (≤2 négatif, ≥4 positif, 3 exclu), via la bibliothèque
|
| 52 |
+
[`evaluate`](https://huggingface.co/docs/evaluate) (`evaluate.load("accuracy")`,
|
| 53 |
+
`evaluate.load("f1")`) plutôt qu'un calcul manuel, et affiche la matrice de
|
| 54 |
+
confusion correspondante.
|
| 55 |
+
|
| 56 |
+
## Architecture du dépôt
|
| 57 |
+
|
| 58 |
+
```
|
| 59 |
+
radar-avis-clients/
|
| 60 |
+
├── app.py # point d'entrée Streamlit (interface + tableau de bord)
|
| 61 |
+
├── moteur.py # chargement (cache_resource) et analyse par lots
|
| 62 |
+
├── requirements.txt # dépendances épinglées
|
| 63 |
+
├── README.md # ce fichier (en-tête YAML du Space)
|
| 64 |
+
├── .streamlit/config.toml # thème de l'application
|
| 65 |
+
├── data/exemple_avis.csv # jeu de démonstration (200 avis)
|
| 66 |
+
├── data/generer_donnees.py # script ayant généré le jeu de démonstration
|
| 67 |
+
├── demo_rerun.py # étape 1.1 — démo du rerun Streamlit
|
| 68 |
+
└── demo_cache.py # étape 1.2 — mesure du coût du cache
|
| 69 |
+
```
|
| 70 |
+
|
| 71 |
+
## Lancer en local
|
| 72 |
+
|
| 73 |
+
```bash
|
| 74 |
+
python -m venv .venv && source .venv/bin/activate
|
| 75 |
+
pip install -r requirements.txt
|
| 76 |
+
streamlit run app.py
|
| 77 |
+
```
|
| 78 |
+
|
| 79 |
+
## Coût d'exécution observé
|
| 80 |
+
|
| 81 |
+
*(à compléter après déploiement — voir rapport, questions 3, 6 et 11 : temps
|
| 82 |
+
de build, temps de premier affichage, facteur d'accélération mesuré)*
|
| 83 |
+
|
| 84 |
+
## Limites et biais
|
| 85 |
+
|
| 86 |
+
À éprouver explicitement et documenter (voir rapport) :
|
| 87 |
+
- **ironie** : « bravo pour les trois jours sans réseau, du grand art » — le
|
| 88 |
+
modèle de sentiment n'est pas entraîné pour détecter le second degré et
|
| 89 |
+
risque de classer ce type d'avis comme positif ou neutre.
|
| 90 |
+
- **français mêlé de wolof** : « réseau bi dafa bon, merci beaucoup » — le
|
| 91 |
+
modèle traite le texte comme du français bruit ; les segments en wolof sont
|
| 92 |
+
ignorés ou mal tokenisés, ce qui peut dégrader le score de confiance.
|
| 93 |
+
- **avis très courts** (« ok », « bof ») : peu de signal lexical, le modèle
|
| 94 |
+
est souvent moins confiant (score proche de 0,5) sur ces cas.
|
| 95 |
+
|
| 96 |
+
## Comparaison avec le Space Gradio (TP9)
|
| 97 |
+
|
| 98 |
+
Voir le rapport pour la comparaison argumentée sur les cinq axes : modèle
|
| 99 |
+
d'exécution, gestion de l'état, mise en page, latence perçue, facilité de
|
| 100 |
+
mise en production.
|
| 101 |
+
|
| 102 |
+
## Secrets
|
| 103 |
+
|
| 104 |
+
Si un modèle privé est utilisé, ajouter un `HF_TOKEN` dans *Settings →
|
| 105 |
+
Variables and secrets* du Space et le lire via `os.environ["HF_TOKEN"]` —
|
| 106 |
+
jamais en dur dans le code ni dans un `.streamlit/secrets.toml` versionné.
|
app.py
ADDED
|
@@ -0,0 +1,270 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
"""
|
| 2 |
+
Radar d'avis clients — TP13.
|
| 3 |
+
|
| 4 |
+
Point d'entrée Streamlit. st.set_page_config DOIT être le premier appel
|
| 5 |
+
Streamlit du script (sinon Streamlit lève une erreur).
|
| 6 |
+
"""
|
| 7 |
+
import datetime as dt
|
| 8 |
+
import io
|
| 9 |
+
|
| 10 |
+
import pandas as pd
|
| 11 |
+
import streamlit as st
|
| 12 |
+
|
| 13 |
+
from moteur import (
|
| 14 |
+
TAILLE_LOT,
|
| 15 |
+
analyser_sentiments,
|
| 16 |
+
charger_moteur,
|
| 17 |
+
detecter_themes,
|
| 18 |
+
evaluer_contre_verite_terrain,
|
| 19 |
+
resumer_avis_negatifs,
|
| 20 |
+
)
|
| 21 |
+
|
| 22 |
+
st.set_page_config(page_title="Radar d'avis clients", page_icon="📡", layout="wide")
|
| 23 |
+
|
| 24 |
+
COLONNES_OBLIGATOIRES = {"id", "date", "avis"}
|
| 25 |
+
CHEMIN_EXEMPLE = "exemple_avis.csv"
|
| 26 |
+
THEMES_DISPONIBLES = ["réseau", "facturation", "service client", "application mobile", "prix"]
|
| 27 |
+
|
| 28 |
+
|
| 29 |
+
# -----------------------------------------------------------------------------
|
| 30 |
+
# Ingestion et nettoyage (étape 2.1) — mise en cache_data sur le CONTENU en
|
| 31 |
+
# octets du fichier, jamais sur l'objet UploadedFile (qui n'est pas hashable
|
| 32 |
+
# de façon stable d'un rerun à l'autre : la clé de cache changerait à chaque
|
| 33 |
+
# exécution et le cache ne servirait jamais).
|
| 34 |
+
# -----------------------------------------------------------------------------
|
| 35 |
+
@st.cache_data(show_spinner=False)
|
| 36 |
+
def charger_et_nettoyer(contenu_octets: bytes) -> pd.DataFrame:
|
| 37 |
+
df = pd.read_csv(io.BytesIO(contenu_octets), encoding="utf-8")
|
| 38 |
+
colonnes_manquantes = COLONNES_OBLIGATOIRES - set(df.columns)
|
| 39 |
+
if colonnes_manquantes:
|
| 40 |
+
raise ValueError(f"Colonnes manquantes : {', '.join(sorted(colonnes_manquantes))}")
|
| 41 |
+
|
| 42 |
+
df = df.dropna(subset=["avis"])
|
| 43 |
+
df["avis"] = df["avis"].astype(str).str.strip()
|
| 44 |
+
df = df[df["avis"] != ""]
|
| 45 |
+
|
| 46 |
+
n_avant = len(df)
|
| 47 |
+
doublons = df.duplicated(subset=["avis"]).sum()
|
| 48 |
+
df = df.drop_duplicates(subset=["avis"]).reset_index(drop=True)
|
| 49 |
+
|
| 50 |
+
if "date" in df.columns:
|
| 51 |
+
df["date"] = pd.to_datetime(df["date"], errors="coerce")
|
| 52 |
+
|
| 53 |
+
df.attrs["doublons_ecartes"] = int(doublons)
|
| 54 |
+
df.attrs["lignes_avant_nettoyage"] = n_avant
|
| 55 |
+
return df
|
| 56 |
+
|
| 57 |
+
|
| 58 |
+
# -----------------------------------------------------------------------------
|
| 59 |
+
# Barre latérale
|
| 60 |
+
# -----------------------------------------------------------------------------
|
| 61 |
+
st.sidebar.header("Paramètres")
|
| 62 |
+
|
| 63 |
+
fichier_depose = st.sidebar.file_uploader("Déposer un CSV d'avis", type=["csv"])
|
| 64 |
+
|
| 65 |
+
modele_sentiment_choisi = st.sidebar.selectbox(
|
| 66 |
+
"Modèle de sentiment",
|
| 67 |
+
["cmarkea/distilcamembert-base-sentiment (par défaut)", "tblard/tf-allocine"],
|
| 68 |
+
help="Le second modèle n'est câblé qu'à titre d'exemple de choix dans moteur.py.",
|
| 69 |
+
)
|
| 70 |
+
|
| 71 |
+
themes_selectionnes = st.sidebar.multiselect(
|
| 72 |
+
"Thèmes à détecter", THEMES_DISPONIBLES, default=THEMES_DISPONIBLES
|
| 73 |
+
)
|
| 74 |
+
|
| 75 |
+
inclure_resume = st.sidebar.checkbox("Inclure le résumé (tête la plus lente)", value=False)
|
| 76 |
+
|
| 77 |
+
# -----------------------------------------------------------------------------
|
| 78 |
+
# Chargement du fichier (déposé ou exemple par défaut)
|
| 79 |
+
# -----------------------------------------------------------------------------
|
| 80 |
+
if fichier_depose is not None:
|
| 81 |
+
contenu = fichier_depose.getvalue()
|
| 82 |
+
nom_source = fichier_depose.name
|
| 83 |
+
else:
|
| 84 |
+
with open(CHEMIN_EXEMPLE, "rb") as f:
|
| 85 |
+
contenu = f.read()
|
| 86 |
+
nom_source = CHEMIN_EXEMPLE
|
| 87 |
+
st.sidebar.info("Aucun fichier déposé — jeu de démonstration chargé automatiquement.")
|
| 88 |
+
|
| 89 |
+
try:
|
| 90 |
+
df = charger_et_nettoyer(contenu)
|
| 91 |
+
except ValueError as e:
|
| 92 |
+
st.error(f"Fichier invalide : {e}")
|
| 93 |
+
st.stop()
|
| 94 |
+
except Exception as e:
|
| 95 |
+
st.error(f"Impossible de lire le fichier (encodage ou format incorrect) : {e}")
|
| 96 |
+
st.stop()
|
| 97 |
+
|
| 98 |
+
if df.attrs.get("doublons_ecartes"):
|
| 99 |
+
st.sidebar.warning(f"{df.attrs['doublons_ecartes']} doublon(s) écarté(s).")
|
| 100 |
+
|
| 101 |
+
nb_max = st.sidebar.slider("Nombre d'avis à analyser", 10, len(df), min(len(df), 100))
|
| 102 |
+
|
| 103 |
+
st.title("📡 Radar d'avis clients")
|
| 104 |
+
st.caption(f"Source : {nom_source} — {len(df)} avis valides après nettoyage")
|
| 105 |
+
st.dataframe(df.head(10), width='stretch')
|
| 106 |
+
|
| 107 |
+
lancer = st.sidebar.button("Lancer l'analyse", type="primary")
|
| 108 |
+
|
| 109 |
+
if "historique" not in st.session_state:
|
| 110 |
+
st.session_state.historique = []
|
| 111 |
+
if "resultats" not in st.session_state:
|
| 112 |
+
st.session_state.resultats = None
|
| 113 |
+
|
| 114 |
+
# -----------------------------------------------------------------------------
|
| 115 |
+
# Analyse (étape 2.2) — ne s'exécute qu'au clic sur "Lancer l'analyse", jamais
|
| 116 |
+
# à chaque rerun déclenché par un simple changement de filtre d'affichage.
|
| 117 |
+
# -----------------------------------------------------------------------------
|
| 118 |
+
if lancer:
|
| 119 |
+
sous_df = df.head(nb_max).copy()
|
| 120 |
+
moteur = charger_moteur()
|
| 121 |
+
|
| 122 |
+
barre = st.progress(0.0, text="Analyse des sentiments...")
|
| 123 |
+
sentiments, n_tronques = analyser_sentiments(
|
| 124 |
+
moteur, sous_df["avis"].tolist(), progress_callback=lambda p: barre.progress(p, text="Analyse des sentiments...")
|
| 125 |
+
)
|
| 126 |
+
sous_df["sentiment"] = [r["label"] for r in sentiments]
|
| 127 |
+
sous_df["score"] = [round(r["score"], 3) for r in sentiments]
|
| 128 |
+
|
| 129 |
+
barre2 = st.progress(0.0, text="Détection des thèmes...")
|
| 130 |
+
if themes_selectionnes:
|
| 131 |
+
themes_resultats = detecter_themes(
|
| 132 |
+
moteur, sous_df["avis"].tolist(), themes_selectionnes,
|
| 133 |
+
progress_callback=lambda p: barre2.progress(p, text="Détection des thèmes..."),
|
| 134 |
+
)
|
| 135 |
+
sous_df["themes_detectes"] = [
|
| 136 |
+
", ".join(l for l, s in zip(r["labels"], r["scores"]) if s >= 0.5) or "aucun"
|
| 137 |
+
for r in themes_resultats
|
| 138 |
+
]
|
| 139 |
+
else:
|
| 140 |
+
sous_df["themes_detectes"] = "—"
|
| 141 |
+
|
| 142 |
+
resume_negatifs = ""
|
| 143 |
+
if inclure_resume:
|
| 144 |
+
with st.spinner("Génération du résumé des avis négatifs..."):
|
| 145 |
+
negatifs = sous_df.loc[sous_df["sentiment"] == "négatif", "avis"].tolist()
|
| 146 |
+
resume_negatifs = resumer_avis_negatifs(moteur, negatifs)
|
| 147 |
+
|
| 148 |
+
st.session_state.resultats = {
|
| 149 |
+
"df": sous_df,
|
| 150 |
+
"n_tronques": n_tronques,
|
| 151 |
+
"resume_negatifs": resume_negatifs,
|
| 152 |
+
}
|
| 153 |
+
st.session_state.historique.append(
|
| 154 |
+
{
|
| 155 |
+
"horodatage": dt.datetime.now().strftime("%Y-%m-%d %H:%M:%S"),
|
| 156 |
+
"fichier": nom_source,
|
| 157 |
+
"n_avis": len(sous_df),
|
| 158 |
+
"part_positifs": round((sous_df["sentiment"] == "positif").mean() * 100, 1),
|
| 159 |
+
}
|
| 160 |
+
)
|
| 161 |
+
|
| 162 |
+
# -----------------------------------------------------------------------------
|
| 163 |
+
# Tableau de bord (étape 2.3)
|
| 164 |
+
# -----------------------------------------------------------------------------
|
| 165 |
+
if st.session_state.resultats is None:
|
| 166 |
+
st.info("Configurez les paramètres dans la barre latérale puis cliquez sur « Lancer l'analyse ».")
|
| 167 |
+
st.stop()
|
| 168 |
+
|
| 169 |
+
res = st.session_state.resultats
|
| 170 |
+
res_df = res["df"]
|
| 171 |
+
|
| 172 |
+
a_verite_terrain = "note" in res_df.columns and res_df["note"].notna().any()
|
| 173 |
+
noms_onglets = ["Synthèse", "Détail", "Historique"]
|
| 174 |
+
if a_verite_terrain:
|
| 175 |
+
noms_onglets.insert(2, "Évaluation")
|
| 176 |
+
onglets = st.tabs(noms_onglets)
|
| 177 |
+
onglet_synthese, onglet_detail = onglets[0], onglets[1]
|
| 178 |
+
if a_verite_terrain:
|
| 179 |
+
onglet_evaluation, onglet_historique = onglets[2], onglets[3]
|
| 180 |
+
else:
|
| 181 |
+
onglet_historique = onglets[2]
|
| 182 |
+
|
| 183 |
+
with onglet_synthese:
|
| 184 |
+
part_positifs = (res_df["sentiment"] == "positif").mean() * 100
|
| 185 |
+
score_moyen = res_df["score"].mean()
|
| 186 |
+
tous_themes = ", ".join(res_df["themes_detectes"]).split(", ")
|
| 187 |
+
tous_themes = [t for t in tous_themes if t not in ("aucun", "—", "")]
|
| 188 |
+
theme_dominant = pd.Series(tous_themes).mode().iat[0] if tous_themes else "N/A"
|
| 189 |
+
|
| 190 |
+
c1, c2, c3, c4 = st.columns(4)
|
| 191 |
+
c1.metric("Avis analysés", len(res_df), help="Nombre d'avis pris en compte dans cette analyse")
|
| 192 |
+
c2.metric("Part de positifs", f"{part_positifs:.1f} %", help="Proportion d'avis classés positifs")
|
| 193 |
+
c3.metric("Confiance moyenne", f"{score_moyen:.2f}", help="Score moyen du modèle de sentiment")
|
| 194 |
+
c4.metric("Thème dominant", theme_dominant, help="Thème le plus fréquemment détecté")
|
| 195 |
+
|
| 196 |
+
colg1, colg2 = st.columns(2)
|
| 197 |
+
with colg1:
|
| 198 |
+
st.subheader("Répartition des sentiments")
|
| 199 |
+
st.bar_chart(res_df["sentiment"].value_counts())
|
| 200 |
+
with colg2:
|
| 201 |
+
st.subheader("Thèmes les plus fréquents")
|
| 202 |
+
if tous_themes:
|
| 203 |
+
st.bar_chart(pd.Series(tous_themes).value_counts())
|
| 204 |
+
else:
|
| 205 |
+
st.caption("Aucun thème sélectionné.")
|
| 206 |
+
|
| 207 |
+
if "date" in res_df.columns and res_df["date"].notna().any():
|
| 208 |
+
st.subheader("Évolution hebdomadaire de la part d'avis négatifs")
|
| 209 |
+
tmp = res_df.dropna(subset=["date"]).set_index("date")
|
| 210 |
+
tmp["negatif"] = (tmp["sentiment"] == "négatif").astype(int)
|
| 211 |
+
hebdo = tmp["negatif"].resample("W").mean() * 100
|
| 212 |
+
st.line_chart(hebdo)
|
| 213 |
+
|
| 214 |
+
if res["resume_negatifs"]:
|
| 215 |
+
with st.expander("Résumé des avis négatifs"):
|
| 216 |
+
st.write(res["resume_negatifs"])
|
| 217 |
+
|
| 218 |
+
with onglet_detail:
|
| 219 |
+
st.subheader("Détail des avis (trié par négativité)")
|
| 220 |
+
filtre_sentiment = st.multiselect("Filtrer par sentiment", res_df["sentiment"].unique().tolist())
|
| 221 |
+
filtre_theme = st.text_input("Filtrer par thème (contient)")
|
| 222 |
+
|
| 223 |
+
affiche = res_df.copy()
|
| 224 |
+
# Tri par score de négativité : on force les négatifs en tête via un score signé.
|
| 225 |
+
affiche["score_negativite"] = affiche.apply(
|
| 226 |
+
lambda r: r["score"] if r["sentiment"] == "négatif" else (0.5 if r["sentiment"] == "neutre" else 1 - r["score"]), axis=1
|
| 227 |
+
)
|
| 228 |
+
affiche = affiche.sort_values("score_negativite", ascending=False)
|
| 229 |
+
|
| 230 |
+
if filtre_sentiment:
|
| 231 |
+
affiche = affiche[affiche["sentiment"].isin(filtre_sentiment)]
|
| 232 |
+
if filtre_theme:
|
| 233 |
+
affiche = affiche[affiche["themes_detectes"].str.contains(filtre_theme, case=False, na=False)]
|
| 234 |
+
|
| 235 |
+
st.dataframe(
|
| 236 |
+
affiche[["avis", "sentiment", "score", "themes_detectes"]],
|
| 237 |
+
width='stretch',
|
| 238 |
+
)
|
| 239 |
+
st.download_button(
|
| 240 |
+
"Exporter le CSV enrichi",
|
| 241 |
+
data=affiche.to_csv(index=False).encode("utf-8"),
|
| 242 |
+
file_name="avis_enrichis.csv",
|
| 243 |
+
mime="text/csv",
|
| 244 |
+
)
|
| 245 |
+
|
| 246 |
+
if a_verite_terrain:
|
| 247 |
+
with onglet_evaluation:
|
| 248 |
+
st.subheader("Accord avec la note client (question 7)")
|
| 249 |
+
st.caption("Binarisation : note ≤ 2 → négatif, note ≥ 4 → positif, note = 3 exclue (zone neutre ambiguë).")
|
| 250 |
+
evaluation = evaluer_contre_verite_terrain(res_df)
|
| 251 |
+
if evaluation is None:
|
| 252 |
+
st.info("Pas assez d'avis avec une note exploitable (hors note = 3) pour évaluer le modèle.")
|
| 253 |
+
else:
|
| 254 |
+
accuracy, f1, matrice = evaluation
|
| 255 |
+
c1, c2 = st.columns(2)
|
| 256 |
+
c1.metric("Accuracy", f"{accuracy:.2%}", help="Calculée avec evaluate.load('accuracy')")
|
| 257 |
+
c2.metric("F1-score", f"{f1:.2%}", help="Calculée avec evaluate.load('f1')")
|
| 258 |
+
st.subheader("Matrice de confusion")
|
| 259 |
+
st.dataframe(matrice, width="stretch")
|
| 260 |
+
st.caption(
|
| 261 |
+
"Erreurs les plus fréquentes attendues : avis ironiques (polarité lexicale positive, "
|
| 262 |
+
"sens réel négatif) et avis très courts (peu de signal, score proche de 0,5)."
|
| 263 |
+
)
|
| 264 |
+
|
| 265 |
+
with onglet_historique:
|
| 266 |
+
st.subheader("Historique des analyses de cette session")
|
| 267 |
+
if st.session_state.historique:
|
| 268 |
+
st.dataframe(pd.DataFrame(st.session_state.historique), width='stretch')
|
| 269 |
+
else:
|
| 270 |
+
st.caption("Aucune analyse encore enregistrée.")
|
demo_cache.py
ADDED
|
@@ -0,0 +1,98 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
"""
|
| 2 |
+
Étape 1.2 — Mesurer le coût du cache sur un pipeline de sentiment français.
|
| 3 |
+
|
| 4 |
+
Lancer avec : streamlit run demo_cache.py
|
| 5 |
+
|
| 6 |
+
Protocole de mesure (voir rapport pour les chiffres retenus) :
|
| 7 |
+
1. Choisir une version dans la barre latérale (naïve / cache_resource / cache_data).
|
| 8 |
+
2. Saisir un texte, cliquer "Analyser" 20 fois de suite (N = 20 interactions).
|
| 9 |
+
3. Relever à chaque clic : temps de chargement, temps d'inférence.
|
| 10 |
+
4. Reporter temps total, temps moyen par interaction et facteur d'accélération
|
| 11 |
+
par rapport à la version naïve dans le tableau du rapport.
|
| 12 |
+
|
| 13 |
+
Modèle utilisé : cmarkea/distilcamembert-base-sentiment (léger, adapté au CPU
|
| 14 |
+
gratuit d'un Space).
|
| 15 |
+
"""
|
| 16 |
+
import time
|
| 17 |
+
|
| 18 |
+
import streamlit as st
|
| 19 |
+
from transformers import pipeline
|
| 20 |
+
|
| 21 |
+
MODELE = "cmarkea/distilcamembert-base-sentiment"
|
| 22 |
+
|
| 23 |
+
st.set_page_config(page_title="Démo cache", layout="centered")
|
| 24 |
+
st.title("Démo — coût du cache sur un pipeline de sentiment")
|
| 25 |
+
|
| 26 |
+
version = st.radio(
|
| 27 |
+
"Version à tester",
|
| 28 |
+
["(a) naïve — sans cache", "(b) @st.cache_resource", "(c) @st.cache_resource + @st.cache_data"],
|
| 29 |
+
)
|
| 30 |
+
|
| 31 |
+
if "log" not in st.session_state:
|
| 32 |
+
st.session_state.log = []
|
| 33 |
+
|
| 34 |
+
|
| 35 |
+
# --- (b) et (c) : le pipeline n'est chargé qu'une seule fois, partagé entre
|
| 36 |
+
# tous les utilisateurs de la session serveur -----------------------------
|
| 37 |
+
@st.cache_resource(show_spinner=False)
|
| 38 |
+
def charger_modele():
|
| 39 |
+
return pipeline("sentiment-analysis", model=MODELE, tokenizer=MODELE)
|
| 40 |
+
|
| 41 |
+
|
| 42 |
+
# --- (c) uniquement : le RÉSULTAT (une valeur sérialisable : dict) est mis en
|
| 43 |
+
# cache pour un même texte -> deuxième appel quasi instantané -------------
|
| 44 |
+
@st.cache_data(show_spinner=False)
|
| 45 |
+
def analyser_cache(texte: str):
|
| 46 |
+
modele = charger_modele()
|
| 47 |
+
return modele(texte)[0]
|
| 48 |
+
|
| 49 |
+
|
| 50 |
+
texte = st.text_area("Avis à analyser", "Le réseau est catastrophique depuis trois jours.")
|
| 51 |
+
|
| 52 |
+
if st.button("Analyser"):
|
| 53 |
+
t0 = time.perf_counter()
|
| 54 |
+
|
| 55 |
+
if version.startswith("(a)"):
|
| 56 |
+
# (a) naïve : le pipeline est recréé (donc rechargé) à CHAQUE clic.
|
| 57 |
+
t_charge_debut = time.perf_counter()
|
| 58 |
+
modele = pipeline("sentiment-analysis", model=MODELE, tokenizer=MODELE)
|
| 59 |
+
t_chargement = time.perf_counter() - t_charge_debut
|
| 60 |
+
|
| 61 |
+
t_inf_debut = time.perf_counter()
|
| 62 |
+
resultat = modele(texte)[0]
|
| 63 |
+
t_inference = time.perf_counter() - t_inf_debut
|
| 64 |
+
|
| 65 |
+
elif version.startswith("(b)"):
|
| 66 |
+
t_charge_debut = time.perf_counter()
|
| 67 |
+
modele = charger_modele() # quasi nul après le 1er appel (mis en cache_resource)
|
| 68 |
+
t_chargement = time.perf_counter() - t_charge_debut
|
| 69 |
+
|
| 70 |
+
t_inf_debut = time.perf_counter()
|
| 71 |
+
resultat = modele(texte)[0]
|
| 72 |
+
t_inference = time.perf_counter() - t_inf_debut
|
| 73 |
+
|
| 74 |
+
else:
|
| 75 |
+
t_charge_debut = time.perf_counter()
|
| 76 |
+
charger_modele()
|
| 77 |
+
t_chargement = time.perf_counter() - t_charge_debut
|
| 78 |
+
|
| 79 |
+
t_inf_debut = time.perf_counter()
|
| 80 |
+
resultat = analyser_cache(texte) # quasi nul si texte déjà vu (cache_data)
|
| 81 |
+
t_inference = time.perf_counter() - t_inf_debut
|
| 82 |
+
|
| 83 |
+
total = time.perf_counter() - t0
|
| 84 |
+
st.session_state.log.append(
|
| 85 |
+
{
|
| 86 |
+
"version": version,
|
| 87 |
+
"chargement_s": round(t_chargement, 4),
|
| 88 |
+
"inference_s": round(t_inference, 4),
|
| 89 |
+
"total_s": round(total, 4),
|
| 90 |
+
}
|
| 91 |
+
)
|
| 92 |
+
st.write(resultat)
|
| 93 |
+
|
| 94 |
+
if st.session_state.log:
|
| 95 |
+
st.subheader("Journal des interactions")
|
| 96 |
+
st.dataframe(st.session_state.log, width="stretch")
|
| 97 |
+
if st.button("Vider le journal"):
|
| 98 |
+
st.session_state.log = []
|
demo_rerun.py
ADDED
|
@@ -0,0 +1,56 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
"""
|
| 2 |
+
Étape 1.1 — Le rerun Streamlit et pourquoi une variable ordinaire ne survit pas.
|
| 3 |
+
|
| 4 |
+
Lancer avec : streamlit run demo_rerun.py
|
| 5 |
+
|
| 6 |
+
Observez :
|
| 7 |
+
- le compteur "naïf" (variable Python ordinaire) reste bloqué à 1 après N clics,
|
| 8 |
+
car il est réinitialisé à 0 à chaque rerun, juste avant d'être incrémenté ;
|
| 9 |
+
- le compteur stocké dans st.session_state s'incrémente correctement, car
|
| 10 |
+
session_state persiste entre les reruns (il est propre à un onglet/session) ;
|
| 11 |
+
- l'horodatage en haut de page change à CHAQUE interaction, y compris une
|
| 12 |
+
simple frappe dans le champ prénom qui ne déclenche pourtant aucun clic sur
|
| 13 |
+
le bouton — preuve que Streamlit ré-exécute tout le script à chaque widget
|
| 14 |
+
qui change d'état, pas seulement au clic sur "Incrémenter".
|
| 15 |
+
"""
|
| 16 |
+
import datetime as dt
|
| 17 |
+
|
| 18 |
+
import streamlit as st
|
| 19 |
+
|
| 20 |
+
st.title("Démo — le rerun Streamlit")
|
| 21 |
+
|
| 22 |
+
# Preuve visuelle du rerun : cette ligne s'affiche à CHAQUE exécution du script.
|
| 23 |
+
st.write(f"Exécution du script à {dt.datetime.now().strftime('%H:%M:%S.%f')}")
|
| 24 |
+
|
| 25 |
+
prenom = st.text_input("Votre prénom")
|
| 26 |
+
|
| 27 |
+
st.divider()
|
| 28 |
+
st.subheader("Compteur naïf (variable Python ordinaire)")
|
| 29 |
+
|
| 30 |
+
# BUG VOLONTAIRE : cette variable est réinitialisée à 0 à chaque rerun,
|
| 31 |
+
# donc quel que soit le nombre de clics, elle affichera toujours 1.
|
| 32 |
+
compteur_naif = 0
|
| 33 |
+
if st.button("Incrémenter (naïf)"):
|
| 34 |
+
compteur_naif += 1
|
| 35 |
+
st.write(f"Valeur du compteur naïf : {compteur_naif}")
|
| 36 |
+
|
| 37 |
+
st.divider()
|
| 38 |
+
st.subheader("Compteur corrigé (st.session_state)")
|
| 39 |
+
|
| 40 |
+
# Initialisation : la clé n'est créée QUE si elle n'existe pas déjà,
|
| 41 |
+
# sinon on la remettrait à zéro à chaque rerun (même bug que ci-dessus).
|
| 42 |
+
if "compteur" not in st.session_state:
|
| 43 |
+
st.session_state.compteur = 0
|
| 44 |
+
|
| 45 |
+
col1, col2 = st.columns(2)
|
| 46 |
+
with col1:
|
| 47 |
+
if st.button("Incrémenter (session_state)"):
|
| 48 |
+
st.session_state.compteur += 1
|
| 49 |
+
with col2:
|
| 50 |
+
if st.button("Réinitialiser"):
|
| 51 |
+
st.session_state.compteur = 0
|
| 52 |
+
|
| 53 |
+
st.write(f"Valeur du compteur en session_state : {st.session_state.compteur}")
|
| 54 |
+
|
| 55 |
+
if prenom:
|
| 56 |
+
st.caption(f"Bonjour {prenom}, tape du texte ici pour déclencher un rerun sans cliquer sur aucun bouton.")
|
exemple_avis.csv
ADDED
|
@@ -0,0 +1,201 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
id,date,avis,note
|
| 2 |
+
1,2026-04-29,"Bravo pour les trois jours sans réseau, du grand art.",2
|
| 3 |
+
2,2026-06-02,"Merci Waaw Telecom pour cette facture surprise, quelle générosité.",1
|
| 4 |
+
3,2026-08-18,Un service client si réactif qu'on a le temps de vieillir en attendant.,2
|
| 5 |
+
4,2026-04-09,L'application plante si joliment qu'on en oublierait presque d'être énervé.,1
|
| 6 |
+
5,2026-05-30,"Encore une augmentation de prix, on ne s'ennuie jamais avec vous.",1
|
| 7 |
+
6,2026-08-22,"Réseau bi dafa bon ce mois-ci, merci beaucoup.",5
|
| 8 |
+
7,2026-05-27,"Facture bi dafa bare trop, li dafa diar.",4
|
| 9 |
+
8,2026-04-02,"Service client bi ñëpp bon, ils ont réglé mon problème rapidement.",3
|
| 10 |
+
9,2026-07-18,"Appli bi dafa poor, dafa toujours planter.",3
|
| 11 |
+
10,2026-05-26,"Prix yi dafa cher trop, xoolal ndax dinañu wax.",4
|
| 12 |
+
11,2026-04-27,"Dama bëgg ni réseau bi baax na leegi, jamm rekk.",2
|
| 13 |
+
12,2026-07-01,Peut mieux faire.,3
|
| 14 |
+
13,2026-04-12,Rien à dire.,1
|
| 15 |
+
14,2026-07-06,Top !,5
|
| 16 |
+
15,2026-07-02,Bof.,1
|
| 17 |
+
16,2026-05-29,Bof.,2
|
| 18 |
+
17,2026-04-26,Parfait.,3
|
| 19 |
+
18,2026-05-12,Correct.,3
|
| 20 |
+
19,2026-04-19,Nul.,5
|
| 21 |
+
20,2026-06-02,Décevant.,3
|
| 22 |
+
21,2026-08-21,Moyen.,1
|
| 23 |
+
22,2026-05-29,"Toujours aucun réseau depuis hier, très mécontent.",2
|
| 24 |
+
23,2026-07-12,"Toujours aucun réseau depuis hier, très mécontent.",1
|
| 25 |
+
24,2026-08-24,"Toujours aucun réseau depuis hier, très mécontent.",2
|
| 26 |
+
25,2026-05-25,"Toujours aucun réseau depuis hier, très mécontent.",2
|
| 27 |
+
26,2026-07-27,"Toujours aucun réseau depuis hier, très mécontent.",1
|
| 28 |
+
27,2026-06-03,"Toujours aucun réseau depuis hier, très mécontent.",2
|
| 29 |
+
28,2026-08-28,Le Pass Journalier est trop cher pour un débit aussi faible.,2
|
| 30 |
+
29,2026-04-24,L'appli ne plante plus depuis la dernière mise à jour.,4
|
| 31 |
+
30,2026-07-08,"Conseiller désagréable au téléphone, aucune solution proposée pour mon Pass Journalier.",1
|
| 32 |
+
31,2026-08-16,Réponse rapide sur WhatsApp pour mon souci de solde de 1 500 F.,5
|
| 33 |
+
32,2026-05-11,"Facture détaillée et compréhensible ce mois, merci.",4
|
| 34 |
+
33,2026-06-16,Le Forfait Soir à 2 000 F est dans la moyenne du marché.,3
|
| 35 |
+
34,2026-05-12,Réponse rapide sur WhatsApp pour mon souci de solde de 10 000 F.,5
|
| 36 |
+
35,2026-04-05,Aucune couverture réseau à Mermoz depuis la panne d'hier.,1
|
| 37 |
+
36,2026-04-22,L'appli ne plante plus depuis la dernière mise à jour.,5
|
| 38 |
+
37,2026-08-19,L'appli demande de se reconnecter toutes les cinq minutes à Pikine.,1
|
| 39 |
+
38,2026-06-19,Coupures répétées pendant les appels importants à Ngor.,2
|
| 40 |
+
39,2026-05-01,On m'a facturé deux fois le Illimité 20 Go ce mois-ci.,1
|
| 41 |
+
40,2026-08-29,On m'a facturé deux fois le Illimité 20 Go ce mois-ci.,1
|
| 42 |
+
41,2026-06-24,"L'application plante à chaque ouverture depuis la mise à jour, illisible.",1
|
| 43 |
+
42,2026-08-25,L'application mobile est devenue beaucoup plus rapide depuis la mise à jour.,4
|
| 44 |
+
43,2026-07-20,On me prélève 1 500 F que je n'ai jamais demandés.,2
|
| 45 |
+
44,2026-06-26,"Le réseau fonctionne à Yoff, sans plus.",3
|
| 46 |
+
45,2026-07-24,"Impossible de joindre le service client, j'attends depuis deux jours.",2
|
| 47 |
+
46,2026-08-19,Coupures répétées pendant les appels importants à Guédiawaye.,1
|
| 48 |
+
47,2026-07-14,L'application mobile est devenue beaucoup plus rapide depuis la mise à jour.,4
|
| 49 |
+
48,2026-07-09,"Support injoignable, j'ai envoyé trois messages sans retour depuis cinq heures.",2
|
| 50 |
+
49,2026-05-10,"L'application plante à chaque ouverture depuis la mise à jour, illisible.",2
|
| 51 |
+
50,2026-04-15,"Conseiller désagréable au téléphone, aucune solution proposée pour mon Illimité 50 Go.",1
|
| 52 |
+
51,2026-05-18,On m'a facturé deux fois le Forfait Soir ce mois-ci.,1
|
| 53 |
+
52,2026-08-27,"Recharge instantanée à Rufisque, aucun souci depuis cinq heures.",5
|
| 54 |
+
53,2026-06-06,Ma réclamation de facturation de 3 500 F reste sans réponse depuis 24 heures.,1
|
| 55 |
+
54,2026-06-16,Offre promotionnelle intéressante sur le Illimité 20 Go ce trimestre.,4
|
| 56 |
+
55,2026-04-19,Le Forfait Soir est raisonnable comparé à la concurrence.,4
|
| 57 |
+
56,2026-07-04,"Conseiller désagréable au téléphone, aucune solution proposée pour mon Pass Journalier.",1
|
| 58 |
+
57,2026-08-20,Coupures répétées pendant les appels importants à Rufisque.,1
|
| 59 |
+
58,2026-08-20,Le prix du Forfait Soir a encore augmenté sans aucune explication.,2
|
| 60 |
+
59,2026-08-08,Offre promotionnelle intéressante sur le Illimité 20 Go ce trimestre.,4
|
| 61 |
+
60,2026-04-01,"Impossible de joindre le service client, j'attends depuis 24 heures.",2
|
| 62 |
+
61,2026-08-22,On m'a facturé deux fois le Forfait Soir ce mois-ci.,2
|
| 63 |
+
62,2026-08-28,"Service client courtois, mon problème de facturation a été réglé du premier coup.",4
|
| 64 |
+
63,2026-07-01,"L'application plante à chaque ouverture depuis la mise à jour, illisible.",2
|
| 65 |
+
64,2026-05-10,Facture du Forfait Soir reçue à temps ce mois.,3
|
| 66 |
+
65,2026-05-16,La 4G passe très bien même à Grand Yoff.,4
|
| 67 |
+
66,2026-07-07,"L'application fait le nécessaire, rien d'exceptionnel.",3
|
| 68 |
+
67,2026-06-18,Facture du Illimité 20 Go reçue à temps ce mois.,3
|
| 69 |
+
68,2026-06-24,On m'a facturé deux fois le Pass Journalier ce mois-ci.,2
|
| 70 |
+
69,2026-04-08,Le prix du Illimité 50 Go a encore augmenté sans aucune explication.,1
|
| 71 |
+
70,2026-07-21,"Support injoignable, j'ai envoyé trois messages sans retour depuis cinq heures.",1
|
| 72 |
+
71,2026-07-08,Facture du Illimité 20 Go reçue à temps ce mois.,3
|
| 73 |
+
72,2026-08-12,Le Forfait Soir à 3 500 F est dans la moyenne du marché.,3
|
| 74 |
+
73,2026-04-18,"J'ai eu un conseiller pour mon Pass Journalier, réponse correcte.",3
|
| 75 |
+
74,2026-08-08,On me prélève 3 500 F que je n'ai jamais demandés.,1
|
| 76 |
+
75,2026-05-20,On me prélève 10 000 F que je n'ai jamais demandés.,2
|
| 77 |
+
76,2026-07-13,"Le réseau est enfin stable à Mermoz, bravo.",5
|
| 78 |
+
77,2026-07-29,Coupures répétées pendant les appels importants à Yoff.,1
|
| 79 |
+
78,2026-06-12,Le débit s'est nettement amélioré à Pikine ces derniers jours.,5
|
| 80 |
+
79,2026-05-28,Facture du Illimité 20 Go reçue à temps ce mois.,3
|
| 81 |
+
80,2026-04-19,Offre promotionnelle intéressante sur le Illimité 50 Go ce trimestre.,5
|
| 82 |
+
81,2026-07-12,Coupures répétées pendant les appels importants à Almadies.,1
|
| 83 |
+
82,2026-05-16,Le Illimité 20 Go à 10 000 F est dans la moyenne du marché.,3
|
| 84 |
+
83,2026-05-02,Réponse rapide sur WhatsApp pour mon souci de solde de 10 000 F.,5
|
| 85 |
+
84,2026-07-23,"Facture détaillée et compréhensible ce mois, merci.",4
|
| 86 |
+
85,2026-07-31,Réponse rapide sur WhatsApp pour mon souci de solde de 10 000 F.,4
|
| 87 |
+
86,2026-06-10,Ma réclamation de facturation de 3 500 F reste sans réponse depuis une semaine.,2
|
| 88 |
+
87,2026-08-17,"Impossible de joindre le service client, j'attends depuis trois jours.",1
|
| 89 |
+
88,2026-07-16,L'appli demande de se reconnecter toutes les cinq minutes à Liberté 6.,2
|
| 90 |
+
89,2026-07-09,Le Illimité 20 Go à 10 000 F est dans la moyenne du marché.,3
|
| 91 |
+
90,2026-08-01,Aucune couverture réseau à Mermoz depuis la panne d'hier.,1
|
| 92 |
+
91,2026-08-03,On me prélève 5 000 F que je n'ai jamais demandés.,2
|
| 93 |
+
92,2026-05-13,Facture du Illimité 50 Go reçue à temps ce mois.,3
|
| 94 |
+
93,2026-08-23,"Facturation claire ce mois-ci sur mon Forfait Week-end, aucune surprise.",4
|
| 95 |
+
94,2026-04-13,Aucune couverture réseau à Yoff depuis la panne d'hier.,2
|
| 96 |
+
95,2026-06-11,L'appli ne plante plus depuis la dernière mise à jour.,4
|
| 97 |
+
96,2026-08-17,Aucune couverture réseau à Yoff depuis la panne d'hier.,1
|
| 98 |
+
97,2026-05-22,Le Forfait Soir à 2 000 F est dans la moyenne du marché.,3
|
| 99 |
+
98,2026-04-30,L'application mobile est devenue beaucoup plus rapide depuis la mise à jour.,4
|
| 100 |
+
99,2026-05-12,"Le réseau fonctionne à Pikine, sans plus.",3
|
| 101 |
+
100,2026-07-06,Ma réclamation de facturation de 10 000 F reste sans réponse depuis trois jours.,1
|
| 102 |
+
101,2026-06-17,Le Illimité 50 Go à 1 500 F est dans la moyenne du marché.,3
|
| 103 |
+
102,2026-08-15,Aucune couverture réseau à Rufisque depuis la panne d'hier.,2
|
| 104 |
+
103,2026-08-04,Aucune couverture réseau à Ngor depuis la panne d'hier.,1
|
| 105 |
+
104,2026-08-12,"J'ai eu un conseiller pour mon Illimité 50 Go, réponse correcte.",3
|
| 106 |
+
105,2026-07-21,Le Pass Journalier à 2 000 F est dans la moyenne du marché.,3
|
| 107 |
+
106,2026-06-11,Facture du Illimité 50 Go reçue à temps ce mois.,3
|
| 108 |
+
107,2026-06-26,Mise à jour de l'appli qui a supprimé mon historique de recharge.,2
|
| 109 |
+
108,2026-06-06,"Prix du Pass Journalier doublé du jour au lendemain, sans prévenir personne.",1
|
| 110 |
+
109,2026-04-22,On me prélève 2 000 F que je n'ai jamais demandés.,2
|
| 111 |
+
110,2026-07-24,"Facturation claire ce mois-ci sur mon Forfait Soir, aucune surprise.",5
|
| 112 |
+
111,2026-08-27,L'appli demande de se reconnecter toutes les cinq minutes à Guédiawaye.,2
|
| 113 |
+
112,2026-06-30,Bon rapport qualité-prix pour le Pass Journalier à 2 000 F.,4
|
| 114 |
+
113,2026-06-20,L'appli demande de se reconnecter toutes les cinq minutes à Almadies.,2
|
| 115 |
+
114,2026-06-10,Réponse rapide sur WhatsApp pour mon souci de solde de 3 500 F.,4
|
| 116 |
+
115,2026-06-15,"Impossible de joindre le service client, j'attends depuis trois jours.",2
|
| 117 |
+
116,2026-04-12,Le Forfait Soir à 5 000 F est dans la moyenne du marché.,3
|
| 118 |
+
117,2026-04-04,Nouvelle interface de l'appli claire et agréable à utiliser.,4
|
| 119 |
+
118,2026-06-04,"L'application fait le nécessaire, rien d'exceptionnel.",3
|
| 120 |
+
119,2026-04-19,Le débit s'est nettement amélioré à Ouakam ces derniers jours.,5
|
| 121 |
+
120,2026-04-22,"Le réseau fonctionne à Guédiawaye, sans plus.",3
|
| 122 |
+
121,2026-05-28,"Service client courtois, mon problème de facturation a été réglé du premier coup.",5
|
| 123 |
+
122,2026-06-18,"Le réseau est enfin stable à Pikine, bravo.",5
|
| 124 |
+
123,2026-04-21,"Impossible de joindre le service client, j'attends depuis deux jours.",2
|
| 125 |
+
124,2026-07-25,Nouvelle interface de l'appli claire et agréable à utiliser.,5
|
| 126 |
+
125,2026-07-26,"L'application plante à chaque ouverture depuis la mise à jour, illisible.",1
|
| 127 |
+
126,2026-08-18,"Impossible de joindre le service client, j'attends depuis deux jours.",1
|
| 128 |
+
127,2026-06-18,L'appli ne plante plus depuis la dernière mise à jour.,5
|
| 129 |
+
128,2026-06-17,Bon rapport qualité-prix pour le Illimité 50 Go à 5 000 F.,4
|
| 130 |
+
129,2026-04-11,"J'ai eu un conseiller pour mon Pass Journalier, réponse correcte.",3
|
| 131 |
+
130,2026-05-29,Le Illimité 20 Go à 3 500 F est dans la moyenne du marché.,3
|
| 132 |
+
131,2026-04-11,"Le conseiller m'a répondu en moins de 5 minutes pour mon souci de Illimité 50 Go, très efficace.",4
|
| 133 |
+
132,2026-08-28,Mise à jour de l'appli qui a supprimé mon historique de recharge.,2
|
| 134 |
+
133,2026-06-25,On m'a facturé deux fois le Pass Journalier ce mois-ci.,2
|
| 135 |
+
134,2026-07-12,Le Forfait Week-end à 1 500 F est dans la moyenne du marché.,3
|
| 136 |
+
135,2026-06-04,"Support injoignable, j'ai envoyé trois messages sans retour depuis cinq heures.",2
|
| 137 |
+
136,2026-07-15,L'appli demande de se reconnecter toutes les cinq minutes à Sacré-Cœur.,1
|
| 138 |
+
137,2026-05-23,"Impossible de joindre le service client, j'attends depuis deux jours.",1
|
| 139 |
+
138,2026-06-01,Bon rapport qualité-prix pour le Illimité 20 Go à 10 000 F.,4
|
| 140 |
+
139,2026-05-28,"Le réseau fonctionne à Liberté 6, sans plus.",3
|
| 141 |
+
140,2026-06-14,Bon rapport qualité-prix pour le Forfait Week-end à 5 000 F.,5
|
| 142 |
+
141,2026-08-20,"L'application plante à chaque ouverture depuis la mise à jour, illisible.",2
|
| 143 |
+
142,2026-07-16,"Support injoignable, j'ai envoyé trois messages sans retour depuis une semaine.",2
|
| 144 |
+
143,2026-08-29,Le débit s'est nettement amélioré à Liberté 6 ces derniers jours.,5
|
| 145 |
+
144,2026-06-28,"Support injoignable, j'ai envoyé trois messages sans retour depuis une semaine.",1
|
| 146 |
+
145,2026-06-01,L'application mobile est devenue beaucoup plus rapide depuis la mise à jour.,5
|
| 147 |
+
146,2026-07-08,Facture du Illimité 20 Go reçue à temps ce mois.,3
|
| 148 |
+
147,2026-06-24,"L'application fait le nécessaire, rien d'exceptionnel.",3
|
| 149 |
+
148,2026-05-07,Coupures répétées pendant les appels importants à Parcelles Assainies.,2
|
| 150 |
+
149,2026-07-11,L'appli ne plante plus depuis la dernière mise à jour.,5
|
| 151 |
+
150,2026-08-17,On m'a facturé deux fois le Pass Journalier ce mois-ci.,2
|
| 152 |
+
151,2026-04-26,"Facture détaillée et compréhensible ce mois, merci.",4
|
| 153 |
+
152,2026-04-12,"Toujours aucun réseau à Mermoz depuis 24 heures, c'est inadmissible.",1
|
| 154 |
+
153,2026-06-02,"Recharge instantanée à Ngor, aucun souci depuis trois jours.",4
|
| 155 |
+
154,2026-07-07,L'application mobile est devenue beaucoup plus rapide depuis la mise à jour.,5
|
| 156 |
+
155,2026-06-05,Le débit s'est nettement amélioré à Ouakam ces derniers jours.,4
|
| 157 |
+
156,2026-04-19,Aucune couverture réseau à Pikine depuis la panne d'hier.,2
|
| 158 |
+
157,2026-06-17,On me prélève 2 000 F que je n'ai jamais demandés.,2
|
| 159 |
+
158,2026-08-26,Ma réclamation de facturation de 5 000 F reste sans réponse depuis une semaine.,1
|
| 160 |
+
159,2026-08-23,"Le réseau fonctionne à Pikine, sans plus.",3
|
| 161 |
+
160,2026-06-30,"L'application plante à chaque ouverture depuis la mise à jour, illisible.",1
|
| 162 |
+
161,2026-06-19,"Le réseau est enfin stable à Pikine, bravo.",5
|
| 163 |
+
162,2026-06-23,"Le conseiller m'a répondu en moins de 5 minutes pour mon souci de Forfait Soir, très efficace.",5
|
| 164 |
+
163,2026-05-13,Mise à jour de l'appli qui a supprimé mon historique de recharge.,2
|
| 165 |
+
164,2026-04-20,"L'application plante à chaque ouverture depuis la mise à jour, illisible.",1
|
| 166 |
+
165,2026-07-11,L'appli demande de se reconnecter toutes les cinq minutes à Rufisque.,2
|
| 167 |
+
166,2026-07-05,"L'application plante à chaque ouverture depuis la mise à jour, illisible.",2
|
| 168 |
+
167,2026-05-27,Le débit s'est nettement amélioré à Liberté 6 ces derniers jours.,4
|
| 169 |
+
168,2026-04-12,"J'ai eu un conseiller pour mon Illimité 20 Go, réponse correcte.",3
|
| 170 |
+
169,2026-08-16,"Conseiller désagréable au téléphone, aucune solution proposée pour mon Illimité 50 Go.",1
|
| 171 |
+
170,2026-07-16,L'appli ne plante plus depuis la dernière mise à jour.,4
|
| 172 |
+
171,2026-07-04,"Conseiller désagréable au téléphone, aucune solution proposée pour mon Pass Journalier.",2
|
| 173 |
+
172,2026-04-16,"L'application plante à chaque ouverture depuis la mise à jour, illisible.",1
|
| 174 |
+
173,2026-04-13,L'application mobile est devenue beaucoup plus rapide depuis la mise à jour.,4
|
| 175 |
+
174,2026-08-29,Mise à jour de l'appli qui a supprimé mon historique de recharge.,1
|
| 176 |
+
175,2026-06-10,Facture du Illimité 50 Go reçue à temps ce mois.,3
|
| 177 |
+
176,2026-04-29,"Le réseau est enfin stable à Parcelles Assainies, bravo.",5
|
| 178 |
+
177,2026-04-05,"Toujours aucun réseau à Parcelles Assainies depuis deux jours, c'est inadmissible.",1
|
| 179 |
+
178,2026-07-31,Aucune couverture réseau à Guédiawaye depuis la panne d'hier.,1
|
| 180 |
+
179,2026-04-12,Offre promotionnelle intéressante sur le Illimité 50 Go ce trimestre.,4
|
| 181 |
+
180,2026-04-16,"L'application fait le nécessaire, rien d'exceptionnel.",3
|
| 182 |
+
181,2026-04-19,"J'ai eu un conseiller pour mon Forfait Soir, réponse correcte.",3
|
| 183 |
+
182,2026-06-10,"Recharge instantanée à Guédiawaye, aucun souci depuis cinq heures.",5
|
| 184 |
+
183,2026-07-26,"Service client courtois, mon problème de facturation a été réglé du premier coup.",5
|
| 185 |
+
184,2026-07-25,"L'application fait le nécessaire, rien d'exceptionnel.",3
|
| 186 |
+
185,2026-04-25,Aucune couverture réseau à Ngor depuis la panne d'hier.,2
|
| 187 |
+
186,2026-04-18,On m'a facturé deux fois le Forfait Week-end ce mois-ci.,1
|
| 188 |
+
187,2026-08-21,L'appli demande de se reconnecter toutes les cinq minutes à Guédiawaye.,2
|
| 189 |
+
188,2026-07-18,"Le réseau fonctionne à Mermoz, sans plus.",3
|
| 190 |
+
189,2026-04-27,L'application mobile est devenue beaucoup plus rapide depuis la mise à jour.,5
|
| 191 |
+
190,2026-08-21,"Support injoignable, j'ai envoyé trois messages sans retour depuis 24 heures.",1
|
| 192 |
+
191,2026-06-08,Le prix du Pass Journalier a encore augmenté sans aucune explication.,1
|
| 193 |
+
192,2026-05-17,Le Forfait Week-end à 1 500 F est dans la moyenne du marché.,3
|
| 194 |
+
193,2026-04-08,L'appli demande de se reconnecter toutes les cinq minutes à Yoff.,2
|
| 195 |
+
194,2026-05-11,Ma réclamation de facturation de 10 000 F reste sans réponse depuis deux jours.,1
|
| 196 |
+
195,2026-05-10,Le Illimité 20 Go est trop cher pour un débit aussi faible.,2
|
| 197 |
+
196,2026-08-03,"Service client courtois, mon problème de facturation a été réglé du premier coup.",5
|
| 198 |
+
197,2026-07-20,Coupures répétées pendant les appels importants à Ngor.,2
|
| 199 |
+
198,2026-04-12,Le Illimité 20 Go est trop cher pour un débit aussi faible.,1
|
| 200 |
+
199,2026-05-06,Bon rapport qualité-prix pour le Illimité 20 Go à 1 500 F.,5
|
| 201 |
+
200,2026-05-15,L'appli demande de se reconnecter toutes les cinq minutes à Almadies.,2
|
generer_donnees.py
ADDED
|
@@ -0,0 +1,129 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
"""
|
| 2 |
+
Génère data/exemple_avis.csv : 200 avis clients synthétiques en français
|
| 3 |
+
pour un opérateur télécom sénégalais fictif ("Waaw Telecom"), couvrant
|
| 4 |
+
5 thèmes (réseau, facturation, service client, application mobile, prix),
|
| 5 |
+
avec quelques cas difficiles volontaires : ironie, mélange français/wolof,
|
| 6 |
+
avis très courts, et une poignée de doublons EXACTS volontaires pour
|
| 7 |
+
exercer la détection de doublons de l'étape 2.1. Colonnes : id, date, avis, note.
|
| 8 |
+
"""
|
| 9 |
+
import csv
|
| 10 |
+
import random
|
| 11 |
+
from datetime import date, timedelta
|
| 12 |
+
|
| 13 |
+
random.seed(42)
|
| 14 |
+
|
| 15 |
+
QUARTIERS = ["Ouakam", "Rufisque", "Parcelles Assainies", "Yoff", "Mermoz", "Sacré-Cœur",
|
| 16 |
+
"Grand Yoff", "Liberté 6", "Guédiawaye", "Pikine", "Ngor", "Almadies"]
|
| 17 |
+
FORFAITS = ["Illimité 20 Go", "Forfait Soir", "Pass Journalier", "Forfait Week-end", "Illimité 50 Go"]
|
| 18 |
+
MONTANTS = ["1 500", "2 000", "3 500", "5 000", "10 000"]
|
| 19 |
+
DUREES = ["deux jours", "trois jours", "une semaine", "24 heures", "cinq heures"]
|
| 20 |
+
|
| 21 |
+
# --- Modèles de phrases (avec emplacements variables) par thème et polarité --
|
| 22 |
+
POSITIFS = [
|
| 23 |
+
"Le réseau est enfin stable à {quartier}, bravo.",
|
| 24 |
+
"Facturation claire ce mois-ci sur mon {forfait}, aucune surprise.",
|
| 25 |
+
"Le conseiller m'a répondu en moins de 5 minutes pour mon souci de {forfait}, très efficace.",
|
| 26 |
+
"L'application mobile est devenue beaucoup plus rapide depuis la mise à jour.",
|
| 27 |
+
"Bon rapport qualité-prix pour le {forfait} à {montant} F.",
|
| 28 |
+
"La 4G passe très bien même à {quartier}.",
|
| 29 |
+
"Service client courtois, mon problème de facturation a été réglé du premier coup.",
|
| 30 |
+
"Nouvelle interface de l'appli claire et agréable à utiliser.",
|
| 31 |
+
"Le {forfait} est raisonnable comparé à la concurrence.",
|
| 32 |
+
"Recharge instantanée à {quartier}, aucun souci depuis {duree}.",
|
| 33 |
+
"Le débit s'est nettement amélioré à {quartier} ces derniers jours.",
|
| 34 |
+
"Facture détaillée et compréhensible ce mois, merci.",
|
| 35 |
+
"Réponse rapide sur WhatsApp pour mon souci de solde de {montant} F.",
|
| 36 |
+
"L'appli ne plante plus depuis la dernière mise à jour.",
|
| 37 |
+
"Offre promotionnelle intéressante sur le {forfait} ce trimestre.",
|
| 38 |
+
]
|
| 39 |
+
NEGATIFS = [
|
| 40 |
+
"Toujours aucun réseau à {quartier} depuis {duree}, c'est inadmissible.",
|
| 41 |
+
"On m'a facturé deux fois le {forfait} ce mois-ci.",
|
| 42 |
+
"Impossible de joindre le service client, j'attends depuis {duree}.",
|
| 43 |
+
"L'application plante à chaque ouverture depuis la mise à jour, illisible.",
|
| 44 |
+
"Le prix du {forfait} a encore augmenté sans aucune explication.",
|
| 45 |
+
"Aucune couverture réseau à {quartier} depuis la panne d'hier.",
|
| 46 |
+
"On me prélève {montant} F que je n'ai jamais demandés.",
|
| 47 |
+
"Conseiller désagréable au téléphone, aucune solution proposée pour mon {forfait}.",
|
| 48 |
+
"L'appli demande de se reconnecter toutes les cinq minutes à {quartier}.",
|
| 49 |
+
"Le {forfait} est trop cher pour un débit aussi faible.",
|
| 50 |
+
"Coupures répétées pendant les appels importants à {quartier}.",
|
| 51 |
+
"Ma réclamation de facturation de {montant} F reste sans réponse depuis {duree}.",
|
| 52 |
+
"Support injoignable, j'ai envoyé trois messages sans retour depuis {duree}.",
|
| 53 |
+
"Mise à jour de l'appli qui a supprimé mon historique de recharge.",
|
| 54 |
+
"Prix du {forfait} doublé du jour au lendemain, sans prévenir personne.",
|
| 55 |
+
]
|
| 56 |
+
NEUTRES = [
|
| 57 |
+
"Le réseau fonctionne à {quartier}, sans plus.",
|
| 58 |
+
"Facture du {forfait} reçue à temps ce mois.",
|
| 59 |
+
"J'ai eu un conseiller pour mon {forfait}, réponse correcte.",
|
| 60 |
+
"L'application fait le nécessaire, rien d'exceptionnel.",
|
| 61 |
+
"Le {forfait} à {montant} F est dans la moyenne du marché.",
|
| 62 |
+
]
|
| 63 |
+
IRONIQUES = [
|
| 64 |
+
"Bravo pour les trois jours sans réseau, du grand art.",
|
| 65 |
+
"Merci Waaw Telecom pour cette facture surprise, quelle générosité.",
|
| 66 |
+
"Un service client si réactif qu'on a le temps de vieillir en attendant.",
|
| 67 |
+
"L'application plante si joliment qu'on en oublierait presque d'être énervé.",
|
| 68 |
+
"Encore une augmentation de prix, on ne s'ennuie jamais avec vous.",
|
| 69 |
+
]
|
| 70 |
+
MELANGE_WOLOF = [
|
| 71 |
+
"Réseau bi dafa bon ce mois-ci, merci beaucoup.",
|
| 72 |
+
"Facture bi dafa bare trop, li dafa diar.",
|
| 73 |
+
"Service client bi ñëpp bon, ils ont réglé mon problème rapidement.",
|
| 74 |
+
"Appli bi dafa poor, dafa toujours planter.",
|
| 75 |
+
"Prix yi dafa cher trop, xoolal ndax dinañu wax.",
|
| 76 |
+
"Dama bëgg ni réseau bi baax na leegi, jamm rekk.",
|
| 77 |
+
]
|
| 78 |
+
COURTS = ["Ok.", "Bof.", "Nul.", "Correct.", "Top !", "Moyen.", "Décevant.", "Parfait.", "Rien à dire.", "Peut mieux faire."]
|
| 79 |
+
|
| 80 |
+
# Un avis volontairement IDENTIQUE plusieurs fois (pour tester la détection
|
| 81 |
+
# de doublons demandée à l'étape 2.1 : "doublons signalés").
|
| 82 |
+
DOUBLONS_VOLONTAIRES = "Toujours aucun réseau depuis hier, très mécontent."
|
| 83 |
+
|
| 84 |
+
|
| 85 |
+
def remplir(modele: str) -> str:
|
| 86 |
+
return modele.format(
|
| 87 |
+
quartier=random.choice(QUARTIERS),
|
| 88 |
+
forfait=random.choice(FORFAITS),
|
| 89 |
+
montant=random.choice(MONTANTS),
|
| 90 |
+
duree=random.choice(DUREES),
|
| 91 |
+
)
|
| 92 |
+
|
| 93 |
+
|
| 94 |
+
rows = []
|
| 95 |
+
start = date(2026, 4, 1)
|
| 96 |
+
for i in range(1, 201):
|
| 97 |
+
d = start + timedelta(days=random.randint(0, 150))
|
| 98 |
+
r = random.random()
|
| 99 |
+
if i <= 5:
|
| 100 |
+
avis = IRONIQUES[i - 1]
|
| 101 |
+
note = random.choice([1, 2])
|
| 102 |
+
elif i <= 11:
|
| 103 |
+
avis = MELANGE_WOLOF[i - 6]
|
| 104 |
+
note = random.choice([2, 3, 4, 5])
|
| 105 |
+
elif i <= 21:
|
| 106 |
+
avis = random.choice(COURTS)
|
| 107 |
+
note = random.choice([1, 2, 3, 4, 5])
|
| 108 |
+
elif i in (22, 23, 24, 25, 26, 27):
|
| 109 |
+
# 6 doublons exacts volontaires, répartis dans le fichier.
|
| 110 |
+
avis = DOUBLONS_VOLONTAIRES
|
| 111 |
+
note = random.choice([1, 2])
|
| 112 |
+
elif r < 0.45:
|
| 113 |
+
avis = remplir(random.choice(NEGATIFS))
|
| 114 |
+
note = random.choice([1, 2])
|
| 115 |
+
elif r < 0.80:
|
| 116 |
+
avis = remplir(random.choice(POSITIFS))
|
| 117 |
+
note = random.choice([4, 5])
|
| 118 |
+
else:
|
| 119 |
+
avis = remplir(random.choice(NEUTRES))
|
| 120 |
+
note = 3
|
| 121 |
+
rows.append({"id": i, "date": d.isoformat(), "avis": avis, "note": note})
|
| 122 |
+
|
| 123 |
+
with open("exemple_avis.csv", "w", newline="", encoding="utf-8") as f:
|
| 124 |
+
w = csv.DictWriter(f, fieldnames=["id", "date", "avis", "note"])
|
| 125 |
+
w.writeheader()
|
| 126 |
+
w.writerows(rows)
|
| 127 |
+
|
| 128 |
+
n_doublons = len(rows) - len({r["avis"] for r in rows})
|
| 129 |
+
print(f"{len(rows)} avis générés dans exemple_avis.csv ({n_doublons} doublons exacts détectables)")
|
moteur.py
ADDED
|
@@ -0,0 +1,170 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
"""
|
| 2 |
+
Moteur d'analyse du Radar d'avis clients : trois têtes de modèle chargées
|
| 3 |
+
une seule fois (via @st.cache_resource) et appelées par lots.
|
| 4 |
+
|
| 5 |
+
Séparé de app.py pour que l'interface reste lisible et que le chargement
|
| 6 |
+
des modèles soit testable indépendamment.
|
| 7 |
+
"""
|
| 8 |
+
import time
|
| 9 |
+
|
| 10 |
+
import streamlit as st
|
| 11 |
+
from transformers import pipeline
|
| 12 |
+
|
| 13 |
+
MODELE_SENTIMENT = "cmarkea/distilcamembert-base-sentiment"
|
| 14 |
+
MODELE_THEMES = "MoritzLaurer/mDeBERTa-v3-base-mnli-xnli"
|
| 15 |
+
MODELE_RESUME = "plguillou/t5-base-fr-sum-cnndm"
|
| 16 |
+
|
| 17 |
+
LONGUEUR_MAX_SENTIMENT = 512
|
| 18 |
+
LONGUEUR_MAX_THEMES = 256
|
| 19 |
+
TAILLE_LOT = 16
|
| 20 |
+
|
| 21 |
+
|
| 22 |
+
@st.cache_resource(show_spinner="Chargement des modèles (une seule fois)...")
|
| 23 |
+
def charger_moteur():
|
| 24 |
+
"""Instancie les trois pipelines et les renvoie ensemble.
|
| 25 |
+
|
| 26 |
+
Objet non sérialisable -> @st.cache_resource (partagé, pas copié),
|
| 27 |
+
jamais @st.cache_data qui tenterait de sérialiser le modèle à chaque appel.
|
| 28 |
+
"""
|
| 29 |
+
sentiment = pipeline(
|
| 30 |
+
"sentiment-analysis",
|
| 31 |
+
model=MODELE_SENTIMENT,
|
| 32 |
+
tokenizer=MODELE_SENTIMENT,
|
| 33 |
+
truncation=True,
|
| 34 |
+
max_length=LONGUEUR_MAX_SENTIMENT,
|
| 35 |
+
)
|
| 36 |
+
themes = pipeline("zero-shot-classification", model=MODELE_THEMES)
|
| 37 |
+
resume = pipeline("summarization", model=MODELE_RESUME, tokenizer=MODELE_RESUME)
|
| 38 |
+
return {"sentiment": sentiment, "themes": themes, "resume": resume}
|
| 39 |
+
|
| 40 |
+
|
| 41 |
+
def _compter_tokens_tronques(textes, tokenizer, longueur_max):
|
| 42 |
+
"""Renvoie le nombre de textes dont la tokenisation dépasse longueur_max
|
| 43 |
+
(donc effectivement tronqués par le pipeline)."""
|
| 44 |
+
n_tronques = 0
|
| 45 |
+
for t in textes:
|
| 46 |
+
ids = tokenizer(t, truncation=False)["input_ids"]
|
| 47 |
+
if len(ids) > longueur_max:
|
| 48 |
+
n_tronques += 1
|
| 49 |
+
return n_tronques
|
| 50 |
+
|
| 51 |
+
|
| 52 |
+
def normaliser_sentiment(label_brut: str) -> str:
|
| 53 |
+
"""cmarkea/distilcamembert-base-sentiment renvoie des labels du type
|
| 54 |
+
'1 star' .. '5 stars' (notation à la Amazon), pas directement
|
| 55 |
+
positif/négatif. On les ramène à trois classes, avec le même seuil que
|
| 56 |
+
la binarisation de la question 7 (<=2 négatif, ==3 neutre, >=4 positif).
|
| 57 |
+
"""
|
| 58 |
+
n = int(label_brut.strip().split()[0])
|
| 59 |
+
if n <= 2:
|
| 60 |
+
return "négatif"
|
| 61 |
+
if n == 3:
|
| 62 |
+
return "neutre"
|
| 63 |
+
return "positif"
|
| 64 |
+
|
| 65 |
+
|
| 66 |
+
def analyser_sentiments(moteur, avis, progress_callback=None):
|
| 67 |
+
"""Classification de séquence par lots ; renvoie label + score de confiance."""
|
| 68 |
+
pipe = moteur["sentiment"]
|
| 69 |
+
n_tronques = _compter_tokens_tronques(avis, pipe.tokenizer, LONGUEUR_MAX_SENTIMENT)
|
| 70 |
+
|
| 71 |
+
resultats = []
|
| 72 |
+
n = len(avis)
|
| 73 |
+
for debut in range(0, n, TAILLE_LOT):
|
| 74 |
+
lot = avis[debut : debut + TAILLE_LOT]
|
| 75 |
+
sorties = pipe(lot, truncation=True, max_length=LONGUEUR_MAX_SENTIMENT, batch_size=TAILLE_LOT)
|
| 76 |
+
for s in sorties:
|
| 77 |
+
s["label_brut"] = s["label"]
|
| 78 |
+
s["label"] = normaliser_sentiment(s["label"])
|
| 79 |
+
resultats.extend(sorties)
|
| 80 |
+
if progress_callback:
|
| 81 |
+
progress_callback(min(debut + TAILLE_LOT, n) / n)
|
| 82 |
+
return resultats, n_tronques
|
| 83 |
+
|
| 84 |
+
|
| 85 |
+
def detecter_themes(moteur, avis, themes_cibles, progress_callback=None):
|
| 86 |
+
"""Zero-shot multi-étiquettes : un avis peut relever de plusieurs thèmes."""
|
| 87 |
+
pipe = moteur["themes"]
|
| 88 |
+
resultats = []
|
| 89 |
+
n = len(avis)
|
| 90 |
+
for debut in range(0, n, TAILLE_LOT):
|
| 91 |
+
lot = avis[debut : debut + TAILLE_LOT]
|
| 92 |
+
sorties = pipe(
|
| 93 |
+
lot,
|
| 94 |
+
candidate_labels=themes_cibles,
|
| 95 |
+
multi_label=True,
|
| 96 |
+
truncation=True,
|
| 97 |
+
max_length=LONGUEUR_MAX_THEMES,
|
| 98 |
+
)
|
| 99 |
+
# pipeline() renvoie un seul dict (pas une liste) si len(lot) == 1
|
| 100 |
+
if isinstance(sorties, dict):
|
| 101 |
+
sorties = [sorties]
|
| 102 |
+
resultats.extend(sorties)
|
| 103 |
+
if progress_callback:
|
| 104 |
+
progress_callback(min(debut + TAILLE_LOT, n) / n)
|
| 105 |
+
return resultats
|
| 106 |
+
|
| 107 |
+
|
| 108 |
+
def resumer_avis_negatifs(moteur, avis_negatifs, longueur_max_source=800):
|
| 109 |
+
"""Concatène les avis négatifs et produit un résumé en 3 lignes environ.
|
| 110 |
+
Tête la plus lente : à n'appeler que si la case "résumé" est cochée.
|
| 111 |
+
"""
|
| 112 |
+
if not avis_negatifs:
|
| 113 |
+
return "Aucun avis négatif à résumer."
|
| 114 |
+
texte = " ".join(avis_negatifs)[:longueur_max_source]
|
| 115 |
+
pipe = moteur["resume"]
|
| 116 |
+
sortie = pipe(texte, truncation=True, max_length=120, min_length=30)
|
| 117 |
+
return sortie[0]["summary_text"]
|
| 118 |
+
|
| 119 |
+
|
| 120 |
+
def chronometrer_sequentiel_vs_lots(moteur, avis):
|
| 121 |
+
"""Utilitaire pour la question 6 : compare un traitement avis par avis
|
| 122 |
+
(boucle Python) à un traitement par lots de TAILLE_LOT."""
|
| 123 |
+
pipe = moteur["sentiment"]
|
| 124 |
+
|
| 125 |
+
t0 = time.perf_counter()
|
| 126 |
+
for a in avis:
|
| 127 |
+
pipe(a, truncation=True, max_length=LONGUEUR_MAX_SENTIMENT)
|
| 128 |
+
t_sequentiel = time.perf_counter() - t0
|
| 129 |
+
|
| 130 |
+
t0 = time.perf_counter()
|
| 131 |
+
for debut in range(0, len(avis), TAILLE_LOT):
|
| 132 |
+
lot = avis[debut : debut + TAILLE_LOT]
|
| 133 |
+
pipe(lot, truncation=True, max_length=LONGUEUR_MAX_SENTIMENT, batch_size=TAILLE_LOT)
|
| 134 |
+
t_lots = time.perf_counter() - t0
|
| 135 |
+
|
| 136 |
+
return t_sequentiel, t_lots
|
| 137 |
+
|
| 138 |
+
|
| 139 |
+
def evaluer_contre_verite_terrain(df_resultats):
|
| 140 |
+
"""Question 7 : binarise la colonne `note` (<=2 négatif, >=4 positif, 3
|
| 141 |
+
exclu) et calcule accuracy/F1 avec la bibliothèque `evaluate` (chapitre 5),
|
| 142 |
+
plutôt qu'un calcul manuel — API unifiée, cohérente avec le reste du cours.
|
| 143 |
+
|
| 144 |
+
Renvoie (accuracy, f1, matrice_confusion_dataframe) ou None si la colonne
|
| 145 |
+
`note` est absente ou si aucune ligne n'est exploitable après binarisation.
|
| 146 |
+
"""
|
| 147 |
+
import evaluate
|
| 148 |
+
import pandas as pd
|
| 149 |
+
|
| 150 |
+
if "note" not in df_resultats.columns:
|
| 151 |
+
return None
|
| 152 |
+
|
| 153 |
+
df = df_resultats.dropna(subset=["note"]).copy()
|
| 154 |
+
df = df[df["note"] != 3] # zone neutre ambiguë exclue de l'évaluation
|
| 155 |
+
if df.empty:
|
| 156 |
+
return None
|
| 157 |
+
|
| 158 |
+
df["reference"] = (df["note"] >= 4).astype(int) # 1 = positif, 0 = négatif
|
| 159 |
+
df["prediction"] = (df["sentiment"] == "positif").astype(int)
|
| 160 |
+
|
| 161 |
+
metric_accuracy = evaluate.load("accuracy")
|
| 162 |
+
metric_f1 = evaluate.load("f1")
|
| 163 |
+
acc = metric_accuracy.compute(predictions=df["prediction"], references=df["reference"])["accuracy"]
|
| 164 |
+
f1 = metric_f1.compute(predictions=df["prediction"], references=df["reference"])["f1"]
|
| 165 |
+
|
| 166 |
+
matrice = pd.crosstab(
|
| 167 |
+
df["reference"].map({0: "Réel négatif", 1: "Réel positif"}),
|
| 168 |
+
df["prediction"].map({0: "Prédit négatif", 1: "Prédit positif"}),
|
| 169 |
+
)
|
| 170 |
+
return round(acc, 4), round(f1, 4), matrice
|
requirements.txt
ADDED
|
@@ -0,0 +1,8 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
streamlit==1.62.0
|
| 2 |
+
transformers==4.57.6
|
| 3 |
+
torch==2.7.1
|
| 4 |
+
pandas==2.2.3
|
| 5 |
+
sentencepiece==0.2.0
|
| 6 |
+
huggingface_hub==0.27.1
|
| 7 |
+
evaluate==0.4.3
|
| 8 |
+
scikit-learn==1.6.1
|