Spaces:
Runtime error
feat(eval): comparer_mistral mesure aussi un plus petit modele et un prompt renforce
Browse files--modeles et --consignes font varier le modele et le prompt systeme du
chat : « actuelles » (la production) ou « renforcees » (cinq regles de
fond en tete). Les etiquettes de la relecture a l'aveugle suivent le
nombre de variantes, et la synthese compte les citations orphelines des
comparaisons : une case remplie ne vaut que si ses citations tiennent.
Mesure du 07/10 (20 questions, 4 comparaisons) :
- ministral-3b-2512 : 90,9 % de citations justes (22) avec le prompt
actuel, 68,8 % (32) avec le renforce ; 1,7 a 1,8 s par reponse ;
- ministral-14b-2512 : 96,2 % (26) et 96,4 % (28) ; 3,0 a 3,3 s ;
- comparaisons : le 3b remplit les 28 cases, avec 37 articles absents
des extraits ; le 14b en remplit 22, avec 20.
Regle fixee avant la mesure : le 3b passait a 94,6 % de citations
justes au moins. Rate avec les deux prompts : ministral-14b-2512 reste.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- scripts/eval/comparer_mistral.py +58 -15
|
@@ -19,9 +19,16 @@ REGLE DE DECISION, ECRITE AVANT : on garde le 14b, sauf si le 8b egale la
|
|
| 19 |
justesse des citations (a 2 points pres) sans ajouter plus de contenu non
|
| 20 |
source. Le 8b reste le modele de secours dans tous les cas.
|
| 21 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 22 |
Usage:
|
| 23 |
python -m scripts.eval.comparer_mistral --dry-run # contextes seuls, aucun appel
|
| 24 |
python -m scripts.eval.comparer_mistral
|
|
|
|
|
|
|
| 25 |
"""
|
| 26 |
|
| 27 |
import argparse
|
|
@@ -49,7 +56,24 @@ from app.services.rag_service import ANSWER_MAX_TOKENS, RAGService
|
|
| 49 |
|
| 50 |
JEU = RACINE / "tests" / "fixtures" / "eval" / "retrieval_eval_v1.json"
|
| 51 |
SORTIES = RACINE / "data" / "eval_runs"
|
| 52 |
-
MODELES = ("ministral-14b-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 53 |
|
| 54 |
COMPARAISONS = [
|
| 55 |
("permis de recherche minière", "permis d'exploitation minière"),
|
|
@@ -126,7 +150,8 @@ def citations(texte: str, numeros_du_contexte: set) -> Dict[str, Any]:
|
|
| 126 |
|
| 127 |
async def evaluer(args) -> Dict[str, Any]:
|
| 128 |
resultats: Dict[str, Any] = {"questions": [], "comparaisons": []}
|
| 129 |
-
|
|
|
|
| 130 |
hasard = random.Random(args.graine)
|
| 131 |
|
| 132 |
async with AsyncSessionLocal() as session:
|
|
@@ -148,14 +173,16 @@ async def evaluer(args) -> Dict[str, Any]:
|
|
| 148 |
}
|
| 149 |
print(f"[{position}] {item['question'][:80]} ({len(chunks)} extraits)", flush=True)
|
| 150 |
if not args.dry_run:
|
| 151 |
-
for modele in
|
| 152 |
-
reponse = await repondre(modele, prompt,
|
|
|
|
|
|
|
| 153 |
reponse["citations"] = citations(reponse["texte"], contexte)
|
| 154 |
entree["reponses"].append(reponse)
|
| 155 |
-
print(f" {
|
| 156 |
f"cites={len(reponse['citations']['cites'])}, "
|
| 157 |
f"absents={reponse['citations']['absents']}", flush=True)
|
| 158 |
-
entree["aveugle"] = hasard.sample(
|
| 159 |
resultats["questions"].append(entree)
|
| 160 |
|
| 161 |
for sujet_a, sujet_b in COMPARAISONS[: args.comparaisons]:
|
|
@@ -168,7 +195,7 @@ async def evaluer(args) -> Dict[str, Any]:
|
|
| 168 |
print(f"[comparaison] {sujet_a} / {sujet_b} : {len(chunks_a)} + {len(chunks_b)} extraits",
|
| 169 |
flush=True)
|
| 170 |
if not args.dry_run and chunks_a and chunks_b:
|
| 171 |
-
for modele in
|
| 172 |
service.llm = MistralService(model_name=modele)
|
| 173 |
debut = time.monotonic()
|
| 174 |
try:
|
|
@@ -194,15 +221,24 @@ async def evaluer(args) -> Dict[str, Any]:
|
|
| 194 |
|
| 195 |
|
| 196 |
def synthese(resultats: Dict[str, Any]) -> Dict[str, Any]:
|
|
|
|
| 197 |
par_modele: Dict[str, Dict[str, Any]] = {}
|
| 198 |
-
|
| 199 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 200 |
cites = sum(len(r["citations"]["cites"]) for r in reponses)
|
| 201 |
presents = sum(len(r["citations"]["presents"]) for r in reponses)
|
| 202 |
premiers = sorted(r["premier_morceau_s"] for r in reponses if r["premier_morceau_s"] is not None)
|
| 203 |
durees = sorted(r["duree_s"] for r in reponses)
|
| 204 |
comparaisons = [m for c in resultats["comparaisons"] for m in c["reponses"] if m["modele"] == modele]
|
| 205 |
-
par_modele[
|
| 206 |
"reponses": len(reponses),
|
| 207 |
"erreurs": sum(1 for r in reponses if r["erreur"]),
|
| 208 |
"incompletes": sum(1 for r in reponses if r["fin"] not in (None, "STOP")),
|
|
@@ -213,16 +249,19 @@ def synthese(resultats: Dict[str, Any]) -> Dict[str, Any]:
|
|
| 213 |
"jetons_sortie": sum(r["jetons_sortie"] or 0 for r in reponses),
|
| 214 |
"comparaisons_json": sum(1 for m in comparaisons if m.get("json")),
|
| 215 |
"comparaisons_7_sur_7": sum(1 for m in comparaisons if m.get("lignes_remplies") == 7),
|
|
|
|
|
|
|
|
|
|
| 216 |
}
|
| 217 |
return par_modele
|
| 218 |
|
| 219 |
|
| 220 |
def fichier_a_l_aveugle(resultats: Dict[str, Any], chemin: Path) -> None:
|
| 221 |
-
"""Les
|
| 222 |
lignes = ["# Relecture a l'aveugle : ajouts non sources", "",
|
| 223 |
-
"Pour chaque question, compter dans
|
| 224 |
-
"qu'aucun extrait ne soutient. La correspondance
|
| 225 |
-
"dans le fichier JSON, champ `aveugle`, a ne lire qu'apres.", ""]
|
| 226 |
for numero, question in enumerate(resultats["questions"], start=1):
|
| 227 |
if not question["reponses"]:
|
| 228 |
continue
|
|
@@ -240,6 +279,10 @@ def main(argv: Optional[Sequence[str]] = None) -> int:
|
|
| 240 |
parseur.add_argument("--questions", type=int, default=20)
|
| 241 |
parseur.add_argument("--comparaisons", type=int, default=4)
|
| 242 |
parseur.add_argument("--graine", type=int, default=7)
|
|
|
|
|
|
|
|
|
|
|
|
|
| 243 |
parseur.add_argument("--dry-run", action="store_true", help="Recherche seule, aucun appel a Mistral")
|
| 244 |
args = parseur.parse_args(argv)
|
| 245 |
|
|
@@ -255,7 +298,7 @@ def main(argv: Optional[Sequence[str]] = None) -> int:
|
|
| 255 |
resultats["synthese"] = synthese(resultats)
|
| 256 |
horodatage = datetime.now().strftime("%Y%m%d_%H%M")
|
| 257 |
SORTIES.mkdir(parents=True, exist_ok=True)
|
| 258 |
-
chemin = SORTIES / f"
|
| 259 |
chemin.write_text(json.dumps(resultats, ensure_ascii=False, indent=2), encoding="utf-8")
|
| 260 |
fichier_a_l_aveugle(resultats, chemin.with_suffix(".aveugle.md"))
|
| 261 |
print(json.dumps(resultats["synthese"], ensure_ascii=False, indent=2))
|
|
|
|
| 19 |
justesse des citations (a 2 points pres) sans ajouter plus de contenu non
|
| 20 |
source. Le 8b reste le modele de secours dans tous les cas.
|
| 21 |
|
| 22 |
+
VARIANTES. `--modeles` et `--consignes` font varier le modele et le prompt
|
| 23 |
+
systeme du chat : « actuelles » (celui de la production) ou « renforcees »
|
| 24 |
+
(des regles de fond en tete, pour un petit modele qui s'ecarte des extraits).
|
| 25 |
+
Les comparaisons de regimes passent une fois par modele, avec leur prompt.
|
| 26 |
+
|
| 27 |
Usage:
|
| 28 |
python -m scripts.eval.comparer_mistral --dry-run # contextes seuls, aucun appel
|
| 29 |
python -m scripts.eval.comparer_mistral
|
| 30 |
+
python -m scripts.eval.comparer_mistral --modeles ministral-3b-2512 \
|
| 31 |
+
--consignes actuelles renforcees --label 3b
|
| 32 |
"""
|
| 33 |
|
| 34 |
import argparse
|
|
|
|
| 56 |
|
| 57 |
JEU = RACINE / "tests" / "fixtures" / "eval" / "retrieval_eval_v1.json"
|
| 58 |
SORTIES = RACINE / "data" / "eval_runs"
|
| 59 |
+
MODELES = ("ministral-14b-2512", "ministral-8b-2512")
|
| 60 |
+
|
| 61 |
+
# Regles de fond placees EN TETE du prompt systeme, pour la variante
|
| 62 |
+
# « renforcees ». Un petit modele suit mal des consignes noyees dans la forme :
|
| 63 |
+
# celles-ci disent d'abord d'ou viennent les faits, et rien d'autre.
|
| 64 |
+
REGLES_DE_FOND = """RÈGLES DE FOND — elles passent avant toutes les autres.
|
| 65 |
+
1. Ta seule source est le bloc « Documents juridiques pertinents » du message. Ce que tu sais par ailleurs du droit, camerounais ou d'un autre pays, ne compte pas.
|
| 66 |
+
2. Chaque montant, délai, date, condition, sanction, autorité ou démarche que tu écris doit se lire dans un extrait. Sinon, ne l'écris pas : ni « en général », ni « habituellement », ni étape « à prévoir ».
|
| 67 |
+
3. Repère d'abord le ou les extraits qui répondent, puis appuie chaque affirmation sur l'un d'eux, avec son numéro d'article.
|
| 68 |
+
4. Si les extraits ne répondent qu'en partie, dis ce qu'ils disent, puis ce qu'ils ne disent pas. S'ils ne répondent pas, dis-le en une phrase.
|
| 69 |
+
5. Ne cite que des numéros d'article qui figurent dans les extraits.
|
| 70 |
+
|
| 71 |
+
"""
|
| 72 |
+
|
| 73 |
+
|
| 74 |
+
def systeme_pour(consignes: str) -> str:
|
| 75 |
+
base = get_system_prompt("citoyen", "fr")
|
| 76 |
+
return REGLES_DE_FOND + base if consignes == "renforcees" else base
|
| 77 |
|
| 78 |
COMPARAISONS = [
|
| 79 |
("permis de recherche minière", "permis d'exploitation minière"),
|
|
|
|
| 150 |
|
| 151 |
async def evaluer(args) -> Dict[str, Any]:
|
| 152 |
resultats: Dict[str, Any] = {"questions": [], "comparaisons": []}
|
| 153 |
+
variantes = [(modele, consignes) for modele in args.modeles for consignes in args.consignes]
|
| 154 |
+
etiquettes = [chr(ord("X") + i) if i < 3 else f"R{i}" for i in range(len(variantes))]
|
| 155 |
hasard = random.Random(args.graine)
|
| 156 |
|
| 157 |
async with AsyncSessionLocal() as session:
|
|
|
|
| 173 |
}
|
| 174 |
print(f"[{position}] {item['question'][:80]} ({len(chunks)} extraits)", flush=True)
|
| 175 |
if not args.dry_run:
|
| 176 |
+
for modele, consignes in variantes:
|
| 177 |
+
reponse = await repondre(modele, prompt, systeme_pour(consignes))
|
| 178 |
+
reponse["consignes"] = consignes
|
| 179 |
+
reponse["variante"] = f"{modele}|{consignes}"
|
| 180 |
reponse["citations"] = citations(reponse["texte"], contexte)
|
| 181 |
entree["reponses"].append(reponse)
|
| 182 |
+
print(f" {reponse['variante']}: {reponse['duree_s']} s, fin={reponse['fin']}, "
|
| 183 |
f"cites={len(reponse['citations']['cites'])}, "
|
| 184 |
f"absents={reponse['citations']['absents']}", flush=True)
|
| 185 |
+
entree["aveugle"] = hasard.sample(etiquettes, len(etiquettes))
|
| 186 |
resultats["questions"].append(entree)
|
| 187 |
|
| 188 |
for sujet_a, sujet_b in COMPARAISONS[: args.comparaisons]:
|
|
|
|
| 195 |
print(f"[comparaison] {sujet_a} / {sujet_b} : {len(chunks_a)} + {len(chunks_b)} extraits",
|
| 196 |
flush=True)
|
| 197 |
if not args.dry_run and chunks_a and chunks_b:
|
| 198 |
+
for modele in args.modeles:
|
| 199 |
service.llm = MistralService(model_name=modele)
|
| 200 |
debut = time.monotonic()
|
| 201 |
try:
|
|
|
|
| 221 |
|
| 222 |
|
| 223 |
def synthese(resultats: Dict[str, Any]) -> Dict[str, Any]:
|
| 224 |
+
"""Par variante (modele et consignes) ; les comparaisons, par modele."""
|
| 225 |
par_modele: Dict[str, Dict[str, Any]] = {}
|
| 226 |
+
variantes = []
|
| 227 |
+
for q in resultats["questions"]:
|
| 228 |
+
for r in q["reponses"]:
|
| 229 |
+
cle = r.get("variante") or r["modele"]
|
| 230 |
+
if cle not in variantes:
|
| 231 |
+
variantes.append(cle)
|
| 232 |
+
for variante in variantes:
|
| 233 |
+
modele = variante.split("|")[0]
|
| 234 |
+
reponses = [r for q in resultats["questions"] for r in q["reponses"]
|
| 235 |
+
if (r.get("variante") or r["modele"]) == variante]
|
| 236 |
cites = sum(len(r["citations"]["cites"]) for r in reponses)
|
| 237 |
presents = sum(len(r["citations"]["presents"]) for r in reponses)
|
| 238 |
premiers = sorted(r["premier_morceau_s"] for r in reponses if r["premier_morceau_s"] is not None)
|
| 239 |
durees = sorted(r["duree_s"] for r in reponses)
|
| 240 |
comparaisons = [m for c in resultats["comparaisons"] for m in c["reponses"] if m["modele"] == modele]
|
| 241 |
+
par_modele[variante] = {
|
| 242 |
"reponses": len(reponses),
|
| 243 |
"erreurs": sum(1 for r in reponses if r["erreur"]),
|
| 244 |
"incompletes": sum(1 for r in reponses if r["fin"] not in (None, "STOP")),
|
|
|
|
| 249 |
"jetons_sortie": sum(r["jetons_sortie"] or 0 for r in reponses),
|
| 250 |
"comparaisons_json": sum(1 for m in comparaisons if m.get("json")),
|
| 251 |
"comparaisons_7_sur_7": sum(1 for m in comparaisons if m.get("lignes_remplies") == 7),
|
| 252 |
+
# Une case remplie ne vaut que si ses citations tiennent : le 3b
|
| 253 |
+
# remplissait les 28 cases, avec 37 articles absents des extraits.
|
| 254 |
+
"comparaisons_citations_orphelines": sum(len(m.get("orphelines") or []) for m in comparaisons),
|
| 255 |
}
|
| 256 |
return par_modele
|
| 257 |
|
| 258 |
|
| 259 |
def fichier_a_l_aveugle(resultats: Dict[str, Any], chemin: Path) -> None:
|
| 260 |
+
"""Les reponses de chaque question sous X, Y..., sans le nom du modele."""
|
| 261 |
lignes = ["# Relecture a l'aveugle : ajouts non sources", "",
|
| 262 |
+
"Pour chaque question, compter dans chaque reponse les affirmations",
|
| 263 |
+
"qu'aucun extrait ne soutient. La correspondance etiquette -> modele",
|
| 264 |
+
"est dans le fichier JSON, champ `aveugle`, a ne lire qu'apres.", ""]
|
| 265 |
for numero, question in enumerate(resultats["questions"], start=1):
|
| 266 |
if not question["reponses"]:
|
| 267 |
continue
|
|
|
|
| 279 |
parseur.add_argument("--questions", type=int, default=20)
|
| 280 |
parseur.add_argument("--comparaisons", type=int, default=4)
|
| 281 |
parseur.add_argument("--graine", type=int, default=7)
|
| 282 |
+
parseur.add_argument("--modeles", nargs="+", default=list(MODELES))
|
| 283 |
+
parseur.add_argument("--consignes", nargs="+", default=["actuelles"],
|
| 284 |
+
choices=["actuelles", "renforcees"])
|
| 285 |
+
parseur.add_argument("--label", default="14b_8b")
|
| 286 |
parseur.add_argument("--dry-run", action="store_true", help="Recherche seule, aucun appel a Mistral")
|
| 287 |
args = parseur.parse_args(argv)
|
| 288 |
|
|
|
|
| 298 |
resultats["synthese"] = synthese(resultats)
|
| 299 |
horodatage = datetime.now().strftime("%Y%m%d_%H%M")
|
| 300 |
SORTIES.mkdir(parents=True, exist_ok=True)
|
| 301 |
+
chemin = SORTIES / f"mistral_{args.label}_{horodatage}.json"
|
| 302 |
chemin.write_text(json.dumps(resultats, ensure_ascii=False, indent=2), encoding="utf-8")
|
| 303 |
fichier_a_l_aveugle(resultats, chemin.with_suffix(".aveugle.md"))
|
| 304 |
print(json.dumps(resultats["synthese"], ensure_ascii=False, indent=2))
|