rahim237cm Claude Opus 5.5 commited on
Commit
b16c746
·
1 Parent(s): 2afa5a5

feat(eval): comparer_mistral mesure aussi un plus petit modele et un prompt renforce

Browse files

--modeles et --consignes font varier le modele et le prompt systeme du
chat : « actuelles » (la production) ou « renforcees » (cinq regles de
fond en tete). Les etiquettes de la relecture a l'aveugle suivent le
nombre de variantes, et la synthese compte les citations orphelines des
comparaisons : une case remplie ne vaut que si ses citations tiennent.

Mesure du 07/10 (20 questions, 4 comparaisons) :
- ministral-3b-2512 : 90,9 % de citations justes (22) avec le prompt
actuel, 68,8 % (32) avec le renforce ; 1,7 a 1,8 s par reponse ;
- ministral-14b-2512 : 96,2 % (26) et 96,4 % (28) ; 3,0 a 3,3 s ;
- comparaisons : le 3b remplit les 28 cases, avec 37 articles absents
des extraits ; le 14b en remplit 22, avec 20.
Regle fixee avant la mesure : le 3b passait a 94,6 % de citations
justes au moins. Rate avec les deux prompts : ministral-14b-2512 reste.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

Files changed (1) hide show
  1. scripts/eval/comparer_mistral.py +58 -15
scripts/eval/comparer_mistral.py CHANGED
@@ -19,9 +19,16 @@ REGLE DE DECISION, ECRITE AVANT : on garde le 14b, sauf si le 8b egale la
19
  justesse des citations (a 2 points pres) sans ajouter plus de contenu non
20
  source. Le 8b reste le modele de secours dans tous les cas.
21
 
 
 
 
 
 
22
  Usage:
23
  python -m scripts.eval.comparer_mistral --dry-run # contextes seuls, aucun appel
24
  python -m scripts.eval.comparer_mistral
 
 
25
  """
26
 
27
  import argparse
@@ -49,7 +56,24 @@ from app.services.rag_service import ANSWER_MAX_TOKENS, RAGService
49
 
50
  JEU = RACINE / "tests" / "fixtures" / "eval" / "retrieval_eval_v1.json"
51
  SORTIES = RACINE / "data" / "eval_runs"
52
- MODELES = ("ministral-14b-latest", "ministral-8b-latest")
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
53
 
54
  COMPARAISONS = [
55
  ("permis de recherche minière", "permis d'exploitation minière"),
@@ -126,7 +150,8 @@ def citations(texte: str, numeros_du_contexte: set) -> Dict[str, Any]:
126
 
127
  async def evaluer(args) -> Dict[str, Any]:
128
  resultats: Dict[str, Any] = {"questions": [], "comparaisons": []}
129
- systeme = get_system_prompt("citoyen", "fr")
 
130
  hasard = random.Random(args.graine)
131
 
132
  async with AsyncSessionLocal() as session:
@@ -148,14 +173,16 @@ async def evaluer(args) -> Dict[str, Any]:
148
  }
149
  print(f"[{position}] {item['question'][:80]} ({len(chunks)} extraits)", flush=True)
150
  if not args.dry_run:
151
- for modele in MODELES:
152
- reponse = await repondre(modele, prompt, systeme)
 
 
153
  reponse["citations"] = citations(reponse["texte"], contexte)
154
  entree["reponses"].append(reponse)
155
- print(f" {modele}: {reponse['duree_s']} s, fin={reponse['fin']}, "
156
  f"cites={len(reponse['citations']['cites'])}, "
157
  f"absents={reponse['citations']['absents']}", flush=True)
158
- entree["aveugle"] = hasard.sample(["X", "Y"], 2)
159
  resultats["questions"].append(entree)
160
 
161
  for sujet_a, sujet_b in COMPARAISONS[: args.comparaisons]:
@@ -168,7 +195,7 @@ async def evaluer(args) -> Dict[str, Any]:
168
  print(f"[comparaison] {sujet_a} / {sujet_b} : {len(chunks_a)} + {len(chunks_b)} extraits",
169
  flush=True)
170
  if not args.dry_run and chunks_a and chunks_b:
171
- for modele in MODELES:
172
  service.llm = MistralService(model_name=modele)
173
  debut = time.monotonic()
174
  try:
@@ -194,15 +221,24 @@ async def evaluer(args) -> Dict[str, Any]:
194
 
195
 
196
  def synthese(resultats: Dict[str, Any]) -> Dict[str, Any]:
 
197
  par_modele: Dict[str, Dict[str, Any]] = {}
198
- for modele in MODELES:
199
- reponses = [r for q in resultats["questions"] for r in q["reponses"] if r["modele"] == modele]
 
 
 
 
 
 
 
 
200
  cites = sum(len(r["citations"]["cites"]) for r in reponses)
201
  presents = sum(len(r["citations"]["presents"]) for r in reponses)
202
  premiers = sorted(r["premier_morceau_s"] for r in reponses if r["premier_morceau_s"] is not None)
203
  durees = sorted(r["duree_s"] for r in reponses)
204
  comparaisons = [m for c in resultats["comparaisons"] for m in c["reponses"] if m["modele"] == modele]
205
- par_modele[modele] = {
206
  "reponses": len(reponses),
207
  "erreurs": sum(1 for r in reponses if r["erreur"]),
208
  "incompletes": sum(1 for r in reponses if r["fin"] not in (None, "STOP")),
@@ -213,16 +249,19 @@ def synthese(resultats: Dict[str, Any]) -> Dict[str, Any]:
213
  "jetons_sortie": sum(r["jetons_sortie"] or 0 for r in reponses),
214
  "comparaisons_json": sum(1 for m in comparaisons if m.get("json")),
215
  "comparaisons_7_sur_7": sum(1 for m in comparaisons if m.get("lignes_remplies") == 7),
 
 
 
216
  }
217
  return par_modele
218
 
219
 
220
  def fichier_a_l_aveugle(resultats: Dict[str, Any], chemin: Path) -> None:
221
- """Les deux reponses de chaque question sous X et Y, sans le nom du modele."""
222
  lignes = ["# Relecture a l'aveugle : ajouts non sources", "",
223
- "Pour chaque question, compter dans X et dans Y les affirmations",
224
- "qu'aucun extrait ne soutient. La correspondance X/Y -> modele est",
225
- "dans le fichier JSON, champ `aveugle`, a ne lire qu'apres.", ""]
226
  for numero, question in enumerate(resultats["questions"], start=1):
227
  if not question["reponses"]:
228
  continue
@@ -240,6 +279,10 @@ def main(argv: Optional[Sequence[str]] = None) -> int:
240
  parseur.add_argument("--questions", type=int, default=20)
241
  parseur.add_argument("--comparaisons", type=int, default=4)
242
  parseur.add_argument("--graine", type=int, default=7)
 
 
 
 
243
  parseur.add_argument("--dry-run", action="store_true", help="Recherche seule, aucun appel a Mistral")
244
  args = parseur.parse_args(argv)
245
 
@@ -255,7 +298,7 @@ def main(argv: Optional[Sequence[str]] = None) -> int:
255
  resultats["synthese"] = synthese(resultats)
256
  horodatage = datetime.now().strftime("%Y%m%d_%H%M")
257
  SORTIES.mkdir(parents=True, exist_ok=True)
258
- chemin = SORTIES / f"mistral_14b_8b_{horodatage}.json"
259
  chemin.write_text(json.dumps(resultats, ensure_ascii=False, indent=2), encoding="utf-8")
260
  fichier_a_l_aveugle(resultats, chemin.with_suffix(".aveugle.md"))
261
  print(json.dumps(resultats["synthese"], ensure_ascii=False, indent=2))
 
19
  justesse des citations (a 2 points pres) sans ajouter plus de contenu non
20
  source. Le 8b reste le modele de secours dans tous les cas.
21
 
22
+ VARIANTES. `--modeles` et `--consignes` font varier le modele et le prompt
23
+ systeme du chat : « actuelles » (celui de la production) ou « renforcees »
24
+ (des regles de fond en tete, pour un petit modele qui s'ecarte des extraits).
25
+ Les comparaisons de regimes passent une fois par modele, avec leur prompt.
26
+
27
  Usage:
28
  python -m scripts.eval.comparer_mistral --dry-run # contextes seuls, aucun appel
29
  python -m scripts.eval.comparer_mistral
30
+ python -m scripts.eval.comparer_mistral --modeles ministral-3b-2512 \
31
+ --consignes actuelles renforcees --label 3b
32
  """
33
 
34
  import argparse
 
56
 
57
  JEU = RACINE / "tests" / "fixtures" / "eval" / "retrieval_eval_v1.json"
58
  SORTIES = RACINE / "data" / "eval_runs"
59
+ MODELES = ("ministral-14b-2512", "ministral-8b-2512")
60
+
61
+ # Regles de fond placees EN TETE du prompt systeme, pour la variante
62
+ # « renforcees ». Un petit modele suit mal des consignes noyees dans la forme :
63
+ # celles-ci disent d'abord d'ou viennent les faits, et rien d'autre.
64
+ REGLES_DE_FOND = """RÈGLES DE FOND — elles passent avant toutes les autres.
65
+ 1. Ta seule source est le bloc « Documents juridiques pertinents » du message. Ce que tu sais par ailleurs du droit, camerounais ou d'un autre pays, ne compte pas.
66
+ 2. Chaque montant, délai, date, condition, sanction, autorité ou démarche que tu écris doit se lire dans un extrait. Sinon, ne l'écris pas : ni « en général », ni « habituellement », ni étape « à prévoir ».
67
+ 3. Repère d'abord le ou les extraits qui répondent, puis appuie chaque affirmation sur l'un d'eux, avec son numéro d'article.
68
+ 4. Si les extraits ne répondent qu'en partie, dis ce qu'ils disent, puis ce qu'ils ne disent pas. S'ils ne répondent pas, dis-le en une phrase.
69
+ 5. Ne cite que des numéros d'article qui figurent dans les extraits.
70
+
71
+ """
72
+
73
+
74
+ def systeme_pour(consignes: str) -> str:
75
+ base = get_system_prompt("citoyen", "fr")
76
+ return REGLES_DE_FOND + base if consignes == "renforcees" else base
77
 
78
  COMPARAISONS = [
79
  ("permis de recherche minière", "permis d'exploitation minière"),
 
150
 
151
  async def evaluer(args) -> Dict[str, Any]:
152
  resultats: Dict[str, Any] = {"questions": [], "comparaisons": []}
153
+ variantes = [(modele, consignes) for modele in args.modeles for consignes in args.consignes]
154
+ etiquettes = [chr(ord("X") + i) if i < 3 else f"R{i}" for i in range(len(variantes))]
155
  hasard = random.Random(args.graine)
156
 
157
  async with AsyncSessionLocal() as session:
 
173
  }
174
  print(f"[{position}] {item['question'][:80]} ({len(chunks)} extraits)", flush=True)
175
  if not args.dry_run:
176
+ for modele, consignes in variantes:
177
+ reponse = await repondre(modele, prompt, systeme_pour(consignes))
178
+ reponse["consignes"] = consignes
179
+ reponse["variante"] = f"{modele}|{consignes}"
180
  reponse["citations"] = citations(reponse["texte"], contexte)
181
  entree["reponses"].append(reponse)
182
+ print(f" {reponse['variante']}: {reponse['duree_s']} s, fin={reponse['fin']}, "
183
  f"cites={len(reponse['citations']['cites'])}, "
184
  f"absents={reponse['citations']['absents']}", flush=True)
185
+ entree["aveugle"] = hasard.sample(etiquettes, len(etiquettes))
186
  resultats["questions"].append(entree)
187
 
188
  for sujet_a, sujet_b in COMPARAISONS[: args.comparaisons]:
 
195
  print(f"[comparaison] {sujet_a} / {sujet_b} : {len(chunks_a)} + {len(chunks_b)} extraits",
196
  flush=True)
197
  if not args.dry_run and chunks_a and chunks_b:
198
+ for modele in args.modeles:
199
  service.llm = MistralService(model_name=modele)
200
  debut = time.monotonic()
201
  try:
 
221
 
222
 
223
  def synthese(resultats: Dict[str, Any]) -> Dict[str, Any]:
224
+ """Par variante (modele et consignes) ; les comparaisons, par modele."""
225
  par_modele: Dict[str, Dict[str, Any]] = {}
226
+ variantes = []
227
+ for q in resultats["questions"]:
228
+ for r in q["reponses"]:
229
+ cle = r.get("variante") or r["modele"]
230
+ if cle not in variantes:
231
+ variantes.append(cle)
232
+ for variante in variantes:
233
+ modele = variante.split("|")[0]
234
+ reponses = [r for q in resultats["questions"] for r in q["reponses"]
235
+ if (r.get("variante") or r["modele"]) == variante]
236
  cites = sum(len(r["citations"]["cites"]) for r in reponses)
237
  presents = sum(len(r["citations"]["presents"]) for r in reponses)
238
  premiers = sorted(r["premier_morceau_s"] for r in reponses if r["premier_morceau_s"] is not None)
239
  durees = sorted(r["duree_s"] for r in reponses)
240
  comparaisons = [m for c in resultats["comparaisons"] for m in c["reponses"] if m["modele"] == modele]
241
+ par_modele[variante] = {
242
  "reponses": len(reponses),
243
  "erreurs": sum(1 for r in reponses if r["erreur"]),
244
  "incompletes": sum(1 for r in reponses if r["fin"] not in (None, "STOP")),
 
249
  "jetons_sortie": sum(r["jetons_sortie"] or 0 for r in reponses),
250
  "comparaisons_json": sum(1 for m in comparaisons if m.get("json")),
251
  "comparaisons_7_sur_7": sum(1 for m in comparaisons if m.get("lignes_remplies") == 7),
252
+ # Une case remplie ne vaut que si ses citations tiennent : le 3b
253
+ # remplissait les 28 cases, avec 37 articles absents des extraits.
254
+ "comparaisons_citations_orphelines": sum(len(m.get("orphelines") or []) for m in comparaisons),
255
  }
256
  return par_modele
257
 
258
 
259
  def fichier_a_l_aveugle(resultats: Dict[str, Any], chemin: Path) -> None:
260
+ """Les reponses de chaque question sous X, Y..., sans le nom du modele."""
261
  lignes = ["# Relecture a l'aveugle : ajouts non sources", "",
262
+ "Pour chaque question, compter dans chaque reponse les affirmations",
263
+ "qu'aucun extrait ne soutient. La correspondance etiquette -> modele",
264
+ "est dans le fichier JSON, champ `aveugle`, a ne lire qu'apres.", ""]
265
  for numero, question in enumerate(resultats["questions"], start=1):
266
  if not question["reponses"]:
267
  continue
 
279
  parseur.add_argument("--questions", type=int, default=20)
280
  parseur.add_argument("--comparaisons", type=int, default=4)
281
  parseur.add_argument("--graine", type=int, default=7)
282
+ parseur.add_argument("--modeles", nargs="+", default=list(MODELES))
283
+ parseur.add_argument("--consignes", nargs="+", default=["actuelles"],
284
+ choices=["actuelles", "renforcees"])
285
+ parseur.add_argument("--label", default="14b_8b")
286
  parseur.add_argument("--dry-run", action="store_true", help="Recherche seule, aucun appel a Mistral")
287
  args = parseur.parse_args(argv)
288
 
 
298
  resultats["synthese"] = synthese(resultats)
299
  horodatage = datetime.now().strftime("%Y%m%d_%H%M")
300
  SORTIES.mkdir(parents=True, exist_ok=True)
301
+ chemin = SORTIES / f"mistral_{args.label}_{horodatage}.json"
302
  chemin.write_text(json.dumps(resultats, ensure_ascii=False, indent=2), encoding="utf-8")
303
  fichier_a_l_aveugle(resultats, chemin.with_suffix(".aveugle.md"))
304
  print(json.dumps(resultats["synthese"], ensure_ascii=False, indent=2))