Spaces:
Runtime error
Runtime error
Commit History
-
test(eval): jeu d'evaluation de la recherche, 102 questions relues
Genere par ministral-14b a partir de 70 articles tires au sort (60 % d'articles normatifs, 20 % de gros textes, 20 % au hasard), deux questions par article : une requete courte, une question en langage courant. 140 candidates. Relues contre l'article complet, puis chaque verdict verifie par un relecteur contradictoire : 13 gardees telles quelles, 89 corrigees (la plupart reprenaient trop de mots de l'article, ou etaient trop vagues pour designer ce texte), 38 retirees (listes de noms, fragments de tableau, preambules sans contenu). Chaque item garde sa question initiale et la raison du verdict ; le recoupement lexical est recalcule (aucun au-dessus de 0,35). 15 items etaient reserves au lot de test avant la relecture : 11 y restent. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>9bbc7a0