CV-Matching / scripts /preparer_grille.py
Myz0's picture
Clés API par équipe : seules les empreintes sont gardées (secret API_KEYS_HASH)
41ef379 verified
Raw History Blame Contribute Delete
5.2 kB
"""Prépare la grille d'étiquetage humaine (vérité terrain indépendante) sur le jeu de test.
Pour chacun des 18 CV de exemples/cv_banc.json (jamais utilisés pour régler le service), deux AVP :
- le poste visé (ou, pour un profil hors domaine, le poste que le service met en tête),
- le poste concurrent le plus proche selon le service (la distinction la plus difficile).
Soit 36 couples, mélangés (graine fixe) et SANS aucun score : les évaluateurs jugent à l'aveugle.
Écrit :
exemples/grille_etiquetage.csv à remplir : decision_evaluateur_1, decision_evaluateur_2
(convoquer / peut-être / écarter), et un commentaire par évaluateur
exemples/grille_etiquetage.md aide à la lecture : chaque CV et les exigences de chaque AVP
exemples/grille_correspondance.json code neutre (CV-01…) -> identifiant du banc ; NE PAS le montrer aux
évaluateurs (les identifiants du banc disent « parfait », « hors »…)
Ensuite : python -m scripts.accord_humain
Lancer depuis la racine du projet (archive des 24 AVP) :
$env:DATASET_REVISION="1bb92a09a4ff6aa6e9488ee954085019abba7747"; $env:DATASET_DERNIERE="false"
python -m scripts.preparer_grille
"""
import csv
import json
import random
from pathlib import Path
import numpy as np
from app.cv_texte import phrases_du_cv
from scripts.comparer_systemes import apprendre_tfidf, calculer, charger
RACINE = Path(__file__).resolve().parent.parent
SERVICE = "Service (embeddings + reranker)"
COLONNES = ["paire", "id_avp", "titre_avp", "id_cv", "titre_cv", "decision_evaluateur_1", "commentaire_evaluateur_1",
"decision_evaluateur_2", "commentaire_evaluateur_2"]
def main():
grille = RACINE / "exemples/grille_etiquetage.csv"
if grille.exists() and any(l.get(k) for l in csv.DictReader(grille.open(encoding="utf-8-sig"), delimiter=";")
for k in ("decision_evaluateur_1", "decision_evaluateur_2")):
raise SystemExit("exemples/grille_etiquetage.csv contient déjà des décisions : elle n'est pas écrasée "
"(la renommer pour en préparer une nouvelle).")
store, enc = charger()
ids = list(store.prepares)
banc = json.loads((RACINE / "exemples/cv_banc.json").read_text(encoding="utf-8"))
m = calculer(store, enc, apprendre_tfidf(store, banc), banc)[SERVICE]
paires = []
for k, cv in enumerate(banc):
ordre = list(np.argsort(-m[k]))
cibles = [a for a, i in enumerate(ids) if any(i.startswith(x) for x in cv["_cible"] or [])]
premier = cibles[0] if cibles else ordre[0]
concurrent = next(a for a in ordre if a != premier and a not in cibles)
for a in (premier, concurrent):
paires.append({"id_avp": ids[a], "titre_avp": store.prepares[ids[a]].titre,
"id_cv": cv["_id"], "titre_cv": cv["basics"]["label"]})
random.Random(7).shuffle(paires)
codes = [cv["_id"] for cv in banc]
random.Random(11).shuffle(codes)
code = {i: f"CV-{n:02d}" for n, i in enumerate(codes, 1)} # codes neutres, sans « parfait » ni « hors »
for p in paires:
p["id_cv"] = code[p["id_cv"]]
(RACINE / "exemples/grille_correspondance.json").write_text(
json.dumps({c: i for i, c in code.items()}, indent=1, ensure_ascii=False), encoding="utf-8")
with grille.open("w", encoding="utf-8-sig", newline="") as f:
w = csv.DictWriter(f, fieldnames=COLONNES, delimiter=";", restval="")
w.writeheader()
for n, p in enumerate(paires, 1):
w.writerow({"paire": n, **p})
lignes = ["# Grille d'étiquetage : aide à la lecture", "",
"Pour chaque paire de `grille_etiquetage.csv`, lisez le CV et l'AVP ci-dessous, puis notez **sans regarder "
"les scores du service** : `convoquer` (je le recevrais en entretien), `peut-être`, ou `écarter`.",
"Évaluateur 1 : toutes les paires. Évaluateur 2 : au moins 15 paires, sans voir les réponses de l'évaluateur 1.", "",
"## Les CV", ""]
for cv in sorted(banc, key=lambda c: code[c["_id"]]):
lignes += [f"### {code[cv['_id']]} — {cv['basics']['label']}", ""]
lignes += [f"- {t}" for t, _ in phrases_du_cv(cv)] + [""]
lignes += ["## Les AVP (exigences notées par le service)", ""]
for i in sorted({p["id_avp"] for p in paires}):
p = store.prepares[i]
lignes += [f"### {i} — {p.titre}", ""]
lignes += [f"- {t}" for (t, _), se in zip(p.attendus, p.savoir_etre) if not se]
lignes += [f"- *Savoir-être :* {', '.join(t for (t, _), se in zip(p.attendus, p.savoir_etre) if se)}"]
if p.prerequis:
lignes += [f"- *Prérequis :* {', '.join(t for t, _ in p.prerequis)}"]
lignes += [""]
(RACINE / "exemples/grille_etiquetage.md").write_text("\n".join(lignes), encoding="utf-8")
print(f"{len(paires)} paires écrites dans exemples/grille_etiquetage.csv (+ aide : exemples/grille_etiquetage.md)")
if __name__ == "__main__":
main()