File size: 5,202 Bytes
e01a936
 
 
 
 
 
 
 
 
41ef379
e01a936
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
41ef379
 
e01a936
 
 
41ef379
 
 
 
 
e01a936
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
41ef379
 
e01a936
 
41ef379
e01a936
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
"""Prépare la grille d'étiquetage humaine (vérité terrain indépendante) sur le jeu de test.



Pour chacun des 18 CV de exemples/cv_banc.json (jamais utilisés pour régler le service), deux AVP :

  - le poste visé (ou, pour un profil hors domaine, le poste que le service met en tête),

  - le poste concurrent le plus proche selon le service (la distinction la plus difficile).

Soit 36 couples, mélangés (graine fixe) et SANS aucun score : les évaluateurs jugent à l'aveugle.



Écrit :

  exemples/grille_etiquetage.csv   à remplir : decision_evaluateur_1, decision_evaluateur_2

                                    (convoquer / peut-être / écarter), et un commentaire par évaluateur

  exemples/grille_etiquetage.md    aide à la lecture : chaque CV et les exigences de chaque AVP

  exemples/grille_correspondance.json  code neutre (CV-01…) -> identifiant du banc ; NE PAS le montrer aux

                                    évaluateurs (les identifiants du banc disent « parfait », « hors »…)

Ensuite : python -m scripts.accord_humain



Lancer depuis la racine du projet (archive des 24 AVP) :

  $env:DATASET_REVISION="1bb92a09a4ff6aa6e9488ee954085019abba7747"; $env:DATASET_DERNIERE="false"

  python -m scripts.preparer_grille

"""
import csv
import json
import random
from pathlib import Path

import numpy as np

from app.cv_texte import phrases_du_cv
from scripts.comparer_systemes import apprendre_tfidf, calculer, charger

RACINE = Path(__file__).resolve().parent.parent
SERVICE = "Service (embeddings + reranker)"
COLONNES = ["paire", "id_avp", "titre_avp", "id_cv", "titre_cv", "decision_evaluateur_1", "commentaire_evaluateur_1",
            "decision_evaluateur_2", "commentaire_evaluateur_2"]


def main():
    grille = RACINE / "exemples/grille_etiquetage.csv"
    if grille.exists() and any(l.get(k) for l in csv.DictReader(grille.open(encoding="utf-8-sig"), delimiter=";")
                               for k in ("decision_evaluateur_1", "decision_evaluateur_2")):
        raise SystemExit("exemples/grille_etiquetage.csv contient déjà des décisions : elle n'est pas écrasée "
                         "(la renommer pour en préparer une nouvelle).")
    store, enc = charger()
    ids = list(store.prepares)
    banc = json.loads((RACINE / "exemples/cv_banc.json").read_text(encoding="utf-8"))
    m = calculer(store, enc, apprendre_tfidf(store, banc), banc)[SERVICE]

    paires = []
    for k, cv in enumerate(banc):
        ordre = list(np.argsort(-m[k]))
        cibles = [a for a, i in enumerate(ids) if any(i.startswith(x) for x in cv["_cible"] or [])]
        premier = cibles[0] if cibles else ordre[0]
        concurrent = next(a for a in ordre if a != premier and a not in cibles)
        for a in (premier, concurrent):
            paires.append({"id_avp": ids[a], "titre_avp": store.prepares[ids[a]].titre,
                           "id_cv": cv["_id"], "titre_cv": cv["basics"]["label"]})
    random.Random(7).shuffle(paires)
    codes = [cv["_id"] for cv in banc]
    random.Random(11).shuffle(codes)
    code = {i: f"CV-{n:02d}" for n, i in enumerate(codes, 1)}       # codes neutres, sans « parfait » ni « hors »
    for p in paires:
        p["id_cv"] = code[p["id_cv"]]
    (RACINE / "exemples/grille_correspondance.json").write_text(
        json.dumps({c: i for i, c in code.items()}, indent=1, ensure_ascii=False), encoding="utf-8")

    with grille.open("w", encoding="utf-8-sig", newline="") as f:
        w = csv.DictWriter(f, fieldnames=COLONNES, delimiter=";", restval="")
        w.writeheader()
        for n, p in enumerate(paires, 1):
            w.writerow({"paire": n, **p})

    lignes = ["# Grille d'étiquetage : aide à la lecture", "",
              "Pour chaque paire de `grille_etiquetage.csv`, lisez le CV et l'AVP ci-dessous, puis notez **sans regarder "
              "les scores du service** : `convoquer` (je le recevrais en entretien), `peut-être`, ou `écarter`.",
              "Évaluateur 1 : toutes les paires. Évaluateur 2 : au moins 15 paires, sans voir les réponses de l'évaluateur 1.", "",
              "## Les CV", ""]
    for cv in sorted(banc, key=lambda c: code[c["_id"]]):
        lignes += [f"### {code[cv['_id']]} — {cv['basics']['label']}", ""]
        lignes += [f"- {t}" for t, _ in phrases_du_cv(cv)] + [""]
    lignes += ["## Les AVP (exigences notées par le service)", ""]
    for i in sorted({p["id_avp"] for p in paires}):
        p = store.prepares[i]
        lignes += [f"### {i} — {p.titre}", ""]
        lignes += [f"- {t}" for (t, _), se in zip(p.attendus, p.savoir_etre) if not se]
        lignes += [f"- *Savoir-être :* {', '.join(t for (t, _), se in zip(p.attendus, p.savoir_etre) if se)}"]
        if p.prerequis:
            lignes += [f"- *Prérequis :* {', '.join(t for t, _ in p.prerequis)}"]
        lignes += [""]
    (RACINE / "exemples/grille_etiquetage.md").write_text("\n".join(lignes), encoding="utf-8")
    print(f"{len(paires)} paires écrites dans exemples/grille_etiquetage.csv (+ aide : exemples/grille_etiquetage.md)")


if __name__ == "__main__":
    main()