CV-Matching / scripts /inspecter_dataset.py
Myz0's picture
Prérequis vérifiés par règles, conditions du poste, sommaire de la fiche, colonnes qui défilent, logos
e01a936 verified
Raw History Blame Contribute Delete
1.65 kB
"""Affiche la structure réelle du dataset opt-nc/odata-avps, sans rien modifier.
Lancer depuis la racine du projet : python -m scripts.inspecter_dataset
"""
from collections import Counter
from datetime import date
from huggingface_hub import list_repo_files
from app import config
from app.avp_store import CHAMPS_ATTENDUS, CHAMPS_PREREQUIS, est_ouvert, extraire, lire_avps
print("=== Fichiers du dataset ===")
print("\n".join(f for f in list_repo_files(config.DATASET_REPO, repo_type="dataset")
if not f.startswith("data/20"))) # l'archive data/AAAA/MM/ est masquée
avps = lire_avps()
ouverts = [a for a in avps if est_ouvert(a)]
print(f"\n=== {len(avps)} AVP, dont {len(ouverts)} ouverts au {date.today()} ===")
for a in sorted(avps, key=lambda a: str(a.get("validThrough"))):
print(f" {str(a.get('id_avp')):18s} {str(a.get('validThrough'))[:10]:10s} "
f"{'ouvert' if est_ouvert(a) else 'clos '} {a.get('title') or a.get('name')}")
print("\n=== Nombre d'attendus notés par AVP ===")
nb = [len(extraire(a, CHAMPS_ATTENDUS)) for a in avps]
print(f" min {min(nb, default=0)} · moyenne {sum(nb) / max(len(nb), 1):.0f} · max {max(nb, default=0)}")
print("\n=== Compétences les plus fréquentes (texte identique) ===")
compte = Counter(t for a in avps for t, _ in extraire(a, CHAMPS_ATTENDUS))
for texte, n in compte.most_common(10):
print(f" {n:3d} AVP {texte}")
print("\n=== Prérequis rencontrés (jamais notés) ===")
for texte, n in Counter(t for a in avps for t, _ in extraire(a, CHAMPS_PREREQUIS)).most_common(10):
print(f" {n:3d} AVP {texte}")