CV-Matching / scripts /verifier_embeddings.py
Myz0's picture
Prérequis vérifiés par règles, conditions du poste, sommaire de la fiche, colonnes qui défilent, logos
e01a936 verified
Raw History Blame Contribute Delete
2.23 kB
"""Vérifie que nos vecteurs bge-m3 se comportent comme les vecteurs officiels de l'OPT-NC.
On ne peut pas comparer directement un vecteur bge-m3 (1024 dimensions) avec un vecteur
Google text-embedding-004 (768 dimensions) : ce sont deux espaces différents.
On compare donc à l'intérieur de chaque espace : pour chaque paire d'AVP, similarité
selon Google et similarité selon bge-m3 (même recette de champs, cf. issue OPT-NC).
Corrélation de Spearman élevée = les deux modèles rangent les paires dans le même ordre,
notre remplacement ne dénature pas la recherche sémantique de l'OPT-NC.
Lancer depuis la racine du projet : python -m scripts.verifier_embeddings
"""
import numpy as np
import pandas as pd
from huggingface_hub import hf_hub_download
from scipy.stats import spearmanr
from app import config
from app.avp_store import AVPStore
from app.encodeur import Encodeur
officiels = pd.read_parquet(
hf_hub_download(config.DATASET_REPO, "data/all_embeddings.parquet", repo_type="dataset")
).set_index("reference")
encodeur = Encodeur(config.MODEL_NAME)
store = AVPStore(encodeur)
store.charger()
ids = sorted(set(officiels.index) & set(store.prepares))
if len(ids) < 3:
raise SystemExit(f"Seulement {len(ids)} AVP communs aux deux sources : comparaison impossible.")
A = np.array(officiels.loc[ids, "embeddings"].tolist()) # Google, 768 dim.
B = np.array([store.prepares[i].vec_global for i in ids]) # bge-m3, 1024 dim.
print(f"{len(ids)} AVP communs · Google {A.shape[1]} dim. · bge-m3 {B.shape[1]} dim.")
paires = np.triu_indices(len(ids), k=1) # chaque paire une fois
rho, p = spearmanr((A @ A.T)[paires], (B @ B.T)[paires])
print(f"{len(paires[0])} paires d'AVP · Spearman Google vs bge-m3 : {rho:.2f} (p={p:.1e})")
# Les 3 voisins les plus proches de quelques AVP, selon chaque modèle
for k in range(min(3, len(ids))):
g = [ids[j] for j in np.argsort(-(A @ A[k]))[1:4]]
b = [ids[j] for j in np.argsort(-(B @ B[k]))[1:4]]
print(f"\n{store.prepares[ids[k]].titre}")
print(f" voisins Google : {g}")
print(f" voisins bge-m3 : {b} ({len(set(g) & set(b))}/3 en commun)")