Spaces:
Running on Zero
Running on Zero
Download scripts/verifier_embeddings.py from Myz0/CV-Matching: direct link, hf CLI and curl.
- Browser
- Download file 2.23 kB
-
https://huggingface.co/spaces/Myz0/CV-Matching/resolve/main/scripts/verifier_embeddings.py
- Command line
-
hf download hf://spaces/Myz0/CV-Matching/scripts/verifier_embeddings.py
-
curl -L -o verifier_embeddings.py https://huggingface.co/spaces/Myz0/CV-Matching/resolve/main/scripts/verifier_embeddings.py
2.23 kB
| """Vérifie que nos vecteurs bge-m3 se comportent comme les vecteurs officiels de l'OPT-NC. | |
| On ne peut pas comparer directement un vecteur bge-m3 (1024 dimensions) avec un vecteur | |
| Google text-embedding-004 (768 dimensions) : ce sont deux espaces différents. | |
| On compare donc à l'intérieur de chaque espace : pour chaque paire d'AVP, similarité | |
| selon Google et similarité selon bge-m3 (même recette de champs, cf. issue OPT-NC). | |
| Corrélation de Spearman élevée = les deux modèles rangent les paires dans le même ordre, | |
| notre remplacement ne dénature pas la recherche sémantique de l'OPT-NC. | |
| Lancer depuis la racine du projet : python -m scripts.verifier_embeddings | |
| """ | |
| import numpy as np | |
| import pandas as pd | |
| from huggingface_hub import hf_hub_download | |
| from scipy.stats import spearmanr | |
| from app import config | |
| from app.avp_store import AVPStore | |
| from app.encodeur import Encodeur | |
| officiels = pd.read_parquet( | |
| hf_hub_download(config.DATASET_REPO, "data/all_embeddings.parquet", repo_type="dataset") | |
| ).set_index("reference") | |
| encodeur = Encodeur(config.MODEL_NAME) | |
| store = AVPStore(encodeur) | |
| store.charger() | |
| ids = sorted(set(officiels.index) & set(store.prepares)) | |
| if len(ids) < 3: | |
| raise SystemExit(f"Seulement {len(ids)} AVP communs aux deux sources : comparaison impossible.") | |
| A = np.array(officiels.loc[ids, "embeddings"].tolist()) # Google, 768 dim. | |
| B = np.array([store.prepares[i].vec_global for i in ids]) # bge-m3, 1024 dim. | |
| print(f"{len(ids)} AVP communs · Google {A.shape[1]} dim. · bge-m3 {B.shape[1]} dim.") | |
| paires = np.triu_indices(len(ids), k=1) # chaque paire une fois | |
| rho, p = spearmanr((A @ A.T)[paires], (B @ B.T)[paires]) | |
| print(f"{len(paires[0])} paires d'AVP · Spearman Google vs bge-m3 : {rho:.2f} (p={p:.1e})") | |
| # Les 3 voisins les plus proches de quelques AVP, selon chaque modèle | |
| for k in range(min(3, len(ids))): | |
| g = [ids[j] for j in np.argsort(-(A @ A[k]))[1:4]] | |
| b = [ids[j] for j in np.argsort(-(B @ B[k]))[1:4]] | |
| print(f"\n{store.prepares[ids[k]].titre}") | |
| print(f" voisins Google : {g}") | |
| print(f" voisins bge-m3 : {b} ({len(set(g) & set(b))}/3 en commun)") | |