"""Vérifie que nos vecteurs bge-m3 se comportent comme les vecteurs officiels de l'OPT-NC. On ne peut pas comparer directement un vecteur bge-m3 (1024 dimensions) avec un vecteur Google text-embedding-004 (768 dimensions) : ce sont deux espaces différents. On compare donc à l'intérieur de chaque espace : pour chaque paire d'AVP, similarité selon Google et similarité selon bge-m3 (même recette de champs, cf. issue OPT-NC). Corrélation de Spearman élevée = les deux modèles rangent les paires dans le même ordre, notre remplacement ne dénature pas la recherche sémantique de l'OPT-NC. Lancer depuis la racine du projet : python -m scripts.verifier_embeddings """ import numpy as np import pandas as pd from huggingface_hub import hf_hub_download from scipy.stats import spearmanr from app import config from app.avp_store import AVPStore from app.encodeur import Encodeur officiels = pd.read_parquet( hf_hub_download(config.DATASET_REPO, "data/all_embeddings.parquet", repo_type="dataset") ).set_index("reference") encodeur = Encodeur(config.MODEL_NAME) store = AVPStore(encodeur) store.charger() ids = sorted(set(officiels.index) & set(store.prepares)) if len(ids) < 3: raise SystemExit(f"Seulement {len(ids)} AVP communs aux deux sources : comparaison impossible.") A = np.array(officiels.loc[ids, "embeddings"].tolist()) # Google, 768 dim. B = np.array([store.prepares[i].vec_global for i in ids]) # bge-m3, 1024 dim. print(f"{len(ids)} AVP communs · Google {A.shape[1]} dim. · bge-m3 {B.shape[1]} dim.") paires = np.triu_indices(len(ids), k=1) # chaque paire une fois rho, p = spearmanr((A @ A.T)[paires], (B @ B.T)[paires]) print(f"{len(paires[0])} paires d'AVP · Spearman Google vs bge-m3 : {rho:.2f} (p={p:.1e})") # Les 3 voisins les plus proches de quelques AVP, selon chaque modèle for k in range(min(3, len(ids))): g = [ids[j] for j in np.argsort(-(A @ A[k]))[1:4]] b = [ids[j] for j in np.argsort(-(B @ B[k]))[1:4]] print(f"\n{store.prepares[ids[k]].titre}") print(f" voisins Google : {g}") print(f" voisins bge-m3 : {b} ({len(set(g) & set(b))}/3 en commun)")