File size: 2,230 Bytes
e01a936
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
"""Vérifie que nos vecteurs bge-m3 se comportent comme les vecteurs officiels de l'OPT-NC.



On ne peut pas comparer directement un vecteur bge-m3 (1024 dimensions) avec un vecteur

Google text-embedding-004 (768 dimensions) : ce sont deux espaces différents.

On compare donc à l'intérieur de chaque espace : pour chaque paire d'AVP, similarité

selon Google et similarité selon bge-m3 (même recette de champs, cf. issue OPT-NC).

Corrélation de Spearman élevée = les deux modèles rangent les paires dans le même ordre,

notre remplacement ne dénature pas la recherche sémantique de l'OPT-NC.



Lancer depuis la racine du projet :  python -m scripts.verifier_embeddings

"""
import numpy as np
import pandas as pd
from huggingface_hub import hf_hub_download
from scipy.stats import spearmanr

from app import config
from app.avp_store import AVPStore
from app.encodeur import Encodeur

officiels = pd.read_parquet(
    hf_hub_download(config.DATASET_REPO, "data/all_embeddings.parquet", repo_type="dataset")
).set_index("reference")

encodeur = Encodeur(config.MODEL_NAME)
store = AVPStore(encodeur)
store.charger()

ids = sorted(set(officiels.index) & set(store.prepares))
if len(ids) < 3:
    raise SystemExit(f"Seulement {len(ids)} AVP communs aux deux sources : comparaison impossible.")

A = np.array(officiels.loc[ids, "embeddings"].tolist())             # Google, 768 dim.
B = np.array([store.prepares[i].vec_global for i in ids])           # bge-m3, 1024 dim.
print(f"{len(ids)} AVP communs · Google {A.shape[1]} dim. · bge-m3 {B.shape[1]} dim.")

paires = np.triu_indices(len(ids), k=1)                             # chaque paire une fois
rho, p = spearmanr((A @ A.T)[paires], (B @ B.T)[paires])
print(f"{len(paires[0])} paires d'AVP · Spearman Google vs bge-m3 : {rho:.2f} (p={p:.1e})")

# Les 3 voisins les plus proches de quelques AVP, selon chaque modèle
for k in range(min(3, len(ids))):
    g = [ids[j] for j in np.argsort(-(A @ A[k]))[1:4]]
    b = [ids[j] for j in np.argsort(-(B @ B[k]))[1:4]]
    print(f"\n{store.prepares[ids[k]].titre}")
    print(f"  voisins Google : {g}")
    print(f"  voisins bge-m3 : {b}   ({len(set(g) & set(b))}/3 en commun)")