CV-Matching / app /encodeur.py
Myz0's picture
Avis calibré sur des notes humaines : Profil adapté / à étudier / peu adapté
a462430 verified
Raw History Blame Contribute Delete
2.28 kB
"""Transforme des textes en vecteurs avec bge-m3."""
from __future__ import annotations
import numpy as np
import torch
from sentence_transformers import SentenceTransformer
from app import config
class Encodeur:
def __init__(self, nom_modele: str, device: str | None = None):
self.nom = nom_modele
# Version figée (config.MODEL_REVISION) pour le modèle du service ; un autre modèle : la dernière
revision = config.MODEL_REVISION if nom_modele == config.MODEL_NAME else None
# GPU si disponible (ta RTX 3050 en local, ZeroGPU sur Hugging Face), sinon CPU
self.device = device or ("cuda" if torch.cuda.is_available() else "cpu")
# float16 sur GPU : deux fois moins de mémoire, pour que bge-m3 et le reranker
# tiennent ensemble dans les 4 Go de la RTX 3050 (sinon Windows déborde en RAM, très lent)
options = {"torch_dtype": torch.float16} if self.device == "cuda" else {}
self.modele = SentenceTransformer(nom_modele, device=self.device, revision=revision,
model_kwargs=options)
# Dimension lue dans la configuration du modèle, SANS calcul : sur ZeroGPU, aucun
# calcul n'est permis hors d'une fonction @spaces.GPU (sinon "No CUDA GPUs are available")
lire = (getattr(self.modele, "get_embedding_dimension", None)
or getattr(self.modele, "get_sentence_embedding_dimension", None))
self.dimension = (lire() if lire else None) or len(self.encoder(["test"])[0])
def encoder(self, textes: list[str]) -> np.ndarray:
# normalize_embeddings=True : chaque vecteur a une longueur de 1,
# donc le produit scalaire de deux vecteurs = leur similarité cosinus.
# MODEL_PROMPT : instruction que certains modèles attendent devant chaque texte (Qwen3-Embedding,
# e5-instruct) ; la même des deux côtés, car on compare des phrases courtes entre elles.
vecs = self.modele.encode(textes, normalize_embeddings=True, convert_to_numpy=True,
batch_size=16, show_progress_bar=False, prompt=config.MODEL_PROMPT or None)
return vecs.astype(np.float32) # calculs de similarité en pleine précision