Spaces:
Running on Zero
Running on Zero
Download app/encodeur.py from Myz0/CV-Matching: direct link, hf CLI and curl.
- Browser
- Download file 2.28 kB
-
https://huggingface.co/spaces/Myz0/CV-Matching/resolve/main/app/encodeur.py
- Command line
-
hf download hf://spaces/Myz0/CV-Matching/app/encodeur.py
-
curl -L -o encodeur.py https://huggingface.co/spaces/Myz0/CV-Matching/resolve/main/app/encodeur.py
2.28 kB
| """Transforme des textes en vecteurs avec bge-m3.""" | |
| from __future__ import annotations | |
| import numpy as np | |
| import torch | |
| from sentence_transformers import SentenceTransformer | |
| from app import config | |
| class Encodeur: | |
| def __init__(self, nom_modele: str, device: str | None = None): | |
| self.nom = nom_modele | |
| # Version figée (config.MODEL_REVISION) pour le modèle du service ; un autre modèle : la dernière | |
| revision = config.MODEL_REVISION if nom_modele == config.MODEL_NAME else None | |
| # GPU si disponible (ta RTX 3050 en local, ZeroGPU sur Hugging Face), sinon CPU | |
| self.device = device or ("cuda" if torch.cuda.is_available() else "cpu") | |
| # float16 sur GPU : deux fois moins de mémoire, pour que bge-m3 et le reranker | |
| # tiennent ensemble dans les 4 Go de la RTX 3050 (sinon Windows déborde en RAM, très lent) | |
| options = {"torch_dtype": torch.float16} if self.device == "cuda" else {} | |
| self.modele = SentenceTransformer(nom_modele, device=self.device, revision=revision, | |
| model_kwargs=options) | |
| # Dimension lue dans la configuration du modèle, SANS calcul : sur ZeroGPU, aucun | |
| # calcul n'est permis hors d'une fonction @spaces.GPU (sinon "No CUDA GPUs are available") | |
| lire = (getattr(self.modele, "get_embedding_dimension", None) | |
| or getattr(self.modele, "get_sentence_embedding_dimension", None)) | |
| self.dimension = (lire() if lire else None) or len(self.encoder(["test"])[0]) | |
| def encoder(self, textes: list[str]) -> np.ndarray: | |
| # normalize_embeddings=True : chaque vecteur a une longueur de 1, | |
| # donc le produit scalaire de deux vecteurs = leur similarité cosinus. | |
| # MODEL_PROMPT : instruction que certains modèles attendent devant chaque texte (Qwen3-Embedding, | |
| # e5-instruct) ; la même des deux côtés, car on compare des phrases courtes entre elles. | |
| vecs = self.modele.encode(textes, normalize_embeddings=True, convert_to_numpy=True, | |
| batch_size=16, show_progress_bar=False, prompt=config.MODEL_PROMPT or None) | |
| return vecs.astype(np.float32) # calculs de similarité en pleine précision | |