File size: 2,282 Bytes
e01a936
 
 
 
 
 
 
6044352
 
e01a936
 
 
 
6044352
 
e01a936
 
 
 
 
6044352
 
e01a936
 
 
 
 
 
 
 
 
a462430
 
e01a936
a462430
e01a936
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
"""Transforme des textes en vecteurs avec bge-m3."""
from __future__ import annotations

import numpy as np
import torch
from sentence_transformers import SentenceTransformer

from app import config


class Encodeur:
    def __init__(self, nom_modele: str, device: str | None = None):
        self.nom = nom_modele
        # Version figée (config.MODEL_REVISION) pour le modèle du service ; un autre modèle : la dernière
        revision = config.MODEL_REVISION if nom_modele == config.MODEL_NAME else None
        # GPU si disponible (ta RTX 3050 en local, ZeroGPU sur Hugging Face), sinon CPU
        self.device = device or ("cuda" if torch.cuda.is_available() else "cpu")
        # float16 sur GPU : deux fois moins de mémoire, pour que bge-m3 et le reranker
        # tiennent ensemble dans les 4 Go de la RTX 3050 (sinon Windows déborde en RAM, très lent)
        options = {"torch_dtype": torch.float16} if self.device == "cuda" else {}
        self.modele = SentenceTransformer(nom_modele, device=self.device, revision=revision,
                                          model_kwargs=options)
        # Dimension lue dans la configuration du modèle, SANS calcul : sur ZeroGPU, aucun
        # calcul n'est permis hors d'une fonction @spaces.GPU (sinon "No CUDA GPUs are available")
        lire = (getattr(self.modele, "get_embedding_dimension", None)
                or getattr(self.modele, "get_sentence_embedding_dimension", None))
        self.dimension = (lire() if lire else None) or len(self.encoder(["test"])[0])

    def encoder(self, textes: list[str]) -> np.ndarray:
        # normalize_embeddings=True : chaque vecteur a une longueur de 1,
        # donc le produit scalaire de deux vecteurs = leur similarité cosinus.
        # MODEL_PROMPT : instruction que certains modèles attendent devant chaque texte (Qwen3-Embedding,
        # e5-instruct) ; la même des deux côtés, car on compare des phrases courtes entre elles.
        vecs = self.modele.encode(textes, normalize_embeddings=True, convert_to_numpy=True,
                                  batch_size=16, show_progress_bar=False, prompt=config.MODEL_PROMPT or None)
        return vecs.astype(np.float32)     # calculs de similarité en pleine précision