CV-Matching / app /reranker.py
Myz0's picture
Libellé lu sur le pourcentage, limites de taille, clé API sur Gradio et MCP, API /v1, versions figées, journal
6044352 verified
Raw History Blame Contribute Delete
2.11 kB
"""Relit une paire (attendu de l'AVP, phrase du CV) et dit si la phrase prouve l'attendu.
bge-m3 encode chaque phrase séparément : deux phrases sans rapport ont déjà ~0.45 de
similarité. Le reranker (cross-encoder) lit les deux phrases ENSEMBLE et donne une
probabilité tranchée : ~0 sans rapport, ~1 quand la phrase du CV prouve l'attendu.
Aucune paire n'est conservée après l'appel (pas de cache des phrases du CV).
"""
from __future__ import annotations
import numpy as np
import torch
from sentence_transformers import CrossEncoder
from app import config
class Reranker:
def __init__(self, nom_modele: str, device: str | None = None):
self.nom = nom_modele
self.device = device or ("cuda" if torch.cuda.is_available() else "cpu")
# float16 sur GPU : deux fois moins de mémoire (la RTX 3050 n'a que 4 Go)
options = {"torch_dtype": torch.float16} if self.device == "cuda" else {}
revision = config.RERANKER_REVISION if nom_modele == config.RERANKER_MODEL else None
self.modele = CrossEncoder(nom_modele, device=self.device, max_length=256, revision=revision,
model_kwargs=options)
def probas(self, paires: list[tuple[str, str]]) -> np.ndarray:
"""Probabilité 0..1 que la phrase (2e) prouve l'attendu (1er), pour chaque paire."""
if not paires:
return np.zeros(0, dtype=np.float32)
uniques = list(dict.fromkeys(paires)) # une paire relue une seule fois
# Tri par longueur : chaque lot du GPU contient des paires de taille proche,
# donc moins de remplissage inutile
uniques.sort(key=lambda x: len(x[0]) + len(x[1]))
logits = self.modele.predict(uniques, batch_size=64, convert_to_numpy=True,
activation_fn=torch.nn.Identity(),
show_progress_bar=False)
p = dict(zip(uniques, 1 / (1 + np.exp(-np.asarray(logits, dtype=np.float32)))))
return np.array([p[x] for x in paires], dtype=np.float32)