CV-Matching / app /secours_cpu.py
Myz0's picture
Libellé lu sur le pourcentage, limites de taille, clé API sur Gradio et MCP, API /v1, versions figées, journal
6044352 verified
Raw History Blame Contribute Delete
3.1 kB
"""Mode de secours sans carte graphique : bge-m3 sur le processeur, dans un processus à part.
Pourquoi un processus à part : sur ZeroGPU, charger un modèle dans le processus principal,
même sur "cpu", dérègle torch.cuda, et tous les calculs GPU suivants échouent
(« RuntimeError: No CUDA GPUs are available »). Le processus enfant a son propre torch, sans
ZeroGPU. On lui envoie une liste de phrases (une ligne JSON), il renvoie leurs vecteurs.
"""
from __future__ import annotations
import json
import logging
import os
import subprocess
import sys
import threading
from pathlib import Path
import numpy as np
RACINE = Path(__file__).resolve().parent.parent
journal = logging.getLogger("cv_matching.secours")
class EncodeurCPU:
"""Même méthode encoder() que app.encodeur.Encodeur, mais le calcul se fait dans l'enfant."""
def __init__(self, nom_modele: str):
self.nom = nom_modele
self._verrou = threading.Lock()
self._p = None
def _demarrer(self):
env = dict(os.environ, CUDA_VISIBLE_DEVICES="") # l'enfant ne voit aucun GPU
self._p = subprocess.Popen([sys.executable, "-m", "app.secours_cpu", self.nom], cwd=RACINE, env=env,
stdin=subprocess.PIPE, stdout=subprocess.PIPE, text=True, encoding="utf-8")
if self._p.stdout.readline().strip() != "pret":
self._p = None
raise RuntimeError("le modèle de secours (processeur) n'a pas démarré")
def prechauffer(self):
"""Démarre l'enfant en arrière-plan (~30 s), pour qu'il soit prêt au premier besoin."""
def demarrer():
with self._verrou:
if self._p is None:
try:
self._demarrer()
except Exception as e: # réessayé au premier besoin
journal.warning("Secours processeur non démarré : %s", e)
threading.Thread(target=demarrer, daemon=True).start()
def encoder(self, textes: list[str]) -> np.ndarray:
with self._verrou:
if self._p is None or self._p.poll() is not None:
self._demarrer()
self._p.stdin.write(json.dumps(textes, ensure_ascii=False) + "\n")
self._p.stdin.flush()
ligne = self._p.stdout.readline()
if not ligne:
self._p = None
raise RuntimeError("le modèle de secours (processeur) s'est arrêté")
return np.array(json.loads(ligne), dtype=np.float32)
if __name__ == "__main__":
# Processus enfant : stdout sert au dialogue, tout le reste (journaux, barres) va sur stderr
canal, sys.stdout = sys.stdout, sys.stderr
from app.encodeur import Encodeur
encodeur = Encodeur(sys.argv[1], device="cpu")
print("pret", file=canal, flush=True)
for requete in sys.stdin:
vecs = encodeur.encoder(json.loads(requete))
canal.write(json.dumps(vecs.tolist()) + "\n")
canal.flush()