"""Mode de secours sans carte graphique : bge-m3 sur le processeur, dans un processus à part. Pourquoi un processus à part : sur ZeroGPU, charger un modèle dans le processus principal, même sur "cpu", dérègle torch.cuda, et tous les calculs GPU suivants échouent (« RuntimeError: No CUDA GPUs are available »). Le processus enfant a son propre torch, sans ZeroGPU. On lui envoie une liste de phrases (une ligne JSON), il renvoie leurs vecteurs. """ from __future__ import annotations import json import logging import os import subprocess import sys import threading from pathlib import Path import numpy as np RACINE = Path(__file__).resolve().parent.parent journal = logging.getLogger("cv_matching.secours") class EncodeurCPU: """Même méthode encoder() que app.encodeur.Encodeur, mais le calcul se fait dans l'enfant.""" def __init__(self, nom_modele: str): self.nom = nom_modele self._verrou = threading.Lock() self._p = None def _demarrer(self): env = dict(os.environ, CUDA_VISIBLE_DEVICES="") # l'enfant ne voit aucun GPU self._p = subprocess.Popen([sys.executable, "-m", "app.secours_cpu", self.nom], cwd=RACINE, env=env, stdin=subprocess.PIPE, stdout=subprocess.PIPE, text=True, encoding="utf-8") if self._p.stdout.readline().strip() != "pret": self._p = None raise RuntimeError("le modèle de secours (processeur) n'a pas démarré") def prechauffer(self): """Démarre l'enfant en arrière-plan (~30 s), pour qu'il soit prêt au premier besoin.""" def demarrer(): with self._verrou: if self._p is None: try: self._demarrer() except Exception as e: # réessayé au premier besoin journal.warning("Secours processeur non démarré : %s", e) threading.Thread(target=demarrer, daemon=True).start() def encoder(self, textes: list[str]) -> np.ndarray: with self._verrou: if self._p is None or self._p.poll() is not None: self._demarrer() self._p.stdin.write(json.dumps(textes, ensure_ascii=False) + "\n") self._p.stdin.flush() ligne = self._p.stdout.readline() if not ligne: self._p = None raise RuntimeError("le modèle de secours (processeur) s'est arrêté") return np.array(json.loads(ligne), dtype=np.float32) if __name__ == "__main__": # Processus enfant : stdout sert au dialogue, tout le reste (journaux, barres) va sur stderr canal, sys.stdout = sys.stdout, sys.stderr from app.encodeur import Encodeur encodeur = Encodeur(sys.argv[1], device="cpu") print("pret", file=canal, flush=True) for requete in sys.stdin: vecs = encodeur.encoder(json.loads(requete)) canal.write(json.dumps(vecs.tolist()) + "\n") canal.flush()