Spaces:
Running on Zero
Running on Zero
Download app/secours_cpu.py from Myz0/CV-Matching: direct link, hf CLI and curl.
- Browser
- Download file 3.1 kB
-
https://huggingface.co/spaces/Myz0/CV-Matching/resolve/main/app/secours_cpu.py
- Command line
-
hf download hf://spaces/Myz0/CV-Matching/app/secours_cpu.py
-
curl -L -o secours_cpu.py https://huggingface.co/spaces/Myz0/CV-Matching/resolve/main/app/secours_cpu.py
3.1 kB
| """Mode de secours sans carte graphique : bge-m3 sur le processeur, dans un processus à part. | |
| Pourquoi un processus à part : sur ZeroGPU, charger un modèle dans le processus principal, | |
| même sur "cpu", dérègle torch.cuda, et tous les calculs GPU suivants échouent | |
| (« RuntimeError: No CUDA GPUs are available »). Le processus enfant a son propre torch, sans | |
| ZeroGPU. On lui envoie une liste de phrases (une ligne JSON), il renvoie leurs vecteurs. | |
| """ | |
| from __future__ import annotations | |
| import json | |
| import logging | |
| import os | |
| import subprocess | |
| import sys | |
| import threading | |
| from pathlib import Path | |
| import numpy as np | |
| RACINE = Path(__file__).resolve().parent.parent | |
| journal = logging.getLogger("cv_matching.secours") | |
| class EncodeurCPU: | |
| """Même méthode encoder() que app.encodeur.Encodeur, mais le calcul se fait dans l'enfant.""" | |
| def __init__(self, nom_modele: str): | |
| self.nom = nom_modele | |
| self._verrou = threading.Lock() | |
| self._p = None | |
| def _demarrer(self): | |
| env = dict(os.environ, CUDA_VISIBLE_DEVICES="") # l'enfant ne voit aucun GPU | |
| self._p = subprocess.Popen([sys.executable, "-m", "app.secours_cpu", self.nom], cwd=RACINE, env=env, | |
| stdin=subprocess.PIPE, stdout=subprocess.PIPE, text=True, encoding="utf-8") | |
| if self._p.stdout.readline().strip() != "pret": | |
| self._p = None | |
| raise RuntimeError("le modèle de secours (processeur) n'a pas démarré") | |
| def prechauffer(self): | |
| """Démarre l'enfant en arrière-plan (~30 s), pour qu'il soit prêt au premier besoin.""" | |
| def demarrer(): | |
| with self._verrou: | |
| if self._p is None: | |
| try: | |
| self._demarrer() | |
| except Exception as e: # réessayé au premier besoin | |
| journal.warning("Secours processeur non démarré : %s", e) | |
| threading.Thread(target=demarrer, daemon=True).start() | |
| def encoder(self, textes: list[str]) -> np.ndarray: | |
| with self._verrou: | |
| if self._p is None or self._p.poll() is not None: | |
| self._demarrer() | |
| self._p.stdin.write(json.dumps(textes, ensure_ascii=False) + "\n") | |
| self._p.stdin.flush() | |
| ligne = self._p.stdout.readline() | |
| if not ligne: | |
| self._p = None | |
| raise RuntimeError("le modèle de secours (processeur) s'est arrêté") | |
| return np.array(json.loads(ligne), dtype=np.float32) | |
| if __name__ == "__main__": | |
| # Processus enfant : stdout sert au dialogue, tout le reste (journaux, barres) va sur stderr | |
| canal, sys.stdout = sys.stdout, sys.stderr | |
| from app.encodeur import Encodeur | |
| encodeur = Encodeur(sys.argv[1], device="cpu") | |
| print("pret", file=canal, flush=True) | |
| for requete in sys.stdin: | |
| vecs = encodeur.encoder(json.loads(requete)) | |
| canal.write(json.dumps(vecs.tolist()) + "\n") | |
| canal.flush() | |