pont v72 : la speculation voyage dans le nom (ornith+dspark)

anthropic_proxy.py

@@ -36,23 +36,28 @@ SWAP = dict(x.split(":", 1) for x in os.environ.get("VL_SWAP", "").split(",") if
 SWAP_TIMEOUT = float(os.environ.get("VL_SWAP_TIMEOUT", "900"))
 
 
-def _courant() -> tuple[str, str, str]:
-    """(cle bootstrap, nom servi, depot) du modele charge."""
+def _courant() -> tuple[str, str, str, str]:
+    """(cle bootstrap, nom servi, depot, speculation) du modele charge."""
     try:
         with open(os.path.join(SWAP_DIR, "modele_courant"), encoding="utf-8") as f:
-            cle, nom, depot = f.read().split()[:3]
-        return cle, nom, depot
+            champs = f.read().split()
+        cle, nom, depot = champs[:3]
+        return cle, nom, depot, (champs[3] if len(champs) > 3 else "off")
     except Exception:
-        return os.environ.get("VL_MODEL_KEY", ""), MODEL, os.environ.get("VL_REAL_MODEL", MODEL)
+        return os.environ.get("VL_MODEL_KEY", ""), MODEL, os.environ.get("VL_REAL_MODEL", MODEL), "off"
 
 
-def _cle_demandee(model: object) -> str | None:
+def _cle_demandee(model: object) -> tuple[str, str] | None:
+    """`ornith` -> (cle, "") ; `ornith+dspark` -> (cle, "dspark") : la speculation
+    voyage dans le nom du modele, pour changer de reglage sans recreer le pod."""
     if not isinstance(model, str):
         return None
     nom = model.removesuffix("[1m]")
     if nom.startswith("claude-"):
         nom = nom[len("claude-"):]
-    return SWAP.get(nom)
+    nom, _, spec = nom.partition("+")
+    cle = SWAP.get(nom)
+    return (cle, spec) if cle else None
 TIMEOUT = float(os.environ.get("VL_TIMEOUT", "1800"))
 # Sortie maximale du modele. Claude Code demande couramment 64 k, ce que
 # vLLM refuse d'un 400 portant sur max_tokens -- la requete entiere echoue
@@ -92,7 +97,7 @@ ALIASES = [
 # est sa convention pour la fenetre du million ; VERIFIE : avec lui,
 # l'avertissement "auto-compact will keep this session within 200k" disparait.
 for _n in SWAP:                       # les modeles interchangeables, tous annonces
-    ALIASES += [_n, f"claude-{_n}"]
+    ALIASES += [_n, f"claude-{_n}", f"{_n}+dspark", f"{_n}+off"]
 ALIASES = [a for pair in ((x, f"{x}[1m]") for x in ALIASES) for a in pair]
 ALIASES = list(dict.fromkeys(ALIASES))   # dedoublonne en gardant l'ordre
 
@@ -103,21 +108,29 @@ _verrou_swap = asyncio.Lock()
 
 async def _assurer_modele(model: object) -> str:
     """Rend le nom servi pour `model`, en declenchant le swap s'il le faut."""
-    cle = _cle_demandee(model)
+    dem = _cle_demandee(model)
     courant = _courant()
-    if not cle or cle == courant[0]:
+    if not dem:
+        return courant[1]
+    cle, spec = dem
+
+    def satisfait(c):
+        # sans "+spec" dans le nom, n'importe quelle speculation du bon modele convient
+        return c[0] == cle and (not spec or c[3] == spec)
+
+    if satisfait(courant):
         return courant[1]
     async with _verrou_swap:
         courant = _courant()
-        if cle == courant[0]:
+        if satisfait(courant):
             return courant[1]
         with open(os.path.join(SWAP_DIR, "modele_demande"), "w", encoding="utf-8") as f:
-            f.write(cle + "\n")
+            f.write(f"{cle} {spec}\n")
         t0 = time.time()
         while time.time() - t0 < SWAP_TIMEOUT:
             await asyncio.sleep(3)
             c = _courant()
-            if c[0] != cle:
+            if not satisfait(c):
                 continue
             try:
                 r = await _client.get("/health", timeout=3.0)