Spaces:
Paused
Paused
GitLab CI commited on
Commit ·
76c2cef
1
Parent(s): 909e8cf
Deploy commit d0468534 via GitLab CI
Browse files- README.md +11 -9
- scripts/preload_models.sh +4 -1
README.md
CHANGED
|
@@ -26,10 +26,10 @@ Déploiement sécurisé, dans **un seul container**, de **deux VLM servis par vL
|
|
| 26 |
|
| 27 |
```
|
| 28 |
v-llm-vlm-ocr-deploy-on-hf/
|
| 29 |
-
├── Dockerfile # Image vllm/vllm-openai:nightly
|
| 30 |
├── supervisord.conf # Orchestration des 5 programmes (priorities de démarrage)
|
| 31 |
├── docker-compose.yml # Développement local (GPU NVIDIA requis)
|
| 32 |
-
├── huggingface.yml # Config du Space (SDK Docker,
|
| 33 |
├── .gitlab-ci.yml # CI/CD : déploiement git-based vers le Space HF
|
| 34 |
├── .env / .env.example # Variables d'environnement
|
| 35 |
├── .dockerignore
|
|
@@ -40,8 +40,10 @@ v-llm-vlm-ocr-deploy-on-hf/
|
|
| 40 |
│ ├── conf.d/auth.conf # Zones de rate limiting + security headers
|
| 41 |
│ └── snippets/security-headers.conf
|
| 42 |
└── scripts/
|
| 43 |
-
├── entrypoint.sh # GPU check → htpasswd → supervisord
|
| 44 |
-
├──
|
|
|
|
|
|
|
| 45 |
├── layout_service.py # PP-DocLayoutV3 (ONNX, CPU) → régions → GLM-OCR interne → Markdown
|
| 46 |
├── gpu_detect.py # Validation GPU/VRAM/CUDA (écrit /tmp/gpu_info.json)
|
| 47 |
└── generate_htpasswd.py # Génération du .htpasswd (bcrypt)
|
|
@@ -64,9 +66,9 @@ client (Basic Auth)
|
|
| 64 |
supervisord orchestre tout
|
| 65 |
```
|
| 66 |
|
| 67 |
-
**Budget VRAM (T4 = 16 Go)** : somme des `--gpu-memory-utilization` = 0.25 + 0.65 = **0.90** (14,4 Go réservés, marge ~1,6 Go). PP-DocLayoutV3 tourne en **CPU/RAM** (~1–2 Go, 0 Go de VRAM). Garde-fous : `--max-model-len 4096`, `--max-num-seqs 2`, `--max-num-batched-tokens 1024`, `--enforce-eager`
|
| 68 |
|
| 69 |
-
**
|
| 70 |
|
| 71 |
---
|
| 72 |
|
|
@@ -140,7 +142,7 @@ Streaming SSE supporté sur `/OCR/` et `/VLM/` (`proxy_buffering off`).
|
|
| 140 |
| `GPU_MEM_UTIL_OCR` / `GPU_MEM_UTIL_VLM` | `0.25` / `0.65` | **somme ≤ 0.90** sur T4 16 Go |
|
| 141 |
| `MAX_MODEL_LEN` | `4096` | contexte max par séquence (tokens image inclus) |
|
| 142 |
| `MAX_NUM_SEQS` | `2` | garde-fous VRAM |
|
| 143 |
-
| `HF_HOME` | `/
|
| 144 |
| `MIN_VRAM_MB` / `MIN_CUDA_*` | `15000` / `11.8` | validation au boot |
|
| 145 |
|
| 146 |
### CI/CD GitLab
|
|
@@ -158,7 +160,7 @@ Streaming SSE supporté sur `/OCR/` et `/VLM/` (`proxy_buffering off`).
|
|
| 158 |
| 25 | `warmup` (one-shot) | attend les `/health` des 3 services, précharge les 2 modèles avec un `Hi` |
|
| 159 |
| 30 | `nginx` | reverse proxy sur 7860 (Basic Auth) |
|
| 160 |
|
| 161 |
-
`entrypoint.sh` : validation GPU/CUDA → génération `.htpasswd` → `exec supervisord -n`.
|
| 162 |
|
| 163 |
## 🧠 Concurrence
|
| 164 |
|
|
@@ -187,7 +189,7 @@ docker-compose down
|
|
| 187 |
| OOM au chargement du 2ᵉ vLLM | Somme des `gpu-memory-utilization` > 0.90 | Baisser `GPU_MEM_UTIL_*` (ex: 0.25/0.65) |
|
| 188 |
| `Qwen3-VL-8B` en bf16 ne tient pas | ~16,5 Go de poids seuls | Rester en 4B bf16, ou 8B en AWQ 4-bit (`GPU_MEM_UTIL_VLM≈0.62`) |
|
| 189 |
| 401 Unauthorized | Secret `NGINX_PASSWORD` manquant | Le définir dans Settings > Secrets du Space |
|
| 190 |
-
| Boot long |
|
| 191 |
| `/OCR_parse` 503 | Modèle ONNX pas encore chargé | Attendre `/health/ocr_parse` → 200 |
|
| 192 |
|
| 193 |
Logs : `docker logs <container>` (supervisord envoie tout sur stdout/stderr).
|
|
|
|
| 26 |
|
| 27 |
```
|
| 28 |
v-llm-vlm-ocr-deploy-on-hf/
|
| 29 |
+
├── Dockerfile # Image vllm/vllm-openai:nightly épinglée par digest linux/amd64 (vLLM 0.33.0rc1.dev + transformers 5.22.1 embarqués, requis pour GLM-OCR) + Nginx + supervisord (pip)
|
| 30 |
├── supervisord.conf # Orchestration des 5 programmes (priorities de démarrage)
|
| 31 |
├── docker-compose.yml # Développement local (GPU NVIDIA requis)
|
| 32 |
+
├── huggingface.yml # Config du Space (SDK Docker, t4-medium, port 7860)
|
| 33 |
├── .gitlab-ci.yml # CI/CD : déploiement git-based vers le Space HF
|
| 34 |
├── .env / .env.example # Variables d'environnement
|
| 35 |
├── .dockerignore
|
|
|
|
| 40 |
│ ├── conf.d/auth.conf # Zones de rate limiting + security headers
|
| 41 |
│ └── snippets/security-headers.conf
|
| 42 |
└── scripts/
|
| 43 |
+
├── entrypoint.sh # GPU check → htpasswd → preload modèles → supervisord
|
| 44 |
+
├── preload_models.sh # Télécharge les 3 modèles depuis le HF Hub (hf_xet, rapide) vers /tmp/hf + cap size.longest_edge du VLM
|
| 45 |
+
├── serve_vlm.sh # Attend /health de vllm-ocr avant de lancer vllm-vlm (réservation VRAM séquentielle)
|
| 46 |
+
├── warmup.sh # Attend les 3 /health puis précharge les 2 modèles vLLM (Hi)
|
| 47 |
├── layout_service.py # PP-DocLayoutV3 (ONNX, CPU) → régions → GLM-OCR interne → Markdown
|
| 48 |
├── gpu_detect.py # Validation GPU/VRAM/CUDA (écrit /tmp/gpu_info.json)
|
| 49 |
└── generate_htpasswd.py # Génération du .htpasswd (bcrypt)
|
|
|
|
| 66 |
supervisord orchestre tout
|
| 67 |
```
|
| 68 |
|
| 69 |
+
**Budget VRAM (T4 = 16 Go)** : somme des `--gpu-memory-utilization` = 0.25 + 0.65 = **0.90** (14,4 Go réservés, marge ~1,6 Go). PP-DocLayoutV3 tourne en **CPU/RAM** (~1–2 Go, 0 Go de VRAM). Garde-fous : `--max-model-len 4096`, `--max-num-seqs 2`, `--max-num-batched-tokens 1024`, `--enforce-eager`, `--safetensors-load-strategy lazy`. À 4096 le KV fp16 tient sur T4 (le fp8 KV est refusé par le backend Triton sur SM 7.5 ; `--swap-space` n'existe plus en V1). Le VLM a `size.longest_edge` cappé à 4 194 304 px dans son `preprocessor_config.json` (patché au preload) pour réduire le pic de profiling du vision encoder (~2 GiB sinon → crash KV).
|
| 70 |
|
| 71 |
+
**Cache modèles** : `HF_HOME=/tmp/hf` (disque local éphémère). Au boot, `preload_models.sh` télécharge les 3 modèles **depuis le HF Hub** (hf_xet, ~1–3 min pour ~11 Go) — lire via le bucket monté en FUSE prenait >10 min. `/tmp` étant éphémère, le téléchargement se refait à chaque redémarrage du Space. Le bucket `/data` reste monté pour d'autres données persistantes.
|
| 72 |
|
| 73 |
---
|
| 74 |
|
|
|
|
| 142 |
| `GPU_MEM_UTIL_OCR` / `GPU_MEM_UTIL_VLM` | `0.25` / `0.65` | **somme ≤ 0.90** sur T4 16 Go |
|
| 143 |
| `MAX_MODEL_LEN` | `4096` | contexte max par séquence (tokens image inclus) |
|
| 144 |
| `MAX_NUM_SEQS` | `2` | garde-fous VRAM |
|
| 145 |
+
| `HF_HOME` | `/tmp/hf` | cache local des modèles (preload hf_xet au boot ; /tmp éphémère) |
|
| 146 |
| `MIN_VRAM_MB` / `MIN_CUDA_*` | `15000` / `11.8` | validation au boot |
|
| 147 |
|
| 148 |
### CI/CD GitLab
|
|
|
|
| 160 |
| 25 | `warmup` (one-shot) | attend les `/health` des 3 services, précharge les 2 modèles avec un `Hi` |
|
| 161 |
| 30 | `nginx` | reverse proxy sur 7860 (Basic Auth) |
|
| 162 |
|
| 163 |
+
`entrypoint.sh` : validation GPU/CUDA → génération `.htpasswd` → préparation `/tmp/hf` → **preload des 3 modèles** (hf_xet) → `exec supervisord -n`.
|
| 164 |
|
| 165 |
## 🧠 Concurrence
|
| 166 |
|
|
|
|
| 189 |
| OOM au chargement du 2ᵉ vLLM | Somme des `gpu-memory-utilization` > 0.90 | Baisser `GPU_MEM_UTIL_*` (ex: 0.25/0.65) |
|
| 190 |
| `Qwen3-VL-8B` en bf16 ne tient pas | ~16,5 Go de poids seuls | Rester en 4B bf16, ou 8B en AWQ 4-bit (`GPU_MEM_UTIL_VLM≈0.62`) |
|
| 191 |
| 401 Unauthorized | Secret `NGINX_PASSWORD` manquant | Le définir dans Settings > Secrets du Space |
|
| 192 |
+
| Boot long | preload des modèles (~1–3 min, /tmp éphémère) puis chargement local rapide | Normal ; regarder `[preload]` dans les logs |
|
| 193 |
| `/OCR_parse` 503 | Modèle ONNX pas encore chargé | Attendre `/health/ocr_parse` → 200 |
|
| 194 |
|
| 195 |
Logs : `docker logs <container>` (supervisord envoie tout sur stdout/stderr).
|
scripts/preload_models.sh
CHANGED
|
@@ -9,7 +9,10 @@
|
|
| 9 |
# other persistent data.
|
| 10 |
set -euo pipefail
|
| 11 |
|
| 12 |
-
|
|
|
|
|
|
|
|
|
|
| 13 |
HF_HOME="${HF_HOME:-/tmp/hf}"
|
| 14 |
mkdir -p "$HF_HOME"
|
| 15 |
|
|
|
|
| 9 |
# other persistent data.
|
| 10 |
set -euo pipefail
|
| 11 |
|
| 12 |
+
# hf_xet is the default transfer backend in huggingface_hub 2.x; this enables its
|
| 13 |
+
# high-performance mode (chunked parallel downloads). HF_HUB_ENABLE_HF_TRANSFER is
|
| 14 |
+
# deprecated in hub 2.x.
|
| 15 |
+
export HF_XET_HIGH_PERFORMANCE=1
|
| 16 |
HF_HOME="${HF_HOME:-/tmp/hf}"
|
| 17 |
mkdir -p "$HF_HOME"
|
| 18 |
|