GitLab CI commited on
Commit
76c2cef
·
1 Parent(s): 909e8cf

Deploy commit d0468534 via GitLab CI

Browse files
Files changed (2) hide show
  1. README.md +11 -9
  2. scripts/preload_models.sh +4 -1
README.md CHANGED
@@ -26,10 +26,10 @@ Déploiement sécurisé, dans **un seul container**, de **deux VLM servis par vL
26
 
27
  ```
28
  v-llm-vlm-ocr-deploy-on-hf/
29
- ├── Dockerfile # Image vllm/vllm-openai:nightly (digest épinglé, transformers 5.22.1 embarqué pour GLM-OCR) + Nginx + supervisord
30
  ├── supervisord.conf # Orchestration des 5 programmes (priorities de démarrage)
31
  ├── docker-compose.yml # Développement local (GPU NVIDIA requis)
32
- ├── huggingface.yml # Config du Space (SDK Docker, T4-small, port 7860)
33
  ├── .gitlab-ci.yml # CI/CD : déploiement git-based vers le Space HF
34
  ├── .env / .env.example # Variables d'environnement
35
  ├── .dockerignore
@@ -40,8 +40,10 @@ v-llm-vlm-ocr-deploy-on-hf/
40
  │ ├── conf.d/auth.conf # Zones de rate limiting + security headers
41
  │ └── snippets/security-headers.conf
42
  └── scripts/
43
- ├── entrypoint.sh # GPU check → htpasswd → supervisord
44
- ├── warmup.sh # Attend les 3 services puis précharge les 2 modèles vLLM
 
 
45
  ├── layout_service.py # PP-DocLayoutV3 (ONNX, CPU) → régions → GLM-OCR interne → Markdown
46
  ├── gpu_detect.py # Validation GPU/VRAM/CUDA (écrit /tmp/gpu_info.json)
47
  └── generate_htpasswd.py # Génération du .htpasswd (bcrypt)
@@ -64,9 +66,9 @@ client (Basic Auth)
64
  supervisord orchestre tout
65
  ```
66
 
67
- **Budget VRAM (T4 = 16 Go)** : somme des `--gpu-memory-utilization` = 0.25 + 0.65 = **0.90** (14,4 Go réservés, marge ~1,6 Go). PP-DocLayoutV3 tourne en **CPU/RAM** (~1–2 Go, 0 Go de VRAM). Garde-fous : `--max-model-len 4096`, `--max-num-seqs 2`, `--max-num-batched-tokens 1024`, `--enforce-eager` (pic de profiling réduit ; le KV fp16 tient à 4096 sur T4 — le fp8 KV est refusé par le backend Triton sur SM 7.5).
68
 
69
- **Stockage persistant** : un seul Storage Bucket HF monté sur `/data`, cache des modèles via `HF_HOME=/data/hf` (téléchargés une seule fois).
70
 
71
  ---
72
 
@@ -140,7 +142,7 @@ Streaming SSE supporté sur `/OCR/` et `/VLM/` (`proxy_buffering off`).
140
  | `GPU_MEM_UTIL_OCR` / `GPU_MEM_UTIL_VLM` | `0.25` / `0.65` | **somme ≤ 0.90** sur T4 16 Go |
141
  | `MAX_MODEL_LEN` | `4096` | contexte max par séquence (tokens image inclus) |
142
  | `MAX_NUM_SEQS` | `2` | garde-fous VRAM |
143
- | `HF_HOME` | `/data/hf` | cache persistant (Storage Bucket monté sur `/data`) |
144
  | `MIN_VRAM_MB` / `MIN_CUDA_*` | `15000` / `11.8` | validation au boot |
145
 
146
  ### CI/CD GitLab
@@ -158,7 +160,7 @@ Streaming SSE supporté sur `/OCR/` et `/VLM/` (`proxy_buffering off`).
158
  | 25 | `warmup` (one-shot) | attend les `/health` des 3 services, précharge les 2 modèles avec un `Hi` |
159
  | 30 | `nginx` | reverse proxy sur 7860 (Basic Auth) |
160
 
161
- `entrypoint.sh` : validation GPU/CUDA → génération `.htpasswd` → `exec supervisord -n`.
162
 
163
  ## 🧠 Concurrence
164
 
@@ -187,7 +189,7 @@ docker-compose down
187
  | OOM au chargement du 2ᵉ vLLM | Somme des `gpu-memory-utilization` > 0.90 | Baisser `GPU_MEM_UTIL_*` (ex: 0.25/0.65) |
188
  | `Qwen3-VL-8B` en bf16 ne tient pas | ~16,5 Go de poids seuls | Rester en 4B bf16, ou 8B en AWQ 4-bit (`GPU_MEM_UTIL_VLM≈0.62`) |
189
  | 401 Unauthorized | Secret `NGINX_PASSWORD` manquant | Le définir dans Settings > Secrets du Space |
190
- | Boot long | Téléchargement des modèles HF | Normal au 1ᵉʳ boot ; persistant ensuite via `/data/hf` |
191
  | `/OCR_parse` 503 | Modèle ONNX pas encore chargé | Attendre `/health/ocr_parse` → 200 |
192
 
193
  Logs : `docker logs <container>` (supervisord envoie tout sur stdout/stderr).
 
26
 
27
  ```
28
  v-llm-vlm-ocr-deploy-on-hf/
29
+ ├── Dockerfile # Image vllm/vllm-openai:nightly épinglée par digest linux/amd64 (vLLM 0.33.0rc1.dev + transformers 5.22.1 embarqués, requis pour GLM-OCR) + Nginx + supervisord (pip)
30
  ├── supervisord.conf # Orchestration des 5 programmes (priorities de démarrage)
31
  ├── docker-compose.yml # Développement local (GPU NVIDIA requis)
32
+ ├── huggingface.yml # Config du Space (SDK Docker, t4-medium, port 7860)
33
  ├── .gitlab-ci.yml # CI/CD : déploiement git-based vers le Space HF
34
  ├── .env / .env.example # Variables d'environnement
35
  ├── .dockerignore
 
40
  │ ├── conf.d/auth.conf # Zones de rate limiting + security headers
41
  │ └── snippets/security-headers.conf
42
  └── scripts/
43
+ ├── entrypoint.sh # GPU check → htpasswd → preload modèles → supervisord
44
+ ├── preload_models.sh # Télécharge les 3 modèles depuis le HF Hub (hf_xet, rapide) vers /tmp/hf + cap size.longest_edge du VLM
45
+ ├── serve_vlm.sh # Attend /health de vllm-ocr avant de lancer vllm-vlm (réservation VRAM séquentielle)
46
+ ├── warmup.sh # Attend les 3 /health puis précharge les 2 modèles vLLM (Hi)
47
  ├── layout_service.py # PP-DocLayoutV3 (ONNX, CPU) → régions → GLM-OCR interne → Markdown
48
  ├── gpu_detect.py # Validation GPU/VRAM/CUDA (écrit /tmp/gpu_info.json)
49
  └── generate_htpasswd.py # Génération du .htpasswd (bcrypt)
 
66
  supervisord orchestre tout
67
  ```
68
 
69
+ **Budget VRAM (T4 = 16 Go)** : somme des `--gpu-memory-utilization` = 0.25 + 0.65 = **0.90** (14,4 Go réservés, marge ~1,6 Go). PP-DocLayoutV3 tourne en **CPU/RAM** (~1–2 Go, 0 Go de VRAM). Garde-fous : `--max-model-len 4096`, `--max-num-seqs 2`, `--max-num-batched-tokens 1024`, `--enforce-eager`, `--safetensors-load-strategy lazy`. À 4096 le KV fp16 tient sur T4 (le fp8 KV est refusé par le backend Triton sur SM 7.5 ; `--swap-space` n'existe plus en V1). Le VLM a `size.longest_edge` cappé à 4 194 304 px dans son `preprocessor_config.json` (patché au preload) pour réduire le pic de profiling du vision encoder (~2 GiB sinon → crash KV).
70
 
71
+ **Cache modèles** : `HF_HOME=/tmp/hf` (disque local éphémère). Au boot, `preload_models.sh` télécharge les 3 modèles **depuis le HF Hub** (hf_xet, ~1–3 min pour ~11 Go) — lire via le bucket monté en FUSE prenait >10 min. `/tmp` étant éphémère, le téléchargement se refait à chaque redémarrage du Space. Le bucket `/data` reste monté pour d'autres données persistantes.
72
 
73
  ---
74
 
 
142
  | `GPU_MEM_UTIL_OCR` / `GPU_MEM_UTIL_VLM` | `0.25` / `0.65` | **somme ≤ 0.90** sur T4 16 Go |
143
  | `MAX_MODEL_LEN` | `4096` | contexte max par séquence (tokens image inclus) |
144
  | `MAX_NUM_SEQS` | `2` | garde-fous VRAM |
145
+ | `HF_HOME` | `/tmp/hf` | cache local des modèles (preload hf_xet au boot ; /tmp éphémère) |
146
  | `MIN_VRAM_MB` / `MIN_CUDA_*` | `15000` / `11.8` | validation au boot |
147
 
148
  ### CI/CD GitLab
 
160
  | 25 | `warmup` (one-shot) | attend les `/health` des 3 services, précharge les 2 modèles avec un `Hi` |
161
  | 30 | `nginx` | reverse proxy sur 7860 (Basic Auth) |
162
 
163
+ `entrypoint.sh` : validation GPU/CUDA → génération `.htpasswd` → préparation `/tmp/hf` → **preload des 3 modèles** (hf_xet) → `exec supervisord -n`.
164
 
165
  ## 🧠 Concurrence
166
 
 
189
  | OOM au chargement du 2ᵉ vLLM | Somme des `gpu-memory-utilization` > 0.90 | Baisser `GPU_MEM_UTIL_*` (ex: 0.25/0.65) |
190
  | `Qwen3-VL-8B` en bf16 ne tient pas | ~16,5 Go de poids seuls | Rester en 4B bf16, ou 8B en AWQ 4-bit (`GPU_MEM_UTIL_VLM≈0.62`) |
191
  | 401 Unauthorized | Secret `NGINX_PASSWORD` manquant | Le définir dans Settings > Secrets du Space |
192
+ | Boot long | preload des modèles (~1–3 min, /tmp éphémère) puis chargement local rapide | Normal ; regarder `[preload]` dans les logs |
193
  | `/OCR_parse` 503 | Modèle ONNX pas encore chargé | Attendre `/health/ocr_parse` → 200 |
194
 
195
  Logs : `docker logs <container>` (supervisord envoie tout sur stdout/stderr).
scripts/preload_models.sh CHANGED
@@ -9,7 +9,10 @@
9
  # other persistent data.
10
  set -euo pipefail
11
 
12
- export HF_HUB_ENABLE_HF_TRANSFER=1
 
 
 
13
  HF_HOME="${HF_HOME:-/tmp/hf}"
14
  mkdir -p "$HF_HOME"
15
 
 
9
  # other persistent data.
10
  set -euo pipefail
11
 
12
+ # hf_xet is the default transfer backend in huggingface_hub 2.x; this enables its
13
+ # high-performance mode (chunked parallel downloads). HF_HUB_ENABLE_HF_TRANSFER is
14
+ # deprecated in hub 2.x.
15
+ export HF_XET_HIGH_PERFORMANCE=1
16
  HF_HOME="${HF_HOME:-/tmp/hf}"
17
  mkdir -p "$HF_HOME"
18