rahim237cm Claude Opus 5 commited on
Commit
4093877
·
1 Parent(s): 56362b9

fix: nom du fichier telecharge, image de production, flux non bloquant

Browse files

Le fichier telecharge portait le nom brut du fichier aspire depuis prc.cm :
"10691_decret-n-2026-164-du-4-mai-2026-portant-approbation-des-statuts-...".
Le prefixe numerique est l'identifiant interne du site source et les tirets
remplacent une ponctuation qui existait. Le nom propose est desormais construit
sur le TITRE du document, accents compris — Content-Disposition les encode via
filename* (RFC 5987) — en ne retirant que les caracteres interdits par les
systemes de fichiers et en bornant la longueur.

Dockerfile. poppler-utils et tesseract-ocr (avec les dictionnaires francais et
anglais) sont installes : sans poppler, GET /laws/{id}/page/{n} — la visionneuse
par images — repond 500 en production alors qu'il fonctionne en developpement,
ou le binaire est sur la machine. TESSERACT_PATH pointe le binaire Linux. Les
migrations sont jouees au demarrage : le schema du produit vit dans alembic
(search_vector, index GIN, declencheurs, extensions) et non dans
Base.metadata, donc un conteneur qui demarre sans les avoir appliquees repond
500 sur toute recherche.

.dockerignore ajoute. Le COPY . . embarquait .env dans une couche de l'image,
donc les cles Gemini et LlamaParse, lisibles par quiconque peut la telecharger.
Sont aussi exclus .git, .venv, data/, logs/ et tests/ — .env.example reste, il
documente les cles attendues.

generate_stream passe par client.aio, la surface asynchrone native de
google-genai. La version synchrone bloquait la boucle d'evenements a chaque
morceau recu : sur une reponse de plusieurs secondes, le serveur ne traitait
plus aucune autre requete pendant tout le flux, ce qui annule l'interet meme du
streaming. Mesure avant/apres sur un appel reel : blocage maximal ramene a 5 ms.
Un flux vide est desormais trace — il survient quand max_output_tokens est trop
serre pour un modele a raisonnement, le budget etant consomme avant le premier
caractere, et le silence etait indechiffrable.

Tests : quatorze sur le Dockerfile et le contexte de build (paquets presents,
.env exclu, .env.example conserve, migrations avant le serveur, utilisateur non
root), deux sur le flux — il passe bien par la surface asynchrone, et une autre
tache continue de s'executer pendant le flux, propriete qu'aucun test d'egalite
de texte ne detecte.

Suite : 596 passants, 9 ignores, 0 echec.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>

Dockerfile CHANGED
@@ -7,7 +7,14 @@ LABEL maintainer="JuriX Team <support@jurix.cm>"
7
  LABEL description="JuriX v3.0 Backend API"
8
  LABEL version="3.0.0"
9
 
10
- # System dependencies
 
 
 
 
 
 
 
11
  RUN apt-get update && apt-get install -y --no-install-recommends \
12
  gcc \
13
  g++ \
@@ -15,6 +22,10 @@ RUN apt-get update && apt-get install -y --no-install-recommends \
15
  git \
16
  wget \
17
  ca-certificates \
 
 
 
 
18
  && rm -rf /var/lib/apt/lists/*
19
 
20
  WORKDIR /app
@@ -26,7 +37,10 @@ COPY requirements.txt ./
26
  RUN pip install --no-cache-dir --upgrade pip && \
27
  pip install --no-cache-dir -r requirements.txt
28
 
29
- # Copy application code
 
 
 
30
  COPY . .
31
 
32
  # Create required directories
@@ -51,10 +65,15 @@ ENV PYTHONUNBUFFERED=1 \
51
  PYTHONDONTWRITEBYTECODE=1 \
52
  PYTHONPATH=/app \
53
  ML_MODELS_PATH=/app/models \
54
- LOG_LEVEL=INFO
 
55
 
 
 
 
 
56
  # Railway injects PORT automatically
57
- CMD uvicorn app.main:app \
58
  --host 0.0.0.0 \
59
  --port ${PORT:-8000} \
60
  --workers 1 \
 
7
  LABEL description="JuriX v3.0 Backend API"
8
  LABEL version="3.0.0"
9
 
10
+ # Dependances systeme.
11
+ #
12
+ # tesseract-ocr et poppler-utils ne sont PAS optionnels :
13
+ # - poppler fournit pdftoppm, dont depend pdf2image ; sans lui,
14
+ # GET /laws/{id}/page/{n} — la visionneuse par images du front — repond 500
15
+ # en production alors qu'il fonctionne en developpement ;
16
+ # - tesseract-ocr et ses dictionnaires francais/anglais servent au repli OCR
17
+ # et au diagnostic de la couche texte des PDF scannes.
18
  RUN apt-get update && apt-get install -y --no-install-recommends \
19
  gcc \
20
  g++ \
 
22
  git \
23
  wget \
24
  ca-certificates \
25
+ poppler-utils \
26
+ tesseract-ocr \
27
+ tesseract-ocr-fra \
28
+ tesseract-ocr-eng \
29
  && rm -rf /var/lib/apt/lists/*
30
 
31
  WORKDIR /app
 
37
  RUN pip install --no-cache-dir --upgrade pip && \
38
  pip install --no-cache-dir -r requirements.txt
39
 
40
+ # Copie du code applicatif.
41
+ # Ce que ce COPY embarque est filtre par .dockerignore : sans lui, le fichier
42
+ # .env — donc les cles d'API — se retrouvait dans une couche de l'image, lisible
43
+ # par quiconque peut la telecharger.
44
  COPY . .
45
 
46
  # Create required directories
 
65
  PYTHONDONTWRITEBYTECODE=1 \
66
  PYTHONPATH=/app \
67
  ML_MODELS_PATH=/app/models \
68
+ LOG_LEVEL=INFO \
69
+ TESSERACT_PATH=/usr/bin/tesseract
70
 
71
+ # Les migrations sont appliquees au demarrage : le schema du produit vit dans
72
+ # alembic (search_vector, index GIN, declencheurs, extensions), pas dans
73
+ # Base.metadata — un conteneur qui demarre sans les avoir jouees repond 500 sur
74
+ # toute recherche.
75
  # Railway injects PORT automatically
76
+ CMD alembic upgrade head && uvicorn app.main:app \
77
  --host 0.0.0.0 \
78
  --port ${PORT:-8000} \
79
  --workers 1 \
app/api/routes/laws.py CHANGED
@@ -13,6 +13,7 @@ Date: 2026-01-11
13
  """
14
 
15
  import logging
 
16
  import time
17
  from pathlib import Path
18
  from typing import List, Optional, cast
@@ -191,6 +192,37 @@ async def get_law(
191
  )
192
 
193
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
194
  def _law_file_path(law: Law) -> Path:
195
  """
196
  Chemin du fichier d'origine d'une loi, resolu UNE seule fois.
@@ -239,7 +271,7 @@ async def download_law_file(
239
 
240
  return FileResponse(
241
  path=str(file_path),
242
- filename=str(cast(str, law.original_filename) or file_path.name),
243
  media_type="application/pdf" if file_path.suffix == ".pdf" else "application/vnd.openxmlformats-officedocument.wordprocessingml.document",
244
  # attachment et non inline : un bouton nomme "Telecharger" doit
245
  # enregistrer le fichier, pas l'afficher dans l'onglet.
 
13
  """
14
 
15
  import logging
16
+ import re
17
  import time
18
  from pathlib import Path
19
  from typing import List, Optional, cast
 
192
  )
193
 
194
 
195
+ def _download_filename(law: Law, file_path: Path) -> str:
196
+ """
197
+ Nom de fichier propose a l'utilisateur, construit sur le TITRE du document.
198
+
199
+ original_filename est le nom du fichier tel qu'aspire depuis prc.cm :
200
+ "10691_decret-n-2026-164-du-4-mai-2026-portant-approbation-des-statuts-...".
201
+ Le prefixe numerique est l'identifiant interne du site source et les tirets
202
+ remplacent une ponctuation qui existait — cela n'a aucun sens pour qui
203
+ telecharge le texte.
204
+
205
+ Le titre est donc repris tel quel, accents compris (Content-Disposition
206
+ encode l'UTF-8 via filename*, RFC 5987), en ne retirant que les caracteres
207
+ interdits dans un nom de fichier.
208
+ """
209
+ title = (law.title or "").strip()
210
+ if not title:
211
+ title = law.reference or file_path.stem
212
+
213
+ # Caracteres interdits par les systemes de fichiers courants, plus les
214
+ # caracteres de controle. Le reste, accents inclus, est conserve.
215
+ cleaned = re.sub(r'[<>:"/\\|?*\x00-\x1f]', " ", title)
216
+ cleaned = re.sub(r"\s+", " ", cleaned).strip(" .")
217
+
218
+ # 150 caracteres : sous la limite de 255 octets de la plupart des systemes,
219
+ # meme apres encodage UTF-8 des accents.
220
+ if len(cleaned) > 150:
221
+ cleaned = cleaned[:150].rstrip()
222
+
223
+ return f"{cleaned or 'document'}{file_path.suffix or '.pdf'}"
224
+
225
+
226
  def _law_file_path(law: Law) -> Path:
227
  """
228
  Chemin du fichier d'origine d'une loi, resolu UNE seule fois.
 
271
 
272
  return FileResponse(
273
  path=str(file_path),
274
+ filename=_download_filename(law, file_path),
275
  media_type="application/pdf" if file_path.suffix == ".pdf" else "application/vnd.openxmlformats-officedocument.wordprocessingml.document",
276
  # attachment et non inline : un bouton nomme "Telecharger" doit
277
  # enregistrer le fichier, pas l'afficher dans l'onglet.
app/services/gemini_service.py CHANGED
@@ -187,18 +187,37 @@ FORBIDDEN:
187
  system_instruction=system_instruction
188
  )
189
 
190
- # Stream content
191
- response_stream = self.client.models.generate_content_stream(
 
 
 
 
 
 
 
192
  model=self.model_name,
193
  contents=prompt,
194
  config=config
195
  )
196
-
197
- for chunk in response_stream:
 
198
  if chunk.text:
 
199
  yield chunk.text
200
-
201
- logger.info("✅ Streaming complete")
 
 
 
 
 
 
 
 
 
 
202
 
203
  except Exception as e:
204
  logger.error(f"❌ Gemini streaming error: {e}")
 
187
  system_instruction=system_instruction
188
  )
189
 
190
+ # client.aio : la surface ASYNCHRONE native de google-genai.
191
+ # La version synchrone bloquait la boucle d'evenements a chaque
192
+ # morceau recu — sur une reponse de plusieurs secondes, le serveur
193
+ # ne traitait plus aucune autre requete pendant tout le flux, ce qui
194
+ # annule l'interet meme du streaming. Un deport par thread ne
195
+ # convient pas ici : il faudrait un pont de file d'attente pour
196
+ # reinjecter chaque morceau dans la boucle, la ou le client async
197
+ # fait exactement cela nativement.
198
+ response_stream = await self.client.aio.models.generate_content_stream(
199
  model=self.model_name,
200
  contents=prompt,
201
  config=config
202
  )
203
+
204
+ produced = 0
205
+ async for chunk in response_stream:
206
  if chunk.text:
207
+ produced += 1
208
  yield chunk.text
209
+
210
+ if produced == 0:
211
+ # Arrive quand max_output_tokens est trop serre pour un modele
212
+ # a raisonnement : le budget est consomme avant le premier
213
+ # caractere de reponse. Le client recoit un flux vide, sans
214
+ # erreur — sans cette trace, le silence est indechiffrable.
215
+ logger.warning(
216
+ f"⚠️ Flux vide (max_tokens={max_tokens}) : budget "
217
+ f"probablement epuise par le raisonnement du modele"
218
+ )
219
+
220
+ logger.info(f"✅ Streaming complete ({produced} morceaux)")
221
 
222
  except Exception as e:
223
  logger.error(f"❌ Gemini streaming error: {e}")
tests/test_deployment/__init__.py ADDED
File without changes
tests/test_deployment/test_docker_image.py ADDED
@@ -0,0 +1,73 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ """
2
+ Tests du Dockerfile et du contexte de build.
3
+
4
+ Ils ne construisent pas l'image — trop lent pour une suite — mais verifient les
5
+ proprietes dont l'absence se paie en production :
6
+
7
+ - sans poppler, GET /laws/{id}/page/{n} repond 500 alors qu'il fonctionne en
8
+ developpement, ou le binaire est installe sur la machine ;
9
+ - sans .dockerignore, le COPY . . embarque .env, donc les cles d'API, dans une
10
+ couche de l'image ;
11
+ - sans migration au demarrage, le conteneur sert un schema incomplet : les
12
+ colonnes search_vector, les index GIN et les declencheurs n'existent que dans
13
+ alembic, jamais dans Base.metadata.
14
+ """
15
+
16
+ import pathlib
17
+
18
+ import pytest
19
+
20
+ ROOT = pathlib.Path(__file__).resolve().parents[2]
21
+ DOCKERFILE = (ROOT / "Dockerfile").read_text(encoding="utf-8")
22
+ DOCKERIGNORE_PATH = ROOT / ".dockerignore"
23
+
24
+
25
+ class TestSystemDependencies:
26
+
27
+ @pytest.mark.parametrize("package", [
28
+ "poppler-utils", # pdftoppm, dont depend pdf2image
29
+ "tesseract-ocr",
30
+ "tesseract-ocr-fra",
31
+ "tesseract-ocr-eng",
32
+ ])
33
+ def test_package_is_installed(self, package):
34
+ assert package in DOCKERFILE, (
35
+ f"{package} absent du Dockerfile : la fonctionnalite qui en depend "
36
+ f"marchera en developpement et echouera en production."
37
+ )
38
+
39
+ def test_tesseract_path_is_set_for_linux(self):
40
+ assert "TESSERACT_PATH=/usr/bin/tesseract" in DOCKERFILE
41
+
42
+
43
+ class TestBuildContext:
44
+
45
+ def test_dockerignore_exists(self):
46
+ assert DOCKERIGNORE_PATH.is_file(), (
47
+ "Sans .dockerignore, COPY . . embarque .env dans l'image."
48
+ )
49
+
50
+ @pytest.mark.parametrize("pattern", [".env", ".git", ".venv", "data/", "tests/"])
51
+ def test_excludes_what_must_not_ship(self, pattern):
52
+ content = DOCKERIGNORE_PATH.read_text(encoding="utf-8")
53
+ lines = {line.strip() for line in content.splitlines()}
54
+
55
+ assert pattern in lines, f"{pattern} devrait etre exclu du contexte de build"
56
+
57
+ def test_env_example_stays_included(self):
58
+ """Le modele de configuration, lui, doit rester : il documente les cles."""
59
+ content = DOCKERIGNORE_PATH.read_text(encoding="utf-8")
60
+
61
+ assert "!.env.example" in content
62
+
63
+
64
+ class TestStartup:
65
+
66
+ def test_migrations_run_before_the_server(self):
67
+ assert "alembic upgrade head" in DOCKERFILE
68
+ upgrade_at = DOCKERFILE.index("alembic upgrade head")
69
+ uvicorn_at = DOCKERFILE.index("uvicorn app.main:app", upgrade_at)
70
+ assert upgrade_at < uvicorn_at
71
+
72
+ def test_runs_as_a_non_root_user(self):
73
+ assert "USER jurix" in DOCKERFILE
tests/test_services/test_rag_context.py CHANGED
@@ -349,3 +349,100 @@ class TestPseudoArticleNumbers:
349
  numbers = [a.number for a in results[0].matched_articles]
350
  assert "39" in numbers
351
  assert "LEGAL_BASIS" not in numbers
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
349
  numbers = [a.number for a in results[0].matched_articles]
350
  assert "39" in numbers
351
  assert "LEGAL_BASIS" not in numbers
352
+
353
+
354
+ class TestStreaming:
355
+ """
356
+ Le flux passe par la surface asynchrone native du client.
357
+
358
+ La version synchrone bloquait la boucle d'evenements a chaque morceau recu :
359
+ sur une reponse de plusieurs secondes, le serveur ne traitait plus aucune
360
+ autre requete pendant tout le flux — ce qui annule l'interet meme du
361
+ streaming.
362
+ """
363
+
364
+ @pytest.mark.asyncio
365
+ async def test_uses_the_async_client(self, monkeypatch):
366
+ import asyncio
367
+
368
+ from app.services.gemini_service import GeminiService
369
+
370
+ service = GeminiService.__new__(GeminiService)
371
+ service.model_name = "test-model"
372
+ service.SYSTEM_INSTRUCTION = "sys"
373
+
374
+ class _Chunk:
375
+ def __init__(self, text):
376
+ self.text = text
377
+
378
+ async def _stream(**kwargs):
379
+ async def _gen():
380
+ for piece in ("Selon ", "l'article 161, ", "les dirigeants..."):
381
+ await asyncio.sleep(0)
382
+ yield _Chunk(piece)
383
+ return _gen()
384
+
385
+ sync_called = {"n": 0}
386
+
387
+ def _sync_stream(**kwargs):
388
+ sync_called["n"] += 1
389
+ raise AssertionError("la surface synchrone ne doit plus etre utilisee")
390
+
391
+ service.client = type("C", (), {
392
+ "aio": type("A", (), {"models": type("M", (), {
393
+ "generate_content_stream": staticmethod(_stream)})()})(),
394
+ "models": type("M2", (), {
395
+ "generate_content_stream": staticmethod(_sync_stream)})(),
396
+ })()
397
+
398
+ pieces = [chunk async for chunk in service.generate_stream(prompt="q")]
399
+
400
+ assert "".join(pieces) == "Selon l'article 161, les dirigeants..."
401
+ assert sync_called["n"] == 0
402
+
403
+ @pytest.mark.asyncio
404
+ async def test_does_not_block_the_event_loop(self):
405
+ """
406
+ Une autre tache doit continuer a s'executer PENDANT le flux.
407
+
408
+ C'est la propriete que la version synchrone violait, et qu'aucun test
409
+ d'egalite de texte ne peut detecter.
410
+ """
411
+ import asyncio
412
+
413
+ from app.services.gemini_service import GeminiService
414
+
415
+ service = GeminiService.__new__(GeminiService)
416
+ service.model_name = "test-model"
417
+ service.SYSTEM_INSTRUCTION = "sys"
418
+
419
+ class _Chunk:
420
+ def __init__(self, text):
421
+ self.text = text
422
+
423
+ async def _stream(**kwargs):
424
+ async def _gen():
425
+ for i in range(5):
426
+ await asyncio.sleep(0.01)
427
+ yield _Chunk(f"morceau{i} ")
428
+ return _gen()
429
+
430
+ service.client = type("C", (), {
431
+ "aio": type("A", (), {"models": type("M", (), {
432
+ "generate_content_stream": staticmethod(_stream)})()})()
433
+ })()
434
+
435
+ ticks = 0
436
+
437
+ async def _other_work():
438
+ nonlocal ticks
439
+ while True:
440
+ await asyncio.sleep(0.005)
441
+ ticks += 1
442
+
443
+ task = asyncio.create_task(_other_work())
444
+ pieces = [chunk async for chunk in service.generate_stream(prompt="q")]
445
+ task.cancel()
446
+
447
+ assert len(pieces) == 5
448
+ assert ticks > 3, "la boucle etait bloquee pendant le flux"