Spaces:
Sleeping
Sleeping
File size: 9,753 Bytes
b510add 3020394 b510add 3020394 b510add 3020394 b510add 3020394 b510add 3020394 b510add 6cd05a0 b510add 6cd05a0 3020394 69db25a b510add 3020394 b510add 3020394 b510add 3020394 b510add 3020394 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 | """API YELY — module IA de vérification pompiste (modèle CRNN fine-tuné).
Endpoint unique : POST /analyze
- image (fichier, requis)
- fuel_price (float, optionnel) : prix du litre configuré côté YELY
- driver_id, pompiste_id, station_id (str, optionnels) : traçabilité
Réponse conforme au §9/§13 du cahier des charges YELY.
"""
import json
import logging
import os
import shutil
import tempfile
import uuid
from datetime import datetime, timezone
from pathlib import Path
import cv2
from fastapi import FastAPI, File, UploadFile, Form, HTTPException
from fastapi.middleware.cors import CORSMiddleware
from fastapi.responses import JSONResponse, FileResponse
from .config import load_config
from .preprocessing import detect_screen_region
from .quality import estimate_image_quality
from .recognizer import get_device, load_model, recognize_screen
from .postprocess import process as postprocess_results
from .rules import evaluate as evaluate_rules
from monitoring.feedback import record_feedback, CORRECTABLE_FIELDS
from monitoring.metrics import compute_metrics, list_failed_requests
MODULE_ROOT = Path(__file__).resolve().parent.parent
# YELY_DATA_DIR : répertoire persistant optionnel (ex. stockage persistant
# d'un Hugging Face Space, monté sur /data). Sans stockage persistant, un
# Space Docker gratuit repart de zéro à chaque redémarrage/veille — photos,
# logs et feedback.jsonl sont alors perdus. Voir docs/MONITORING.md pour la
# marche à suivre côté Space. Doit rester identique à `DATA_DIR` dans
# `monitoring/metrics.py` et `monitoring/feedback.py`.
DATA_DIR = Path(os.environ.get("YELY_DATA_DIR", str(MODULE_ROOT)))
LOG_DIR = DATA_DIR / "logs"
LOG_DIR.mkdir(parents=True, exist_ok=True)
PHOTOS_DIR = DATA_DIR / "photos"
PHOTOS_DIR.mkdir(parents=True, exist_ok=True)
# Identifiant du modèle actif, à faire varier entre deux versions ré-entraînées
# (voir docs/MONITORING.md) — permet de comparer les métriques d'une version
# à l'autre a posteriori dans les logs, sans changer le contrat de réponse.
MODEL_VERSION = os.environ.get("MODEL_VERSION", "crnn_v2_70.2pct")
logger = logging.getLogger("yely_ai_module")
logger.setLevel(logging.INFO)
_file_handler = logging.FileHandler(LOG_DIR / "api.log", encoding="utf-8")
_file_handler.setFormatter(logging.Formatter("%(asctime)s | %(levelname)s | %(message)s"))
logger.addHandler(_file_handler)
app = FastAPI(title="YELY — Module IA pompiste (CRNN)")
# Le frontend (Netlify) et l'API (Hugging Face Spaces) sont sur des domaines
# différents : sans CORS, le navigateur bloquerait la lecture de la réponse
# même si la requête aboutit côté serveur. ALLOWED_ORIGINS est une liste
# d'origines séparées par des virgules (ex. "https://yely-demo.netlify.app").
_allowed_origins = os.environ.get("ALLOWED_ORIGINS", "*")
app.add_middleware(
CORSMiddleware,
allow_origins=["*"] if _allowed_origins == "*" else _allowed_origins.split(","),
allow_methods=["GET", "POST"],
allow_headers=["*"],
)
SUPPORTED_IMAGE_TYPES = {"image/jpeg", "image/png", "image/bmp", "image/webp", "image/tiff"}
cfg = load_config()
_model = None
_device = None
def _safe_photo_path(photo_reference: str) -> Path | None:
"""Résout `photo_reference` sous `PHOTOS_DIR`, sans jamais sortir de ce
dossier (`Path.name` élimine tout `../`/séparateur). Retourne `None` si
le fichier n'existe pas — les appelants renvoient alors un 404.
"""
candidate = PHOTOS_DIR / Path(photo_reference).name
if candidate.exists() and candidate.parent == PHOTOS_DIR:
return candidate
return None
def _get_model():
global _model, _device
if _model is None:
_device = get_device()
_model = load_model(device=_device)
logger.info(f"Modèle CRNN chargé sur {_device}.")
return _model, _device
@app.post("/analyze")
async def analyze(
image: UploadFile = File(...),
fuel_price: float = Form(None),
driver_id: str = Form(None),
pompiste_id: str = Form(None),
station_id: str = Form(None),
):
if image.content_type not in SUPPORTED_IMAGE_TYPES:
raise HTTPException(status_code=400, detail="Type d'image non supporté")
transaction_id = str(uuid.uuid4())
transaction_datetime = datetime.now(timezone.utc).isoformat()
with tempfile.NamedTemporaryFile(delete=False, suffix=Path(image.filename).suffix) as tmp:
tmp.write(await image.read())
tmp_path = tmp.name
try:
img_bgr = cv2.imread(tmp_path)
if img_bgr is None:
raise HTTPException(status_code=400, detail="Impossible de lire l'image")
try:
crop, (sx, sy, sw, sh) = detect_screen_region(img_bgr)
img_to_process = crop if sw < img_bgr.shape[1] * 0.95 else img_bgr
model, device = _get_model()
recognized = recognize_screen(model, img_to_process, device)
parsed = postprocess_results(recognized, fuel_price=fuel_price, cfg=cfg)
quality = estimate_image_quality(img_to_process, ocr_results=recognized, cfg=cfg)
gate = evaluate_rules(parsed, quality, fuel_price, cfg)
except HTTPException:
raise
except Exception:
logger.exception("Erreur interne lors du traitement de l'image")
return JSONResponse(status_code=500, content={
"success": False,
"message": "Erreur interne de traitement",
"transaction_datetime": transaction_datetime,
})
photo_reference = None
try:
photo_reference = f"{transaction_id}{Path(image.filename).suffix}"
shutil.copyfile(tmp_path, PHOTOS_DIR / photo_reference)
except Exception:
logger.warning(f"Impossible de sauvegarder la photo pour la transaction {transaction_id}", exc_info=True)
photo_reference = None
response = {
"success": gate["success"],
"image_quality": quality["image_quality"],
"detected_liters": parsed["detected_liters"],
"detected_amount": parsed["detected_amount"],
"fuel_price": parsed["fuel_price"],
"calculated_amount": parsed["calculated_amount"],
"calculated_liters": parsed["calculated_liters"],
"is_consistent": parsed["is_consistent"],
"confidence_score": gate["confidence_score"],
"message": gate["message"],
"driver_id": driver_id,
"pompiste_id": pompiste_id,
"station_id": station_id,
"transaction_datetime": transaction_datetime,
"photo_reference": photo_reference,
}
logger.info(json.dumps({
"model_version": MODEL_VERSION,
"request": {
"filename": image.filename,
"fuel_price": fuel_price,
"driver_id": driver_id,
"pompiste_id": pompiste_id,
"station_id": station_id,
},
"response": response,
}, ensure_ascii=False))
return JSONResponse(content=response)
finally:
try:
os.remove(tmp_path)
except Exception:
pass
@app.post("/feedback")
async def feedback(
photo_reference: str = Form(...),
corrected_prix: float = Form(None),
corrected_volume: float = Form(None),
corrected_prix_litre: float = Form(None),
corrected_by: str = Form(None),
):
"""Corrections a posteriori (pompiste/station) sur une transaction déjà
traitée par `/analyze` — matière première de l'apprentissage continu.
Voir docs/MONITORING.md pour le fonctionnement complet de la boucle.
"""
if _safe_photo_path(photo_reference) is None:
raise HTTPException(status_code=404, detail="photo_reference inconnue (transaction introuvable)")
corrected_fields = {}
if corrected_prix is not None:
corrected_fields["prix"] = corrected_prix
if corrected_volume is not None:
corrected_fields["volume"] = corrected_volume
if corrected_prix_litre is not None:
corrected_fields["prix_litre"] = corrected_prix_litre
if not corrected_fields:
raise HTTPException(status_code=400, detail="Aucune correction fournie (corrected_prix/corrected_volume/corrected_prix_litre)")
entry = record_feedback(photo_reference, corrected_fields, corrected_by=corrected_by)
logger.info(json.dumps({"feedback": entry}, ensure_ascii=False))
return JSONResponse(content={"success": True, "feedback_id": entry["feedback_id"]})
@app.get("/metrics")
async def metrics():
"""Aperçu agrégé des performances observées en production (§3 de
docs/WORKFLOW.md) : taux de succès, confiance moyenne, causes de blocage.
Calculé à la volée à partir de `logs/api.log` — pas d'état en mémoire.
"""
return JSONResponse(content=compute_metrics())
@app.get("/failures")
async def failures(limit: int = 20):
"""Dernières transactions bloquées (`success=false`), pour la section
« Requêtes échouées » de `web/stats.html` — chaque entrée référence sa
photo via `photo_reference`, servie par `GET /photos/{photo_reference}`.
"""
return JSONResponse(content=list_failed_requests(limit=limit))
@app.get("/photos/{photo_reference}")
async def get_photo(photo_reference: str):
"""Ressert une photo déjà reçue par `/analyze`, pour l'affichage dans
le tableau de bord et le formulaire de correction (`web/feedback.html`).
"""
photo_path = _safe_photo_path(photo_reference)
if photo_path is None:
raise HTTPException(status_code=404, detail="Photo introuvable")
return FileResponse(photo_path)
|