axgarc commited on
Commit
38ea86b
·
1 Parent(s): 6730532

First attempt

Browse files
Dockerfile ADDED
@@ -0,0 +1,30 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ FROM python:3.13.5-slim
2
+
3
+ RUN useradd -m -u 1000 user
4
+ USER user
5
+
6
+ WORKDIR /app
7
+
8
+ RUN apt-get update && apt-get install -y \
9
+ build-essential \
10
+ curl \
11
+ git \
12
+ && rm -rf /var/lib/apt/lists/*
13
+
14
+ # Copiar las dependencias primero para aprovechar el cache
15
+ COPY --chown=user ./requirements.txt requirements.txt
16
+ RUN pip install --no-cache-dir --upgrade -r requirements.txt
17
+
18
+ # Copiar el resto del código de la aplicación
19
+ COPY --chown=user . /app
20
+
21
+ # Variables de entorno
22
+ ENV PYTHONUNBUFFERED=1
23
+ ENV MODEL_PATH=/app/models/model.json
24
+ ENV ENCODER_PATH=/app/models/label-encoder.joblib
25
+
26
+ # Exponer el puerto 7860
27
+ EXPOSE 7860
28
+
29
+ # Comando para ejecutar la aplicación
30
+ CMD ["uvicorn", "backend.main:app", "--host", "0.0.0.0", "--port", "7860"]
backend/config.py ADDED
@@ -0,0 +1,37 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ from pathlib import Path
2
+ import os
3
+
4
+ BASE_DIR = Path(__file__).resolve().parent.parent
5
+
6
+
7
+ def _default_model_path():
8
+ return str(BASE_DIR / "models" / "model.json")
9
+
10
+
11
+ def _default_encoder_path():
12
+ return str(BASE_DIR / "models" / "label-encoder.joblib")
13
+
14
+
15
+ # Prefer pydantic-settings (separate package) for pydantic v2 compatibility.
16
+ try:
17
+ from pydantic_settings import BaseSettings
18
+
19
+ class Settings(BaseSettings):
20
+ MODEL_PATH: str = _default_model_path()
21
+ ENCODER_PATH: str = _default_encoder_path()
22
+ HOST: str = "0.0.0.0"
23
+ PORT: int = 8000
24
+
25
+ class Config:
26
+ env_file = ".env"
27
+
28
+ settings = Settings()
29
+ except Exception:
30
+ # Fallback mínimo sin dependencias: leer variables de entorno o usar defaults.
31
+ class Settings:
32
+ MODEL_PATH: str = os.environ.get("MODEL_PATH", _default_model_path())
33
+ ENCODER_PATH: str = os.environ.get("ENCODER_PATH", _default_encoder_path())
34
+ HOST: str = os.environ.get("HOST", "0.0.0.0")
35
+ PORT: int = int(os.environ.get("PORT", "8000"))
36
+
37
+ settings = Settings()
backend/main.py ADDED
@@ -0,0 +1,412 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ # backend/main.py
2
+ """API de predicción para candidatos Kepler (KOI).
3
+ Recibe una fila de características y devuelve una clasificación: `CONFIRMED` o `FALSE POSITIVE`."""
4
+
5
+ from fastapi import FastAPI, HTTPException, UploadFile, File
6
+ from pydantic import BaseModel, Field
7
+ import logging
8
+ from fastapi.middleware.cors import CORSMiddleware
9
+ import joblib
10
+ import pandas as pd
11
+ from typing import List, Dict, Any
12
+ from pathlib import Path
13
+ import xgboost as xgb
14
+ import numpy as np
15
+ import io
16
+
17
+
18
+ from .config import settings
19
+
20
+
21
+ app = FastAPI(
22
+ title="Exoplanet Prediction API",
23
+ description="Servicio de ML para clasificar Candidatos Kepler (KOI) en CONFIRMED o FALSE POSITIVE."
24
+ )
25
+
26
+ # Logging básico
27
+ logging.basicConfig(level=logging.INFO)
28
+ logger = logging.getLogger("exoplanet_api")
29
+
30
+ # Rutas y settings
31
+ MODELO_XGB_PATH = settings.MODEL_PATH
32
+ ENCODER_PATH = settings.ENCODER_PATH
33
+
34
+ MODELO = None
35
+ LE = None
36
+ COLUMNAS_ESPERADAS: List[str] = []
37
+
38
+ selected_features = [
39
+ "koi_prad",
40
+ "koi_dicco_msky",
41
+ "koi_dor",
42
+ "koi_max_mult_ev",
43
+ "koi_model_snr",
44
+ "koi_max_sngle_ev",
45
+ "koi_fwm_stat_sig",
46
+ "koi_num_transits",
47
+ "koi_ror",
48
+ "koi_fwm_srao",
49
+ "koi_srho",
50
+ "koi_insol",
51
+ "koi_duration",
52
+ "koi_teq",
53
+ "koi_period",
54
+ ]
55
+
56
+ COLUMNAS_ESPERADAS = selected_features
57
+
58
+
59
+ class PredictPayload(BaseModel):
60
+ koi_prad: float = Field(...)
61
+ koi_dicco_msky: float = Field(...)
62
+ koi_dor: float = Field(...)
63
+ koi_max_mult_ev: float = Field(...)
64
+ koi_model_snr: float = Field(...)
65
+ koi_max_sngle_ev: float = Field(...)
66
+ koi_fwm_stat_sig: float = Field(...)
67
+ koi_num_transits: float = Field(...)
68
+ koi_ror: float = Field(...)
69
+ koi_fwm_srao: float = Field(...)
70
+ koi_srho: float = Field(...)
71
+ koi_insol: float = Field(...)
72
+ koi_duration: float = Field(...)
73
+ koi_teq: float = Field(...)
74
+ koi_period: float = Field(...)
75
+
76
+ class Config:
77
+ example_obj = {
78
+ "koi_prad": 1.0,
79
+ "koi_dicco_msky": 0.5,
80
+ "koi_dor": 0.1,
81
+ "koi_max_mult_ev": 0.2,
82
+ "koi_model_snr": 10.0,
83
+ "koi_max_sngle_ev": 5.0,
84
+ "koi_fwm_stat_sig": 0.01,
85
+ "koi_num_transits": 3,
86
+ "koi_ror": 0.02,
87
+ "koi_fwm_srao": 0.1,
88
+ "koi_srho": 0.05,
89
+ "koi_insol": 1360.0,
90
+ "koi_duration": 2.5,
91
+ "koi_teq": 250.0,
92
+ "koi_period": 365.0
93
+ }
94
+ # Pydantic v1 uses `schema_extra`; v2 uses `json_schema_extra`.
95
+ schema_extra = {"example": example_obj}
96
+ json_schema_extra = {"example": example_obj}
97
+
98
+
99
+ class PredictionResponse(BaseModel):
100
+ status: str
101
+ prediction: str
102
+ probability_confirmed: float
103
+ probability_false_positive: float
104
+ model_used: str
105
+
106
+ class Config:
107
+ example_obj = {
108
+ "status": "success",
109
+ "prediction": "FALSE POSITIVE",
110
+ "probability_confirmed": 0.009942352771759033,
111
+ "probability_false_positive": 0.990057647228241,
112
+ "model_used": "XGBoost (JSON)"
113
+ }
114
+ schema_extra = {"example": example_obj}
115
+ json_schema_extra = {"example": example_obj}
116
+
117
+ @app.on_event("startup")
118
+ def load_model_and_encoder():
119
+ """Cargar el encoder y el modelo en el evento de arranque.
120
+
121
+ Las rutas vienen de `backend.config.settings` y pueden sobreescribirse por env vars.
122
+ """
123
+ global MODELO, LE
124
+ try:
125
+ LE = joblib.load(str(ENCODER_PATH))
126
+
127
+ MODELO = xgb.XGBClassifier()
128
+ MODELO.load_model(str(MODELO_XGB_PATH))
129
+
130
+ print(f"Modelo XGBoost (JSON) cargado exitosamente desde: {MODELO_XGB_PATH}")
131
+ print(f"Clases disponibles: {LE.classes_}")
132
+
133
+ except FileNotFoundError:
134
+ print(f"ERROR: No se encontró uno o más archivos. Revise las rutas: {MODELO_XGB_PATH}, {ENCODER_PATH}")
135
+ MODELO = None
136
+ except Exception as e:
137
+ print(f"ERROR al cargar componentes: {e}")
138
+ MODELO = None
139
+
140
+
141
+ origins = ["*"]
142
+
143
+ app.add_middleware(
144
+ CORSMiddleware,
145
+ allow_origins=origins,
146
+ allow_credentials=True,
147
+ allow_methods=["*"],
148
+ allow_headers=["*"],
149
+ )
150
+ # Endpoint de prueba
151
+
152
+ @app.get("/")
153
+ def read_root():
154
+ """Endpoint de prueba para verificar si la API funciona."""
155
+ ready = MODELO is not None
156
+ return {"message": "Exoplanet ML API está funcionando correctamente.", "model_ready": ready}
157
+
158
+
159
+ @app.get("/health")
160
+ def health_check():
161
+ """Liveness probe simple."""
162
+ return {"status": "ok"}
163
+
164
+
165
+ @app.get("/ready")
166
+ def readiness_check():
167
+ """Readiness probe — devuelve 200 solo si el modelo y el encoder están cargados."""
168
+ if MODELO is None or LE is None:
169
+ raise HTTPException(status_code=503, detail="Servicio no listo")
170
+ return {"status": "ready"}
171
+
172
+
173
+ @app.get("/model_metadata")
174
+ def model_metadata():
175
+ """Devuelve metadata simple del modelo: features esperadas y clases."""
176
+ if LE is None:
177
+ raise HTTPException(status_code=503, detail="El decodificador de etiquetas no cargó.")
178
+ return {"features": COLUMNAS_ESPERADAS, "classes": LE.classes_.tolist()}
179
+
180
+ def imputar_nulos_con_media_condicional(data: pd.DataFrame) -> pd.DataFrame:
181
+ """Imputa valores nulos usando la media por columna (solo columnas numéricas).
182
+
183
+ Si no hay columnas numéricas, devuelve el DataFrame sin cambios.
184
+ """
185
+ try:
186
+ return data.fillna(data.mean())
187
+ except Exception:
188
+ return data
189
+
190
+
191
+ @app.post("/predict_csv_row", response_model=PredictionResponse)
192
+ def predict_exoplanet(payload: PredictPayload):
193
+ """
194
+ Recibe los datos de una fila de exoplanetas (JSON) y devuelve una predicción.
195
+ """
196
+ if MODELO is None or not COLUMNAS_ESPERADAS:
197
+ raise HTTPException(status_code=503, detail="Servicio de predicción inactivo.")
198
+
199
+ if LE is None:
200
+ raise HTTPException(status_code=503, detail="El decodificador de etiquetas no cargó.")
201
+
202
+ try:
203
+ logger.info("Entrada de predicción recibida")
204
+ data = payload.dict()
205
+ input_data = pd.DataFrame([data])
206
+
207
+ missing_cols = [c for c in COLUMNAS_ESPERADAS if c not in input_data.columns]
208
+ if missing_cols:
209
+ raise ValueError(f"Faltan columnas críticas: {missing_cols}")
210
+
211
+ input_data = input_data[COLUMNAS_ESPERADAS]
212
+
213
+ input_data_processed = imputar_nulos_con_media_condicional(input_data)
214
+
215
+ # Asegurarse de que los datos sean numéricos antes de predecir
216
+ try:
217
+ input_array = input_data_processed.astype(float).values
218
+ except Exception as e:
219
+ raise ValueError(f"Error al convertir columnas a numérico: {e}")
220
+
221
+ # Usar la API sklearn del XGBClassifier (arrays / DataFrame) en lugar de DMatrix
222
+ prediction_num = MODELO.predict(input_array)
223
+ prediction_num_class = np.asarray(prediction_num).astype(int)
224
+
225
+ # Obtener probabilidades de forma segura
226
+ try:
227
+ proba = MODELO.predict_proba(input_array)[0].tolist()
228
+ except Exception:
229
+ # Fallback: construir probabilidades determinísticas según la predicción
230
+ proba = [0.0, 0.0]
231
+ if prediction_num_class[0] == 1:
232
+ proba[1] = 1.0
233
+ else:
234
+ proba[0] = 1.0
235
+
236
+ # Determinar el índice asociado a la clase "CONFIRMED" en el LabelEncoder
237
+ try:
238
+ classes_list = list(LE.classes_)
239
+ idx_confirmed = classes_list.index('CONFIRMED')
240
+ except Exception:
241
+ # Si no existe la etiqueta exacta, asumimos orden [negativo, positivo]
242
+ idx_confirmed = 1 if len(LE.classes_) == 2 else 0
243
+
244
+ prob_confirmed = float(proba[idx_confirmed]) if idx_confirmed < len(proba) else 0.0
245
+ prob_false_positive = float(proba[1 - idx_confirmed]) if (1 - idx_confirmed) < len(proba) else 0.0
246
+
247
+ result = LE.inverse_transform([prediction_num_class[0]])[0]
248
+
249
+ resp = {
250
+ "status": "success",
251
+ "prediction": str(result),
252
+ "probability_confirmed": prob_confirmed,
253
+ "probability_false_positive": prob_false_positive,
254
+ "model_used": "XGBoost (JSON)"
255
+ }
256
+
257
+ logger.info(f"Predicción: {resp}")
258
+
259
+ return resp
260
+
261
+ except ValueError as e:
262
+ raise HTTPException(status_code=400, detail=f"Error en los datos de entrada: {e}")
263
+
264
+ except Exception as e:
265
+ raise HTTPException(status_code=500, detail=f"Error interno del servidor de ML: {str(e)}")
266
+
267
+
268
+ @app.post("/predict_csv", response_model=List[PredictionResponse])
269
+ async def predict_from_csv(file: UploadFile = File(...)):
270
+ """Recibe un archivo CSV (multipart/form-data) con varias filas y devuelve predicciones para cada fila.
271
+
272
+ Procesa el CSV en chunks para evitar cargar todo en memoria. El CSV debe contener
273
+ las mismas columnas listadas en `COLUMNAS_ESPERADAS`.
274
+ """
275
+ if MODELO is None or not COLUMNAS_ESPERADAS:
276
+ raise HTTPException(status_code=503, detail="Servicio de predicci\u00f3n inactivo.")
277
+ if LE is None:
278
+ raise HTTPException(status_code=503, detail="El decodificador de etiquetas no carg\u00f3.")
279
+
280
+ try:
281
+ # Leer todo el contenido de UploadFile en memoria como texto y usar
282
+ # pd.read_csv sobre un StringIO con chunksize. Evita wrappers que
283
+ # requieren métodos no disponibles en SpooledTemporaryFile.
284
+ content = await file.read()
285
+ text = content.decode('utf-8')
286
+ text_stream = io.StringIO(text)
287
+
288
+ chunk_size = 1000
289
+ results = []
290
+
291
+ for chunk in pd.read_csv(text_stream, chunksize=chunk_size):
292
+ # Validar columnas en el primer chunk
293
+ missing_cols = [c for c in COLUMNAS_ESPERADAS if c not in chunk.columns]
294
+ if missing_cols:
295
+ raise ValueError(f"Faltan columnas cr\u00edticas en el CSV: {missing_cols}")
296
+
297
+ chunk = chunk[COLUMNAS_ESPERADAS]
298
+ chunk_processed = imputar_nulos_con_media_condicional(chunk)
299
+
300
+ try:
301
+ arr = chunk_processed.astype(float).values
302
+ except Exception as e:
303
+ raise ValueError(f"Error al convertir columnas a num\u00e9rico: {e}")
304
+
305
+ preds = MODELO.predict(arr)
306
+ try:
307
+ probas = MODELO.predict_proba(arr)
308
+ except Exception:
309
+ probas = np.zeros((len(preds), 2))
310
+ for i, p in enumerate(preds):
311
+ if int(p) == 1:
312
+ probas[i, 1] = 1.0
313
+ else:
314
+ probas[i, 0] = 1.0
315
+
316
+ classes_list = list(LE.classes_)
317
+ try:
318
+ idx_confirmed = classes_list.index('CONFIRMED')
319
+ except Exception:
320
+ idx_confirmed = 1 if len(classes_list) == 2 else 0
321
+
322
+ for i in range(len(preds)):
323
+ pred_label = LE.inverse_transform([int(preds[i])])[0]
324
+ prob_confirmed = float(probas[i, idx_confirmed]) if idx_confirmed < probas.shape[1] else 0.0
325
+ prob_false = float(probas[i, 1 - idx_confirmed]) if (1 - idx_confirmed) < probas.shape[1] else 0.0
326
+
327
+ results.append({
328
+ "status": "success",
329
+ "prediction": str(pred_label),
330
+ "probability_confirmed": prob_confirmed,
331
+ "probability_false_positive": prob_false,
332
+ "model_used": "XGBoost (JSON)"
333
+ })
334
+
335
+ return results
336
+
337
+ except ValueError as e:
338
+ raise HTTPException(status_code=400, detail=f"Error en los datos de entrada: {e}")
339
+ except Exception as e:
340
+ raise HTTPException(status_code=500, detail=f"Error interno del servidor de ML: {str(e)}")
341
+
342
+
343
+ @app.post("/predict_csv_raw", response_model=List[PredictionResponse])
344
+ async def predict_from_csv_raw(body: bytes = None):
345
+ """Aceptar CSV en texto plano (Content-Type: text/csv) en el body de la petición.
346
+
347
+ Esto es útil para integraciones que envían el CSV en el cuerpo (no multipart).
348
+ """
349
+ if MODELO is None or not COLUMNAS_ESPERADAS:
350
+ raise HTTPException(status_code=503, detail="Servicio de predicci\u00f3n inactivo.")
351
+ if LE is None:
352
+ raise HTTPException(status_code=503, detail="El decodificador de etiquetas no carg\u00f3.")
353
+
354
+ if not body:
355
+ raise HTTPException(status_code=400, detail="Request body vacío. Se espera CSV en el body.")
356
+
357
+ try:
358
+ text = body.decode('utf-8')
359
+ text_stream = io.StringIO(text)
360
+
361
+ chunk_size = 1000
362
+ results = []
363
+
364
+ for chunk in pd.read_csv(text_stream, chunksize=chunk_size):
365
+ missing_cols = [c for c in COLUMNAS_ESPERADAS if c not in chunk.columns]
366
+ if missing_cols:
367
+ raise ValueError(f"Faltan columnas cr\u00edticas en el CSV: {missing_cols}")
368
+
369
+ chunk = chunk[COLUMNAS_ESPERADAS]
370
+ chunk_processed = imputar_nulos_con_media_condicional(chunk)
371
+
372
+ try:
373
+ arr = chunk_processed.astype(float).values
374
+ except Exception as e:
375
+ raise ValueError(f"Error al convertir columnas a num\u00e9rico: {e}")
376
+
377
+ preds = MODELO.predict(arr)
378
+ try:
379
+ probas = MODELO.predict_proba(arr)
380
+ except Exception:
381
+ probas = np.zeros((len(preds), 2))
382
+ for i, p in enumerate(preds):
383
+ if int(p) == 1:
384
+ probas[i, 1] = 1.0
385
+ else:
386
+ probas[i, 0] = 1.0
387
+
388
+ classes_list = list(LE.classes_)
389
+ try:
390
+ idx_confirmed = classes_list.index('CONFIRMED')
391
+ except Exception:
392
+ idx_confirmed = 1 if len(classes_list) == 2 else 0
393
+
394
+ for i in range(len(preds)):
395
+ pred_label = LE.inverse_transform([int(preds[i])])[0]
396
+ prob_confirmed = float(probas[i, idx_confirmed]) if idx_confirmed < probas.shape[1] else 0.0
397
+ prob_false = float(probas[i, 1 - idx_confirmed]) if (1 - idx_confirmed) < probas.shape[1] else 0.0
398
+
399
+ results.append({
400
+ "status": "success",
401
+ "prediction": str(pred_label),
402
+ "probability_confirmed": prob_confirmed,
403
+ "probability_false_positive": prob_false,
404
+ "model_used": "XGBoost (JSON)"
405
+ })
406
+
407
+ return results
408
+
409
+ except ValueError as e:
410
+ raise HTTPException(status_code=400, detail=f"Error en los datos de entrada: {e}")
411
+ except Exception as e:
412
+ raise HTTPException(status_code=500, detail=f"Error interno del servidor de ML: {str(e)}")
models/label-encoder.joblib ADDED
Binary file (502 Bytes). View file
 
models/model.json ADDED
The diff for this file is too large to render. See raw diff
 
requirements.txt ADDED
@@ -0,0 +1,16 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ # Servidor Web y Utilidades
2
+ fastapi
3
+ uvicorn[standard] # Para correr el servidor de forma asíncrona (ASGI)
4
+ requests # Para scripts cliente y tests
5
+
6
+ # Machine Learning y Serialización
7
+ joblib # Para cargar el modelo serializado (XGBoost + SMOTE)
8
+ pandas # Para manejar y estructurar los datos (DataFrames)
9
+ pydantic # Para la validación de los datos de entrada (JSON) en FastAPI
10
+ numpy # Dependencia base de Pandas y Scikit-learn
11
+ typing # Base de Python, pero bueno listarla si se usa extensivamente
12
+
13
+ # Dependencias del Modelo
14
+ xgboost-cpu
15
+ scikit-learn # Base para el pipeline, el preprocesamiento y LabelEncoder
16
+ python-multipart # Necesario para UploadFile / multipart en FastAPI