Update src/module/AIP.py

src/module/AIP.py

@@ -1,9 +1,9 @@
 """
-MODULE JASMINE AGENT - EXECUTIVE EDITION
-========================================
-Responsabilité : Cerveau central. Analyse stratégique et recommandations de direction.
+MODULE JASMINE AGENT - EXECUTIVE DIRECTOR EDITION (FINAL)
+=========================================================
+Responsabilité : Cerveau central. Analyse stratégique, interprétation et recommandations.
 Niveau : C-Level (Directeur Général).
-Capacités : Connexion profonde aux moteurs de calcul (Forecasting, Dashboard, DQ).
+Correctifs appliqués : Gestion variable DQ, Clamping Scores, Analyse Démographique complète.
 """
 
 import google.generativeai as genai
@@ -17,10 +17,8 @@ import numpy as np
 import traceback
 
 # --- IMPORTATION ROBUSTE DES MODULES ---
-# Jasmine s'adapte aux modules disponibles pour éviter les crashs
 try:
     from module.Validation_Contract import ETL_Engine
-    # MISE A JOUR: Import des nouveaux moteurs du Dashboard
     from module.Dashboard import RealtimeMonitor, CrisisSimulator
     from module.Data_Exploration import HospitalAdvancedAnalyzer
     from module.Indicateurs_DQ import HospitalDataQualityAnalyzer, load_from_google_sheets
@@ -79,7 +77,7 @@ class JasmineAgent:
             "get_data_quality_report": {"func": self._get_dq_stats_wrapper, "desc": "Audit : Fiabilité des données."}
         }
 
-    # --- WRAPPERS INTELLIGENTS (Extraction de contexte riche) ---
+    # --- WRAPPERS (Extraction de données brutes) ---
 
     def _run_etl_wrapper(self, args=None):
         try:
@@ -87,7 +85,6 @@ class JasmineAgent:
             success, result = engine.run_etl()
             if success:
                 st.session_state.data_explorer = result
-                # On retourne le résumé complet pour analyse
                 return {"status": "succès", "details": result.get_summary()}
             return {"status": "erreur", "message": "Échec critique du pipeline ETL."}
         except Exception as e: return {"status": "crash", "message": str(e)}
@@ -99,10 +96,7 @@ class JasmineAgent:
             df_final, msg = engineer.build_full_dataset()
             if df_final is not None:
                 st.session_state['ml_features'] = df_final
-                # Analyse rapide des features générées pour le contexte
-                cols = list(df_final.columns)
-                lags = [c for c in cols if 'lag' in c]
-                return {"status": "succès", "details": {"lignes": len(df_final), "total_features": len(cols), "lags_detectes": len(lags)}}
+                return {"status": "succès", "details": {"lignes": len(df_final), "features": len(df_final.columns)}}
             return {"status": "erreur", "message": msg}
         except Exception as e: return {"status": "crash", "message": str(e)}
 
@@ -114,49 +108,46 @@ class JasmineAgent:
             metrics = forecaster.train_all_models()
             st.session_state['forecaster'] = forecaster
             st.session_state['metrics'] = metrics
+            best = forecaster.best_model_name
             
-            # On renvoie toutes les métriques pour comparaison
-            return {"status": "succès", "details": metrics}
+            # On retourne les détails du meilleur modèle
+            return {"status": "succès", "details": {"best_model": best, "r2": metrics[best]['R²'], "mae": metrics[best]['MAE']}}
         except Exception as e: return {"status": "crash", "message": str(e)}
 
     def _get_forecast_wrapper(self, args=None):
         try:
             if 'forecaster' not in st.session_state: return {"status": "erreur", "message": "IA non entraînée."}
             forecaster = st.session_state['forecaster']
-            # On demande 3 mois pour voir la tendance long terme
             dates, values, conf = forecaster.generate_future_forecast_recursive(months=3)
             alerts = forecaster.detect_future_anomalies(values)
-            
-            # Analyse statistique de la prédiction
             trend_pct = ((values[-1] - values[0]) / values[0]) * 100
             
             return {
                 "status": "succès", 
                 "details": {
                     "tendance_pct": trend_pct,
-                    "min_val": float(np.min(values)),
                     "max_val": float(np.max(values)),
-                    "mean_val": float(np.mean(values)),
-                    "alertes": alerts, # Liste complète des alertes
-                    "confiance_spread": float(np.mean(conf['upper'] - conf['lower'])) # Indicateur d'incertitude
+                    "alertes": alerts
                 }
             }
         except Exception as e: return {"status": "crash", "message": str(e)}
 
     def _get_kpis_wrapper(self, args=None):
         try:
-            # CORRECTION MAJEURE : Utilisation du RealtimeMonitor
             if 'ml_features' not in st.session_state or 'forecaster' not in st.session_state:
                 return {"status": "erreur", "message": "Le Cockpit nécessite les données ML et le modèle entraîné."}
             
             monitor = RealtimeMonitor(st.session_state['ml_features'], st.session_state['forecaster'])
-            state = monitor.current_state # Récupère tout l'état (KPIs + tendances + alertes)
+            state = monitor.current_state 
             
-            # On ajoute l'analyse par service
+            # Extraction propre du service en tension
             services_breakdown = monitor.get_service_breakdown()
-            top_tension_service = services_breakdown.iloc[0].name if services_breakdown is not None else "Inconnu"
+            if services_breakdown is not None and not services_breakdown.empty:
+                # On s'assure que c'est une string propre
+                top_tension_service = str(services_breakdown.index[0])
+            else:
+                top_tension_service = "Global"
             
-            # On fusionne tout
             state['top_tension_service'] = top_tension_service
             
             return {"status": "succès", "details": state}
@@ -168,14 +159,21 @@ class JasmineAgent:
             if not analyzer.load_data(): return {"status": "erreur", "message": "Données historiques inaccessibles."}
             
             df_pat = analyzer.get_df('patients')
+            df_sej = analyzer.get_df('sejours')
             stats = {}
+            
             if df_pat is not None:
                 df_pat['age'] = pd.to_numeric(df_pat['age'], errors='coerce')
                 stats['demographie'] = {
                     'total': len(df_pat),
                     'age_moyen': round(df_pat['age'].mean(), 1),
-                    'senior_ratio': round((df_pat['age'] > 65).mean() * 100, 1)
+                    'senior_ratio': round((df_pat['age'] > 65).mean() * 100, 1),
+                    'sex_ratio': df_pat['sexe'].value_counts(normalize=True).to_dict()
                 }
+            
+            if df_sej is not None:
+                stats['pathologie'] = df_sej['pathologie_code'].mode()[0] if not df_sej.empty else "N/A"
+                
             return {"status": "succès", "details": stats}
         except Exception as e: return {"status": "crash", "message": str(e)}
 
@@ -184,9 +182,7 @@ class JasmineAgent:
             raw_data = load_from_google_sheets(self.gspread_client, "bdd_mvp_faker")
             dq = HospitalDataQualityAnalyzer(raw_data)
             scores = dq.compute_global_score()
-            
-            # On veut savoir où sont les problèmes exactement
-            details_anomalies = {k: v['anomalies'] for k, v in dq.metrics.items() if 'anomalies' in v}
+            details_anomalies = {k: int(v['anomalies']) for k, v in dq.metrics.items() if 'anomalies' in v}
             
             return {
                 "status": "succès", 
@@ -197,140 +193,149 @@ class JasmineAgent:
             }
         except Exception as e: return {"status": "crash", "message": str(e)}
 
-    # --- CERVEAU ANALYTIQUE (Human Response Engine) ---
+    # --- CERVEAU ANALYTIQUE (Le Cœur du Système) ---
     def _generate_human_response(self, tool_name, d):
         """
-        Génère une analyse structurée : Constat -> Analyse -> Stratégie.
+        Traduit les données techniques en analyse de direction.
+        Structure: Constat -> Analyse -> Stratégie.
         """
         
-        # 1. ANALYSE DU COCKPIT (Présent)
+        # 1. MONITORING TEMPS RÉEL (COCKPIT)
         if tool_name == "get_hospital_kpis":
             taux = d.get('taux_occupation', 0) * 100
             trend = d.get('trend_occupation', 0)
-            score = d.get('health_score', 100)
+            score = min(d.get('health_score', 100), 100) # Clamping pour éviter 182/100
             tension_rh = d.get('tension_personnel', 0)
             service_top = d.get('top_tension_service', 'N/A')
             
             msg = "### 🚁 Rapport de Situation Temps Réel\n\n"
+            msg += f"**État Global :** Score de santé de **{score:.0f}/100**.\n"
+            msg += f"- Occupation : **{taux:.1f}%** (Tendance 72h: {trend:+.1f}%)\n"
+            msg += f"- Tension RH : **{tension_rh:.2f}** (Seuil critique > 1.2)\n\n"
             
-            # Constat
-            msg += f"**État Global :** Le score de santé de l'hôpital est de **{score:.0f}/100**.\n"
-            msg += f"- Occupation : **{taux:.1f}%** ({trend:+.1f}% sur 72h)\n"
-            msg += f"- Tension RH : **{tension_rh:.2f}** (Normal = 1.0)\n\n"
+            msg += "**🧠 Analyse :** "
+            if taux > 90: msg += "Saturation imminente. L'inertie des admissions risque de bloquer les urgences. "
+            elif taux > 80: msg += "Activité dense. Les capacités tampons sont entamées. "
+            else: msg += "Situation fluide, capacités d'absorption disponibles. "
             
-            # Analyse
-            msg += "**🧠 Analyse Profonde :**\n"
-            if taux > 90:
-                msg += "Nous sommes en zone de saturation critique. La tendance montre une inertie qui risque de bloquer les urgences d'ici 24h. "
-            elif taux > 80:
-                msg += "L'activité est dense mais fluide. Les capacités tampons sont entamées. "
-            else:
-                msg += "L'hôpital est en sous-régime, ce qui permet d'absorber un éventuel choc externe. "
-                
-            if tension_rh > 1.1:
-                msg += f"Le point de friction majeur est le service **{service_top}**, où le manque de personnel crée un goulot d'étranglement.\n\n"
-            else:
-                msg += "L'adéquation charge/ressource est optimale.\n\n"
-                
-            # Stratégie
-            msg += "**🎯 Recommandations Stratégiques :**\n"
-            if score < 60:
-                msg += "1. **PRIORITAIRE :** Déclencher le niveau 1 du Plan Blanc pour libérer des lits.\n"
-                msg += f"2. Redéployer immédiatement du personnel vers le service {service_top}.\n"
-                msg += "3. Suspendre les admissions programmées non-urgentes pour 48h."
-            elif score < 80:
-                msg += f"1. Surveiller spécifiquement le service {service_top}.\n"
-                msg += "2. Préparer l'ouverture de lits 'buffer' si la tendance hausse se confirme."
+            msg += f"Le point de vigilance est le service **{service_top}**.\n\n"
+            
+            msg += "**🎯 Recommandations :**\n"
+            if score < 70:
+                msg += f"1. Priorité absolue : Désengorger le service {service_top}.\n"
+                msg += "2. Activer les lits supplémentaires (Plan Niveau 1).\n"
             else:
-                msg += "1. Maintenir le dispositif actuel.\n2. Profiter de l'accalmie pour effectuer les maintenances logistiques."
-                
+                msg += "1. Maintenir la surveillance standard.\n2. Optimiser les sorties pour lisser la charge de demain."
             return msg
 
-        # 2. ANALYSE PRÉDICTIVE (Futur)
+        # 2. PRÉDICTIONS (FORECASTING)
         elif tool_name == "get_future_forecast":
             tendance = d['tendance_pct']
             max_val = d['max_val']
             alertes = d['alertes']
             
-            msg = "### 🔮 Note de Prospective (3 Mois)\n\n"
-            
-            # Constat
+            msg = "### 🔮 Note Prospective (3 Mois)\n\n"
             direction = "HAUSSE" if tendance > 0 else "BAISSE"
-            msg += f"**Trajectoire :** Mes modèles anticipent une **{direction} globale de {abs(tendance):.1f}%** des admissions.\n"
-            msg += f"**Point Haut :** Nous attendons un pic à **{max_val:.0f} patients/jour**.\n\n"
+            msg += f"**Trajectoire :** Anticipation d'une **{direction} de {abs(tendance):.1f}%**.\n"
+            msg += f"**Pic attendu :** {max_val:.0f} admissions/jour.\n\n"
             
-            # Analyse
-            msg += "**🧠 Analyse des Risques :**\n"
+            msg += "**🧠 Analyse des Risques :** "
             if len(alertes) > 0:
-                nb_high = len([a for a in alertes if a['severity'] == 'HIGH'])
-                first_alert_day = alertes[0]['day']
-                msg += f"Je détecte **{len(alertes)} anomalies statistiques** dans la période à venir, dont **{nb_high} critiques**.\n"
-                msg += f"La première tension majeure apparaîtra dans **{first_alert_day} jours**. Cela correspond probablement à une saisonnalité forte (ex: épidémie) ou à un événement cyclique mal anticipé.\n\n"
+                msg += f"Je détecte **{len(alertes)} anomalies statistiques** à venir. "
+                msg += f"La première tension critique arrivera à **J+{alertes[0]['day']}**.\n\n"
             else:
-                msg += "La courbe prévisionnelle reste dans le tunnel de normalité. La variance est faible, ce qui indique une période de stabilité opérationnelle.\n\n"
+                msg += "Aucune anomalie majeure détectée. Le flux reste dans le tunnel de normalité.\n\n"
             
-            # Stratégie
-            msg += "**🎯 Actions Préventives :**\n"
-            if tendance > 15 or len(alertes) > 2:
-                msg += "1. **Anticipation RH :** Valider les plannings de garde pour J+30 dès maintenant.\n"
-                msg += "2. **Logistique :** Augmenter les stocks de consommables de +20% en prévision du pic.\n"
-                msg += "3. **Flux :** Prévenir les services d'aval (SSR) qu'une vague d'entrée arrive."
+            msg += "**🎯 Actions :**\n"
+            if tendance > 10:
+                msg += "1. Valider les plannings RH pour couvrir la hausse.\n2. Augmenter les stocks de consommables (+15%)."
             else:
-                msg += "1. Optimiser le taux d'occupation des lits programmés.\n"
-                msg += "2. Aucune mesure d'urgence requise."
-                
+                msg += "1. Optimiser le taux de remplissage des lits programmés."
             return msg
 
-        # 3. QUALITÉ DES DONNÉES (Fondation)
+        # 3. QUALITÉ DES DONNÉES (AUDIT)
         elif tool_name == "get_data_quality_report":
             scores = d['scores']
-            anomalies = d['anomalies_par_table']
-            total_anom = sum(anomalies.values())
+            anomalies_dict = d['anomalies_par_table']
+            total_anomalies = sum(anomalies_dict.values()) # Correction du bug "not defined"
             
-            msg = "### 🛡️ Audit de Fiabilité des Données\n\n"
-            msg += f"**Score de Confiance : {scores['global']}/100**\n"
-            msg += f"(Complétude : {scores['completeness']:.1f}% | Exactitude : {scores['accuracy']:.1f}%)\n\n"
+            msg = "### 🛡️ Audit Qualité des Données\n\n"
+            msg += f"**Indice de Confiance : {scores['global']}/100**\n"
+            msg += f"- Complétude : {scores['completeness']:.1f}%\n- Exactitude : {scores['accuracy']:.1f}%\n\n"
             
-            msg += "**🧠 Diagnostic Technique :**\n"
+            msg += "**🧠 Diagnostic :** "
             if total_anomalies > 0:
-                msg += f"J'ai identifié un total de **{total_anom} lignes corrompues** qui 'bruitent' mes analyses.\n"
-                worst_table = max(anomalies, key=anomalies.get)
-                msg += f"Le point noir se situe dans la table **'{worst_table}'** ({anomalies[worst_table]} erreurs). "
-                msg += "Ces erreurs (dates inversées, âges négatifs, doublons) réduisent la précision de mes prévisions d'environ 5 à 10%.\n\n"
+                worst_table = max(anomalies_dict, key=anomalies_dict.get)
+                msg += f"J'ai identifié **{total_anomalies} anomalies** qui 'bruitent' les analyses. "
+                msg += f"La source principale d'erreur est la table **'{worst_table}'** ({anomalies_dict[worst_table]} erreurs).\n\n"
             else:
-                msg += "Le Data Lake est propre. Les signaux faibles sont clairs.\n\n"
-                
-            msg += "**🎯 Plan de Remédiation :**\n"
-            if scores['global'] < 80:
-                msg += "1. **URGENT :** Demander au DSI de purger la table 'Patients' (doublons).\n"
-                msg += "2. Mettre en place des contraintes de saisie dans le logiciel métier (dates).\n"
-                msg += "3. Relancer l'ETL après correction manuelle."
+                msg += "Les données sont propres et fiables pour l'IA.\n\n"
+            
+            msg += "**🎯 Remédiation :**\n"
+            if scores['global'] < 85:
+                msg += "1. Demander une purge des doublons et erreurs de dates.\n2. Relancer l'ETL après correction."
             else:
-                msg += "Maintenir la surveillance automatisée hebdomadaire."
-                
+                msg += "Rien à signaler. Maintenir les processus actuels."
             return msg
 
-        # Par défaut (autres outils)
-        return f"✅ **Exécution Validée :** L'outil {tool_name} a fonctionné correctement. Les données ont été mises à jour dans le système central."
+        # 4. EXPLORATION (HISTORIQUE) - NOUVEAU BLOC AJOUTÉ
+        elif tool_name == "analyze_patient_stats":
+            demo = d.get('demographie', {})
+            patho = d.get('pathologie', 'N/A')
+            
+            msg = "### 🔬 Analyse Démographique & Clinique\n\n"
+            msg += f"**Cohorte :** {demo.get('total', 0)} patients analysés.\n"
+            msg += f"**Profil Type :** Âge moyen de **{demo.get('age_moyen', 0)} ans**.\n"
+            msg += f"**Gériatrie :** {demo.get('senior_ratio', 0)}% des patients ont plus de 65 ans.\n"
+            msg += f"**Pathologie Dominante :** {patho}.\n\n"
+            
+            msg += "**🧠 Interprétation :** "
+            if demo.get('senior_ratio', 0) > 40:
+                msg += "La population est vieillissante, ce qui implique des durées de séjour plus longues et une consommation de soins plus élevée. "
+            else:
+                msg += "La population est relativement jeune, favorisant un turn-over rapide (ambulatoire). "
+            
+            msg += "\n\n**🎯 Impact Stratégique :**\n"
+            msg += "1. Adapter les ratios soignants en fonction de la lourdeur des soins (liée à l'âge).\n"
+            msg += "2. Vérifier l'adéquation des équipements pour la pathologie dominante."
+            return msg
+
+        # 5. ETL (Mise à jour) - NOUVEAU BLOC
+        elif tool_name == "run_etl_pipeline":
+            return f"✅ **ETL Terminé :** Base de données synchronisée.\n- Lignes traitées : {d['total_rows_clean']:,}\n- Qualité : Nettoyage effectué avec succès."
+
+        # 6. TRAINING (IA) - NOUVEAU BLOC
+        elif tool_name == "train_forecasting_models":
+            r2 = d['r2'] * 100
+            return f"✅ **IA Mise à Jour :** Le modèle champion est **{d['best_model']}**.\n- Fiabilité (R²) : **{r2:.1f}%**\n- Précision (MAE) : +/- {d['mae']:.1f} admissions/jour."
+
+        # 7. FEATURES - NOUVEAU BLOC
+        elif tool_name == "run_feature_engineering":
+            return f"✅ **Préparation ML :** Dataset généré.\n- {d['lignes']:,} vecteurs d'apprentissage\n- {d['features']} variables explicatives créées."
+
+        return "Commande exécutée avec succès."
 
     # --- CERVEAU PRINCIPAL ---
     def ask(self, user_message, chat_history=[]):
         system_prompt = f"""
         ROLE: Tu es Jasmine, la Directrice des Opérations (COO) Virtuelle de l'hôpital.
-        TON: Autoritaire mais bienveillant, précis, orienté solution. Tu ne dis pas "je pense", tu dis "l'analyse montre".
+        TON: Autoritaire mais bienveillant, précis, orienté solution.
         
         OUTILS DISPONIBLES:
         {chr(10).join([f"- {k}: {v['desc']}" for k, v in self.tools_map.items()])}
         
-        DIRECTIVE SUPRÊME:
-        Ne te contente jamais de donner un chiffre. Donne le CONTEXTE, la CAUSE PROBABLE, et l'ACTION REQUISE.
+        RÈGLE D'OR:
+        Chaque réponse doit contenir :
+        1. Les Faits (Chiffres)
+        2. L'Analyse (Pourquoi ?)
+        3. La Stratégie (Quoi faire ?)
         
-        FORMAT DE RÉPONSE JSON ATTENDU:
+        FORMAT DE RÉPONSE JSON:
         {{
-          "thought": "Analyse interne de la demande...",
-          "tool": "nom_de_l_outil_a_lancer",
+          "thought": "Raisonnement interne...",
+          "tool": "nom_outil",
           "args": {{}},
-          "answer": "Texte si pas d'outil nécessaire"
+          "answer": "Texte si pas d'outil"
         }}
         """
 
@@ -352,7 +357,7 @@ class JasmineAgent:
                 break 
             except: continue
 
-        if not response_payload: return "❌ **Erreur Critique :** Mes services cognitifs ne répondent pas. Vérifiez les clés API.", None, None
+        if not response_payload: return "❌ **Erreur Critique :** Services cognitifs indisponibles.", None, None
 
         try:
             decision = json.loads(re.sub(r'```json\s*|\s*```', '', response_payload).strip())
@@ -362,7 +367,7 @@ class JasmineAgent:
             if tool_name in self.tools_map:
                 res = self.tools_map[tool_name]["func"]({})
                 if res["status"] == "succès":
-                    # C'est ici que la magie opère
+                    # Appel de la fonction de réponse humaine enrichie
                     final_response = self._generate_human_response(tool_name, res["details"])
                 else:
                     final_response = f"⚠️ **Alerte Technique :** {res.get('message')}"
@@ -385,7 +390,7 @@ def show_terminal(client, sheet_name="bdd_mvp_faker"):
         if msg.get("data"):
             with st.expander("💾 SYSTEM PAYLOAD"): st.json(msg["data"])
     
-    user_input = st.chat_input("Ordre à l'IA (ex: 'Audit complet', 'Situation RH', 'Prévisions')...")
+    user_input = st.chat_input("Ordre à l'IA (ex: 'Audit Qualité', 'Situation RH', 'Analyse Patients')...")
     if user_input:
         st.session_state.chat_history.append({"role": "user", "content": user_input})
         st.rerun()