Update src/module/Indicateurs_DQ.py

src/module/Indicateurs_DQ.py

@@ -0,0 +1,96 @@
+"""
+MODULE: INDICATEURS DATA QUALITY (DQ)
+=====================================
+Responsabilité : Audit, Détection d'anomalies, Visualisation des erreurs.
+Ne modifie pas les données, les juge.
+"""
+import streamlit as st
+import pandas as pd
+import plotly.express as px
+import plotly.graph_objects as go
+from Function.Validation_Contract import ETL_Engine
+
+def show_dq_dashboard(client, sheet_name):
+    st.markdown("## 🛡️ CENTRE DE CONTRÔLE DATA QUALITY")
+    
+    # On charge via l'ETL mais on va surtout analyser les NaN et les outliers
+    etl = ETL_Engine(client, sheet_name)
+    
+    # On vérifie si les données sont déjà en session, sinon on charge
+    if 'data_explorer' not in st.session_state or not st.session_state.data_explorer.dataframes:
+        st.info("Chargement des données pour Audit...")
+        success, data = etl.run_etl()
+        if success:
+            # Astuce: on stocke quand même dans le session_state global pour partager
+            # Mais ici on s'en sert pour la DQ
+            pass
+        else:
+            st.error(f"Erreur chargement : {data}")
+            return
+    else:
+        data = st.session_state.data_explorer.dataframes
+
+    # --- KPI GLOBAL ---
+    st.markdown("### 📊 Synthèse de Santé des Données")
+    col1, col2, col3, col4 = st.columns(4)
+    
+    df_pat = data.get('patients')
+    df_sej = data.get('sejours')
+    df_res = data.get('ressources')
+    
+    # Calcul des indicateurs inspirés du notebook
+    missing_birth = df_pat['date_naissance'].isnull().sum() if df_pat is not None else 0
+    inverted_dates = df_sej[df_sej['date_sortie'] < df_sej['date_entree']].shape[0] if df_sej is not None else 0
+    capa_overflow = df_res[df_res['lits_occupes'] > df_res['lits_total']].shape[0] if df_res is not None else 0
+    duplicates = df_pat.duplicated(subset=['nom', 'prenom']).sum() if df_pat is not None else 0
+    
+    col1.metric("Doublons Patients", duplicates, delta=None, delta_color="inverse")
+    col2.metric("Dates Inversées (Séjours)", inverted_dates, delta="Bloquant", delta_color="inverse")
+    col3.metric("Violations Capacité", capa_overflow, delta="Critique", delta_color="inverse")
+    col4.metric("Dates Naissance Manquantes", missing_birth, delta="Qualité", delta_color="inverse")
+
+    st.divider()
+
+    # --- SECTION 1 : COMPLETENESS (Remplissage) ---
+    st.subheader("1. Complétude des Données (Missing Values)")
+    if df_pat is not None:
+        # Calcul du taux de remplissage par colonne
+        missing_df = df_pat.isnull().mean() * 100
+        missing_df = missing_df[missing_df > 0].reset_index()
+        missing_df.columns = ['Colonne', 'Pourcentage Manquant']
+        
+        fig_miss = px.bar(missing_df, x='Colonne', y='Pourcentage Manquant', 
+                          title="Données manquantes - Table Patients",
+                          color='Pourcentage Manquant', color_continuous_scale='Reds')
+        st.plotly_chart(fig_miss, use_container_width=True)
+
+    # --- SECTION 2 : ACCURACY (Outliers) ---
+    st.subheader("2. Exactitude & Valeurs Aberrantes")
+    c1, c2 = st.columns(2)
+    
+    with c1:
+        if df_pat is not None:
+            # Visualisation des âges > 100 ans ou < 0
+            fig_age = px.box(df_pat, y='age', title="Distribution des Âges (Détection Outliers)",
+                             points="all") # Affiche tous les points
+            # Zone rouge pour les âges impossibles
+            fig_age.add_hrect(y0=120, y1=200, fillcolor="red", opacity=0.1, annotation_text="Erreur > 120 ans")
+            fig_age.add_hrect(y0=-10, y1=0, fillcolor="red", opacity=0.1, annotation_text="Négatif")
+            st.plotly_chart(fig_age, use_container_width=True)
+            
+    with c2:
+        if df_res is not None:
+            # Visualisation Occupation > 100%
+            df_res['taux_pct'] = df_res['taux_occupation'] * 100
+            fig_capa = px.scatter(df_res, x='date', y='taux_pct', color='service_code',
+                                  title="Anomalies de Capacité (>100%)")
+            fig_capa.add_hline(y=100, line_dash="dash", line_color="red", annotation_text="Saturation Théorique")
+            st.plotly_chart(fig_capa, use_container_width=True)
+
+    # --- SECTION 3 : CONSISTENCY (Intégrité) ---
+    st.subheader("3. Cohérence Temporelle")
+    if inverted_dates > 0:
+        st.error(f"🚨 ALERT : {inverted_dates} séjours ont une date de sortie antérieure à la date d'entrée.")
+        st.dataframe(df_sej[df_sej['date_sortie'] < df_sej['date_entree']].head(10), use_container_width=True)
+    else:
+        st.success("✅ Aucune incohérence temporelle détectée dans les séjours.")