Update src/module/Indicateurs_DQ.py

src/module/Indicateurs_DQ.py

@@ -1,15 +1,24 @@
 """
-MODULE: DATA QUALITY DASHBOARD - VERSION AMÉLIORÉE
-===================================================
+MODULE: DATA QUALITY DASHBOARD - VERSION COMPLÈTE
+==================================================
 Responsabilité : Audit complet, détection d'anomalies, analyses spécifiques hospitalières.
 Style : Gotham UI + Analyses médicales avancées
 
-Améliorations :
-- Chargement direct depuis Excel (pas de filtrage ETL)
-- 6 sections complètes d'analyse DQ
-- Métriques hospitalières spécifiques
-- Visualisations enrichies
-- Analyses temporelles des anomalies
+Fonctionnalités :
+- ✅ Accès Google Sheets (via client)
+- ✅ Upload fichier Excel local
+- ✅ 6 sections complètes d'analyse DQ
+- ✅ Métriques hospitalières spécifiques
+- ✅ Visualisations enrichies
+- ✅ Analyses temporelles des anomalies
+- ✅ Recommandations automatiques
+- ✅ Export rapports CSV
+
+Améliorations vs version originale :
+- Chargement direct (pas de filtrage ETL) pour voir toutes les anomalies
+- 6 sections au lieu de 2
+- Analyses spécifiques au contexte hospitalier
+- Visualisations interactives avancées
 """
 
 import streamlit as st
@@ -62,20 +71,79 @@ def safe_pct(num, den):
 # =====================================================
 
 @st.cache_data(ttl=3600)
-def load_excel_data_direct(file_path: str) -> dict:
+def load_from_google_sheets(client, sheet_name: str) -> dict:
     """
-    Charge DIRECTEMENT depuis Excel sans passer par ETL.
+    Charge les données depuis Google Sheets SANS passer par ETL.
     Garantit qu'aucune anomalie n'est filtrée.
+    
+    Args:
+        client: Client Google Sheets
+        sheet_name: Nom de la feuille Google Sheets
+        
+    Returns:
+        Dictionnaire de DataFrames
     """
     sheets = {}
+    
+    try:
+        # Liste des feuilles à charger
+        sheet_names = [
+            'patients', 'sejours', 'ressources_jour', 
+            'stock_materiel_jour', 'admissions_jour', 'scenarios_calendrier'
+        ]
+        
+        for name in sheet_names:
+            try:
+                # Récupération directe depuis Google Sheets
+                worksheet = client.open(sheet_name).worksheet(name)
+                data = worksheet.get_all_records()
+                df = pd.DataFrame(data)
+                
+                # Conversion des dates
+                if 'date' in df.columns:
+                    df['date'] = pd.to_datetime(df['date'], errors='coerce')
+                if 'date_entree' in df.columns:
+                    df['date_entree'] = pd.to_datetime(df['date_entree'], errors='coerce')
+                if 'date_sortie' in df.columns:
+                    df['date_sortie'] = pd.to_datetime(df['date_sortie'], errors='coerce')
+                if 'date_naissance' in df.columns:
+                    df['date_naissance'] = pd.to_datetime(df['date_naissance'], errors='coerce')
+                
+                sheets[name] = df
+                
+            except Exception as e:
+                st.warning(f"⚠️ Impossible de charger la feuille '{name}': {str(e)}")
+                continue
+        
+        return sheets
+        
+    except Exception as e:
+        st.error(f"❌ Erreur lors du chargement depuis Google Sheets : {str(e)}")
+        return {}
+
+
+@st.cache_data(ttl=3600)
+def load_from_excel_file(file) -> dict:
+    """
+    Charge les données depuis un fichier Excel uploadé.
+    Garantit qu'aucune anomalie n'est filtrée.
+    
+    Args:
+        file: Fichier uploadé via st.file_uploader
+        
+    Returns:
+        Dictionnaire de DataFrames
+    """
+    sheets = {}
+    
     try:
         # Chargement de toutes les feuilles nécessaires
-        sheets['patients'] = pd.read_excel(file_path, sheet_name='patients')
-        sheets['sejours'] = pd.read_excel(file_path, sheet_name='sejours')
-        sheets['ressources_jour'] = pd.read_excel(file_path, sheet_name='ressources_jour')
-        sheets['stock_materiel_jour'] = pd.read_excel(file_path, sheet_name='stock_materiel_jour')
-        sheets['admissions_jour'] = pd.read_excel(file_path, sheet_name='admissions_jour')
-        sheets['scenarios_calendrier'] = pd.read_excel(file_path, sheet_name='scenarios_calendrier')
+        sheets['patients'] = pd.read_excel(file, sheet_name='patients')
+        sheets['sejours'] = pd.read_excel(file, sheet_name='sejours')
+        sheets['ressources_jour'] = pd.read_excel(file, sheet_name='ressources_jour')
+        sheets['stock_materiel_jour'] = pd.read_excel(file, sheet_name='stock_materiel_jour')
+        sheets['admissions_jour'] = pd.read_excel(file, sheet_name='admissions_jour')
+        sheets['scenarios_calendrier'] = pd.read_excel(file, sheet_name='scenarios_calendrier')
         
         # Conversion des dates
         for sheet_name, df in sheets.items():
@@ -89,8 +157,9 @@ def load_excel_data_direct(file_path: str) -> dict:
                 df['date_naissance'] = pd.to_datetime(df['date_naissance'], errors='coerce')
         
         return sheets
+        
     except Exception as e:
-        st.error(f"❌ Erreur chargement Excel : {str(e)}")
+        st.error(f"❌ Erreur lors du chargement du fichier Excel : {str(e)}")
         return {}
 
 
@@ -428,31 +497,48 @@ def plot_completeness_radar(analyzer: HospitalDataQualityAnalyzer):
 # ================= DASHBOARD PRINCIPAL ===============
 # =====================================================
 
-def show_enhanced_dq_dashboard():
+def show_dq_dashboard(client=None, sheet_name=None):
     """
-    Dashboard Data Quality amélioré avec toutes les sections.
+    Dashboard Data Quality complet avec support Google Sheets et Upload Fichier.
+    
+    Args:
+        client: Client Google Sheets (optionnel)
+        sheet_name: Nom de la feuille Google Sheets (optionnel)
     """
     st.markdown("## 🛡️ CENTRE DE CONTRÔLE DATA QUALITY")
     st.caption("Analyse complète de la qualité des données hospitalières")
     
-    # ================= UPLOAD FICHIER =================
-    st.sidebar.header("⚙️ Configuration")
-    
-    uploaded_file = st.sidebar.file_uploader(
-        "Charger le fichier Excel",
-        type=['xlsx'],
-        help="Fichier bdd_mvp_faker.xlsx"
-    )
+    dataframes = None
     
-    if uploaded_file is None:
-        st.info("👈 Veuillez charger le fichier Excel dans la barre latérale")
-        return
+    # ================= MODE DE CHARGEMENT =================
+    if client is not None and sheet_name is not None:
+        # Mode Google Sheets (prioritaire si client fourni)
+        st.info("📊 **Mode : Google Sheets**")
+        
+        with st.spinner("🔄 Chargement depuis Google Sheets..."):
+            dataframes = load_from_google_sheets(client, sheet_name)
     
-    # ================= CHARGEMENT =================
-    with st.spinner("🔄 Chargement des données..."):
-        dataframes = load_excel_data_direct(uploaded_file)
+    else:
+        # Mode Upload Fichier
+        st.sidebar.header("⚙️ Configuration")
+        
+        uploaded_file = st.sidebar.file_uploader(
+            "Charger le fichier Excel",
+            type=['xlsx'],
+            help="Fichier bdd_mvp_faker.xlsx"
+        )
+        
+        if uploaded_file is not None:
+            st.info("📁 **Mode : Fichier Excel Local**")
+            
+            with st.spinner("🔄 Chargement du fichier Excel..."):
+                dataframes = load_from_excel_file(uploaded_file)
+        else:
+            st.info("👈 Veuillez charger le fichier Excel dans la barre latérale")
+            return
     
-    if not dataframes:
+    # ================= VÉRIFICATION CHARGEMENT =================
+    if not dataframes or len(dataframes) == 0:
         st.error("❌ Erreur lors du chargement des données")
         return
     
@@ -460,7 +546,8 @@ def show_enhanced_dq_dashboard():
     analyzer = HospitalDataQualityAnalyzer(dataframes)
     scores = analyzer.compute_global_score()
     
-    st.success(f"✅ Données chargées : {sum(m['total'] for m in analyzer.metrics.values()):,} lignes au total")
+    total_lignes = sum(m['total'] for m in analyzer.metrics.values())
+    st.success(f"✅ Données chargées : **{total_lignes:,}** lignes au total")
     
     # ==================================================
     # ================= KPI GLOBAUX ====================
@@ -748,7 +835,7 @@ def show_enhanced_dq_dashboard():
     
     with col2:
         # Export des anomalies détectées
-        if metrics['patients']['anomalies'] > 0:
+        if metrics['patients']['anomalies'] > 0 and analyzer.df_pat is not None:
             anomalies_df = analyzer.df_pat[analyzer.df_pat['dq_is_anomaly'] == 1][
                 ['patient_id', 'nom', 'prenom', 'dq_anomaly_type', 'dq_anomaly_detail']
             ]
@@ -763,4 +850,4 @@ def show_enhanced_dq_dashboard():
 
 # Point d'entrée
 if __name__ == "__main__":
-    show_enhanced_dq_dashboard()
+    show_dq_dashboard()