Delete executives/nexus_advanced_parser.py

executives/nexus_advanced_parser.py

@@ -1,116 +0,0 @@
-# executives/nexus_advanced_parser.py
-import os
-import pandas as pd
-from ollama import AsyncClient
-import asyncio
-import json
-import re
-import warnings
-
-warnings.filterwarnings("ignore")
-
-# Configuration des chemins d'accès (datasets isolés sur l'hôte)
-DIR_DATA = "../datasets/"
-OUTPUT_PARSED = os.path.join(DIR_DATA, "nexus_qwen_parsed.csv")
-MODEL_LOCAL = "qwen2.5:14b"
-
-# 1. Cartographie des fichiers d'Open Data classiques
-FICHIERS_CIBLES = {
-    "CYBERSÉCURITÉ": "Attack_Dataset.csv",
-    "TRANSPORT & MOBILITÉ": "foire-aux-questions.csv",
-    "ASSISTANCE SOCIALE": "Tweets.csv",
-    "RISQUES ENVIRONNEMENTAUX": "ARIA.csv"
-}
-
-# 2. Cartographie des fichiers massifs complexes
-FICHIER_SP = "services_public.csv"
-FICHIER_MTA = "MTA_Customer_Feedback_Data__2014-2019.csv"
-FICHIER_DMR = "dans-ma-rue.csv"
-
-async def prompt_qwen(client, contexte, domaine):
-    sys_prompt = f"""Tu es un opérateur d'urgence d'élite. Transforme cette information technique ou ce signalement administratif brut en une phrase d'urgence réaliste prononcée au téléphone par un citoyen (paniqué, en colère, stressé ou laconique). 
-    Le domaine cible est strictement : {domaine}.
-    Ne mets aucune formule de politesse. Va droit au but.
-    Génère UNIQUEMENT un objet JSON strict au format suivant :
-    {{"texte": "la phrase d'appel générée en français", "domaine": "{domaine}", "severite": 2, "impact": 1, "cible": 0, "friction": "MANQUE_LIEU"}}"""
-    
-    try:
-        response = await client.chat(
-            model=MODEL_LOCAL,
-            messages=[{'role': 'system', 'content': sys_prompt}, {'role': 'user', 'content': contexte}],
-            options={'temperature': 0.7, 'num_predict': 150}
-        )
-        content = re.sub(r'```json\s*|```', '', response['message']['content'].strip())
-        data = json.loads(content)
-        data['domaine'] = domaine.upper()
-        return data
-    except:
-        return None
-
-async def executer_parsing():
-    print("==================================================")
-    print("🧠 ÉTAPE 1/3 : EXTRACTION, REFORMULATION ET ALIGNEMENT (QWEN 14B)")
-    print("==================================================\n")
-    client = AsyncClient()
-    lignes_generees = []
-
-    # A. Traitement des fichiers standards
-    for domaine, fichier in FICHIERS_CIBLES.items():
-        chemin = os.path.join(DIR_DATA, fichier)
-        if os.path.exists(chemin):
-            print(f"⚙️ Extraction : {domaine} depuis {fichier}...")
-            df = pd.read_csv(chemin, nrows=50, on_bad_lines='skip', sep=';' if 'foire' in fichier else ',')
-            for _, row in df.iterrows():
-                contexte = " | ".join([str(v) for v in row.values[:3] if pd.notna(v)])
-                data = await prompt_qwen(client, contexte, domaine)
-                if data: lignes_generees.append(data)
-
-    # B. Le Mastodonte : Dans Ma Rue (Paris) -> SERVICES URBAINS
-    chemin_dmr = os.path.join(DIR_DATA, FICHIER_DMR)
-    if os.path.exists(chemin_dmr):
-        print(f"🚧 Extraction Sécurisée : SERVICES URBAINS depuis {FICHIER_DMR}...")
-        # Limite stricte pour éviter la saturation du GPU
-        df_dmr = pd.read_csv(chemin_dmr, nrows=120, on_bad_lines='skip', sep=None, engine='python')
-        for _, row in df_dmr.iterrows():
-            t_dec = row.get('TYPE DECLARATION', '')
-            s_dec = row.get('SOUS TYPE DECLARATION', '')
-            adr = row.get('ADRESSE', '')
-            contexte_dmr = f"Incident: {t_dec} - {s_dec} | Lieu: {adr}"
-            data = await prompt_qwen(client, contexte_dmr, "SERVICES URBAINS")
-            if data:
-                # Modulateur de friction : détection d'adresse
-                if any(word in str(data['texte']).lower() for word in ["rue", "avenue", "boulevard", "paris", "place"]):
-                    data['friction'] = "COMPLET"
-                lignes_generees.append(data)
-
-    # C. MTA Customer Feedback -> TRANSPORT & MOBILITÉ
-    chemin_mta = os.path.join(DIR_DATA, FICHIER_MTA)
-    if os.path.exists(chemin_mta):
-        print(f"🚆 Extraction : TRANSPORT & MOBILITÉ depuis {FICHIER_MTA}...")
-        df_mta = pd.read_csv(chemin_mta, nrows=50, on_bad_lines='skip')
-        for _, row in df_mta.iterrows():
-            contexte_mta = f"Agency: {row.get('Agency', '')} | Subject: {row.get('Subject Matter', '')} | Detail: {row.get('Subject Detail', '')}"
-            data = await prompt_qwen(client, contexte_mta, "TRANSPORT & MOBILITÉ")
-            if data: lignes_generees.append(data)
-
-    # D. Services Publics -> ASSISTANCE SOCIALE / SERVICES URBAINS
-    chemin_sp = os.path.join(DIR_DATA, FICHIER_SP)
-    if os.path.exists(chemin_sp):
-        print(f"🏛️ Extraction : TEXTES LÉGAUX depuis {FICHIER_SP}...")
-        df_sp = pd.read_csv(chemin_sp, nrows=50, on_bad_lines='skip')
-        for _, row in df_sp.iterrows():
-            contexte_sp = f"Titre: {row.get('title', '')} | Intro: {row.get('introduction', '')}"
-            domaine_sp = "SERVICES URBAINS" if "Impôts" not in str(row.get('themetitles', '')) else "ASSISTANCE SOCIALE"
-            data = await prompt_qwen(client, contexte_sp, domaine_sp)
-            if data: lignes_generees.append(data)
-
-    # Sauvegarde de la matrice consolidée
-    if lignes_generees:
-        df_output = pd.DataFrame(lignes_generees)
-        df_output.to_csv(OUTPUT_PARSED, index=False)
-        print(f"\n✅ PARSING TERMINÉ. Base d'inférence sémantique générée : {OUTPUT_PARSED} ({len(df_output)} lignes)")
-    else:
-        print("\n❌ ÉCHEC CRITIQUE : Qwen 14B n'a renvoyé aucune traduction valide.")
-
-if __name__ == "__main__":
-    asyncio.run(executer_parsing())