# -*- coding: utf-8 -*- """API_GOBCAN_final.ipynb Automatically generated by Colab. Original file is located at https://colab.research.google.com/drive/1Ao_fZKrzarOcXKcu3Tj-0Y7251MCR37j #**1. Instalación y carga de librerías** """ !pip install -q sentence-transformers torch matplotlib ipywidgets pandas requests tabulate !pip install -q openpyxl xlrd odfpy geopandas fastkml rasterio Pillow pdfplumber PyPDF2 beautifulsoup4 owslib tqdm !pip install pyjstat import os import json import re import time from datetime import datetime, timedelta import pandas as pd import numpy as np import requests import matplotlib.pyplot as plt from sentence_transformers import SentenceTransformer, util from IPython.display import display, Markdown, clear_output import ipywidgets as widgets import geopandas as gpd import pdfplumber import PyPDF2 from PIL import Image import zipfile import xml.etree.ElementTree as ET import rasterio import openpyxl import xlrd import odf from bs4 import BeautifulSoup import owslib from tqdm.notebook import tqdm # Colab file upload helper (solo necesario si usas Google Colab) try: from google.colab import files except ImportError: files = None """#**2. Definición de constantes y diccionarios de metadatos**""" ORGANIZACIONES = [ "Instituto Canario de Estadística (ISTAC)", "Cabildo de Tenerife", "Consejería de Política Territorial, Cohesión Territorial y Aguas", "Consejería de Presidencia, Administraciones Públicas, Justicia y Seguridad", "Consejería de Transición Ecológica y Energía", "Consejería de Agricultura, Ganadería, Pesca y Soberanía Alimentaria", "GRAFCAN", "Presidencia del Gobierno de Canarias", "Consejería de Hacienda y Relaciones con la Unión Europea", "Consejería de Turismo y Empleo", "Servicio Canario de Salud", "Consejería de Educación, Formación Profesional, Actividad Física y Deportes", "Cabildo Insular de El Hierro", "Consejería de Sanidad", "Consejería de Universidades, Ciencia e Innovación y Cultura", "Consejería de Bienestar Social, Igualdad, Juventud, Infancia y Familias", "Consejería de Economía, Industria, Comercio y Autónomos", "Consejería de Obras Públicas, Vivienda y Movilidad", ] CATEGORIAS = [ "Empleo", "Demografía", "Salud", "Sociedad y bienestar", "Turismo", "Sector Público", "Economía", "Ciencia y tecnología", "Medio rural", "Medio ambiente", "Transporte", "Industria", "Legislación y justicia", "Vivienda", "Educación", "Urbanismo e infraestructuras", "Comercio", "Cultura y ocio", "Seguridad", "Hacienda", "Deportes", "Energía" ] ETIQUETAS = [ "Mapa temático", "Cubo estadístico", "Cartografía", "Empleo", "Indicadores laborales", "Datos históricos", "Indicadores Demográficos", "Cartografía", "Población", "Sociedad", "Salud", "Estado de salud", "Encuesta de Salud de Canarias", "Condiciones de vida", "Calidad de vida", "Encuesta de ingresos y condiciones de vida de los hogares canarios", "Actividad en atención especializada", "Encuesta de Morbilidad Hospitalaria -EMH-", "Clasificación", "Sector servicios", "Hostelería y turismo", "Ciencia y tecnología", "Tecnologías de la información y la comunicación", "Demografía", "Demanda turística. Turistas y pasajero", "Encuesta sobre el Gasto Turístico", "Economía general", "Censos de Población y Viviendas", "Cifras censales", "Población", "Encuesta sobre la implantación de las tecnologías de la información y la comunicación en los hogares", "Encuesta de Hábitos y Confianza Socioeconómica -ECOSOC-", "Concepto", "meteorología", "estaciones meteorológicas", "sensores meteorológicos", "mediciones", "ganadería", "Agricultura", "INSPIRE - Unidades estadísticas", "pesca y caza", "Sector primario", "Censo Agrario", "Encuesta de Tecnologías de la Información y la Comunicación en las Empresas de Canarias", "Encuesta de Salud e Ingresos de Canarias", "INSPIRE - Unidades estadísticas", "Administración pública", "Encuesta sobre gasto y satisfacción de los usuarios de campos de golf", "Microdatos", "Cultura" ] FORMATOS = [ "kml", "wms", "tiff", "jpeg", "png", "csv", "json", "xlsx", "tsv", "xml", "pc-axis", "geopackage", "ods", "geojson", "zip", "gml", "api", "html", "pdf", "wfs", "txt", "rss", "xls", "kmz", "netcdf", "jp2", "application/api", "las", "rdf", "shp", "svg" ] DICCIONARIO_TEMAS = { "Demografía": ["demografía", "población", "censo", "censal", "padron", "padronal", "habitantes", "natalidad", "mortalidad", "inmigración", "emigración", "densidad", "municipios", "cifras censales", "edad", "sexo"], "Empleo": ["empleo", "paro", "trabajo", "ocupados", "desempleados", "afiliación", "contrato", "sectores laborales", "prestación", "prestaciones", "ofertas", "parados", "salarios", "remuneración", "actividad económica"], "Salud": ["salud", "sanidad", "hospital", "enfermedad", "morbilidad", "atención primaria", "especializada", "medicina", "vacuna", "epidemia", "estado de salud", "vida saludable", "hospitalaria", "ingresos sanitarios", "epidemiología", "sida", "covid", "morbilidad hospitalaria"], "Sociedad y bienestar": ["bienestar", "sociedad", "calidad de vida", "condiciones de vida", "familia", "juventud", "infancia", "igualdad", "mayores", "pobreza", "integración social", "servicios sociales", "protección social"], "Turismo": ["turismo", "viajero", "turistas", "alojamiento", "hotel", "pernoctaciones", "restauración", "hostelería", "gasto turístico", "movimiento turístico", "campings", "ocupación hotelera", "visitantes", "apartamento", "reserva", "oferta turística", "playa", "crucero", "campos de golf"], "Sector Público": ["sector público", "administración", "gobierno", "entidades públicas", "funcionarios", "empleo público", "organismos", "servicios públicos", "presupuestos", "licitación", "contratación pública"], "Economía": ["economía", "PIB", "producción", "consumo", "sector primario", "sector secundario", "sector terciario", "comercio", "renta", "ingresos", "gastos", "industria", "facturación", "empresa", "exportaciones", "importaciones", "finanzas", "balanza comercial"], "Ciencia y tecnología": ["ciencia", "tecnología", "investigación", "innovación", "i+d", "digitalización", "tics", "informática", "internet", "brecha digital", "equipamiento tecnológico", "red", "conectividad"], "Medio rural": ["rural", "campo", "agricultura", "ganadería", "pesca", "explotación agraria", "censo agrario", "vivienda rural", "cooperativa", "sector primario"], "Medio ambiente": ["medio ambiente", "sostenibilidad", "contaminación", "calidad ambiental", "residuos", "reciclaje", "biodiversidad", "espacios naturales", "protección ambiental", "parque nacional", "emisiones", "cambio climático", "ecología", "zonas protegidas", "meteorología", "estaciones meteorológicas", "sensores meteorológicos"], "Transporte": ["transporte", "vehículo", "automóvil", "autobús", "guagua", "aeropuerto", "puerto", "movilidad", "carretera", "infraestructura vial", "pasajeros", "mercancía", "logística", "tráfico", "viaje", "viajeros", "tránsito", "licencia"], "Industria": ["industria", "sector industrial", "fábrica", "manufactura", "procesos industriales", "producción industrial", "energía industrial", "maquinaria", "transformación", "suministro", "parque industrial"], "Legislación y justicia": ["legislación", "ley", "normativa", "regulación", "justicia", "tribunal", "sentencia", "proceso judicial", "abogado", "fiscalía", "delito", "seguridad jurídica", "caso judicial", "litigio"], "Vivienda": ["vivienda", "casa", "hogar", "alquiler", "inmueble", "propiedad", "comprar vivienda", "reformas", "habitat", "residencial", "censos de vivienda", "construcción", "vivienda pública", "desahucio"], "Educación": ["educación", "colegio", "escuela", "universidad", "formación", "estudiante", "profesorado", "enseñanza", "alumnado", "ciclo formativo", "graduado", "titulación", "beca", "centro educativo", "tasa de abandono"], "Urbanismo e infraestructuras": ["urbanismo", "infraestructura", "plan urbanístico", "obra pública", "carretera", "calle", "equipamiento", "parque", "red viaria", "urbanización", "obra civil", "edificación", "movilidad urbana"], "Comercio": ["comercio", "ventas", "minorista", "mayorista", "facturación", "consumo", "distribución comercial", "mercado", "establecimiento comercial", "tienda", "índice de comercio"], "Cultura y ocio": ["cultura", "ocio", "arte", "patrimonio", "evento cultural", "teatro", "museo", "concierto", "exposición", "espectáculo", "deporte", "actividad cultural", "biblioteca", "fiesta popular"], "Seguridad": ["seguridad", "delito", "crimen", "policía", "protección civil", "emergencia", "accidente", "riesgo", "prevención", "seguridad ciudadana", "vigilancia"], "Hacienda": ["hacienda", "tributo", "impuesto", "fiscalidad", "presupuesto", "gasto público", "finanzas públicas", "recaudación", "contribución", "deuda pública", "contabilidad"], "Deportes": ["deporte", "actividad física", "club deportivo", "entrenamiento", "partido", "competición", "polideportivo", "instalación deportiva", "jugador", "federación", "evento deportivo", "campeonato"], "Energía": ["energía", "electricidad", "gas", "combustible", "energía renovable", "consumo energético", "solar", "eólica", "fotovoltaica", "potencia", "producción energética", "emisiones", "eficiencia energética"] } CATALOGOS = [ ("GENERAL (Gobcan e ISTAC)", "https://datos.canarias.es/catalogos/general/api/action/package_search"), ("SITCAN", "https://opendata.sitcan.es/api/action/package_search"), ] CATEGORIAS_SINONIMOS = { "Empleo": ["empleo", "trabajo", "ocupación", "paro", "desempleo", "parados", "contrato", "afiliación", "ofertas laborales", "sectores laborales", "prestación", "salarios", "remuneración", "actividad económica", "puestos de trabajo"], "Demografía": ["demografía", "población", "censo", "censal", "padron", "padronal", "habitantes", "natalidad", "mortalidad", "inmigración", "emigración", "densidad", "municipios", "cifras censales", "edad", "sexo"], "Salud": ["salud", "sanidad", "hospital", "enfermedad", "morbilidad", "atención primaria", "atención especializada", "medicina", "vacuna", "epidemia", "estado de salud", "vida saludable", "hospitalaria", "ingresos sanitarios", "epidemiología", "sida", "covid", "morbilidad hospitalaria"], "Sociedad y bienestar": ["bienestar", "sociedad", "calidad de vida", "condiciones de vida", "familia", "juventud", "infancia", "igualdad", "mayores", "pobreza", "integración social", "servicios sociales", "protección social"], "Turismo": ["turismo", "viajero", "turistas", "alojamiento", "hotel", "pernoctaciones", "restauración", "hostelería", "gasto turístico", "movimiento turístico", "campings", "ocupación hotelera", "visitantes", "apartamento", "reserva", "oferta turística", "playa", "crucero", "campos de golf"], "Sector Público": ["sector público", "administración", "gobierno", "entidades públicas", "funcionarios", "empleo público", "organismos", "servicios públicos", "presupuestos", "licitación", "contratación pública", "administración pública"], "Economía": ["economía", "PIB", "producción", "consumo", "sector primario", "sector secundario", "sector terciario", "comercio", "renta", "ingresos", "gastos", "industria", "facturación", "empresa", "exportaciones", "importaciones", "finanzas", "balanza comercial"], "Ciencia y tecnología": ["ciencia", "tecnología", "investigación", "innovación", "i+d", "digitalización", "tics", "informática", "internet", "brecha digital", "equipamiento tecnológico", "red", "conectividad"], "Medio rural": ["rural", "campo", "agricultura", "ganadería", "pesca", "explotación agraria", "censo agrario", "vivienda rural", "cooperativa", "sector primario"], "Medio ambiente": ["medio ambiente", "sostenibilidad", "contaminación", "calidad ambiental", "residuos", "reciclaje", "biodiversidad", "espacios naturales", "protección ambiental", "parque nacional", "emisiones", "cambio climático", "ecología", "zonas protegidas", "meteorología", "estaciones meteorológicas", "sensores meteorológicos"], "Transporte": ["transporte", "vehículo", "automóvil", "autobús", "guagua", "aeropuerto", "puerto", "movilidad", "carretera", "infraestructura vial", "pasajeros", "mercancía", "logística", "tráfico", "viaje", "viajeros", "tránsito", "licencia"], "Industria": ["industria", "sector industrial", "fábrica", "manufactura", "procesos industriales", "producción industrial", "energía industrial", "maquinaria", "transformación", "suministro", "parque industrial"], "Legislación y justicia": ["legislación", "ley", "normativa", "regulación", "justicia", "tribunal", "sentencia", "proceso judicial", "abogado", "fiscalía", "delito", "seguridad jurídica", "caso judicial", "litigio"], "Vivienda": ["vivienda", "casa", "hogar", "alquiler", "inmueble", "propiedad", "comprar vivienda", "reformas", "habitat", "residencial", "censos de vivienda", "construcción", "vivienda pública", "desahucio"], "Educación": ["educación", "colegio", "escuela", "universidad", "formación", "estudiante", "profesorado", "enseñanza", "alumnado", "ciclo formativo", "graduado", "titulación", "beca", "centro educativo", "tasa de abandono"], "Urbanismo e infraestructuras": ["urbanismo", "infraestructura", "plan urbanístico", "obra pública", "carretera", "calle", "equipamiento", "parque", "red viaria", "urbanización", "obra civil", "edificación", "movilidad urbana"], "Comercio": ["comercio", "ventas", "minorista", "mayorista", "facturación", "consumo", "distribución comercial", "mercado", "establecimiento comercial", "tienda", "índice de comercio"], "Cultura y ocio": ["cultura", "ocio", "arte", "patrimonio", "evento cultural", "teatro", "museo", "concierto", "exposición", "espectáculo", "deporte", "actividad cultural", "biblioteca", "fiesta popular"], "Seguridad": ["seguridad", "delito", "crimen", "policía", "protección civil", "emergencia", "accidente", "riesgo", "prevención", "seguridad ciudadana", "vigilancia"], "Hacienda": ["hacienda", "tributo", "impuesto", "fiscalidad", "presupuesto", "gasto público", "finanzas públicas", "recaudación", "contribución", "deuda pública", "contabilidad"], "Deportes": ["deporte", "actividad física", "club deportivo", "entrenamiento", "partido", "competición", "polideportivo", "instalación deportiva", "jugador", "federación", "evento deportivo", "campeonato"], "Energía": ["energía", "electricidad", "gas", "combustible", "energía renovable", "consumo energético", "solar", "eólica", "fotovoltaica", "potencia", "producción energética", "emisiones", "eficiencia energética"], } ETIQUETAS_SINONIMOS = { "Mapa temático": ["mapa temático", "mapa", "mapas", "visualización", "geografía", "representación gráfica"], "Cubo estadístico": ["cubo estadístico", "tablas dinámicas", "tabla de datos", "multidimensional", "resumen estadístico"], "Cartografía": ["cartografía", "mapa", "mapas", "georreferenciación", "GIS", "datos geográficos", "visualización espacial"], "Empleo": ["empleo", "trabajo", "desempleo", "paro", "parados", "ocupación", "contratación", "personas desempleadas", "ofertas de empleo", "afiliación laboral", "sectores laborales", "salarios", "remuneración", "actividad económica"], "Indicadores laborales": ["indicadores laborales", "indicadores de empleo", "paro", "tasa de empleo", "tasa de paro", "ocupados", "desempleados", "salarios", "afiliación", "contrato laboral", "trabajo"], "Datos históricos": ["datos históricos", "series temporales", "evolución", "tendencia histórica", "histórico", "historia", "datos pasados"], "Indicadores Demográficos": ["indicadores demográficos", "demografía", "cifras censales", "edad", "sexo", "natalidad", "mortalidad", "habitantes", "estructura de población"], "Población": ["población", "habitantes", "censo", "personas", "demografía", "natalidad", "mortalidad", "densidad", "padron", "padronal"], "Sociedad": ["sociedad", "calidad de vida", "condiciones de vida", "bienestar social", "vida social", "integración social", "cohesión social"], "Salud": ["salud", "sanidad", "hospital", "enfermedad", "morbilidad", "vida saludable", "centros de salud", "estado de salud", "atención primaria", "hospitalaria", "ingresos sanitarios", "epidemia", "epidemiología", "vacuna", "covid"], "Estado de salud": ["estado de salud", "salud", "bienestar", "condición sanitaria"], "Encuesta de Salud de Canarias": ["encuesta de salud", "salud pública", "encuesta sanitaria", "cuestionario salud canarias", "datos de salud", "informe salud"], "Condiciones de vida": ["condiciones de vida", "nivel de vida", "calidad de vida", "bienestar", "situación vital", "circunstancias vitales"], "Calidad de vida": ["calidad de vida", "bienestar", "nivel de vida", "estándar de vida", "satisfacción vital"], "Encuesta de ingresos y condiciones de vida de los hogares canarios": ["ingresos", "hogares", "nivel de vida", "encuesta hogares", "condiciones económicas", "situación económica", "ingresos familiares"], "Actividad en atención especializada": ["atención especializada", "actividad sanitaria", "servicios sanitarios", "especialistas", "hospitalaria", "consultas especializadas"], "Encuesta de Morbilidad Hospitalaria -EMH-": ["morbilidad hospitalaria", "encuesta de morbilidad", "hospital", "pacientes hospitalizados", "salud", "enfermedad"], "Clasificación": ["clasificación", "tipología", "agrupación", "categorías", "clases", "grupos"], "Sector servicios": ["sector servicios", "servicios", "hostelería", "turismo", "comercio", "actividades terciarias", "ocio"], "Hostelería y turismo": ["hostelería", "turismo", "alojamiento", "hotel", "apartamento", "restauración", "bares", "gasto turístico", "oferta turística"], "Ciencia y tecnología": ["ciencia y tecnología", "ciencia", "tecnología", "investigación", "innovación", "i+d", "digitalización", "internet", "tics", "equipamiento tecnológico", "conectividad"], "Tecnologías de la información y la comunicación": ["tecnologías de la información", "TIC", "tecnologías de la comunicación", "digitalización", "informática", "internet", "conectividad"], "Demografía": ["demografía", "población", "censo", "estructura demográfica", "cifras censales", "habitantes", "natalidad", "mortalidad"], "Demanda turística. Turistas y pasajero": ["demanda turística", "turistas", "viajeros", "visitantes", "movimiento turístico", "pasajeros", "flujos turísticos"], "Encuesta sobre el Gasto Turístico": ["gasto turístico", "encuesta turística", "turismo", "viajeros", "gasto de turistas", "consumo turístico"], "Economía general": ["economía", "PIB", "producción", "consumo", "empresa", "balanza comercial", "sector primario", "sector secundario", "sector terciario", "finanzas", "gastos", "ingresos"], "Censos de Población y Viviendas": ["censo", "censos de población", "censo de viviendas", "padrón", "censo habitacional", "demografía", "estadísticas poblacionales"], "Cifras censales": ["cifras censales", "censo", "población", "demografía", "habitantes", "estadísticas censales"], "Encuesta sobre la implantación de las tecnologías de la información y la comunicación en los hogares": ["tecnologías de la información", "TIC", "hogares digitales", "equipamiento tecnológico", "acceso a internet", "digitalización doméstica"], "Encuesta de Hábitos y Confianza Socioeconómica -ECOSOC-": ["hábitos socioeconómicos", "confianza económica", "nivel de vida", "encuesta social", "costumbres", "situación económica"], "Concepto": ["concepto", "definición", "significado", "explicación", "descripción"], "meteorología": ["meteorología", "clima", "tiempo", "sensores meteorológicos", "estaciones meteorológicas", "mediciones", "predicción del tiempo"], "estaciones meteorológicas": ["estaciones meteorológicas", "sensores meteorológicos", "observatorios meteorológicos", "clima", "tiempo"], "sensores meteorológicos": ["sensores meteorológicos", "instrumentos meteorológicos", "mediciones climáticas", "equipamiento meteorológico"], "mediciones": ["mediciones", "medida", "datos de medición", "valores medidos", "resultados de medición"], "ganadería": ["ganadería", "explotaciones ganaderas", "cría de animales", "sector ganadero", "producción animal"], "Agricultura": ["agricultura", "cultivo", "explotaciones agrarias", "producción agrícola", "sector agrícola"], "INSPIRE - Unidades estadísticas": ["INSPIRE", "unidades estadísticas", "marco europeo", "geoestadística", "estadística espacial"], "pesca y caza": ["pesca", "caza", "sector pesquero", "sector cinegético", "recursos naturales"], "Sector primario": ["sector primario", "agricultura", "ganadería", "pesca", "explotación agraria", "campo", "producción primaria"], "Censo Agrario": ["censo agrario", "censo agrícola", "estadística agrícola", "explotaciones agrarias"], "Encuesta de Tecnologías de la Información y la Comunicación en las Empresas de Canarias": ["tecnologías de la información", "TIC", "empresas", "digitalización empresarial", "informática empresarial"], "Encuesta de Salud e Ingresos de Canarias": ["salud", "ingresos", "encuesta", "canarias", "nivel de vida", "salud pública", "ingresos familiares"], "Administración pública": ["administración pública", "sector público", "gobierno", "organismo público", "entidades públicas", "gestión pública"], "Encuesta sobre gasto y satisfacción de los usuarios de campos de golf": ["gasto", "satisfacción", "campos de golf", "usuarios", "encuesta de golf"], "Microdatos": ["microdatos", "datos individuales", "registro individual", "detalle de encuesta", "información granular"], "Cultura": ["cultura", "actividad cultural", "patrimonio", "arte", "evento cultural", "museo", "teatro", "concierto", "exposición", "biblioteca", "fiesta popular", "ocio", "espectáculo"], "Sociedad y bienestar": ["sociedad", "bienestar", "servicios sociales", "calidad de vida", "condiciones de vida", "familia", "juventud", "infancia", "igualdad", "mayores", "pobreza", "integración social", "protección social"], "Turismo": ["turismo", "viajero", "turistas", "alojamiento", "hotel", "hostelería", "gasto turístico", "reserva", "oferta turística", "restauración", "ocupación hotelera", "campings", "visitantes", "apartamento", "playa", "crucero", "campos de golf"], "Sector Público": ["sector público", "administración", "gobierno", "entidades públicas", "organismos públicos", "funcionarios", "empleo público", "servicios públicos"], "Economía": ["economía", "PIB", "producción", "consumo", "comercio", "renta", "ingresos", "gastos", "industria", "empresa", "exportaciones", "importaciones", "finanzas", "balanza comercial"], "Ciencia y tecnología": ["ciencia", "tecnología", "investigación", "innovación", "i+d", "digitalización", "tics", "informática", "internet", "equipamiento tecnológico", "red", "conectividad"], "Medio rural": ["medio rural", "campo", "agricultura", "ganadería", "pesca", "explotación agraria", "vivienda rural", "cooperativa", "sector primario"], "Medio ambiente": ["medio ambiente", "sostenibilidad", "contaminación", "calidad ambiental", "residuos", "reciclaje", "biodiversidad", "espacios naturales", "protección ambiental", "parque nacional", "emisiones", "cambio climático", "ecología", "zonas protegidas", "meteorología"], "Transporte": ["transporte", "vehículo", "automóvil", "autobús", "guagua", "aeropuerto", "puerto", "carretera", "movilidad", "infraestructura vial", "pasajeros", "mercancía", "logística", "tráfico", "viaje", "viajeros", "licencia"], "Industria": ["industria", "sector industrial", "fábrica", "manufactura", "procesos industriales", "producción industrial", "energía industrial", "maquinaria", "transformación", "suministro", "parque industrial"], "Legislación y justicia": ["legislación", "ley", "normativa", "regulación", "justicia", "tribunal", "sentencia", "proceso judicial", "abogado", "fiscalía", "delito", "seguridad jurídica", "caso judicial", "litigio"], "Vivienda": ["vivienda", "casa", "hogar", "alquiler", "inmueble", "propiedad", "comprar vivienda", "reformas", "habitat", "residencial", "censos de vivienda", "construcción", "vivienda pública", "desahucio"], "Educación": ["educación", "colegio", "escuela", "universidad", "formación", "estudiante", "profesorado", "enseñanza", "alumnado", "ciclo formativo", "graduado", "titulación", "beca", "centro educativo", "tasa de abandono"], "Urbanismo e infraestructuras": ["urbanismo", "infraestructura", "plan urbanístico", "obra pública", "carretera", "calle", "equipamiento", "parque", "red viaria", "urbanización", "obra civil", "edificación", "movilidad urbana"], "Comercio": ["comercio", "ventas", "minorista", "mayorista", "facturación", "consumo", "distribución comercial", "mercado", "establecimiento comercial", "tienda", "índice de comercio"], "Cultura y ocio": ["cultura", "ocio", "arte", "patrimonio", "evento cultural", "teatro", "museo", "concierto", "exposición", "espectáculo", "deporte", "actividad cultural", "biblioteca", "fiesta popular"], "Seguridad": ["seguridad", "delito", "crimen", "policía", "protección civil", "emergencia", "accidente", "riesgo", "prevención", "seguridad ciudadana", "vigilancia"], "Hacienda": ["hacienda", "tributo", "impuesto", "fiscalidad", "presupuesto", "gasto público", "finanzas públicas", "recaudación", "contribución", "deuda pública", "contabilidad"], "Deportes": ["deporte", "actividad física", "club deportivo", "entrenamiento", "partido", "competición", "polideportivo", "instalación deportiva", "jugador", "federación", "evento deportivo", "campeonato"], "Energía": ["energía", "electricidad", "gas", "combustible", "energía renovable", "consumo energético", "solar", "eólica", "fotovoltaica", "potencia", "producción energética", "emisiones", "eficiencia energética"], } """#**3. Descarga y carga de datasets e indicadores**""" def consulta_multifuncion( df, filtros=None, operacion="count", columna=None, devolver_df=False ): """ Realiza consultas múltiples sobre el DataFrame: - 'count': número de registros filtrados - 'sum': suma una columna numérica - 'mean': media/promedio de una columna numérica - 'unique': valores únicos de una columna - 'all': devuelve el DataFrame filtrado Argumentos: - df: pandas DataFrame - filtros: dict {columna: valor} (búsqueda parcial en texto) - operacion: 'count', 'sum', 'mean', 'unique', 'all' - columna: nombre de la columna para operaciones ('sum', 'mean', 'unique') - devolver_df: si True, siempre devuelve el DataFrame filtrado además del resultado """ if filtros is None: filtros = {} mask = pd.Series([True]*len(df)) for col, val in filtros.items(): if col not in df.columns: raise ValueError(f"La columna '{col}' no existe en el DataFrame.") if isinstance(val, str): mask = mask & df[col].astype(str).str.lower().str.contains(val.lower(), na=False) else: mask = mask & (df[col] == val) df_filtrado = df[mask] resultado = None if operacion == "count": resultado = df_filtrado.shape[0] elif operacion == "sum": if columna is None: raise ValueError("Debes indicar una columna para la suma.") resultado = df_filtrado[columna].sum() elif operacion == "mean": if columna is None: raise ValueError("Debes indicar una columna para el promedio.") resultado = df_filtrado[columna].mean() elif operacion == "unique": if columna is None: raise ValueError("Debes indicar una columna para extraer valores únicos.") resultado = df_filtrado[columna].unique().tolist() elif operacion == "all": resultado = df_filtrado else: raise ValueError("Operación no soportada. Usa 'count', 'sum', 'mean', 'unique' o 'all'.") if devolver_df and operacion != "all": return resultado, df_filtrado else: return resultado def sugerir_columnas(df, palabra, top_n=3): palabra = palabra.lower() scores = [] for col in df.columns: score = sum(1 for w in palabra.split() if w in col.lower()) if palabra in col.lower(): score += 2 # Bonus si hay coincidencia directa scores.append((col, score)) scores = sorted(scores, key=lambda x: -x[1]) sugeridas = [col for col, sc in scores if sc > 0] return sugeridas[:top_n] if sugeridas else df.columns[:top_n].tolist() def resumen_dataset(df, descripcion=None, nombre=None, n_filas=6): if nombre: display(Markdown(f"### 📦 {nombre}")) if descripcion: display(Markdown(f"**Descripción:** {descripcion}")) display(Markdown(f"**Forma:** {df.shape[0]} filas x {df.shape[1]} columnas")) display(Markdown(f"**Columnas:**")) display(pd.DataFrame({'Columna': df.columns, 'Tipo': [str(df[col].dtype) for col in df.columns]})) display(Markdown("**Primeras filas:**")) display(df.head(n_filas)) def contar_por_lista(lista, key, datasets): """Cuenta ocurrencias de cada elemento de 'lista' en la clave 'key' de los datasets.""" conteo = {l: 0 for l in lista} for ds in datasets: items = ds.get(key, []) if isinstance(ds.get(key, []), list) else [ds.get(key, "")] for item in items: if item in conteo: conteo[item] += 1 return conteo import google.generativeai as genai GOOGLE_API_KEY = "AIzaSyAzBfQiHrzixi4ajJ0dSXNDUiPo_Xrne7Q" genai.configure(api_key=GOOGLE_API_KEY) MODEL_NAME = "gemini-2.5-pro" model_gemini = genai.GenerativeModel(MODEL_NAME) MISTRAL_API_KEY = "W2lhoCdGUXUUDHB5HQQfRMxffLDXVgkN" MISTRAL_API_URL = "https://api.mistral.ai/v1/chat/completions" MISTRAL_MODEL = "mistral-small-latest" modelo = SentenceTransformer('all-MiniLM-L6-v2') CACHE_INDICADORES = "cache_indicadores.json" CACHE_DATASETS = "cache_todos_datasets.json" CACHE_HORAS = 24 def descargar_indicadores(): url = "https://datos.canarias.es/api/estadisticas/indicators/v1.0/indicators" r = requests.get(url, timeout=30) r.raise_for_status() return r.json() def cargar_indicadores(): if os.path.exists(CACHE_INDICADORES): fecha = datetime.fromtimestamp(os.stat(CACHE_INDICADORES).st_mtime) if datetime.now() - fecha < timedelta(hours=CACHE_HORAS): with open(CACHE_INDICADORES, "r", encoding="utf-8") as f: return json.load(f) data = descargar_indicadores() with open(CACHE_INDICADORES, "w", encoding="utf-8") as f: json.dump(data, f) return data def descargar_todos_los_datasets_catalogo(nombre, url_catalogo, sleep=0.13): datasets = [] start = 0 total = None pbar = None while True: params = {"rows": 100, "start": start} r = requests.get(url_catalogo, params=params, timeout=30) r.raise_for_status() data = r.json() if total is None: total = data.get("result", {}).get("count", None) if total: pbar = tqdm(total=total, desc=nombre) resultados = data.get("result", {}).get("results", []) if not resultados: break datasets.extend(resultados) if pbar: pbar.update(len(resultados)) if len(resultados) < 100: break start += 100 time.sleep(sleep) if pbar: pbar.close() print(f"\n[{nombre}] Total descargados: {len(datasets)}") return datasets def transformar_dataset(ds, nombre_catalogo): return { "catalogo": nombre_catalogo, "title": ds.get("title", ""), "description": ds.get("notes", ""), "organization": ds.get("organization", {}).get("title", "") if "organization" in ds else "", "categoria": ds.get("groups", [{}])[0].get("title", "") if "groups" in ds and ds["groups"] else "", "tags": [tag.get('display_name', '') for tag in ds.get("tags", [])] if "tags" in ds else [], "resources": ds.get("resources", []), "id": ds.get("id") or ds.get("name") or ds.get("title", "") } def guardar_datasets_cache(datasets, fname=CACHE_DATASETS): with open(fname, "w", encoding="utf-8") as f: json.dump(datasets, f, ensure_ascii=False) def cargar_datasets_cache(fname=CACHE_DATASETS): if os.path.exists(fname): fecha = datetime.fromtimestamp(os.stat(fname).st_mtime) if datetime.now() - fecha < timedelta(hours=CACHE_HORAS): with open(fname, "r", encoding="utf-8") as f: return json.load(f) return None datasets = cargar_datasets_cache() if not datasets: datasets = [] for nombre, url in CATALOGOS: ds_crudos = descargar_todos_los_datasets_catalogo(nombre, url) datasets.extend([transformar_dataset(ds, nombre) for ds in ds_crudos]) guardar_datasets_cache(datasets) embedding_path = "embeddings_datasets.npy" def cargar_embeddings(path): embs = np.load(path) print(f"Embeddings cargados correctamente. Forma: {embs.shape}") return embs if os.path.exists(embedding_path): embs = cargar_embeddings(embedding_path) else: print(f"⚠️ El archivo {embedding_path} no está en la carpeta de Colab.\n" "Súbelo manualmente antes de ejecutar esta celda.") if files: uploaded = files.upload() # Busca el primer archivo .npy subido npy_files = [fn for fn in uploaded if fn.endswith('.npy')] if npy_files: embedding_path = npy_files[0] embs = cargar_embeddings(embedding_path) else: print("No se subió ningún archivo .npy. Vuelve a ejecutar la celda tras subirlo.") else: print("Carga manual de archivos solo soportada en Google Colab.") datasets_full = datasets.copy() embs_full = embs.copy() """#**4. Utilidades generales para exploración y resumen de datos**""" def buscar_top_datasets(pregunta, datasets, n=5): textos = [(ds["title"] or "") + " " + (ds["description"] or "") for ds in datasets] embeddings = modelo.encode(textos, convert_to_tensor=True) emb_preg = modelo.encode(pregunta, convert_to_tensor=True) similitudes = util.pytorch_cos_sim(emb_preg, embeddings)[0] top_idx = similitudes.argsort(descending=True)[:n] return [(datasets[int(idx)], float(similitudes[idx])) for idx in top_idx] def recurso_descargable(ds): for res in ds.get("resources", []): formato = (res.get("format") or "").lower() url = res.get("url", "") if formato in FORMATOS and url and url.startswith("http"): return url, formato, res.get("name", url) return None, None, None def sugerir_categorias(busqueda, categorias_sinonimos=CATEGORIAS_SINONIMOS, top_n=3): emb_busqueda = modelo.encode([busqueda]) resultados = [] for categoria, sinonimos in categorias_sinonimos.items(): emb_sinonimos = modelo.encode(sinonimos) max_sim = float(util.pytorch_cos_sim(emb_busqueda, emb_sinonimos).max()) resultados.append((categoria, max_sim)) resultados = sorted(resultados, key=lambda x: x[1], reverse=True) return [(cat, sim) for cat, sim in resultados[:top_n] if sim > 0.35] def sugerir_etiquetas(busqueda, etiquetas_sinonimos=ETIQUETAS_SINONIMOS, top_n=5): emb_busqueda = modelo.encode([busqueda]) resultados = [] for etiqueta, sinonimos in etiquetas_sinonimos.items(): emb_sinonimos = modelo.encode(sinonimos) max_sim = float(util.pytorch_cos_sim(emb_busqueda, emb_sinonimos).max()) resultados.append((etiqueta, max_sim)) resultados = sorted(resultados, key=lambda x: x[1], reverse=True) return [(tag, sim) for tag, sim in resultados[:top_n] if sim > 0.33] def filtrar_datasets_avanzado(datasets, categorias, etiquetas, texto_busqueda=""): categorias = [c.split(" (")[0] for c in categorias] etiquetas = [t.split(" (")[0] for t in etiquetas] filtrados = [] for ds in datasets: cat_match = not categorias or ds.get("categoria") in categorias tag_match = not etiquetas or any(tag in etiquetas for tag in ds.get("tags", [])) texto_match = True if texto_busqueda: busq = texto_busqueda.lower() texto_match = (busq in (ds.get("title", "") + ds.get("description", "")).lower() or any(busq in tag.lower() for tag in ds.get("tags", [])) or (busq in (ds.get("categoria", "")).lower())) if cat_match and tag_match and texto_match: filtrados.append(ds) return filtrados def extraer_recursos_dataset(ds): recursos = {"datos": None, "diccionario": None} if "resources" not in ds or not ds["resources"]: return recursos # --- DATOS PRINCIPALES: prioridad --- prioridad = [ "json-stat", "jsonstat", "cubo", "json", "px", "pc-axis", "csv", "xls", "xlsx", "tsv", "xml", "geojson" ] recursos_datos = [ { "url": res.get("url"), "formato": (res.get("format") or "").lower(), "name": res.get("name", "") } for res in ds["resources"] if (res.get("format") or "").lower() in prioridad ] recursos_datos = sorted( recursos_datos, key=lambda x: prioridad.index(x["formato"]) if x["formato"] in prioridad else 99 ) recursos["datos"] = recursos_datos[0] if recursos_datos else None # --- DICCIONARIO DE DATOS --- formatos_diccionario = [ "csv", "xls", "xlsx", "json" ] for res in ds["resources"]: formato = (res.get("format") or "").lower() name = (res.get("name") or "").lower() if ( ("diccionario" in name or "descrip" in name or "metadata" in name or "variables" in name) and formato in formatos_diccionario ): recursos["diccionario"] = { "url": res.get("url"), "formato": formato, "name": res.get("name", "") } break return recursos """#**5. Inferencia LLM: extracción de intención, cálculo cuantitativo y redacción automática**""" ds_select = widgets.Dropdown(options=[], description="Dataset:", layout=widgets.Layout(width='95%')) pregunta_area = widgets.Textarea( value='', placeholder='Pregunta sobre el dataset...', description='Pregunta:', layout=widgets.Layout(width='95%', height='60px'), disabled=True ) articulo_btn = widgets.Button(description="Generar artículo", disabled=True) output = widgets.Output() explorar_btn = widgets.Button( description="Explorar dataset", layout=widgets.Layout(width="120px", height="38px", margin="8px 0px 8px 0px"), button_style='primary' ) explorar_box = widgets.HBox([explorar_btn], layout=widgets.Layout(justify_content='flex-end', width='100%')) def explorar_dataset(b=None): output.clear_output() filtrados = filtrar_datasets_avanzado(datasets, cat_select.value, tag_select.value, busqueda_texto.value) valor = ds_select.value if not filtrados or valor is None: with output: display(Markdown("⚠️ Selecciona un dataset para explorar.")) return if isinstance(valor, int): ds = filtrados[valor] else: ds = next((d for d in filtrados if d.get("id") == valor or d.get("title") == valor), None) if ds is None: with output: display(Markdown("⚠️ Error: No se encontró el dataset seleccionado.")) return with output: analizar_dataset_con_diccionario(ds, nrows=8) explorar_btn.on_click(explorar_dataset) llm_select = widgets.ToggleButtons( options=[('Gemini 2.5 Pro', 'gemini'), ('Mistral Small', 'mistral')], value='gemini', description='Motor LLM:', button_style='info', layout=widgets.Layout(width='55%', margin='8px 0 8px 0') ) def actualizar_estado_pregunta(*args): if ds_select.value is not None: pregunta_area.disabled = False articulo_btn.disabled = False else: pregunta_area.disabled = True articulo_btn.disabled = True ds_select.observe(lambda change: actualizar_estado_pregunta(), names="value") sugerencias_out = widgets.Output() busqueda_texto = widgets.Text( value="", placeholder="Buscar en títulos, descripciones, categorías, etiquetas...", description="Búsqueda:", layout=widgets.Layout(width='95%') ) def mostrar_sugerencias_categorias_etiquetas(change): sugerencias_out.clear_output() texto = busqueda_texto.value.strip() if not texto: return sugeridas_cats = sugerir_categorias(texto, categorias_sinonimos=CATEGORIAS_SINONIMOS, top_n=3) sugeridas_tags = sugerir_etiquetas(texto, etiquetas_sinonimos=ETIQUETAS_SINONIMOS, top_n=5) with sugerencias_out: display(Markdown("**Categorías sugeridas:** " + ", ".join([f"{c[0]} ({round(c[1]*100)}%)" for c in sugeridas_cats])) if sugeridas_cats else None) display(Markdown("**Etiquetas sugeridas:** " + ", ".join([f"{t[0]} ({round(t[1]*100)}%)" for t in sugeridas_tags])) if sugeridas_tags else None) # --- Cálculo de conteos actualizados --- cat_counts = contar_por_lista(CATEGORIAS, "categoria", datasets) tag_counts = contar_por_lista(ETIQUETAS, "tags", datasets) cat_options = [f"{cat} ({cat_counts[cat]})" for cat in CATEGORIAS] tag_options = [f"{tag} ({tag_counts[tag]})" for tag in ETIQUETAS] cat_select = widgets.SelectMultiple( options=cat_options, description="Categorías", layout=widgets.Layout(width='45%', height='160px') ) tag_select = widgets.SelectMultiple( options=tag_options, description="Etiquetas", layout=widgets.Layout(width='45%', height='160px') ) def analizar_dataset_con_diccionario(ds, nrows=6): recursos = extraer_recursos_dataset(ds) df_datos = leer_archivo_flexible(recursos["datos"]["url"], recursos["datos"]["formato"]) diccionario = recursos.get("diccionario") if diccionario and diccionario.get("url") and diccionario.get("formato"): df_dicc = leer_archivo_flexible(diccionario["url"], diccionario["formato"]) else: df_dicc = None display(Markdown("### 🗂️ Diccionario de Datos")) if df_dicc is not None: display(df_dicc) else: display(Markdown("*No se encontró diccionario de datos en los recursos de este dataset.*")) display(Markdown("### 📈 Exploración rápida del dataset")) if df_datos is not None: display(Markdown(f"**Forma:** {df_datos.shape[0]} filas x {df_datos.shape[1]} columnas")) display(Markdown("**Columnas y tipos:**")) display(pd.DataFrame({'Columna': df_datos.columns, 'Tipo': [str(df_datos[col].dtype) for col in df_datos.columns]})) display(Markdown("**Primeras filas:**")) display(df_datos.head(nrows)) display(Markdown("**Estadísticas numéricas:**")) display(df_datos.describe(include='all')) print("\nValores nulos por columna:") print(df_datos.isnull().sum()) print("\nValores únicos por columna (top 5):") for col in df_datos.columns: try: # Si hay listas/dicts, conviértelo a string sólo para este análisis if df_datos[col].apply(lambda x: isinstance(x, (list, dict))).any(): muestra = df_datos[col].apply(lambda x: str(x) if isinstance(x, (list, dict)) else x) nunique = muestra.nunique() ejemplos = muestra.unique()[:5] else: nunique = df_datos[col].nunique() ejemplos = df_datos[col].unique()[:5] print(f"- {col}: {nunique} únicos. Ejemplos: {ejemplos}") except Exception as e: print(f"- {col}: ⚠️ Error mostrando valores únicos ({e})") else: display(Markdown("*No se pudo cargar el dataset principal.*")) def actualizar_datasets(*args): filtrados = filtrar_datasets_avanzado(datasets, cat_select.value, tag_select.value, busqueda_texto.value) opciones = [(ds["title"], i) for i, ds in enumerate(filtrados)] ds_select.options = opciones if opciones: ds_select.value = 0 pregunta_area.disabled = False articulo_btn.disabled = False else: pregunta_area.disabled = True articulo_btn.disabled = True cat_select.observe(actualizar_datasets, names='value') tag_select.observe(actualizar_datasets, names='value') busqueda_texto.observe(actualizar_datasets, names='value') busqueda_texto.observe(mostrar_sugerencias_categorias_etiquetas, names='value') import pandas as pd import io import requests import csv def leer_csv_flexible(url, nrows=None, verbose=True, encoding='utf-8'): try: resp = requests.get(url) resp.raise_for_status() content = resp.content.decode(encoding, errors='replace') lines = content.splitlines() preview = "\n".join(lines[:5]) # 1. Detectar delimitador automáticamente try: dialect = csv.Sniffer().sniff(content[:2048]) sep_detected = dialect.delimiter df = pd.read_csv(io.StringIO(content), sep=sep_detected, nrows=nrows, on_bad_lines='skip') if df.shape[1] > 1: if verbose: print(f"✔️ CSV leído correctamente (detected sep='{sep_detected}'). Shape: {df.shape}") return df except Exception as e: if verbose: print(f"No se pudo detectar delimitador automáticamente: {e}") # 2. Prueba manualmente con los separadores más frecuentes for sep in [';', ',', '\t', '|']: try: df = pd.read_csv(io.StringIO(content), sep=sep, nrows=nrows, on_bad_lines='skip') if df.shape[1] > 1: if verbose: print(f"✔️ CSV leído correctamente con pandas sep='{sep}'. Shape: {df.shape}") return df except Exception as e: if verbose: print(f"Intento con pandas sep='{sep}' falló: {e}") # 3. Split manual (plan B, menos robusto) if ';' in lines[0]: cols = lines[0].split(';') data = [l.split(';') for l in lines[1:] if ';' in l] df = pd.DataFrame(data, columns=cols) if nrows: df = df.head(nrows) if df.shape[1] > 1: if verbose: print(f"✔️ CSV leído correctamente por split manual ';'. Shape: {df.shape}") return df # 4. Si todo falla if verbose: print("⚠️ No se pudo interpretar como tabla multicolumna. Mostrando líneas como texto.") tabla_md = "```\n" + preview + "\n... (archivo no tabular)\n```" return None, tabla_md except Exception as e: print(f"Error leyendo {url}: {e}") return None, None def leer_archivo_flexible(url, formato=None, nrows=None, verbose=True): import requests from urllib.parse import urlparse import pandas as pd # ---- Función interna para cubo ISTAC JSON ---- def parse_cubo_istac_json(data, nrows=None): import itertools # Extraer las dimensiones en orden diminfo = data["data"]["dimensions"]["dimension"] dim_labels = [] dim_codes = [] for dim in diminfo: label = dim["dimensionId"] codes = [val["code"] for val in dim["representations"]["representation"]] dim_labels.append(label) dim_codes.append(codes) # Combinaciones cartesiano combinaciones = list(itertools.product(*dim_codes)) # Observaciones (pueden venir como string con '|') obs_str = data["data"]["observations"] obs_vals = [x.strip() for x in obs_str.split("|")] obs_vals = [float(x) if x else None for x in obs_vals] # Construir DataFrame registros = [] for dims, valor in zip(combinaciones, obs_vals): registro = dict(zip(dim_labels, dims)) registro["valor"] = valor registros.append(registro) df = pd.DataFrame(registros) if nrows: df = df.head(nrows) return df if not url: print("No se ha especificado URL.") return None # --- 1. Detección automática de formato si no se da o es dudoso --- formato_original = formato if not formato or formato.lower() in ["", "desconocido", "auto", "none", "txt"]: try: head = requests.head(url, allow_redirects=True, timeout=10) ctype = head.headers.get("Content-Type", "").lower() except Exception: ctype = "" # Content-Type if "json" in ctype: formato = "json" elif "csv" in ctype: formato = "csv" elif "excel" in ctype or "spreadsheetml" in ctype or "xls" in ctype: formato = "xlsx" elif "pdf" in ctype: formato = "pdf" elif "image" in ctype: if "png" in ctype: formato = "png" elif "jpeg" in ctype or "jpg" in ctype: formato = "jpg" else: formato = "img" elif "xml" in ctype: formato = "xml" elif "zip" in ctype: formato = "zip" else: # Extensión de URL path = urlparse(url).path ext = path.split(".")[-1].lower() if "." in path else "" if ext in ["csv", "tsv", "xlsx", "xls", "ods", "json", "xml", "pdf", "png", "jpg", "jpeg", "zip", "geojson", "gml", "shp"]: formato = ext elif ext in ["pc-axis", "px"]: formato = "px" elif ext in ["stat", "jsonstat"]: formato = "json-stat" else: formato = ext or "txt" if verbose: print(f"🔎 Formato detectado: '{formato}' (original: '{formato_original}')") # --- 2. INTENTAR LEER COMO CUBO ISTAC SI ES JSON --- if formato in ["json", "json-stat", "jsonstat", "cubo", None]: try: resp = requests.get(url, timeout=20) resp.raise_for_status() data = resp.json() # Detección cubo ISTAC if ( "data" in data and "dimensions" in data["data"] and "observations" in data["data"] ): df = parse_cubo_istac_json(data, nrows=nrows) print(f"✔️ Cubo ISTAC leído correctamente. Shape: {df.shape}") return df # Si no es cubo, sigue con el flujo normal except Exception as e: if verbose: print(f"No es cubo ISTAC o error leyendo como JSON: {e}") # sigue el flujo estándar # --- 3. Lectura estándar según formato --- try: if formato == "csv": import io resp = requests.get(url, timeout=20) resp.raise_for_status() texto = resp.text delimitadores = [';', ',', '\t', '|', ':'] mejor_df = None mejor_cols = 0 for delim in delimitadores: try: df = pd.read_csv(io.StringIO(texto), sep=delim, nrows=nrows, on_bad_lines='skip') ncols = len(df.columns) # Busca al menos 2 columnas con nombre (no sólo una "columna gigante") if ncols > mejor_cols: mejor_cols = ncols mejor_df = df except Exception: continue if mejor_df is not None and mejor_cols > 1: if verbose: print(f"✔️ CSV leído correctamente con delimitador '{delimitadores[delimitadores.index(delim)]}'. Shape: {mejor_df.shape}") return mejor_df else: print("❌ No se pudo detectar un delimitador válido para el CSV.") return None elif formato == "tsv": return pd.read_csv(url, sep="\t", nrows=nrows, on_bad_lines='skip') elif formato in ["xlsx", "xls"]: return pd.read_excel(url, nrows=nrows) elif formato == "json": try: resp = requests.get(url, timeout=20) resp.raise_for_status() data = resp.json() return pd.json_normalize(data) except Exception as e: if verbose: print(f"Error leyendo JSON genérico: {e}") return None elif formato in ["px", "pc-axis"]: try: from pyaxis import pyaxis except ImportError: print("Falta pyaxis. Ejecuta: !pip install pyaxis") return None import io resp = requests.get(url, timeout=20) resp.raise_for_status() df = pyaxis.parse(io.StringIO(resp.content.decode("latin1"))) if nrows: df = df.head(nrows) print(f"✔️ Archivo PC-Axis (.px) leído correctamente. Shape: {df.shape}") return df elif formato in ["png", "jpeg", "jpg"]: from PIL import Image from io import BytesIO response = requests.get(url) img = Image.open(BytesIO(response.content)) print("Imagen cargada correctamente (no tabular).") return img elif formato == "pdf": import pdfplumber with pdfplumber.open(requests.get(url, stream=True).raw) as pdf: pages = [page.extract_text() for page in pdf.pages] print("PDF cargado (texto plano).") return "\n".join(pages) elif formato in ["geojson", "shp", "gml"]: import geopandas as gpd return gpd.read_file(url) else: print(f"Formato '{formato}' no soportado para lectura automática en DataFrame.") return None except Exception as e: print(f"Error leyendo {url} como {formato}: {e}") return None def leer_diccionario_prioritario(recursos): # Primero intenta JSON, luego CSV if recursos.get("diccionario_json"): dicc = leer_archivo_flexible( recursos["diccionario_json"]["url"], recursos["diccionario_json"]["formato"]) if dicc is not None: return dicc, "json" if recursos.get("diccionario_csv"): dicc = leer_archivo_flexible( recursos["diccionario_csv"]["url"], recursos["diccionario_csv"]["formato"]) if dicc is not None: return dicc, "csv" return None, None def extract_intent_gemini(question, columns): prompt = f""" Eres un asistente que ayuda a analizar conjuntos de datos tabulares (tipo Excel o CSV). Dada una pregunta en español y la lista de columnas del dataset, responde SOLO con un JSON que indique: - "operation": el cálculo principal ("count", "sum", "average", "min", "max", "percentage", etc.) - Si es "percentage", devuelve dos suboperaciones: - "numerator": {{"column": ..., "filters": ...}} - "denominator": {{"column": ..., "filters": ...}} - Para el resto: - "column": la columna relevante para la operación (o "all" si es un conteo de filas) - "filters": si hay filtros, devuélvelos en formato Python (ej: "Isla == 'Tenerife' and Año == 2023") - Si NO es posible, responde: {{"operation": "unanswerable", "reason": "Explica brevemente por qué no se puede"}} Ejemplo 1: Pregunta: ¿Cuántos hoteles hay en Tenerife? Columnas: ["Nombre", "Isla", "Tipo", "Plazas"] Respuesta: {{"operation": "count", "column": "Nombre", "filters": "Isla == 'Tenerife'"}} Ejemplo 2: Pregunta: ¿Media de plazas por hotel en Gran Canaria? Columnas: ["Nombre", "Isla", "Tipo", "Plazas"] Respuesta: {{"operation": "average", "column": "Plazas", "filters": "Isla == 'Gran Canaria'"}} Ejemplo 3: Pregunta: ¿Qué porcentaje de centros tiene fibra óptica? Columnas: ["TERRITORIO", "TITULARIDAD_CENTRO", "TIPO_CONEXION_INTERNET", "valor"] Respuesta: {{ "operation": "percentage", "numerator": {{"column": "valor", "filters": "TIPO_CONEXION_INTERNET == 'FIBRA_OPTICA'"}}, "denominator": {{"column": "valor", "filters": ""}} }} Pregunta: {question} Columnas: {columns} """ response = model_gemini.generate_content(prompt) import json import re try: match = re.search(r"\{.*\}", response.text, re.DOTALL) if match: result = json.loads(match.group()) return result else: return {"operation": "unanswerable", "reason": "No se encontró un JSON válido en la respuesta."} except Exception as e: return {"operation": "unanswerable", "reason": str(e)} def execute_intent(df, intent, pregunta_usuario=None): op = intent.get("operation") col = intent.get("column") filters = intent.get("filters", "") if op == "unanswerable": return None, intent.get("reason", "Sin motivo claro.") import numpy as np df_filtered = df.copy() if filters: try: filter_expr = filters.replace(" and ", " & ").replace(" or ", " | ") df_filtered = df_filtered.query(filter_expr) except Exception as e: return None, f"Error aplicando filtro: {e}" try: if op == "count": if col == "all" or col is None or col not in df_filtered.columns: return len(df_filtered), None if pregunta_usuario and df_filtered[col].dtype == 'O': import re match = re.search(r"cu[aá]nt[ao]s? ([\w ]+)", pregunta_usuario.lower()) if match: palabra = match.group(1).strip() conteo = df_filtered[col].str.lower().str.contains(palabra).sum() return conteo, None return df_filtered[col].count(), None elif op == "sum": return df_filtered[col].sum(), None elif op == "average": return df_filtered[col].mean(), None elif op == "min": return df_filtered[col].min(), None elif op == "max": return df_filtered[col].max(), None elif op == "percentage": # --- Espera keys: numerator y denominator, cada uno con column y filters --- num = intent.get("numerator", {}) den = intent.get("denominator", {}) # Numerador num_df = df.copy() if num.get("filters"): filter_expr = num["filters"].replace(" and ", " & ").replace(" or ", " | ") num_df = num_df.query(filter_expr) num_col = num.get("column", "valor") num_val = num_df[num_col].sum() if num_col in num_df.columns else len(num_df) # Denominador den_df = df.copy() if den.get("filters"): filter_expr = den["filters"].replace(" and ", " & ").replace(" or ", " | ") den_df = den_df.query(filter_expr) den_col = den.get("column", "valor") den_val = den_df[den_col].sum() if den_col in den_df.columns else len(den_df) # Calcular porcentaje if den_val == 0 or den_val is None or np.isnan(den_val): return None, "Denominador cero o nulo, no se puede calcular porcentaje." porcentaje = 100 * num_val / den_val return round(porcentaje, 2), None else: return None, f"Operación '{op}' no soportada todavía." except Exception as e: return None, f"Error ejecutando la operación: {e}" def preguntar_a_mistral(pregunta, contexto=""): headers = { "Authorization": f"Bearer {MISTRAL_API_KEY}", "Content-Type": "application/json" } prompt_periodista = ( "Eres un periodista de datos especializado en el análisis de datasets públicos de Canarias. " "Tu tarea es redactar una noticia informativa y objetiva (alrededor de 350 palabras) respondiendo a la siguiente pregunta del usuario, " "usando únicamente los datos proporcionados en el contexto. " "No inventes cifras ni afirmaciones que no estén explícitamente presentes en los datos. " "Si la cifra o resultado principal no aparece, explica la naturaleza del dataset y su posible utilidad, sin inventar información. " "El artículo debe incluir:\n" "- Una introducción breve y clara al tema o problema.\n" "- Cifras y hechos extraídos directamente del dataset, resaltando los más relevantes.\n" "- Un apartado final que resalte la importancia pública o utilidad del conjunto de datos.\n" "Cita siempre el nombre oficial del dataset y la fuente ('Gobierno de Canarias' o la administración correspondiente). " "No añadas opiniones personales ni especules. Si faltan datos para la respuesta, indícalo al principio y explica brevemente el contenido del dataset." ) payload = { "model": MISTRAL_MODEL, "messages": [ {"role": "system", "content": prompt_periodista}, {"role": "user", "content": f"{pregunta}\n\nDatos:\n{contexto}"} ] } response = requests.post(MISTRAL_API_URL, headers=headers, json=payload) if response.status_code == 200 and response.text.strip(): try: result = response.json() return result["choices"][0]["message"]["content"] except Exception as e: return f"⚠️ Error interpretando JSON: {e}" else: return f"❌ Error API: {response.text[:300]}" def preguntar_a_gemini(pregunta, contexto=""): prompt_periodista = ( "Actúas como periodista de datos, experto en análisis y divulgación de información pública para la ciudadanía de Canarias. " "Redacta una noticia periodística informativa y objetiva (aprox. 350 palabras), centrada únicamente en los datos y cifras presentes en el contexto. " "No inventes ningún número ni afirmación, ni rellenes huecos que no se puedan justificar con los datos disponibles. " "Estructura la noticia así:\n" "1. Introducción que explique de qué trata el dataset y su relevancia pública.\n" "2. Exposición de los datos más significativos, calculando medias, totales o tendencias sólo si es posible y explicando siempre la fuente.\n" "3. Si no hay datos directos para la respuesta, acláralo desde el inicio, describe el contenido del dataset y posibles aplicaciones públicas o periodísticas.\n" "Termina siempre citando el nombre del conjunto de datos y la fuente oficial. " "No agregues opiniones, conclusiones subjetivas ni rellenos fuera de la información disponible." ) model = genai.GenerativeModel("gemini-2.5-pro") full_prompt = f"{prompt_periodista}\n\nPregunta:\n{pregunta}\n\nDatos:\n{contexto}" response = model.generate_content(full_prompt) return response.text if hasattr(response, 'text') else str(response) def preguntar_llm(pregunta, contexto="", modelo="mistral"): if modelo == "mistral": return preguntar_a_mistral(pregunta, contexto) elif modelo == "gemini": return preguntar_a_gemini(pregunta, contexto) else: return "❌ Modelo LLM no soportado." def generar_articulo(b): output.clear_output() if ds_select.value is None or not pregunta_area.value.strip(): with output: display(Markdown("⚠️ Selecciona un dataset y escribe una pregunta.")) return filtrados = filtrar_datasets_avanzado(datasets, cat_select.value, tag_select.value, busqueda_texto.value) valor = ds_select.value if isinstance(valor, int): ds = filtrados[valor] else: ds = next((d for d in filtrados if d.get("id") == valor or d.get("title") == valor), None) if ds is None: with output: display(Markdown("⚠️ Error: No se encontró el dataset seleccionado.")) return url, formato, nombre = recurso_descargable(ds) contexto = "" df = None tabla_md = None resultado = None intent = None error = None motor_llm = llm_select.value # Intentar añadir el diccionario de datos aunque no se cargue el CSV try: recursos = extraer_recursos_dataset(ds) df_dicc, tipo_dicc = leer_diccionario_prioritario(recursos) if df_dicc is not None: contexto += "\n\nDiccionario de datos" if tipo_dicc == "json": # Si es DataFrame o dict, muéstralo bonito if isinstance(df_dicc, pd.DataFrame): contexto += " (JSON):\n" + df_dicc.to_markdown(index=False) elif isinstance(df_dicc, dict): import json contexto += " (JSON):\n" + json.dumps(df_dicc, ensure_ascii=False, indent=2) else: contexto += f"\n{str(df_dicc)[:2000]}" # Fallback seguro elif tipo_dicc == "csv": contexto += " (CSV):\n" + df_dicc.to_markdown(index=False) except Exception as e: print(f"⚠️ Error al cargar el diccionario de datos: {e}") if url: try: is_visual = False # Usa tu función robusta y única para TODOS los casos: df = leer_archivo_flexible(url, formato=formato, nrows=None) tabla_md = None # Solo lo necesitas si tu función lo retorna # Si quieres compatibilidad por si algún día devuelves markdown: if isinstance(df, tuple): df, tabla_md = df else: tabla_md = None # Obtención del contexto para el LLM: if df is not None and isinstance(df, pd.DataFrame) and not df.empty: contexto = df.to_markdown(index=False) elif tabla_md is not None: contexto = tabla_md else: contexto = "" # Mostrar DataFrame si hay datos tabulares if df is not None and isinstance(df, pd.DataFrame) and not df.empty: if df.shape[0] > 2 and df.shape[1] > 2 and not df.isnull().all(axis=None): display(df.head(12)) is_visual = True columns_list = list(df.columns) pregunta_usuario = pregunta_area.value # Intent extraction (usamos Gemini para ambos motores, pero puedes cambiar esto si implementas otra LLM) intent = extract_intent_gemini(pregunta_usuario, columns_list) display(Markdown(f"**Intención detectada:** `{intent}`")) resultado, error = execute_intent(df, intent, pregunta_usuario) if error: display(Markdown(f"❌ **No se pudo calcular:** {error}")) else: display(Markdown(f"### 🧮 **Resultado cuantitativo:** {resultado}")) else: df = None elif tabla_md is not None: # Si solo hay markdown, muéstralo bonito display(Markdown("#### Vista previa del dataset (tabla generada automáticamente):")) display(Markdown(f"```\n{tabla_md}\n```")) else: display(Markdown("No se pudo cargar el dataset principal.")) except Exception as e: display(Markdown(f"No se pudo cargar el recurso: {e}")) contexto = ds.get("description", "") else: display(Markdown("No hay recurso tabular descargable asociado.")) contexto = ds.get("description", "") # Redacción final con LLM if intent and intent.get("operation") and intent.get("operation") != "unanswerable" and resultado is not None and not error: display(Markdown("### 📝 Pieza informativa generada automáticamente (con dato calculado):")) prompt_noticia = f""" Redacta una noticia informativa de 300-350 palabras basada en la siguiente pregunta del usuario: '{pregunta_area.value}' Incluye y destaca el dato calculado: {resultado}. Describe el contexto del dataset, qué mide y la fuente '{nombre}'. No inventes cifras ni datos no presentes. No agregues opiniones. """ respuesta = preguntar_llm(prompt_noticia, contexto, motor_llm) display(Markdown(respuesta)) else: display(Markdown("### 📝 Pieza informativa generada automáticamente (sin cálculo):")) prompt_sin_dato = f""" Eres un periodista de datos especializado en información pública y análisis de datasets. Redacta una noticia informativa de aproximadamente 300 palabras sobre la siguiente cuestión: '{pregunta_area.value}'. Utiliza únicamente la información que aparece en la descripción y metadatos del dataset. No inventes cifras ni resultados que no estén presentes en los datos. Si el dataset no proporciona un valor concreto o estadística clave, explícalo y describe el contexto, el contenido, el posible interés público y la fuente de la información. Incluye: - Una introducción breve al tema del dataset. - Qué tipo de datos o información contiene. - Su utilidad potencial para la ciudadanía, empresas o periodistas. - Qué tipo de preguntas permite responder o qué análisis se podrían hacer (sin afirmar cifras). - Siempre cita el nombre oficial del dataset y la fuente pública ('{nombre}'). No inventes ningún número ni dato no proporcionado. No añadas opiniones personales. Mantén el estilo informativo y objetivo. """ respuesta = preguntar_llm(prompt_sin_dato, contexto, motor_llm) display(Markdown(respuesta)) articulo_btn.on_click(generar_articulo) """#**6. Widgets e interfaz interactiva**""" import ipywidgets as widgets from IPython.display import display, Markdown, clear_output lupa_html = widgets.HTML( "" "" ) busqueda_semantica = widgets.Text( value="", placeholder="Buscar datasets públicos por palabras clave o tema", description="", layout=widgets.Layout(width='95%', height='32px', margin='0') ) buscar_btn = widgets.Button( description="Buscar", layout=widgets.Layout(width='92px', height='30px', margin='0 0 0 10px'), style={'button_color': '#f2f2f2', 'font_weight': 'bold', 'border_radius': '11px'} ) output_resultados = widgets.Output() cabecera_buscador = widgets.HBox( [lupa_html, busqueda_semantica, buscar_btn], layout=widgets.Layout(width='90%', align_items='center', margin='0 0 18px 0') ) def seleccionar_dataset(idx): ds = datasets[int(idx)] try: titulo = ds.get("title", "") dsid = ds.get("id", idx) ds_select.options = [(titulo, dsid)] ds_select.value = dsid pregunta_area.disabled = False articulo_btn.disabled = False pregunta_area.value = "" with output_resultados: clear_output(wait=True) display(Markdown( f"¡Dataset seleccionado! Puedes lanzar una pregunta sobre: {titulo}" )) except Exception as e: print("No se pudo seleccionar el dataset:", e) def buscar_datasets_semantico(change=None): texto = busqueda_semantica.value.strip() output_resultados.clear_output() pregunta_area.disabled = True articulo_btn.disabled = True pregunta_area.value = "" ds_select.value = None if not texto or len(texto) < 3: return # --- 1. Coincidencias exactas (ignora mayúsculas/minúsculas) matches_exactos = [ idx for idx, ds in enumerate(datasets_full) if texto.lower() in ds.get("title", "").lower() ] # --- 2. Resultados por similitud semántica (top 10) emb_consulta = modelo.encode([texto])[0] from sklearn.metrics.pairwise import cosine_similarity scores = cosine_similarity([emb_consulta], embs_full)[0] top_idx = scores.argsort()[::-1][:10] # --- 3. Mezcla: matches exactos al principio, luego top similitud (sin duplicados) all_idx = list(dict.fromkeys(matches_exactos + list(top_idx))) with output_resultados: display(Markdown( f"