Spaces:
Build error
Build error
Download streamlit_app.py from cacos8/gobcan-api-app: direct link, hf CLI and curl.
- Browser
- Download file 76.6 kB
-
https://huggingface.co/spaces/cacos8/gobcan-api-app/resolve/main/streamlit_app.py
- Command line
-
hf download hf://spaces/cacos8/gobcan-api-app/streamlit_app.py
-
curl -L -o streamlit_app.py https://huggingface.co/spaces/cacos8/gobcan-api-app/resolve/main/streamlit_app.py
76.6 kB
# -*- coding: utf-8 -*-
"""API_GOBCAN_final.ipynb
Automatically generated by Colab.
Original file is located at
https://colab.research.google.com/drive/1Ao_fZKrzarOcXKcu3Tj-0Y7251MCR37j
#**1. Instalación y carga de librerías**
"""
!pip install -q sentence-transformers torch matplotlib ipywidgets pandas requests tabulate
!pip install -q openpyxl xlrd odfpy geopandas fastkml rasterio Pillow pdfplumber PyPDF2 beautifulsoup4 owslib tqdm
!pip install pyjstat
import os
import json
import re
import time
from datetime import datetime, timedelta
import pandas as pd
import numpy as np
import requests
import matplotlib.pyplot as plt
from sentence_transformers import SentenceTransformer, util
from IPython.display import display, Markdown, clear_output
import ipywidgets as widgets
import geopandas as gpd
import pdfplumber
import PyPDF2
from PIL import Image
import zipfile
import xml.etree.ElementTree as ET
import rasterio
import openpyxl
import xlrd
import odf
from bs4 import BeautifulSoup
import owslib
from tqdm.notebook import tqdm
# Colab file upload helper (solo necesario si usas Google Colab)
try:
from google.colab import files
except ImportError:
files = None
"""#**2. Definición de constantes y diccionarios de metadatos**"""
ORGANIZACIONES = [
"Instituto Canario de Estadística (ISTAC)",
"Cabildo de Tenerife",
"Consejería de Política Territorial, Cohesión Territorial y Aguas",
"Consejería de Presidencia, Administraciones Públicas, Justicia y Seguridad",
"Consejería de Transición Ecológica y Energía",
"Consejería de Agricultura, Ganadería, Pesca y Soberanía Alimentaria",
"GRAFCAN",
"Presidencia del Gobierno de Canarias",
"Consejería de Hacienda y Relaciones con la Unión Europea",
"Consejería de Turismo y Empleo",
"Servicio Canario de Salud",
"Consejería de Educación, Formación Profesional, Actividad Física y Deportes",
"Cabildo Insular de El Hierro",
"Consejería de Sanidad",
"Consejería de Universidades, Ciencia e Innovación y Cultura",
"Consejería de Bienestar Social, Igualdad, Juventud, Infancia y Familias",
"Consejería de Economía, Industria, Comercio y Autónomos",
"Consejería de Obras Públicas, Vivienda y Movilidad",
]
CATEGORIAS = [
"Empleo", "Demografía", "Salud", "Sociedad y bienestar", "Turismo", "Sector Público",
"Economía", "Ciencia y tecnología", "Medio rural", "Medio ambiente", "Transporte",
"Industria", "Legislación y justicia", "Vivienda", "Educación", "Urbanismo e infraestructuras",
"Comercio", "Cultura y ocio", "Seguridad", "Hacienda", "Deportes", "Energía"
]
ETIQUETAS = [
"Mapa temático", "Cubo estadístico", "Cartografía", "Empleo", "Indicadores laborales", "Datos históricos",
"Indicadores Demográficos", "Cartografía", "Población", "Sociedad", "Salud", "Estado de salud",
"Encuesta de Salud de Canarias", "Condiciones de vida", "Calidad de vida",
"Encuesta de ingresos y condiciones de vida de los hogares canarios", "Actividad en atención especializada",
"Encuesta de Morbilidad Hospitalaria -EMH-", "Clasificación", "Sector servicios", "Hostelería y turismo",
"Ciencia y tecnología", "Tecnologías de la información y la comunicación", "Demografía",
"Demanda turística. Turistas y pasajero", "Encuesta sobre el Gasto Turístico", "Economía general",
"Censos de Población y Viviendas", "Cifras censales", "Población",
"Encuesta sobre la implantación de las tecnologías de la información y la comunicación en los hogares",
"Encuesta de Hábitos y Confianza Socioeconómica -ECOSOC-", "Concepto", "meteorología", "estaciones meteorológicas",
"sensores meteorológicos", "mediciones", "ganadería", "Agricultura", "INSPIRE - Unidades estadísticas",
"pesca y caza", "Sector primario", "Censo Agrario",
"Encuesta de Tecnologías de la Información y la Comunicación en las Empresas de Canarias",
"Encuesta de Salud e Ingresos de Canarias", "INSPIRE - Unidades estadísticas",
"Administración pública", "Encuesta sobre gasto y satisfacción de los usuarios de campos de golf",
"Microdatos", "Cultura"
]
FORMATOS = [
"kml", "wms", "tiff", "jpeg", "png", "csv", "json", "xlsx", "tsv", "xml", "pc-axis",
"geopackage", "ods", "geojson", "zip", "gml", "api", "html", "pdf", "wfs", "txt", "rss",
"xls", "kmz", "netcdf", "jp2", "application/api", "las", "rdf", "shp", "svg"
]
DICCIONARIO_TEMAS = {
"Demografía": ["demografía", "población", "censo", "censal", "padron", "padronal", "habitantes", "natalidad", "mortalidad", "inmigración", "emigración", "densidad", "municipios", "cifras censales", "edad", "sexo"],
"Empleo": ["empleo", "paro", "trabajo", "ocupados", "desempleados", "afiliación", "contrato", "sectores laborales", "prestación", "prestaciones", "ofertas", "parados", "salarios", "remuneración", "actividad económica"],
"Salud": ["salud", "sanidad", "hospital", "enfermedad", "morbilidad", "atención primaria", "especializada", "medicina", "vacuna", "epidemia", "estado de salud", "vida saludable", "hospitalaria", "ingresos sanitarios", "epidemiología", "sida", "covid", "morbilidad hospitalaria"],
"Sociedad y bienestar": ["bienestar", "sociedad", "calidad de vida", "condiciones de vida", "familia", "juventud", "infancia", "igualdad", "mayores", "pobreza", "integración social", "servicios sociales", "protección social"],
"Turismo": ["turismo", "viajero", "turistas", "alojamiento", "hotel", "pernoctaciones", "restauración", "hostelería", "gasto turístico", "movimiento turístico", "campings", "ocupación hotelera", "visitantes", "apartamento", "reserva", "oferta turística", "playa", "crucero", "campos de golf"],
"Sector Público": ["sector público", "administración", "gobierno", "entidades públicas", "funcionarios", "empleo público", "organismos", "servicios públicos", "presupuestos", "licitación", "contratación pública"],
"Economía": ["economía", "PIB", "producción", "consumo", "sector primario", "sector secundario", "sector terciario", "comercio", "renta", "ingresos", "gastos", "industria", "facturación", "empresa", "exportaciones", "importaciones", "finanzas", "balanza comercial"],
"Ciencia y tecnología": ["ciencia", "tecnología", "investigación", "innovación", "i+d", "digitalización", "tics", "informática", "internet", "brecha digital", "equipamiento tecnológico", "red", "conectividad"],
"Medio rural": ["rural", "campo", "agricultura", "ganadería", "pesca", "explotación agraria", "censo agrario", "vivienda rural", "cooperativa", "sector primario"],
"Medio ambiente": ["medio ambiente", "sostenibilidad", "contaminación", "calidad ambiental", "residuos", "reciclaje", "biodiversidad", "espacios naturales", "protección ambiental", "parque nacional", "emisiones", "cambio climático", "ecología", "zonas protegidas", "meteorología", "estaciones meteorológicas", "sensores meteorológicos"],
"Transporte": ["transporte", "vehículo", "automóvil", "autobús", "guagua", "aeropuerto", "puerto", "movilidad", "carretera", "infraestructura vial", "pasajeros", "mercancía", "logística", "tráfico", "viaje", "viajeros", "tránsito", "licencia"],
"Industria": ["industria", "sector industrial", "fábrica", "manufactura", "procesos industriales", "producción industrial", "energía industrial", "maquinaria", "transformación", "suministro", "parque industrial"],
"Legislación y justicia": ["legislación", "ley", "normativa", "regulación", "justicia", "tribunal", "sentencia", "proceso judicial", "abogado", "fiscalía", "delito", "seguridad jurídica", "caso judicial", "litigio"],
"Vivienda": ["vivienda", "casa", "hogar", "alquiler", "inmueble", "propiedad", "comprar vivienda", "reformas", "habitat", "residencial", "censos de vivienda", "construcción", "vivienda pública", "desahucio"],
"Educación": ["educación", "colegio", "escuela", "universidad", "formación", "estudiante", "profesorado", "enseñanza", "alumnado", "ciclo formativo", "graduado", "titulación", "beca", "centro educativo", "tasa de abandono"],
"Urbanismo e infraestructuras": ["urbanismo", "infraestructura", "plan urbanístico", "obra pública", "carretera", "calle", "equipamiento", "parque", "red viaria", "urbanización", "obra civil", "edificación", "movilidad urbana"],
"Comercio": ["comercio", "ventas", "minorista", "mayorista", "facturación", "consumo", "distribución comercial", "mercado", "establecimiento comercial", "tienda", "índice de comercio"],
"Cultura y ocio": ["cultura", "ocio", "arte", "patrimonio", "evento cultural", "teatro", "museo", "concierto", "exposición", "espectáculo", "deporte", "actividad cultural", "biblioteca", "fiesta popular"],
"Seguridad": ["seguridad", "delito", "crimen", "policía", "protección civil", "emergencia", "accidente", "riesgo", "prevención", "seguridad ciudadana", "vigilancia"],
"Hacienda": ["hacienda", "tributo", "impuesto", "fiscalidad", "presupuesto", "gasto público", "finanzas públicas", "recaudación", "contribución", "deuda pública", "contabilidad"],
"Deportes": ["deporte", "actividad física", "club deportivo", "entrenamiento", "partido", "competición", "polideportivo", "instalación deportiva", "jugador", "federación", "evento deportivo", "campeonato"],
"Energía": ["energía", "electricidad", "gas", "combustible", "energía renovable", "consumo energético", "solar", "eólica", "fotovoltaica", "potencia", "producción energética", "emisiones", "eficiencia energética"]
}
CATALOGOS = [
("GENERAL (Gobcan e ISTAC)", "https://datos.canarias.es/catalogos/general/api/action/package_search"),
("SITCAN", "https://opendata.sitcan.es/api/action/package_search"),
]
CATEGORIAS_SINONIMOS = {
"Empleo": ["empleo", "trabajo", "ocupación", "paro", "desempleo", "parados", "contrato", "afiliación", "ofertas laborales", "sectores laborales", "prestación", "salarios", "remuneración", "actividad económica", "puestos de trabajo"],
"Demografía": ["demografía", "población", "censo", "censal", "padron", "padronal", "habitantes", "natalidad", "mortalidad", "inmigración", "emigración", "densidad", "municipios", "cifras censales", "edad", "sexo"],
"Salud": ["salud", "sanidad", "hospital", "enfermedad", "morbilidad", "atención primaria", "atención especializada", "medicina", "vacuna", "epidemia", "estado de salud", "vida saludable", "hospitalaria", "ingresos sanitarios", "epidemiología", "sida", "covid", "morbilidad hospitalaria"],
"Sociedad y bienestar": ["bienestar", "sociedad", "calidad de vida", "condiciones de vida", "familia", "juventud", "infancia", "igualdad", "mayores", "pobreza", "integración social", "servicios sociales", "protección social"],
"Turismo": ["turismo", "viajero", "turistas", "alojamiento", "hotel", "pernoctaciones", "restauración", "hostelería", "gasto turístico", "movimiento turístico", "campings", "ocupación hotelera", "visitantes", "apartamento", "reserva", "oferta turística", "playa", "crucero", "campos de golf"],
"Sector Público": ["sector público", "administración", "gobierno", "entidades públicas", "funcionarios", "empleo público", "organismos", "servicios públicos", "presupuestos", "licitación", "contratación pública", "administración pública"],
"Economía": ["economía", "PIB", "producción", "consumo", "sector primario", "sector secundario", "sector terciario", "comercio", "renta", "ingresos", "gastos", "industria", "facturación", "empresa", "exportaciones", "importaciones", "finanzas", "balanza comercial"],
"Ciencia y tecnología": ["ciencia", "tecnología", "investigación", "innovación", "i+d", "digitalización", "tics", "informática", "internet", "brecha digital", "equipamiento tecnológico", "red", "conectividad"],
"Medio rural": ["rural", "campo", "agricultura", "ganadería", "pesca", "explotación agraria", "censo agrario", "vivienda rural", "cooperativa", "sector primario"],
"Medio ambiente": ["medio ambiente", "sostenibilidad", "contaminación", "calidad ambiental", "residuos", "reciclaje", "biodiversidad", "espacios naturales", "protección ambiental", "parque nacional", "emisiones", "cambio climático", "ecología", "zonas protegidas", "meteorología", "estaciones meteorológicas", "sensores meteorológicos"],
"Transporte": ["transporte", "vehículo", "automóvil", "autobús", "guagua", "aeropuerto", "puerto", "movilidad", "carretera", "infraestructura vial", "pasajeros", "mercancía", "logística", "tráfico", "viaje", "viajeros", "tránsito", "licencia"],
"Industria": ["industria", "sector industrial", "fábrica", "manufactura", "procesos industriales", "producción industrial", "energía industrial", "maquinaria", "transformación", "suministro", "parque industrial"],
"Legislación y justicia": ["legislación", "ley", "normativa", "regulación", "justicia", "tribunal", "sentencia", "proceso judicial", "abogado", "fiscalía", "delito", "seguridad jurídica", "caso judicial", "litigio"],
"Vivienda": ["vivienda", "casa", "hogar", "alquiler", "inmueble", "propiedad", "comprar vivienda", "reformas", "habitat", "residencial", "censos de vivienda", "construcción", "vivienda pública", "desahucio"],
"Educación": ["educación", "colegio", "escuela", "universidad", "formación", "estudiante", "profesorado", "enseñanza", "alumnado", "ciclo formativo", "graduado", "titulación", "beca", "centro educativo", "tasa de abandono"],
"Urbanismo e infraestructuras": ["urbanismo", "infraestructura", "plan urbanístico", "obra pública", "carretera", "calle", "equipamiento", "parque", "red viaria", "urbanización", "obra civil", "edificación", "movilidad urbana"],
"Comercio": ["comercio", "ventas", "minorista", "mayorista", "facturación", "consumo", "distribución comercial", "mercado", "establecimiento comercial", "tienda", "índice de comercio"],
"Cultura y ocio": ["cultura", "ocio", "arte", "patrimonio", "evento cultural", "teatro", "museo", "concierto", "exposición", "espectáculo", "deporte", "actividad cultural", "biblioteca", "fiesta popular"],
"Seguridad": ["seguridad", "delito", "crimen", "policía", "protección civil", "emergencia", "accidente", "riesgo", "prevención", "seguridad ciudadana", "vigilancia"],
"Hacienda": ["hacienda", "tributo", "impuesto", "fiscalidad", "presupuesto", "gasto público", "finanzas públicas", "recaudación", "contribución", "deuda pública", "contabilidad"],
"Deportes": ["deporte", "actividad física", "club deportivo", "entrenamiento", "partido", "competición", "polideportivo", "instalación deportiva", "jugador", "federación", "evento deportivo", "campeonato"],
"Energía": ["energía", "electricidad", "gas", "combustible", "energía renovable", "consumo energético", "solar", "eólica", "fotovoltaica", "potencia", "producción energética", "emisiones", "eficiencia energética"],
}
ETIQUETAS_SINONIMOS = {
"Mapa temático": ["mapa temático", "mapa", "mapas", "visualización", "geografía", "representación gráfica"],
"Cubo estadístico": ["cubo estadístico", "tablas dinámicas", "tabla de datos", "multidimensional", "resumen estadístico"],
"Cartografía": ["cartografía", "mapa", "mapas", "georreferenciación", "GIS", "datos geográficos", "visualización espacial"],
"Empleo": ["empleo", "trabajo", "desempleo", "paro", "parados", "ocupación", "contratación", "personas desempleadas", "ofertas de empleo", "afiliación laboral", "sectores laborales", "salarios", "remuneración", "actividad económica"],
"Indicadores laborales": ["indicadores laborales", "indicadores de empleo", "paro", "tasa de empleo", "tasa de paro", "ocupados", "desempleados", "salarios", "afiliación", "contrato laboral", "trabajo"],
"Datos históricos": ["datos históricos", "series temporales", "evolución", "tendencia histórica", "histórico", "historia", "datos pasados"],
"Indicadores Demográficos": ["indicadores demográficos", "demografía", "cifras censales", "edad", "sexo", "natalidad", "mortalidad", "habitantes", "estructura de población"],
"Población": ["población", "habitantes", "censo", "personas", "demografía", "natalidad", "mortalidad", "densidad", "padron", "padronal"],
"Sociedad": ["sociedad", "calidad de vida", "condiciones de vida", "bienestar social", "vida social", "integración social", "cohesión social"],
"Salud": ["salud", "sanidad", "hospital", "enfermedad", "morbilidad", "vida saludable", "centros de salud", "estado de salud", "atención primaria", "hospitalaria", "ingresos sanitarios", "epidemia", "epidemiología", "vacuna", "covid"],
"Estado de salud": ["estado de salud", "salud", "bienestar", "condición sanitaria"],
"Encuesta de Salud de Canarias": ["encuesta de salud", "salud pública", "encuesta sanitaria", "cuestionario salud canarias", "datos de salud", "informe salud"],
"Condiciones de vida": ["condiciones de vida", "nivel de vida", "calidad de vida", "bienestar", "situación vital", "circunstancias vitales"],
"Calidad de vida": ["calidad de vida", "bienestar", "nivel de vida", "estándar de vida", "satisfacción vital"],
"Encuesta de ingresos y condiciones de vida de los hogares canarios": ["ingresos", "hogares", "nivel de vida", "encuesta hogares", "condiciones económicas", "situación económica", "ingresos familiares"],
"Actividad en atención especializada": ["atención especializada", "actividad sanitaria", "servicios sanitarios", "especialistas", "hospitalaria", "consultas especializadas"],
"Encuesta de Morbilidad Hospitalaria -EMH-": ["morbilidad hospitalaria", "encuesta de morbilidad", "hospital", "pacientes hospitalizados", "salud", "enfermedad"],
"Clasificación": ["clasificación", "tipología", "agrupación", "categorías", "clases", "grupos"],
"Sector servicios": ["sector servicios", "servicios", "hostelería", "turismo", "comercio", "actividades terciarias", "ocio"],
"Hostelería y turismo": ["hostelería", "turismo", "alojamiento", "hotel", "apartamento", "restauración", "bares", "gasto turístico", "oferta turística"],
"Ciencia y tecnología": ["ciencia y tecnología", "ciencia", "tecnología", "investigación", "innovación", "i+d", "digitalización", "internet", "tics", "equipamiento tecnológico", "conectividad"],
"Tecnologías de la información y la comunicación": ["tecnologías de la información", "TIC", "tecnologías de la comunicación", "digitalización", "informática", "internet", "conectividad"],
"Demografía": ["demografía", "población", "censo", "estructura demográfica", "cifras censales", "habitantes", "natalidad", "mortalidad"],
"Demanda turística. Turistas y pasajero": ["demanda turística", "turistas", "viajeros", "visitantes", "movimiento turístico", "pasajeros", "flujos turísticos"],
"Encuesta sobre el Gasto Turístico": ["gasto turístico", "encuesta turística", "turismo", "viajeros", "gasto de turistas", "consumo turístico"],
"Economía general": ["economía", "PIB", "producción", "consumo", "empresa", "balanza comercial", "sector primario", "sector secundario", "sector terciario", "finanzas", "gastos", "ingresos"],
"Censos de Población y Viviendas": ["censo", "censos de población", "censo de viviendas", "padrón", "censo habitacional", "demografía", "estadísticas poblacionales"],
"Cifras censales": ["cifras censales", "censo", "población", "demografía", "habitantes", "estadísticas censales"],
"Encuesta sobre la implantación de las tecnologías de la información y la comunicación en los hogares": ["tecnologías de la información", "TIC", "hogares digitales", "equipamiento tecnológico", "acceso a internet", "digitalización doméstica"],
"Encuesta de Hábitos y Confianza Socioeconómica -ECOSOC-": ["hábitos socioeconómicos", "confianza económica", "nivel de vida", "encuesta social", "costumbres", "situación económica"],
"Concepto": ["concepto", "definición", "significado", "explicación", "descripción"],
"meteorología": ["meteorología", "clima", "tiempo", "sensores meteorológicos", "estaciones meteorológicas", "mediciones", "predicción del tiempo"],
"estaciones meteorológicas": ["estaciones meteorológicas", "sensores meteorológicos", "observatorios meteorológicos", "clima", "tiempo"],
"sensores meteorológicos": ["sensores meteorológicos", "instrumentos meteorológicos", "mediciones climáticas", "equipamiento meteorológico"],
"mediciones": ["mediciones", "medida", "datos de medición", "valores medidos", "resultados de medición"],
"ganadería": ["ganadería", "explotaciones ganaderas", "cría de animales", "sector ganadero", "producción animal"],
"Agricultura": ["agricultura", "cultivo", "explotaciones agrarias", "producción agrícola", "sector agrícola"],
"INSPIRE - Unidades estadísticas": ["INSPIRE", "unidades estadísticas", "marco europeo", "geoestadística", "estadística espacial"],
"pesca y caza": ["pesca", "caza", "sector pesquero", "sector cinegético", "recursos naturales"],
"Sector primario": ["sector primario", "agricultura", "ganadería", "pesca", "explotación agraria", "campo", "producción primaria"],
"Censo Agrario": ["censo agrario", "censo agrícola", "estadística agrícola", "explotaciones agrarias"],
"Encuesta de Tecnologías de la Información y la Comunicación en las Empresas de Canarias": ["tecnologías de la información", "TIC", "empresas", "digitalización empresarial", "informática empresarial"],
"Encuesta de Salud e Ingresos de Canarias": ["salud", "ingresos", "encuesta", "canarias", "nivel de vida", "salud pública", "ingresos familiares"],
"Administración pública": ["administración pública", "sector público", "gobierno", "organismo público", "entidades públicas", "gestión pública"],
"Encuesta sobre gasto y satisfacción de los usuarios de campos de golf": ["gasto", "satisfacción", "campos de golf", "usuarios", "encuesta de golf"],
"Microdatos": ["microdatos", "datos individuales", "registro individual", "detalle de encuesta", "información granular"],
"Cultura": ["cultura", "actividad cultural", "patrimonio", "arte", "evento cultural", "museo", "teatro", "concierto", "exposición", "biblioteca", "fiesta popular", "ocio", "espectáculo"],
"Sociedad y bienestar": ["sociedad", "bienestar", "servicios sociales", "calidad de vida", "condiciones de vida", "familia", "juventud", "infancia", "igualdad", "mayores", "pobreza", "integración social", "protección social"],
"Turismo": ["turismo", "viajero", "turistas", "alojamiento", "hotel", "hostelería", "gasto turístico", "reserva", "oferta turística", "restauración", "ocupación hotelera", "campings", "visitantes", "apartamento", "playa", "crucero", "campos de golf"],
"Sector Público": ["sector público", "administración", "gobierno", "entidades públicas", "organismos públicos", "funcionarios", "empleo público", "servicios públicos"],
"Economía": ["economía", "PIB", "producción", "consumo", "comercio", "renta", "ingresos", "gastos", "industria", "empresa", "exportaciones", "importaciones", "finanzas", "balanza comercial"],
"Ciencia y tecnología": ["ciencia", "tecnología", "investigación", "innovación", "i+d", "digitalización", "tics", "informática", "internet", "equipamiento tecnológico", "red", "conectividad"],
"Medio rural": ["medio rural", "campo", "agricultura", "ganadería", "pesca", "explotación agraria", "vivienda rural", "cooperativa", "sector primario"],
"Medio ambiente": ["medio ambiente", "sostenibilidad", "contaminación", "calidad ambiental", "residuos", "reciclaje", "biodiversidad", "espacios naturales", "protección ambiental", "parque nacional", "emisiones", "cambio climático", "ecología", "zonas protegidas", "meteorología"],
"Transporte": ["transporte", "vehículo", "automóvil", "autobús", "guagua", "aeropuerto", "puerto", "carretera", "movilidad", "infraestructura vial", "pasajeros", "mercancía", "logística", "tráfico", "viaje", "viajeros", "licencia"],
"Industria": ["industria", "sector industrial", "fábrica", "manufactura", "procesos industriales", "producción industrial", "energía industrial", "maquinaria", "transformación", "suministro", "parque industrial"],
"Legislación y justicia": ["legislación", "ley", "normativa", "regulación", "justicia", "tribunal", "sentencia", "proceso judicial", "abogado", "fiscalía", "delito", "seguridad jurídica", "caso judicial", "litigio"],
"Vivienda": ["vivienda", "casa", "hogar", "alquiler", "inmueble", "propiedad", "comprar vivienda", "reformas", "habitat", "residencial", "censos de vivienda", "construcción", "vivienda pública", "desahucio"],
"Educación": ["educación", "colegio", "escuela", "universidad", "formación", "estudiante", "profesorado", "enseñanza", "alumnado", "ciclo formativo", "graduado", "titulación", "beca", "centro educativo", "tasa de abandono"],
"Urbanismo e infraestructuras": ["urbanismo", "infraestructura", "plan urbanístico", "obra pública", "carretera", "calle", "equipamiento", "parque", "red viaria", "urbanización", "obra civil", "edificación", "movilidad urbana"],
"Comercio": ["comercio", "ventas", "minorista", "mayorista", "facturación", "consumo", "distribución comercial", "mercado", "establecimiento comercial", "tienda", "índice de comercio"],
"Cultura y ocio": ["cultura", "ocio", "arte", "patrimonio", "evento cultural", "teatro", "museo", "concierto", "exposición", "espectáculo", "deporte", "actividad cultural", "biblioteca", "fiesta popular"],
"Seguridad": ["seguridad", "delito", "crimen", "policía", "protección civil", "emergencia", "accidente", "riesgo", "prevención", "seguridad ciudadana", "vigilancia"],
"Hacienda": ["hacienda", "tributo", "impuesto", "fiscalidad", "presupuesto", "gasto público", "finanzas públicas", "recaudación", "contribución", "deuda pública", "contabilidad"],
"Deportes": ["deporte", "actividad física", "club deportivo", "entrenamiento", "partido", "competición", "polideportivo", "instalación deportiva", "jugador", "federación", "evento deportivo", "campeonato"],
"Energía": ["energía", "electricidad", "gas", "combustible", "energía renovable", "consumo energético", "solar", "eólica", "fotovoltaica", "potencia", "producción energética", "emisiones", "eficiencia energética"],
}
"""#**3. Descarga y carga de datasets e indicadores**"""
def consulta_multifuncion(
df,
filtros=None,
operacion="count",
columna=None,
devolver_df=False
):
"""
Realiza consultas múltiples sobre el DataFrame:
- 'count': número de registros filtrados
- 'sum': suma una columna numérica
- 'mean': media/promedio de una columna numérica
- 'unique': valores únicos de una columna
- 'all': devuelve el DataFrame filtrado
Argumentos:
- df: pandas DataFrame
- filtros: dict {columna: valor} (búsqueda parcial en texto)
- operacion: 'count', 'sum', 'mean', 'unique', 'all'
- columna: nombre de la columna para operaciones ('sum', 'mean', 'unique')
- devolver_df: si True, siempre devuelve el DataFrame filtrado además del resultado
"""
if filtros is None:
filtros = {}
mask = pd.Series([True]*len(df))
for col, val in filtros.items():
if col not in df.columns:
raise ValueError(f"La columna '{col}' no existe en el DataFrame.")
if isinstance(val, str):
mask = mask & df[col].astype(str).str.lower().str.contains(val.lower(), na=False)
else:
mask = mask & (df[col] == val)
df_filtrado = df[mask]
resultado = None
if operacion == "count":
resultado = df_filtrado.shape[0]
elif operacion == "sum":
if columna is None:
raise ValueError("Debes indicar una columna para la suma.")
resultado = df_filtrado[columna].sum()
elif operacion == "mean":
if columna is None:
raise ValueError("Debes indicar una columna para el promedio.")
resultado = df_filtrado[columna].mean()
elif operacion == "unique":
if columna is None:
raise ValueError("Debes indicar una columna para extraer valores únicos.")
resultado = df_filtrado[columna].unique().tolist()
elif operacion == "all":
resultado = df_filtrado
else:
raise ValueError("Operación no soportada. Usa 'count', 'sum', 'mean', 'unique' o 'all'.")
if devolver_df and operacion != "all":
return resultado, df_filtrado
else:
return resultado
def sugerir_columnas(df, palabra, top_n=3):
palabra = palabra.lower()
scores = []
for col in df.columns:
score = sum(1 for w in palabra.split() if w in col.lower())
if palabra in col.lower():
score += 2 # Bonus si hay coincidencia directa
scores.append((col, score))
scores = sorted(scores, key=lambda x: -x[1])
sugeridas = [col for col, sc in scores if sc > 0]
return sugeridas[:top_n] if sugeridas else df.columns[:top_n].tolist()
def resumen_dataset(df, descripcion=None, nombre=None, n_filas=6):
if nombre: display(Markdown(f"### 📦 {nombre}"))
if descripcion: display(Markdown(f"**Descripción:** {descripcion}"))
display(Markdown(f"**Forma:** {df.shape[0]} filas x {df.shape[1]} columnas"))
display(Markdown(f"**Columnas:**"))
display(pd.DataFrame({'Columna': df.columns, 'Tipo': [str(df[col].dtype) for col in df.columns]}))
display(Markdown("**Primeras filas:**"))
display(df.head(n_filas))
def contar_por_lista(lista, key, datasets):
"""Cuenta ocurrencias de cada elemento de 'lista' en la clave 'key' de los datasets."""
conteo = {l: 0 for l in lista}
for ds in datasets:
items = ds.get(key, []) if isinstance(ds.get(key, []), list) else [ds.get(key, "")]
for item in items:
if item in conteo:
conteo[item] += 1
return conteo
import google.generativeai as genai
GOOGLE_API_KEY = "AIzaSyAzBfQiHrzixi4ajJ0dSXNDUiPo_Xrne7Q"
genai.configure(api_key=GOOGLE_API_KEY)
MODEL_NAME = "gemini-2.5-pro"
model_gemini = genai.GenerativeModel(MODEL_NAME)
MISTRAL_API_KEY = "W2lhoCdGUXUUDHB5HQQfRMxffLDXVgkN"
MISTRAL_API_URL = "https://api.mistral.ai/v1/chat/completions"
MISTRAL_MODEL = "mistral-small-latest"
modelo = SentenceTransformer('all-MiniLM-L6-v2')
CACHE_INDICADORES = "cache_indicadores.json"
CACHE_DATASETS = "cache_todos_datasets.json"
CACHE_HORAS = 24
def descargar_indicadores():
url = "https://datos.canarias.es/api/estadisticas/indicators/v1.0/indicators"
r = requests.get(url, timeout=30)
r.raise_for_status()
return r.json()
def cargar_indicadores():
if os.path.exists(CACHE_INDICADORES):
fecha = datetime.fromtimestamp(os.stat(CACHE_INDICADORES).st_mtime)
if datetime.now() - fecha < timedelta(hours=CACHE_HORAS):
with open(CACHE_INDICADORES, "r", encoding="utf-8") as f:
return json.load(f)
data = descargar_indicadores()
with open(CACHE_INDICADORES, "w", encoding="utf-8") as f:
json.dump(data, f)
return data
def descargar_todos_los_datasets_catalogo(nombre, url_catalogo, sleep=0.13):
datasets = []
start = 0
total = None
pbar = None
while True:
params = {"rows": 100, "start": start}
r = requests.get(url_catalogo, params=params, timeout=30)
r.raise_for_status()
data = r.json()
if total is None:
total = data.get("result", {}).get("count", None)
if total:
pbar = tqdm(total=total, desc=nombre)
resultados = data.get("result", {}).get("results", [])
if not resultados:
break
datasets.extend(resultados)
if pbar:
pbar.update(len(resultados))
if len(resultados) < 100:
break
start += 100
time.sleep(sleep)
if pbar: pbar.close()
print(f"\n[{nombre}] Total descargados: {len(datasets)}")
return datasets
def transformar_dataset(ds, nombre_catalogo):
return {
"catalogo": nombre_catalogo,
"title": ds.get("title", ""),
"description": ds.get("notes", ""),
"organization": ds.get("organization", {}).get("title", "") if "organization" in ds else "",
"categoria": ds.get("groups", [{}])[0].get("title", "") if "groups" in ds and ds["groups"] else "",
"tags": [tag.get('display_name', '') for tag in ds.get("tags", [])] if "tags" in ds else [],
"resources": ds.get("resources", []),
"id": ds.get("id") or ds.get("name") or ds.get("title", "")
}
def guardar_datasets_cache(datasets, fname=CACHE_DATASETS):
with open(fname, "w", encoding="utf-8") as f:
json.dump(datasets, f, ensure_ascii=False)
def cargar_datasets_cache(fname=CACHE_DATASETS):
if os.path.exists(fname):
fecha = datetime.fromtimestamp(os.stat(fname).st_mtime)
if datetime.now() - fecha < timedelta(hours=CACHE_HORAS):
with open(fname, "r", encoding="utf-8") as f:
return json.load(f)
return None
datasets = cargar_datasets_cache()
if not datasets:
datasets = []
for nombre, url in CATALOGOS:
ds_crudos = descargar_todos_los_datasets_catalogo(nombre, url)
datasets.extend([transformar_dataset(ds, nombre) for ds in ds_crudos])
guardar_datasets_cache(datasets)
embedding_path = "embeddings_datasets.npy"
def cargar_embeddings(path):
embs = np.load(path)
print(f"Embeddings cargados correctamente. Forma: {embs.shape}")
return embs
if os.path.exists(embedding_path):
embs = cargar_embeddings(embedding_path)
else:
print(f"⚠️ El archivo {embedding_path} no está en la carpeta de Colab.\n"
"Súbelo manualmente antes de ejecutar esta celda.")
if files:
uploaded = files.upload()
# Busca el primer archivo .npy subido
npy_files = [fn for fn in uploaded if fn.endswith('.npy')]
if npy_files:
embedding_path = npy_files[0]
embs = cargar_embeddings(embedding_path)
else:
print("No se subió ningún archivo .npy. Vuelve a ejecutar la celda tras subirlo.")
else:
print("Carga manual de archivos solo soportada en Google Colab.")
datasets_full = datasets.copy()
embs_full = embs.copy()
"""#**4. Utilidades generales para exploración y resumen de datos**"""
def buscar_top_datasets(pregunta, datasets, n=5):
textos = [(ds["title"] or "") + " " + (ds["description"] or "") for ds in datasets]
embeddings = modelo.encode(textos, convert_to_tensor=True)
emb_preg = modelo.encode(pregunta, convert_to_tensor=True)
similitudes = util.pytorch_cos_sim(emb_preg, embeddings)[0]
top_idx = similitudes.argsort(descending=True)[:n]
return [(datasets[int(idx)], float(similitudes[idx])) for idx in top_idx]
def recurso_descargable(ds):
for res in ds.get("resources", []):
formato = (res.get("format") or "").lower()
url = res.get("url", "")
if formato in FORMATOS and url and url.startswith("http"):
return url, formato, res.get("name", url)
return None, None, None
def sugerir_categorias(busqueda, categorias_sinonimos=CATEGORIAS_SINONIMOS, top_n=3):
emb_busqueda = modelo.encode([busqueda])
resultados = []
for categoria, sinonimos in categorias_sinonimos.items():
emb_sinonimos = modelo.encode(sinonimos)
max_sim = float(util.pytorch_cos_sim(emb_busqueda, emb_sinonimos).max())
resultados.append((categoria, max_sim))
resultados = sorted(resultados, key=lambda x: x[1], reverse=True)
return [(cat, sim) for cat, sim in resultados[:top_n] if sim > 0.35]
def sugerir_etiquetas(busqueda, etiquetas_sinonimos=ETIQUETAS_SINONIMOS, top_n=5):
emb_busqueda = modelo.encode([busqueda])
resultados = []
for etiqueta, sinonimos in etiquetas_sinonimos.items():
emb_sinonimos = modelo.encode(sinonimos)
max_sim = float(util.pytorch_cos_sim(emb_busqueda, emb_sinonimos).max())
resultados.append((etiqueta, max_sim))
resultados = sorted(resultados, key=lambda x: x[1], reverse=True)
return [(tag, sim) for tag, sim in resultados[:top_n] if sim > 0.33]
def filtrar_datasets_avanzado(datasets, categorias, etiquetas, texto_busqueda=""):
categorias = [c.split(" (")[0] for c in categorias]
etiquetas = [t.split(" (")[0] for t in etiquetas]
filtrados = []
for ds in datasets:
cat_match = not categorias or ds.get("categoria") in categorias
tag_match = not etiquetas or any(tag in etiquetas for tag in ds.get("tags", []))
texto_match = True
if texto_busqueda:
busq = texto_busqueda.lower()
texto_match = (busq in (ds.get("title", "") + ds.get("description", "")).lower() or
any(busq in tag.lower() for tag in ds.get("tags", [])) or
(busq in (ds.get("categoria", "")).lower()))
if cat_match and tag_match and texto_match:
filtrados.append(ds)
return filtrados
def extraer_recursos_dataset(ds):
recursos = {"datos": None, "diccionario": None}
if "resources" not in ds or not ds["resources"]:
return recursos
# --- DATOS PRINCIPALES: prioridad ---
prioridad = [
"json-stat", "jsonstat", "cubo", "json", "px", "pc-axis",
"csv", "xls", "xlsx", "tsv", "xml", "geojson"
]
recursos_datos = [
{
"url": res.get("url"),
"formato": (res.get("format") or "").lower(),
"name": res.get("name", "")
}
for res in ds["resources"]
if (res.get("format") or "").lower() in prioridad
]
recursos_datos = sorted(
recursos_datos,
key=lambda x: prioridad.index(x["formato"]) if x["formato"] in prioridad else 99
)
recursos["datos"] = recursos_datos[0] if recursos_datos else None
# --- DICCIONARIO DE DATOS ---
formatos_diccionario = [
"csv", "xls", "xlsx", "json"
]
for res in ds["resources"]:
formato = (res.get("format") or "").lower()
name = (res.get("name") or "").lower()
if (
("diccionario" in name or "descrip" in name or "metadata" in name or "variables" in name)
and formato in formatos_diccionario
):
recursos["diccionario"] = {
"url": res.get("url"),
"formato": formato,
"name": res.get("name", "")
}
break
return recursos
"""#**5. Inferencia LLM: extracción de intención, cálculo cuantitativo y redacción automática**"""
ds_select = widgets.Dropdown(options=[], description="Dataset:", layout=widgets.Layout(width='95%'))
pregunta_area = widgets.Textarea(
value='', placeholder='Pregunta sobre el dataset...', description='Pregunta:',
layout=widgets.Layout(width='95%', height='60px'), disabled=True
)
articulo_btn = widgets.Button(description="Generar artículo", disabled=True)
output = widgets.Output()
explorar_btn = widgets.Button(
description="Explorar dataset",
layout=widgets.Layout(width="120px", height="38px", margin="8px 0px 8px 0px"),
button_style='primary'
)
explorar_box = widgets.HBox([explorar_btn], layout=widgets.Layout(justify_content='flex-end', width='100%'))
def explorar_dataset(b=None):
output.clear_output()
filtrados = filtrar_datasets_avanzado(datasets, cat_select.value, tag_select.value, busqueda_texto.value)
valor = ds_select.value
if not filtrados or valor is None:
with output:
display(Markdown("⚠️ Selecciona un dataset para explorar."))
return
if isinstance(valor, int):
ds = filtrados[valor]
else:
ds = next((d for d in filtrados if d.get("id") == valor or d.get("title") == valor), None)
if ds is None:
with output:
display(Markdown("⚠️ Error: No se encontró el dataset seleccionado."))
return
with output:
analizar_dataset_con_diccionario(ds, nrows=8)
explorar_btn.on_click(explorar_dataset)
llm_select = widgets.ToggleButtons(
options=[('Gemini 2.5 Pro', 'gemini'), ('Mistral Small', 'mistral')],
value='gemini',
description='Motor LLM:',
button_style='info',
layout=widgets.Layout(width='55%', margin='8px 0 8px 0')
)
def actualizar_estado_pregunta(*args):
if ds_select.value is not None:
pregunta_area.disabled = False
articulo_btn.disabled = False
else:
pregunta_area.disabled = True
articulo_btn.disabled = True
ds_select.observe(lambda change: actualizar_estado_pregunta(), names="value")
sugerencias_out = widgets.Output()
busqueda_texto = widgets.Text(
value="", placeholder="Buscar en títulos, descripciones, categorías, etiquetas...", description="Búsqueda:", layout=widgets.Layout(width='95%')
)
def mostrar_sugerencias_categorias_etiquetas(change):
sugerencias_out.clear_output()
texto = busqueda_texto.value.strip()
if not texto:
return
sugeridas_cats = sugerir_categorias(texto, categorias_sinonimos=CATEGORIAS_SINONIMOS, top_n=3)
sugeridas_tags = sugerir_etiquetas(texto, etiquetas_sinonimos=ETIQUETAS_SINONIMOS, top_n=5)
with sugerencias_out:
display(Markdown("**Categorías sugeridas:** " + ", ".join([f"{c[0]} ({round(c[1]*100)}%)" for c in sugeridas_cats])) if sugeridas_cats else None)
display(Markdown("**Etiquetas sugeridas:** " + ", ".join([f"{t[0]} ({round(t[1]*100)}%)" for t in sugeridas_tags])) if sugeridas_tags else None)
# --- Cálculo de conteos actualizados ---
cat_counts = contar_por_lista(CATEGORIAS, "categoria", datasets)
tag_counts = contar_por_lista(ETIQUETAS, "tags", datasets)
cat_options = [f"{cat} ({cat_counts[cat]})" for cat in CATEGORIAS]
tag_options = [f"{tag} ({tag_counts[tag]})" for tag in ETIQUETAS]
cat_select = widgets.SelectMultiple(
options=cat_options, description="Categorías", layout=widgets.Layout(width='45%', height='160px')
)
tag_select = widgets.SelectMultiple(
options=tag_options, description="Etiquetas", layout=widgets.Layout(width='45%', height='160px')
)
def analizar_dataset_con_diccionario(ds, nrows=6):
recursos = extraer_recursos_dataset(ds)
df_datos = leer_archivo_flexible(recursos["datos"]["url"], recursos["datos"]["formato"])
diccionario = recursos.get("diccionario")
if diccionario and diccionario.get("url") and diccionario.get("formato"):
df_dicc = leer_archivo_flexible(diccionario["url"], diccionario["formato"])
else:
df_dicc = None
display(Markdown("### 🗂️ Diccionario de Datos"))
if df_dicc is not None:
display(df_dicc)
else:
display(Markdown("*No se encontró diccionario de datos en los recursos de este dataset.*"))
display(Markdown("### 📈 Exploración rápida del dataset"))
if df_datos is not None:
display(Markdown(f"**Forma:** {df_datos.shape[0]} filas x {df_datos.shape[1]} columnas"))
display(Markdown("**Columnas y tipos:**"))
display(pd.DataFrame({'Columna': df_datos.columns, 'Tipo': [str(df_datos[col].dtype) for col in df_datos.columns]}))
display(Markdown("**Primeras filas:**"))
display(df_datos.head(nrows))
display(Markdown("**Estadísticas numéricas:**"))
display(df_datos.describe(include='all'))
print("\nValores nulos por columna:")
print(df_datos.isnull().sum())
print("\nValores únicos por columna (top 5):")
for col in df_datos.columns:
try:
# Si hay listas/dicts, conviértelo a string sólo para este análisis
if df_datos[col].apply(lambda x: isinstance(x, (list, dict))).any():
muestra = df_datos[col].apply(lambda x: str(x) if isinstance(x, (list, dict)) else x)
nunique = muestra.nunique()
ejemplos = muestra.unique()[:5]
else:
nunique = df_datos[col].nunique()
ejemplos = df_datos[col].unique()[:5]
print(f"- {col}: {nunique} únicos. Ejemplos: {ejemplos}")
except Exception as e:
print(f"- {col}: ⚠️ Error mostrando valores únicos ({e})")
else:
display(Markdown("*No se pudo cargar el dataset principal.*"))
def actualizar_datasets(*args):
filtrados = filtrar_datasets_avanzado(datasets, cat_select.value, tag_select.value, busqueda_texto.value)
opciones = [(ds["title"], i) for i, ds in enumerate(filtrados)]
ds_select.options = opciones
if opciones:
ds_select.value = 0
pregunta_area.disabled = False
articulo_btn.disabled = False
else:
pregunta_area.disabled = True
articulo_btn.disabled = True
cat_select.observe(actualizar_datasets, names='value')
tag_select.observe(actualizar_datasets, names='value')
busqueda_texto.observe(actualizar_datasets, names='value')
busqueda_texto.observe(mostrar_sugerencias_categorias_etiquetas, names='value')
import pandas as pd
import io
import requests
import csv
def leer_csv_flexible(url, nrows=None, verbose=True, encoding='utf-8'):
try:
resp = requests.get(url)
resp.raise_for_status()
content = resp.content.decode(encoding, errors='replace')
lines = content.splitlines()
preview = "\n".join(lines[:5])
# 1. Detectar delimitador automáticamente
try:
dialect = csv.Sniffer().sniff(content[:2048])
sep_detected = dialect.delimiter
df = pd.read_csv(io.StringIO(content), sep=sep_detected, nrows=nrows, on_bad_lines='skip')
if df.shape[1] > 1:
if verbose:
print(f"✔️ CSV leído correctamente (detected sep='{sep_detected}'). Shape: {df.shape}")
return df
except Exception as e:
if verbose:
print(f"No se pudo detectar delimitador automáticamente: {e}")
# 2. Prueba manualmente con los separadores más frecuentes
for sep in [';', ',', '\t', '|']:
try:
df = pd.read_csv(io.StringIO(content), sep=sep, nrows=nrows, on_bad_lines='skip')
if df.shape[1] > 1:
if verbose:
print(f"✔️ CSV leído correctamente con pandas sep='{sep}'. Shape: {df.shape}")
return df
except Exception as e:
if verbose:
print(f"Intento con pandas sep='{sep}' falló: {e}")
# 3. Split manual (plan B, menos robusto)
if ';' in lines[0]:
cols = lines[0].split(';')
data = [l.split(';') for l in lines[1:] if ';' in l]
df = pd.DataFrame(data, columns=cols)
if nrows:
df = df.head(nrows)
if df.shape[1] > 1:
if verbose:
print(f"✔️ CSV leído correctamente por split manual ';'. Shape: {df.shape}")
return df
# 4. Si todo falla
if verbose:
print("⚠️ No se pudo interpretar como tabla multicolumna. Mostrando líneas como texto.")
tabla_md = "```\n" + preview + "\n... (archivo no tabular)\n```"
return None, tabla_md
except Exception as e:
print(f"Error leyendo {url}: {e}")
return None, None
def leer_archivo_flexible(url, formato=None, nrows=None, verbose=True):
import requests
from urllib.parse import urlparse
import pandas as pd
# ---- Función interna para cubo ISTAC JSON ----
def parse_cubo_istac_json(data, nrows=None):
import itertools
# Extraer las dimensiones en orden
diminfo = data["data"]["dimensions"]["dimension"]
dim_labels = []
dim_codes = []
for dim in diminfo:
label = dim["dimensionId"]
codes = [val["code"] for val in dim["representations"]["representation"]]
dim_labels.append(label)
dim_codes.append(codes)
# Combinaciones cartesiano
combinaciones = list(itertools.product(*dim_codes))
# Observaciones (pueden venir como string con '|')
obs_str = data["data"]["observations"]
obs_vals = [x.strip() for x in obs_str.split("|")]
obs_vals = [float(x) if x else None for x in obs_vals]
# Construir DataFrame
registros = []
for dims, valor in zip(combinaciones, obs_vals):
registro = dict(zip(dim_labels, dims))
registro["valor"] = valor
registros.append(registro)
df = pd.DataFrame(registros)
if nrows:
df = df.head(nrows)
return df
if not url:
print("No se ha especificado URL.")
return None
# --- 1. Detección automática de formato si no se da o es dudoso ---
formato_original = formato
if not formato or formato.lower() in ["", "desconocido", "auto", "none", "txt"]:
try:
head = requests.head(url, allow_redirects=True, timeout=10)
ctype = head.headers.get("Content-Type", "").lower()
except Exception:
ctype = ""
# Content-Type
if "json" in ctype:
formato = "json"
elif "csv" in ctype:
formato = "csv"
elif "excel" in ctype or "spreadsheetml" in ctype or "xls" in ctype:
formato = "xlsx"
elif "pdf" in ctype:
formato = "pdf"
elif "image" in ctype:
if "png" in ctype:
formato = "png"
elif "jpeg" in ctype or "jpg" in ctype:
formato = "jpg"
else:
formato = "img"
elif "xml" in ctype:
formato = "xml"
elif "zip" in ctype:
formato = "zip"
else:
# Extensión de URL
path = urlparse(url).path
ext = path.split(".")[-1].lower() if "." in path else ""
if ext in ["csv", "tsv", "xlsx", "xls", "ods", "json", "xml", "pdf", "png", "jpg", "jpeg", "zip", "geojson", "gml", "shp"]:
formato = ext
elif ext in ["pc-axis", "px"]:
formato = "px"
elif ext in ["stat", "jsonstat"]:
formato = "json-stat"
else:
formato = ext or "txt"
if verbose:
print(f"🔎 Formato detectado: '{formato}' (original: '{formato_original}')")
# --- 2. INTENTAR LEER COMO CUBO ISTAC SI ES JSON ---
if formato in ["json", "json-stat", "jsonstat", "cubo", None]:
try:
resp = requests.get(url, timeout=20)
resp.raise_for_status()
data = resp.json()
# Detección cubo ISTAC
if (
"data" in data
and "dimensions" in data["data"]
and "observations" in data["data"]
):
df = parse_cubo_istac_json(data, nrows=nrows)
print(f"✔️ Cubo ISTAC leído correctamente. Shape: {df.shape}")
return df
# Si no es cubo, sigue con el flujo normal
except Exception as e:
if verbose:
print(f"No es cubo ISTAC o error leyendo como JSON: {e}")
# sigue el flujo estándar
# --- 3. Lectura estándar según formato ---
try:
if formato == "csv":
import io
resp = requests.get(url, timeout=20)
resp.raise_for_status()
texto = resp.text
delimitadores = [';', ',', '\t', '|', ':']
mejor_df = None
mejor_cols = 0
for delim in delimitadores:
try:
df = pd.read_csv(io.StringIO(texto), sep=delim, nrows=nrows, on_bad_lines='skip')
ncols = len(df.columns)
# Busca al menos 2 columnas con nombre (no sólo una "columna gigante")
if ncols > mejor_cols:
mejor_cols = ncols
mejor_df = df
except Exception:
continue
if mejor_df is not None and mejor_cols > 1:
if verbose:
print(f"✔️ CSV leído correctamente con delimitador '{delimitadores[delimitadores.index(delim)]}'. Shape: {mejor_df.shape}")
return mejor_df
else:
print("❌ No se pudo detectar un delimitador válido para el CSV.")
return None
elif formato == "tsv":
return pd.read_csv(url, sep="\t", nrows=nrows, on_bad_lines='skip')
elif formato in ["xlsx", "xls"]:
return pd.read_excel(url, nrows=nrows)
elif formato == "json":
try:
resp = requests.get(url, timeout=20)
resp.raise_for_status()
data = resp.json()
return pd.json_normalize(data)
except Exception as e:
if verbose:
print(f"Error leyendo JSON genérico: {e}")
return None
elif formato in ["px", "pc-axis"]:
try:
from pyaxis import pyaxis
except ImportError:
print("Falta pyaxis. Ejecuta: !pip install pyaxis")
return None
import io
resp = requests.get(url, timeout=20)
resp.raise_for_status()
df = pyaxis.parse(io.StringIO(resp.content.decode("latin1")))
if nrows:
df = df.head(nrows)
print(f"✔️ Archivo PC-Axis (.px) leído correctamente. Shape: {df.shape}")
return df
elif formato in ["png", "jpeg", "jpg"]:
from PIL import Image
from io import BytesIO
response = requests.get(url)
img = Image.open(BytesIO(response.content))
print("Imagen cargada correctamente (no tabular).")
return img
elif formato == "pdf":
import pdfplumber
with pdfplumber.open(requests.get(url, stream=True).raw) as pdf:
pages = [page.extract_text() for page in pdf.pages]
print("PDF cargado (texto plano).")
return "\n".join(pages)
elif formato in ["geojson", "shp", "gml"]:
import geopandas as gpd
return gpd.read_file(url)
else:
print(f"Formato '{formato}' no soportado para lectura automática en DataFrame.")
return None
except Exception as e:
print(f"Error leyendo {url} como {formato}: {e}")
return None
def leer_diccionario_prioritario(recursos):
# Primero intenta JSON, luego CSV
if recursos.get("diccionario_json"):
dicc = leer_archivo_flexible(
recursos["diccionario_json"]["url"], recursos["diccionario_json"]["formato"])
if dicc is not None:
return dicc, "json"
if recursos.get("diccionario_csv"):
dicc = leer_archivo_flexible(
recursos["diccionario_csv"]["url"], recursos["diccionario_csv"]["formato"])
if dicc is not None:
return dicc, "csv"
return None, None
def extract_intent_gemini(question, columns):
prompt = f"""
Eres un asistente que ayuda a analizar conjuntos de datos tabulares (tipo Excel o CSV).
Dada una pregunta en español y la lista de columnas del dataset, responde SOLO con un JSON que indique:
- "operation": el cálculo principal ("count", "sum", "average", "min", "max", "percentage", etc.)
- Si es "percentage", devuelve dos suboperaciones:
- "numerator": {{"column": ..., "filters": ...}}
- "denominator": {{"column": ..., "filters": ...}}
- Para el resto:
- "column": la columna relevante para la operación (o "all" si es un conteo de filas)
- "filters": si hay filtros, devuélvelos en formato Python (ej: "Isla == 'Tenerife' and Año == 2023")
- Si NO es posible, responde: {{"operation": "unanswerable", "reason": "Explica brevemente por qué no se puede"}}
Ejemplo 1:
Pregunta: ¿Cuántos hoteles hay en Tenerife?
Columnas: ["Nombre", "Isla", "Tipo", "Plazas"]
Respuesta:
{{"operation": "count", "column": "Nombre", "filters": "Isla == 'Tenerife'"}}
Ejemplo 2:
Pregunta: ¿Media de plazas por hotel en Gran Canaria?
Columnas: ["Nombre", "Isla", "Tipo", "Plazas"]
Respuesta:
{{"operation": "average", "column": "Plazas", "filters": "Isla == 'Gran Canaria'"}}
Ejemplo 3:
Pregunta: ¿Qué porcentaje de centros tiene fibra óptica?
Columnas: ["TERRITORIO", "TITULARIDAD_CENTRO", "TIPO_CONEXION_INTERNET", "valor"]
Respuesta:
{{
"operation": "percentage",
"numerator": {{"column": "valor", "filters": "TIPO_CONEXION_INTERNET == 'FIBRA_OPTICA'"}},
"denominator": {{"column": "valor", "filters": ""}}
}}
Pregunta: {question}
Columnas: {columns}
"""
response = model_gemini.generate_content(prompt)
import json
import re
try:
match = re.search(r"\{.*\}", response.text, re.DOTALL)
if match:
result = json.loads(match.group())
return result
else:
return {"operation": "unanswerable", "reason": "No se encontró un JSON válido en la respuesta."}
except Exception as e:
return {"operation": "unanswerable", "reason": str(e)}
def execute_intent(df, intent, pregunta_usuario=None):
op = intent.get("operation")
col = intent.get("column")
filters = intent.get("filters", "")
if op == "unanswerable":
return None, intent.get("reason", "Sin motivo claro.")
import numpy as np
df_filtered = df.copy()
if filters:
try:
filter_expr = filters.replace(" and ", " & ").replace(" or ", " | ")
df_filtered = df_filtered.query(filter_expr)
except Exception as e:
return None, f"Error aplicando filtro: {e}"
try:
if op == "count":
if col == "all" or col is None or col not in df_filtered.columns:
return len(df_filtered), None
if pregunta_usuario and df_filtered[col].dtype == 'O':
import re
match = re.search(r"cu[aá]nt[ao]s? ([\w ]+)", pregunta_usuario.lower())
if match:
palabra = match.group(1).strip()
conteo = df_filtered[col].str.lower().str.contains(palabra).sum()
return conteo, None
return df_filtered[col].count(), None
elif op == "sum":
return df_filtered[col].sum(), None
elif op == "average":
return df_filtered[col].mean(), None
elif op == "min":
return df_filtered[col].min(), None
elif op == "max":
return df_filtered[col].max(), None
elif op == "percentage":
# --- Espera keys: numerator y denominator, cada uno con column y filters ---
num = intent.get("numerator", {})
den = intent.get("denominator", {})
# Numerador
num_df = df.copy()
if num.get("filters"):
filter_expr = num["filters"].replace(" and ", " & ").replace(" or ", " | ")
num_df = num_df.query(filter_expr)
num_col = num.get("column", "valor")
num_val = num_df[num_col].sum() if num_col in num_df.columns else len(num_df)
# Denominador
den_df = df.copy()
if den.get("filters"):
filter_expr = den["filters"].replace(" and ", " & ").replace(" or ", " | ")
den_df = den_df.query(filter_expr)
den_col = den.get("column", "valor")
den_val = den_df[den_col].sum() if den_col in den_df.columns else len(den_df)
# Calcular porcentaje
if den_val == 0 or den_val is None or np.isnan(den_val):
return None, "Denominador cero o nulo, no se puede calcular porcentaje."
porcentaje = 100 * num_val / den_val
return round(porcentaje, 2), None
else:
return None, f"Operación '{op}' no soportada todavía."
except Exception as e:
return None, f"Error ejecutando la operación: {e}"
def preguntar_a_mistral(pregunta, contexto=""):
headers = {
"Authorization": f"Bearer {MISTRAL_API_KEY}",
"Content-Type": "application/json"
}
prompt_periodista = (
"Eres un periodista de datos especializado en el análisis de datasets públicos de Canarias. "
"Tu tarea es redactar una noticia informativa y objetiva (alrededor de 350 palabras) respondiendo a la siguiente pregunta del usuario, "
"usando únicamente los datos proporcionados en el contexto. "
"No inventes cifras ni afirmaciones que no estén explícitamente presentes en los datos. "
"Si la cifra o resultado principal no aparece, explica la naturaleza del dataset y su posible utilidad, sin inventar información. "
"El artículo debe incluir:\n"
"- Una introducción breve y clara al tema o problema.\n"
"- Cifras y hechos extraídos directamente del dataset, resaltando los más relevantes.\n"
"- Un apartado final que resalte la importancia pública o utilidad del conjunto de datos.\n"
"Cita siempre el nombre oficial del dataset y la fuente ('Gobierno de Canarias' o la administración correspondiente). "
"No añadas opiniones personales ni especules. Si faltan datos para la respuesta, indícalo al principio y explica brevemente el contenido del dataset."
)
payload = {
"model": MISTRAL_MODEL,
"messages": [
{"role": "system", "content": prompt_periodista},
{"role": "user", "content": f"{pregunta}\n\nDatos:\n{contexto}"}
]
}
response = requests.post(MISTRAL_API_URL, headers=headers, json=payload)
if response.status_code == 200 and response.text.strip():
try:
result = response.json()
return result["choices"][0]["message"]["content"]
except Exception as e:
return f"⚠️ Error interpretando JSON: {e}"
else:
return f"❌ Error API: {response.text[:300]}"
def preguntar_a_gemini(pregunta, contexto=""):
prompt_periodista = (
"Actúas como periodista de datos, experto en análisis y divulgación de información pública para la ciudadanía de Canarias. "
"Redacta una noticia periodística informativa y objetiva (aprox. 350 palabras), centrada únicamente en los datos y cifras presentes en el contexto. "
"No inventes ningún número ni afirmación, ni rellenes huecos que no se puedan justificar con los datos disponibles. "
"Estructura la noticia así:\n"
"1. Introducción que explique de qué trata el dataset y su relevancia pública.\n"
"2. Exposición de los datos más significativos, calculando medias, totales o tendencias sólo si es posible y explicando siempre la fuente.\n"
"3. Si no hay datos directos para la respuesta, acláralo desde el inicio, describe el contenido del dataset y posibles aplicaciones públicas o periodísticas.\n"
"Termina siempre citando el nombre del conjunto de datos y la fuente oficial. "
"No agregues opiniones, conclusiones subjetivas ni rellenos fuera de la información disponible."
)
model = genai.GenerativeModel("gemini-2.5-pro")
full_prompt = f"{prompt_periodista}\n\nPregunta:\n{pregunta}\n\nDatos:\n{contexto}"
response = model.generate_content(full_prompt)
return response.text if hasattr(response, 'text') else str(response)
def preguntar_llm(pregunta, contexto="", modelo="mistral"):
if modelo == "mistral":
return preguntar_a_mistral(pregunta, contexto)
elif modelo == "gemini":
return preguntar_a_gemini(pregunta, contexto)
else:
return "❌ Modelo LLM no soportado."
def generar_articulo(b):
output.clear_output()
if ds_select.value is None or not pregunta_area.value.strip():
with output:
display(Markdown("⚠️ Selecciona un dataset y escribe una pregunta."))
return
filtrados = filtrar_datasets_avanzado(datasets, cat_select.value, tag_select.value, busqueda_texto.value)
valor = ds_select.value
if isinstance(valor, int):
ds = filtrados[valor]
else:
ds = next((d for d in filtrados if d.get("id") == valor or d.get("title") == valor), None)
if ds is None:
with output:
display(Markdown("⚠️ Error: No se encontró el dataset seleccionado."))
return
url, formato, nombre = recurso_descargable(ds)
contexto = ""
df = None
tabla_md = None
resultado = None
intent = None
error = None
motor_llm = llm_select.value
# Intentar añadir el diccionario de datos aunque no se cargue el CSV
try:
recursos = extraer_recursos_dataset(ds)
df_dicc, tipo_dicc = leer_diccionario_prioritario(recursos)
if df_dicc is not None:
contexto += "\n\nDiccionario de datos"
if tipo_dicc == "json":
# Si es DataFrame o dict, muéstralo bonito
if isinstance(df_dicc, pd.DataFrame):
contexto += " (JSON):\n" + df_dicc.to_markdown(index=False)
elif isinstance(df_dicc, dict):
import json
contexto += " (JSON):\n" + json.dumps(df_dicc, ensure_ascii=False, indent=2)
else:
contexto += f"\n{str(df_dicc)[:2000]}" # Fallback seguro
elif tipo_dicc == "csv":
contexto += " (CSV):\n" + df_dicc.to_markdown(index=False)
except Exception as e:
print(f"⚠️ Error al cargar el diccionario de datos: {e}")
if url:
try:
is_visual = False
# Usa tu función robusta y única para TODOS los casos:
df = leer_archivo_flexible(url, formato=formato, nrows=None)
tabla_md = None # Solo lo necesitas si tu función lo retorna
# Si quieres compatibilidad por si algún día devuelves markdown:
if isinstance(df, tuple):
df, tabla_md = df
else:
tabla_md = None
# Obtención del contexto para el LLM:
if df is not None and isinstance(df, pd.DataFrame) and not df.empty:
contexto = df.to_markdown(index=False)
elif tabla_md is not None:
contexto = tabla_md
else:
contexto = ""
# Mostrar DataFrame si hay datos tabulares
if df is not None and isinstance(df, pd.DataFrame) and not df.empty:
if df.shape[0] > 2 and df.shape[1] > 2 and not df.isnull().all(axis=None):
display(df.head(12))
is_visual = True
columns_list = list(df.columns)
pregunta_usuario = pregunta_area.value
# Intent extraction (usamos Gemini para ambos motores, pero puedes cambiar esto si implementas otra LLM)
intent = extract_intent_gemini(pregunta_usuario, columns_list)
display(Markdown(f"**Intención detectada:** `{intent}`"))
resultado, error = execute_intent(df, intent, pregunta_usuario)
if error:
display(Markdown(f"❌ **No se pudo calcular:** {error}"))
else:
display(Markdown(f"### 🧮 **Resultado cuantitativo:** {resultado}"))
else:
df = None
elif tabla_md is not None:
# Si solo hay markdown, muéstralo bonito
display(Markdown("#### Vista previa del dataset (tabla generada automáticamente):"))
display(Markdown(f"```\n{tabla_md}\n```"))
else:
display(Markdown("No se pudo cargar el dataset principal."))
except Exception as e:
display(Markdown(f"No se pudo cargar el recurso: {e}"))
contexto = ds.get("description", "")
else:
display(Markdown("No hay recurso tabular descargable asociado."))
contexto = ds.get("description", "")
# Redacción final con LLM
if intent and intent.get("operation") and intent.get("operation") != "unanswerable" and resultado is not None and not error:
display(Markdown("### 📝 Pieza informativa generada automáticamente (con dato calculado):"))
prompt_noticia = f"""
Redacta una noticia informativa de 300-350 palabras basada en la siguiente pregunta del usuario:
'{pregunta_area.value}'
Incluye y destaca el dato calculado: {resultado}.
Describe el contexto del dataset, qué mide y la fuente '{nombre}'.
No inventes cifras ni datos no presentes. No agregues opiniones.
"""
respuesta = preguntar_llm(prompt_noticia, contexto, motor_llm)
display(Markdown(respuesta))
else:
display(Markdown("### 📝 Pieza informativa generada automáticamente (sin cálculo):"))
prompt_sin_dato = f"""
Eres un periodista de datos especializado en información pública y análisis de datasets.
Redacta una noticia informativa de aproximadamente 300 palabras sobre la siguiente cuestión:
'{pregunta_area.value}'.
Utiliza únicamente la información que aparece en la descripción y metadatos del dataset.
No inventes cifras ni resultados que no estén presentes en los datos.
Si el dataset no proporciona un valor concreto o estadística clave, explícalo y describe el contexto, el contenido, el posible interés público y la fuente de la información.
Incluye:
- Una introducción breve al tema del dataset.
- Qué tipo de datos o información contiene.
- Su utilidad potencial para la ciudadanía, empresas o periodistas.
- Qué tipo de preguntas permite responder o qué análisis se podrían hacer (sin afirmar cifras).
- Siempre cita el nombre oficial del dataset y la fuente pública ('{nombre}').
No inventes ningún número ni dato no proporcionado.
No añadas opiniones personales. Mantén el estilo informativo y objetivo.
"""
respuesta = preguntar_llm(prompt_sin_dato, contexto, motor_llm)
display(Markdown(respuesta))
articulo_btn.on_click(generar_articulo)
"""#**6. Widgets e interfaz interactiva**"""
import ipywidgets as widgets
from IPython.display import display, Markdown, clear_output
lupa_html = widgets.HTML(
"<span style='display:inline-block; width:32px; text-align:center; vertical-align:middle;'>"
"<svg height='22' viewBox='0 0 24 24' width='22'>"
"<circle cx='11' cy='11' r='7' stroke='#ad39a8' stroke-width='2' fill='none'/>"
"<line x1='17' y1='17' x2='22' y2='22' stroke='#ad39a8' stroke-width='2'/>"
"</svg></span>"
)
busqueda_semantica = widgets.Text(
value="",
placeholder="Buscar datasets públicos por palabras clave o tema",
description="",
layout=widgets.Layout(width='95%', height='32px', margin='0')
)
buscar_btn = widgets.Button(
description="Buscar",
layout=widgets.Layout(width='92px', height='30px', margin='0 0 0 10px'),
style={'button_color': '#f2f2f2', 'font_weight': 'bold', 'border_radius': '11px'}
)
output_resultados = widgets.Output()
cabecera_buscador = widgets.HBox(
[lupa_html, busqueda_semantica, buscar_btn],
layout=widgets.Layout(width='90%', align_items='center', margin='0 0 18px 0')
)
def seleccionar_dataset(idx):
ds = datasets[int(idx)]
try:
titulo = ds.get("title", "")
dsid = ds.get("id", idx)
ds_select.options = [(titulo, dsid)]
ds_select.value = dsid
pregunta_area.disabled = False
articulo_btn.disabled = False
pregunta_area.value = ""
with output_resultados:
clear_output(wait=True)
display(Markdown(
f"<b style='color:green'>¡Dataset seleccionado!</b> Puedes lanzar una pregunta sobre: <span style='color:#ad39a8'>{titulo}</span>"
))
except Exception as e:
print("No se pudo seleccionar el dataset:", e)
def buscar_datasets_semantico(change=None):
texto = busqueda_semantica.value.strip()
output_resultados.clear_output()
pregunta_area.disabled = True
articulo_btn.disabled = True
pregunta_area.value = ""
ds_select.value = None
if not texto or len(texto) < 3:
return
# --- 1. Coincidencias exactas (ignora mayúsculas/minúsculas)
matches_exactos = [
idx for idx, ds in enumerate(datasets_full)
if texto.lower() in ds.get("title", "").lower()
]
# --- 2. Resultados por similitud semántica (top 10)
emb_consulta = modelo.encode([texto])[0]
from sklearn.metrics.pairwise import cosine_similarity
scores = cosine_similarity([emb_consulta], embs_full)[0]
top_idx = scores.argsort()[::-1][:10]
# --- 3. Mezcla: matches exactos al principio, luego top similitud (sin duplicados)
all_idx = list(dict.fromkeys(matches_exactos + list(top_idx)))
with output_resultados:
display(Markdown(
f"<div style='margin-bottom:10px;font-size:1.1em;font-weight:bold;'>Resultados más relevantes para: <span style='font-weight:normal'>{texto}</span></div>"
))
if not all_idx:
display(Markdown("No se han encontrado resultados relevantes."))
return
for rank, idx in enumerate(all_idx):
ds = datasets_full[int(idx)]
titulo = ds.get("title", "Sin título") or ""
desc = ds.get("description", "") or ""
categoria = ds.get("categoria", "")
tags = ", ".join(ds.get("tags", []))
score = scores[idx]
# Marca si es coincidencia exacta
if idx in matches_exactos:
match_tag = "<span style='color:#27ae60; font-weight:bold;'> (coincidencia exacta)</span>"
else:
match_tag = ""
html = f"""
<div style='
background:#fafcff;
border:1px solid #e2e2e2;
border-radius:11px;
margin: 18px auto 0 auto;
padding:18px 22px 16px 18px;
width:85%;
min-width:350px;
max-width:1450px;
box-sizing:border-box;
display:flex;
flex-direction:column;
position:relative;'>
<div style='font-weight:700; font-size:1.42em; margin-bottom:5px;'>
{rank+1}. {titulo} {match_tag}
</div>
<div style='margin-bottom:1px;font-size:1.03em;'><b>Categoría:</b> {categoria}</div>
<div style='margin-bottom:1px;font-size:1.03em;'><b>Etiquetas:</b> {tags}</div>
<div style='margin-bottom:1px;font-size:1.03em;'><b>Relevancia:</b> {score:.2f}</div>
<div style='font-size:1em; color:#222; margin-bottom:10px;'><b>Descripción:</b> {desc[:350]}{'...' if len(desc)>350 else ''}</div>
</div>
"""
html_block = widgets.HTML(value=html, layout=widgets.Layout(margin="0 0 0 0"))
b = widgets.Button(
description="Seleccionar",
layout=widgets.Layout(width="120px", align_self="flex-end", margin="6px 22px 0 0"),
button_style='info'
)
b.on_click(lambda btn, idx=idx: seleccionar_dataset(idx))
box = widgets.VBox([html_block, b], layout=widgets.Layout(margin="0 0 0 0"))
display(box)
buscar_btn.on_click(buscar_datasets_semantico)
filtros = widgets.HBox([cat_select, tag_select])
children = [
widgets.HTML("<h1>Explora los datasets públicos del Gobierno de Canarias</h1>"),
cabecera_buscador,
output_resultados,
busqueda_texto,
sugerencias_out,
filtros,
ds_select,
explorar_box,
llm_select,
pregunta_area,
articulo_btn,
output
]
ui = widgets.VBox(
[widgets.Box([w], layout=widgets.Layout(margin="5px 0")) for w in children]
)
display(ui)
# -*- coding: utf-8 -*-
"""API_GOBCAN_final.ipynb
Automatically generated by Colab.
Original file is located at
https://colab.research.google.com/drive/1Ao_fZKrzarOcXKcu3Tj-0Y7251MCR37j
#**1. Instalación y carga de librerías**
"""
!pip install -q sentence-transformers torch matplotlib ipywidgets pandas requests tabulate
!pip install -q openpyxl xlrd odfpy geopandas fastkml rasterio Pillow pdfplumber PyPDF2 beautifulsoup4 owslib tqdm
!pip install pyjstat
import os
import json
import re
import time
from datetime import datetime, timedelta
import pandas as pd
import numpy as np
import requests
import matplotlib.pyplot as plt
from sentence_transformers import SentenceTransformer, util
from IPython.display import display, Markdown, clear_output
import ipywidgets as widgets
import geopandas as gpd
import pdfplumber
import PyPDF2
from PIL import Image
import zipfile
import xml.etree.ElementTree as ET
import rasterio
import openpyxl
import xlrd
import odf
from bs4 import BeautifulSoup
import owslib
from tqdm.notebook import tqdm
# Colab file upload helper (solo necesario si usas Google Colab)
try:
from google.colab import files
except ImportError:
files = None
"""#**2. Definición de constantes y diccionarios de metadatos**"""
ORGANIZACIONES = [
"Instituto Canario de Estadística (ISTAC)",
"Cabildo de Tenerife",
"Consejería de Política Territorial, Cohesión Territorial y Aguas",
"Consejería de Presidencia, Administraciones Públicas, Justicia y Seguridad",
"Consejería de Transición Ecológica y Energía",
"Consejería de Agricultura, Ganadería, Pesca y Soberanía Alimentaria",
"GRAFCAN",
"Presidencia del Gobierno de Canarias",
"Consejería de Hacienda y Relaciones con la Unión Europea",
"Consejería de Turismo y Empleo",
"Servicio Canario de Salud",
"Consejería de Educación, Formación Profesional, Actividad Física y Deportes",
"Cabildo Insular de El Hierro",
"Consejería de Sanidad",
"Consejería de Universidades, Ciencia e Innovación y Cultura",
"Consejería de Bienestar Social, Igualdad, Juventud, Infancia y Familias",
"Consejería de Economía, Industria, Comercio y Autónomos",
"Consejería de Obras Públicas, Vivienda y Movilidad",
]
CATEGORIAS = [
"Empleo", "Demografía", "Salud", "Sociedad y bienestar", "Turismo", "Sector Público",
"Economía", "Ciencia y tecnología", "Medio rural", "Medio ambiente", "Transporte",
"Industria", "Legislación y justicia", "Vivienda", "Educación", "Urbanismo e infraestructuras",
"Comercio", "Cultura y ocio", "Seguridad", "Hacienda", "Deportes", "Energía"
]
ETIQUETAS = [
"Mapa temático", "Cubo estadístico", "Cartografía", "Empleo", "Indicadores laborales", "Datos históricos",
"Indicadores Demográficos", "Cartografía", "Población", "Sociedad", "Salud", "Estado de salud",
"Encuesta de Salud de Canarias", "Condiciones de vida", "Calidad de vida",
"Encuesta de ingresos y condiciones de vida de los hogares canarios", "Actividad en atención especializada",
"Encuesta de Morbilidad Hospitalaria -EMH-", "Clasificación", "Sector servicios", "Hostelería y turismo",
"Ciencia y tecnología", "Tecnologías de la información y la comunicación", "Demografía",
"Demanda turística. Turistas y pasajero", "Encuesta sobre el Gasto Turístico", "Economía general",
"Censos de Población y Viviendas", "Cifras censales", "Población",
"Encuesta sobre la implantación de las tecnologías de la información y la comunicación en los hogares",
"Encuesta de Hábitos y Confianza Socioeconómica -ECOSOC-", "Concepto", "meteorología", "estaciones meteorológicas",
"sensores meteorológicos", "mediciones", "ganadería", "Agricultura", "INSPIRE - Unidades estadísticas",
"pesca y caza", "Sector primario", "Censo Agrario",
"Encuesta de Tecnologías de la Información y la Comunicación en las Empresas de Canarias",
"Encuesta de Salud e Ingresos de Canarias", "INSPIRE - Unidades estadísticas",
"Administración pública", "Encuesta sobre gasto y satisfacción de los usuarios de campos de golf",
"Microdatos", "Cultura"
]
FORMATOS = [
"kml", "wms", "tiff", "jpeg", "png", "csv", "json", "xlsx", "tsv", "xml", "pc-axis",