Fuentes de datos
Ingesta, normalización y trazabilidad de datos hidrometeorológicos, climatológicos y geoespaciales.
En que consiste
El módulo de fuentes de datos centraliza la descarga de todos los inputs que necesita un análisis hidrológico completo: precipitación observada (Meteostat, AEMET, OGIMET), precipitación de satélite y reanálisis, caudales históricos y modelizados, proyecciones climáticas CMIP6 y texturas de suelo. Cada conector aplica bloques temporales, reintentos automáticos y normalización de unidades para garantizar reproducibilidad sin intervención manual.
Eliminar la dependencia de scripts no documentados para construir el dataset de cada caso de estudio. Cuando el registro observado llega de múltiples fuentes con formatos distintos, este módulo los convierte en series coherentes con trazabilidad completa desde el portal de datos hasta el producto final. En una tesis industrial, esta capa es determinante para justificar la calidad del input ante tribunales y clientes.
Herramientas relacionadas
Flujo de trabajo
- 1 Definición del dominio espacio-temporal y variables requeridas
- 2 Descarga por bloques con control de errores y reintentos automáticos
- 3 Normalización de fechas, unidades, coordenadas y metadatos
- 4 Exportación a CSV, NetCDF, GeoTIFF o estructuras pandas/xarray
Entradas
- • Dominio espacio-temporal: bounding box, fechas, estaciones o identificadores
- • Credenciales: API keys AEMET, CDS Copernicus, EWDS; cuenta NASA Earthdata
- • Filtros CMIP6/ESGF: model, experiment, variable, variant, table
- • Metadatos de estaciones GRDC/USGS para lectura de archivos locales
Salidas
- • Series temporales limpias por estación en CSV o DataFrame pandas
- • Cubos NetCDF espaciales listos para análisis con xarray
- • GeoTIFFs de texturas de suelo referenciados geoespacialmente
- • Inventarios de estaciones, logs de descarga y metadatos de trazabilidad
Capacidades implementadas
Funciones tecnicas que el modulo cubre dentro de HYDRA y que deben aparecer en la memoria como parte del manual practico.
Descarga de precipitación desde Meteostat, GPM IMERG (NASA Earthdata), PERSIANN-CCS (UCI FTP), ERA5 (Copernicus CDS), AEMET OpenData y OGIMET SYNOP; resoluciones desde horaria a mensual, modos puntual y área.
Acceso a proyecciones CMIP6 mediante Copernicus CDS (download_CDS_CMIP6) y red federada ESGF (get_dataset_metadata, get_all_urls, process_file), con filtrado por modelo, experimento, variable y variante; descarga OPeNDAP y HTTPServer con recorte a bounding box.
Descarga y lectura de caudales desde GloFAS (reanálisis y reproyecciones), GRDC (archivos .day/.mon con centinelas -999) y USGS NWIS (conversión ft³/s a m³/s, búsqueda por bounding box).
Descarga de GeoTIFFs de texturas de suelo SoilGrids 2017 (ISRIC, 250 m): 21 capas de arena, limo y arcilla para 7 profundidades, con metadatos auxiliares opcionales.
Exportación orientada a reproducibilidad: CSV por estación con index temporal, NetCDF con CRS y metadatos CF, inventarios de estaciones y logs de descarga para auditoría por caso de estudio.
Validacion y control
- Descarga en bloques temporales para evitar timeouts de servidor (AEMET máx 15 días, GloFAS por año).
- Reintentos automáticos con backoff exponencial para fallos transitorios de red.
- Conservación de coordenadas, altitud, identificadores SYNOP/GRDC/USGS y fuente original como metadatos.
- Separación entre descarga bruta, procesado y producto final para auditar cada caso de estudio.
- Control de valores centinela (-999 GRDC, -99 SWAT+) y conversión de unidades en la capa de normalización.
Piezas de codigo HYDRA
OGIMETDownloader / download_synop
Widget Jupyter interactivo y función de descarga por bloques de datos SYNOP diarios desde ogimet.com.
Meteostat
Notebook de descarga de observaciones meteorológicas históricas desde Meteostat con exportación organizada por estación y variable.
download_aemet_daily_data
Descarga diaria AEMET OpenData con chunks de 15 días, exportación a NetCDF y control de rate limit.
GPMDownloader / PERSSIANDownloader / download_era5
Conectores de satélite y reanálisis: GPM (earthaccess), PERSIANN (FTP paralelo), ERA5 (cdsapi multihilo).
download_CDS_CMIP6
Descarga paralela de proyecciones CMIP6 desde Copernicus CDS con reintentos por año y modelo.
get_dataset_metadata / get_all_urls / process_file
Pipeline ESGF completo: búsqueda de metadatos, obtención de URLs y descarga+recorte OPeNDAP o HTTP.
download_glofas / download_glofas_by_year / read_glofas_nc
Caudal GloFAS desde Copernicus EWDS: petición global o por año, extracción puntual NetCDF.
read_grdc / read_grdc_folder / analyze_grdc_quality
Lectura y diagnóstico de archivos GRDC diarios o mensuales con gestión de centinelas.
download_usgs / search_usgs_sites
Caudal diario USGS NWIS con conversión de unidades y búsqueda espacial de estaciones.
download_soilgrids
Descarga de 21 GeoTIFFs de texturas SoilGrids 2017 con reintentos robustos.
Figuras de analisis
Esquemas iniciales para explicar la logica metodologica del modulo dentro de la memoria y la web.
Pipeline de ingesta
Las fuentes entran con formatos heterogéneos y HYDRA los transforma en datasets trazables y reproducibles.
CMIP6 / ESGF
Búsqueda de metadatos en nodos ESGF y Copernicus CDS, filtrado por modelo/experimento/variable y descarga con recorte espacial.
Uso industrial
Como se traduce el modulo en trabajo operativo, transferencia y casos de estudio.