← Volver a módulos Datos

Fuentes de datos

Ingesta, normalización y trazabilidad de datos hidrometeorológicos, climatológicos y geoespaciales.

En que consiste

El módulo de fuentes de datos centraliza la descarga de todos los inputs que necesita un análisis hidrológico completo: precipitación observada (Meteostat, AEMET, OGIMET), precipitación de satélite y reanálisis, caudales históricos y modelizados, proyecciones climáticas CMIP6 y texturas de suelo. Cada conector aplica bloques temporales, reintentos automáticos y normalización de unidades para garantizar reproducibilidad sin intervención manual.

Eliminar la dependencia de scripts no documentados para construir el dataset de cada caso de estudio. Cuando el registro observado llega de múltiples fuentes con formatos distintos, este módulo los convierte en series coherentes con trazabilidad completa desde el portal de datos hasta el producto final. En una tesis industrial, esta capa es determinante para justificar la calidad del input ante tribunales y clientes.

Flujo de trabajo

  1. 1 Definición del dominio espacio-temporal y variables requeridas
  2. 2 Descarga por bloques con control de errores y reintentos automáticos
  3. 3 Normalización de fechas, unidades, coordenadas y metadatos
  4. 4 Exportación a CSV, NetCDF, GeoTIFF o estructuras pandas/xarray

Entradas

  • • Dominio espacio-temporal: bounding box, fechas, estaciones o identificadores
  • • Credenciales: API keys AEMET, CDS Copernicus, EWDS; cuenta NASA Earthdata
  • • Filtros CMIP6/ESGF: model, experiment, variable, variant, table
  • • Metadatos de estaciones GRDC/USGS para lectura de archivos locales

Salidas

  • • Series temporales limpias por estación en CSV o DataFrame pandas
  • • Cubos NetCDF espaciales listos para análisis con xarray
  • • GeoTIFFs de texturas de suelo referenciados geoespacialmente
  • • Inventarios de estaciones, logs de descarga y metadatos de trazabilidad

Capacidades implementadas

Funciones tecnicas que el modulo cubre dentro de HYDRA y que deben aparecer en la memoria como parte del manual practico.

Descarga de precipitación desde Meteostat, GPM IMERG (NASA Earthdata), PERSIANN-CCS (UCI FTP), ERA5 (Copernicus CDS), AEMET OpenData y OGIMET SYNOP; resoluciones desde horaria a mensual, modos puntual y área.

Acceso a proyecciones CMIP6 mediante Copernicus CDS (download_CDS_CMIP6) y red federada ESGF (get_dataset_metadata, get_all_urls, process_file), con filtrado por modelo, experimento, variable y variante; descarga OPeNDAP y HTTPServer con recorte a bounding box.

Descarga y lectura de caudales desde GloFAS (reanálisis y reproyecciones), GRDC (archivos .day/.mon con centinelas -999) y USGS NWIS (conversión ft³/s a m³/s, búsqueda por bounding box).

Descarga de GeoTIFFs de texturas de suelo SoilGrids 2017 (ISRIC, 250 m): 21 capas de arena, limo y arcilla para 7 profundidades, con metadatos auxiliares opcionales.

Exportación orientada a reproducibilidad: CSV por estación con index temporal, NetCDF con CRS y metadatos CF, inventarios de estaciones y logs de descarga para auditoría por caso de estudio.

Validacion y control

  • Descarga en bloques temporales para evitar timeouts de servidor (AEMET máx 15 días, GloFAS por año).
  • Reintentos automáticos con backoff exponencial para fallos transitorios de red.
  • Conservación de coordenadas, altitud, identificadores SYNOP/GRDC/USGS y fuente original como metadatos.
  • Separación entre descarga bruta, procesado y producto final para auditar cada caso de estudio.
  • Control de valores centinela (-999 GRDC, -99 SWAT+) y conversión de unidades en la capa de normalización.

Piezas de codigo HYDRA

OGIMETDownloader / download_synop

Widget Jupyter interactivo y función de descarga por bloques de datos SYNOP diarios desde ogimet.com.

Meteostat

Notebook de descarga de observaciones meteorológicas históricas desde Meteostat con exportación organizada por estación y variable.

download_aemet_daily_data

Descarga diaria AEMET OpenData con chunks de 15 días, exportación a NetCDF y control de rate limit.

GPMDownloader / PERSSIANDownloader / download_era5

Conectores de satélite y reanálisis: GPM (earthaccess), PERSIANN (FTP paralelo), ERA5 (cdsapi multihilo).

download_CDS_CMIP6

Descarga paralela de proyecciones CMIP6 desde Copernicus CDS con reintentos por año y modelo.

get_dataset_metadata / get_all_urls / process_file

Pipeline ESGF completo: búsqueda de metadatos, obtención de URLs y descarga+recorte OPeNDAP o HTTP.

download_glofas / download_glofas_by_year / read_glofas_nc

Caudal GloFAS desde Copernicus EWDS: petición global o por año, extracción puntual NetCDF.

read_grdc / read_grdc_folder / analyze_grdc_quality

Lectura y diagnóstico de archivos GRDC diarios o mensuales con gestión de centinelas.

download_usgs / search_usgs_sites

Caudal diario USGS NWIS con conversión de unidades y búsqueda espacial de estaciones.

download_soilgrids

Descarga de 21 GeoTIFFs de texturas SoilGrids 2017 con reintentos robustos.

Figuras de analisis

Esquemas iniciales para explicar la logica metodologica del modulo dentro de la memoria y la web.

Pipeline de datos: fuente → control → producto trazable Fuentes Meteostat / OGIMET AEMET / ERA5 PERSIANN-CCS CMIP6 CDS / ESGF GloFAS / GRDC / USGS SoilGrids (ISRIC) Control HYDRA Descarga por bloques Reintentos automaticos Normalizacion de unidades Corrección de fechas Filtrado bbox / estaciones Metadatos y trazabilidad Productos CSV por estacion NetCDF espacial GeoTIFF de suelo Catálogos de estaciones Inputs HEC-HMS / SWAT+ Datasets para análisis descarga normalizacion validacion exportacion

Pipeline de ingesta

Las fuentes entran con formatos heterogéneos y HYDRA los transforma en datasets trazables y reproducibles.

CMIP6 / ESGF: búsqueda, filtrado y descarga de proyecciones Nodos ESGF LLNL DKRZ CEDA Copernicus CDS download_CDS_CMIP6 get_dataset_metadata process_file (OPeNDAP) Filtros de búsqueda source_id MPI-ESM1-2-HR experiment_id ssp245 / ssp585 variable_id pr / tas / tasmax variant_label r1i1p1f1 DataFrame metadatos dataset_id · model · experiment variable · start · end · urls Productos NetCDF recortado a bbox lat/lon clip + compresión Combinaciones completas get_combination_if_complete Inputs para bias correction BiasCorrection · delta_method Reintentos automáticos · OPeNDAP y HTTP

CMIP6 / ESGF

Búsqueda de metadatos en nodos ESGF y Copernicus CDS, filtrado por modelo/experimento/variable y descarga con recorte espacial.

Uso industrial

Como se traduce el modulo en trabajo operativo, transferencia y casos de estudio.

Montar el dataset completo de una cuenca en horas, con todos los inputs documentados para un informe técnico o capítulo de tesis.
Preparar los forzantes meteorológicos e hidrológicos para HEC-HMS, SWAT+, SFINCS y HEC-RAS directamente desde las fuentes originales.
Descargar y verificar combinaciones CMIP6 completas (todas las variables requeridas) antes de iniciar el pipeline de corrección de sesgo y downscaling.

Papel dentro de HYDRA

Base de todos los análisis de extremos, generación estocástica y modelización: sin datos limpios no hay pipeline.
Los conectores CMIP6/ESGF alimentan directamente el módulo de corrección de sesgo y el downscaling híbrido.
Conecta la web con la herramienta interactiva de descarga OGIMET y los notebooks de fuentes de datos, incluyendo Meteostat para observaciones meteorológicas históricas.