Durante al menos los últimos siete años, Northumbrian Water Group (NWG) se ha dado cuenta del valor de los datos abiertos junto con los esfuerzos de colaboración sectorial e intersectorial, y ha sido nada menos que transformador para nuestra organización. Uno de nuestros facilitadores clave para este fin han sido los “hackeos de datos”, eventos orquestados en los que invitamos a personas y equipos de fuera de nuestra organización a analizar nuestros datos en un entorno seguro.
Nuestros éxitos con los hackeos de datos han informado naturalmente a Stream, una iniciativa de datos abiertos que tiene como objetivo desbloquear el valor de los datos del agua en el Reino Unido, que NWG lidera. Aquí, hablo sobre el legado de los hackeos de datos, Stream y los beneficios y desafíos de los datos abiertos en la industria del agua.
Cómo comenzó: el éxito de los “hackeos de datos” en Northumbrian Water Group
Te sorprendería lo ansiosa que está la gente por jugar con conjuntos de datos reales y la fantástica información que puedes obtener al abrir tus datos para que los analicen personas ajenas a tu organización. Durante nuestro primer hackeo de datos hace siete años, compilamos unos 10 años de datos de incidentes de contaminación en un entorno de nube. Invitamos a personas ajenas a nuestra organización a hackear nuestros datos durante un fin de semana. Alrededor de 100 personas se presentaron, y nos dimos cuenta del valor de estos hackeos de datos abiertos de inmediato. Los asistentes plantearon hipótesis, hicieron preguntas y plantearon diferentes formas de pensar en las que no habíamos pensado antes.
Trajimos estos conocimientos a nuestra organización y nos llevaron a soluciones reales. Por ejemplo, NWG ha visto una enorme mejora en nuestro desempeño en áreas clave como la contaminación. Hemos pasado de ser casi los peores de la industria en cuanto a incidentes de contaminación a estar entre los mejores, un resultado que se originó en el hackeo de datos.
Además de ser testigos de cómo otras industrias, como el transporte, la banca y la energía, ejecutan proyectos de datos abiertos exitosos, los hackeos de datos han inspirado e informado nuestro enfoque del proyecto Stream. Si los experimentos de datos abiertos pequeños y controlados como los hackeos de datos de NWG pueden haber tenido un impacto tan profundo en nuestra empresa, imagínese el impacto que otras empresas de agua, y la industria en su conjunto, podrían obtener de este tipo de apertura.
Stream: habilitando el sector del agua hacia los datos abiertos
Stream tiene como objetivo desbloquear el valor de los datos del agua mediante el establecimiento de los procesos que nuestra industria necesita para eliminar las barreras para abrir y compartir datos sobre el agua. Al crear un proceso repetible y escalable para compartir datos entre las empresas de agua y con el público, podemos garantizar que los innovadores tengan lo que necesitan para experimentar y encontrar soluciones a los desafíos difíciles del sector y del sector que simplemente no pueden ser resueltos por una sola persona u organización.
Liderado por NWG y soportado a través de Financiación de la innovación del Ofwat Water Breakthrough Challenge (WBC), Stream reúne a 13 de las 17 empresas de agua inglesas, galesas y escocesas, con planes para que todas se unan en el futuro. Contamos con cinco socios de entrega experimentados, Open Data Institute (ODI), Icebreaker One, Sia Partners, Aiimi y Costain, y dos reguladores, Ofwat y la Agencia de Medio Ambiente (EA), que trabajan juntos en Stream para abrir los datos del agua en el Reino Unido, junto con una amplia gama de posibles consumidores de datos abiertos y compartidos.
Stream incluye un marco y una estrategia comunes para la colaboración a largo plazo, el desarrollo de estándares, las capacidades operativas y legales, y una plataforma de datos abiertos ampliamente accesible con estándares de gobernanza y datos asociados. Stream es integral y se ejecuta en paralelo a la estrategia de datos abiertos de NWG.
¿Por qué necesitamos iniciativas de datos abiertos como Stream en la industria del agua?
Mantenerse al día con los impactos del cambio climático
El sector del agua se enfrenta a cambios a un ritmo más rápido que nunca debido al cambio climático. Las temperaturas más altas conducen a tormentas más intensas con mayor frecuencia. Los eventos climáticos extremos afectan significativamente los servicios de agua, los clientes y el medio ambiente porque dañan la infraestructura, causan fallas en el sistema e interrupciones del servicio, abruman los sistemas de aguas pluviales y alcantarillado y causan incidentes de contaminación. Mientras tanto, el cambio climático en algunas áreas está provocando una reducción del suministro de agua, lo que cambia la cantidad de agua dulce disponible para una población y, por lo tanto, la forma en que se gestionan las fuentes de agua y los servicios públicos.
Es urgente que las empresas de agua comiencen a colaborar e innovar más rápidamente para enfrentar y adaptarse a estos desafíos del cambio climático: los datos abiertos pueden ayudar con eso. Al crear un ecosistema de datos abiertos y colaboración en la industria del agua, los equipos e individuos sectoriales e intersectoriales pueden colaborar de manera más eficiente y encontrar soluciones de manera más efectiva con conjuntos de datos sólidos en sus manos. Esto puede ayudar a la industria a adaptarse y recuperarse más rápido de los eventos climáticos extremos, prevenir incidentes de contaminación, respaldar mejores pronósticos predictivos e impulsar mejoras en el rendimiento de servicios de agua confiables y resilientes frente al cambio climático.
Para desbloquear correlaciones y señales de datos más sólidas, mejorando la toma de decisiones
La industria del agua tiene vastos conjuntos de datos que pueden fortalecerse cuando se combinan. Hay un sinfín de posibilidades y beneficios potenciales al combinar los diferentes conjuntos de datos de empresas del sector del agua:
- Los patrones relacionados con los impactos del cambio climático, el comportamiento de los clientes, los incidentes de salud y seguridad, y el envejecimiento de la infraestructura pueden volverse más claros cuando se observan en un conjunto de datos más grande, que abarca múltiples servicios públicos y regiones.
- Los modelos de aprendizaje automático se pueden entrenar mejor para predecir eventos como fallas de equipos, eventos de contaminación o aumentos repentinos de la demanda, ya que los conjuntos de datos más grandes proporcionan una gama más amplia de escenarios.
- Las empresas de servicios públicos pueden analizar los datos agrupados sobre el consumo de energía en el tratamiento y la distribución de agua para identificar ineficiencias; Correlacionar esto con los datos sobre los caudales de agua, las operaciones de las bombas y la antigüedad de los equipos podría ayudar a guiar el mantenimiento y las actualizaciones.
Del mismo modo, la iniciativa Stream cree que los datos a escala nacional pueden mejorar la toma de decisiones al:
- poner de relieve las posibles diferencias regionales con pruebas claras,
- aumentar la transparencia y la confianza en el sector en general,
- y la creación de una base empírica sólida para respaldar los debates sobre políticas sectoriales.
Los conjuntos de datos más grandes de diversas fuentes pueden desbloquear correlaciones y señales de datos que podrían ser indetectables en conjuntos de datos más pequeños, lo que estimula conocimientos más ricos. Puede ayudar al sector del agua a descubrir soluciones nuevas e innovadoras que apoyen mejor a sus clientes, sus negocios y el medio ambiente.
Catalizar ideas y soluciones intersectoriales e interdisciplinarias a los desafíos del agua
Los desafíos del agua trascienden las fronteras del sector del agua. No hay un único responsable del problema de la calidad de los ríos o del uso de la energía, por ejemplo. Las industrias están inextricablemente conectadas a través del agua. Tomemos, por ejemplo, el consumo de energía en los hogares del Reino Unido: el 18% del consumo de energía de los hogares del Reino Unido se gasta en calentar agua. Si tanto el sector de la energía como el del agua aspiran a cero emisiones netas, se trata de un claro problema intersectorial que podría beneficiarse de la colaboración y de la superposición de nuestros conjuntos de datos para encontrar conexiones. Los conjuntos de datos de aguas abiertas pueden mejorar todo el ecosistema de datos abiertos y conectar los puntos entre el conocimiento de varias industrias.
Porque los reguladores exigen cada vez más datos abiertos e iniciativas de colaboración
El gobierno del Reino Unido tiene una agenda para avanzar en las iniciativas de datos abiertos en el sector del agua. Ofwat, el regulador económico del sector del agua en Inglaterra y Gales, ha señalado su fuerte impulso hacia los datos abiertos. Cada vez está más claro que las empresas de agua en el Reino Unido no tendrán más remedio que subirse a bordo de los datos abiertos eventualmente. La buena noticia es que eso significa que hay oportunidades de financiación y apoyo que obligan a las empresas de agua de todo el Reino Unido a prepararse para contribuir al ecosistema de datos abiertos si aún no lo han hecho.
Retos de los datos abiertos a superar en el sector del agua
Si bien los datos abiertos sobre el agua tienen el potencial de impulsar la innovación y mejorar la toma de decisiones en la industria del agua y más allá, los proyectos de datos abiertos como Stream vienen con una serie de desafíos, que pueden hacer que la aceptación sea lenta entre las empresas de agua. Estas reflexiones son específicas del Reino Unido, pero es probable que las empresas de agua de todo el mundo se enfrenten a los mismos problemas.
Seguridad y privacidad de los datos
Las preocupaciones sobre la seguridad y la privacidad de los datos están en la parte superior de la lista de desafíos cuando se trata de iniciativas de datos abiertos, no solo en el sector del agua, sino en todas las industrias. Para proteger la privacidad, los datos deben estar lo suficientemente anonimizados y agregados para evitar la difusión de información de identificación personal (PII). Del mismo modo, es necesario contar con procesos para garantizar que los datos de la Infraestructura Nacional Crítica (CNI) estén protegidos y, si se comparten entre empresas, se implementen medidas sólidas de ciberseguridad para evitar el acceso no autorizado, la manipulación o las infracciones.
Espectro de datos del Open Data Institute
La iniciativa Stream considera el espectro completo de datos sobre el agua descritos por el Open Data Institute (OPI), incluidos los datos que se mantienen confidenciales debido a preocupaciones comerciales, de seguridad o de privacidad, hasta los datos que son de libre acceso para que cualquiera los recupere, utilice y distribuya sin restricciones.
Nuestro enfoque implica el desarrollo de un marco de valor para identificar conjuntos de datos de alto valor y un proceso de clasificación de datos abiertos en todo el sector para que las empresas de agua evalúen y mitiguen los riesgos de compartir sus datos. Nos basamos en el proceso actual del sector energético para identificar sistemáticamente cuándo un conjunto de datos puede poseer características que limitan su potencial de apertura, al tiempo que identificamos técnicas para mitigar esos límites. El objetivo son los datos abiertos, por lo que cuando los datos no se pueden compartir o solo se pueden compartir entre ciertos grupos, se necesita una justificación de por qué no pueden o no deben ser abiertos.
En cuanto a la tecnología, la plataforma de datos abiertos de Stream tendrá como objetivo facilitar una variedad de tipos de licencias bajo categorías de datos totalmente abiertas, públicas y compartidas, lo que facilita la publicación de datos tanto de forma centralizada (datos almacenados en un repositorio central) como descentralizada (datos alojados por empresas individuales pero que aún se pueden buscar en el catálogo de datos).
Estandarización e interoperabilidad de datos
La estandarización de los conjuntos de datos de las empresas de agua que participan en Stream es fundamental para maximizar la calidad y la utilidad de los datos, al tiempo que permite la colaboración y las comparaciones en todo el sector. Pero la estandarización de datos es una de las tareas más desalentadoras de cualquier proyecto de datos abiertos.
Los datos que provienen de diferentes fuentes a menudo tienen su propia estructura, formato y calidad de datos: las imprecisiones, los datos faltantes y las inconsistencias entre conjuntos de datos pueden plantear problemas significativos durante la estandarización. Las inconsistencias semánticas, incluso entre compañías de agua, son inevitables, donde diferentes compañías usan diferentes terminologías o definiciones para conceptos similares. Incluso los diferentes niveles de granularidad de los datos son comunes entre las empresas de agua. Por ejemplo, los datos recopilados en varios momentos o lugares pueden no ser directamente comparables. Las variaciones estacionales o las diferencias en los sitios de recopilación de datos pueden llevar a conclusiones falsas si no se tienen en cuenta adecuadamente. Todo esto puede añadir capas de complejidad a los procesos de estandarización.
No hace falta decir que el proceso de estandarización de datos requiere mucho tiempo y recursos, ya que garantizar que los conjuntos de datos sean comparables puede ser una tarea compleja y, al mismo tiempo, involucrar a una variedad de partes interesadas para acordar definiciones y significados también es una tarea desafiante.
Sin embargo, sin la estandarización, no se puede aprovechar todo el potencial de los datos abiertos y compartidos en el sector del agua y su impacto podría verse significativamente limitado. El proceso de estandarización de Stream es un elemento fundamental de la iniciativa de datos abiertos. Estamos trabajando arduamente en la definición de estándares de datos comunes y un marco de confianza compartido, para que los datos de diferentes compañías de agua puedan combinarse y usarse juntos.
Habilidades de datos y soporte de interpretación
Sin los conocimientos previos adecuados y los metadatos sólidos, existe el riesgo de que los datos sobre el agua se malinterpreten o malinterpreten, lo que puede llevar a conclusiones o decisiones inexactas. Por ejemplo, las personas pueden generalizar en exceso basándose en datos limitados, o los datos demasiado agregados pueden ocultar variaciones locales significativas. Del mismo modo, si ciertas áreas o problemas son monitoreados con más frecuencia por algunas compañías de agua que otras, puede resultar en una imagen sesgada de los problemas del agua si el usuario de los datos no es consciente de ese contexto. La alfabetización de datos dentro y fuera del sector del agua será fundamental para el éxito de los datos abiertos en el sector del agua, ya que garantizará que las personas piensen críticamente sobre los datos y que cualquiera que lo utilice comprenda bien el contexto de cada conjunto de datos.
Stream proporciona el camino para los datos abiertos en el agua del Reino Unido
Desde la seguridad y privacidad de los datos hasta la interoperabilidad y la alfabetización de datos, stream tiene como objetivo proporcionar de manera integral y abierta un camino para superar los desafíos de los datos abiertos en el sector del agua del Reino Unido. Nuestra hoja de ruta de datos abiertos, que se publicará después de que el agua del Reino Unido la apruebe a finales de 2023, incluye acordar una cadencia de publicación de datos que seguirán todas las empresas de agua de Stream. Pero primero, tendremos un lanzamiento mínimo viable del producto a principios de 2024.
Planeamos ser valientes y publicar primero uno de nuestros conjuntos de datos más difíciles: los datos de desbordamiento de aguas residuales. Es probable que cause algo de ruido (noticias, escrutinio público, etc.), lo que será incómodo al principio. Pero es uno de los conjuntos de datos más valiosos y buscados, y una parte clave de nuestra estrategia de datos abiertos es publicar primero ese tipo de conjuntos de datos. Seguimos siendo optimistas y esperamos ver cómo el ecosistema de datos de agua abierta del Reino Unido toma forma en beneficio de los clientes del agua, la sociedad y el medio ambiente.
Whitepaper “Open Water”
Este artículo fue tomado del whitepaper de Qatium “Open Water: why we need open data, open software, & open collaboration in the water sector” (Open water: por qué necesitamos datos abiertos, software abierto y colaboración en el sector del agua). Encontrarás el whitepaper completo aquí.
