Improving water consumption management in Barcelona through data quality enhancement and prediction models

Abstract

The project aims to improve the quality of water consumption data of Barcelona for better management of resources. Aigües de Barcelona has allowed me to continue using their data as an extension of the project done in the AB Data Challenge. I have enhanced the datasets by applying data cleaning and adding new features combining meteorological datasets. I stored all anomalies detected for analysis and classification into different categories. Anomalies can have different sources and serve as potential indicators of a water misuse, leak or errors of the data collection system. I have predicted the missing values caused by the data cleaning and tested the accuracy of five prediction models in order to select the most accurate one for each specific dataset. Finally, I designed a solution in the form of a web application, defined the necessary requirements based on a needs analysis and developed a first version prototype. The app allows users to learn about the insights of datasets with a similar structure to those of Aigües de Barcelona.

El proyecto pretende mejorar la calidad de los datos de consumo de agua de Barcelona para una mejor gestión de los recursos. Aigües de Barcelona me ha permitido seguir utilizando sus datos como una extensión del proyecto realizado en el AB Data Challenge. He mejorado los conjuntos de datos aplicando limpieza de datos y agregando nuevos atributos combinando conjuntos de datos meteorológicos. He almacenado todas las anomalías detectadas para su análisis y clasificación en diferentes categorías. Las anomalías pueden tener diferentes fuentes y servir como indicadores potenciales de un mal uso del agua, una fuga o errores en el sistema de recopilación de datos. Predije los valores faltantes causados por la limpieza de datos y he testeado la precisión de cinco modelos de predicción para seleccionar el más preciso para cada conjunto de datos específico. Finalmente, diseñé una solución en forma de aplicación web, definí los requisitos necesarios a partir de un análisis de necesidades y desarrollé una primera versión del prototipo. La aplicación permite a los usuarios aprender sobre las características de conjuntos de datos con una estructura similar a los de Aigües de Barcelona.

El projecte pretén millorar la qualitat de les dades de consum d'aigua de Barcelona per a una millor gestió dels recursos. Aigües de Barcelona m'ha permès seguir utilitzant les seves dades com a extensió del projecte realitzat a l'AB Data Challenge. He millorat els conjunts de dades aplicant una neteja de dades i afegint noves funcions que combinen conjunts de dades meteorològiques. Vaig emmagatzemar totes les anomalies detectades per analitzar-les i classificar-les en diferents categories. Les anomalies poden tenir diferents fonts i servir com a indicadors potencials d'un mal ús de l'aigua, fuites o errors del sistema de recollida de dades. He predit els valors que falten a causa de la neteja de dades i he testejat la precisió de cinc models de predicció per tal de seleccionar el més precís per a cada conjunt de dades específic. Finalment, vaig dissenyar una solució en forma d'aplicació web, vaig definir els requisits necessaris a partir d'una anàlisi de necessitats i vaig desenvolupar una primera versió del prototip. L'aplicació permet als usuaris aprendre sobre les característiques de conjunts de dades amb una estructura similar a les d'Aigües de Barcelona.