A highly scalable infrastructure for policy optimization based on open data

Abstract

This project consists of the research, design, and implementation of a scalable, parallelizable, system of data extraction and processing, on a cloud-based platform. This project is inspired by the trend of open data, published by institutions, often governmental, without usage restrictions, such as copyright. The software presented here tackles the problem of using large volumes of data from heterogeneous sources to run computational models. The idea behind this project was conceived in the context of Impact Futures, an international project proposal coordinated by SIMBioSys, a research group at Universitat Pompeu Fabra. Impact Futures aims to use data, models, and simulations to explore the world’s possible futures, in order to better understand the effects of our policies. For designing and exploring models, we turn to an emerging paradigm, known as Agent-Based Modelling (ABM), in which large numbers of autonomous agents interact with each other and the world to produce emergent behaviours found on complex, real world systems. To achieve this, we use Pandora, a software developed at the Barcelona Supercomputing Centre. The system is structured as a software pipeline, consisting of four stages: (a) data acquisition, (b) data processing, (c) model execution and optimization, and (d) presentation of results. We present a workflow that utilizes all of the software in the pipeline, based on open data on the hospitals of Catalonia, and an epidemiological model that we implement in ABM.Aquest projecte consisteix en la recerca, disseny, i implementació d’un sistema escalable i paral·lelitzable per a la extracció i processament de dades, a una plataforma basada al núvol. Aquest projecte està inspirat per la tendència d’ open data , publicada per institucions, sovint governamentals, sense restriccions d’ús, com copyright. Presentem un programari que tracta el problema d’utilitzar dades en grans volums de fonts heterogènies per executar models computacionals. La idea d’aquest projecte va ser concebuda al context de Impact Futures, una proposta de projecte internacional coordinada per SIMBioSys, un grup de recerca a la Universitat Pompeu Fabra. Impact Futures pretén usar dades, models, i simulacions per a explorar els possibles futurs del món, per tal d’entendre millor els efectes de les nostres decisions. Per dissenyar i explorar models, fem servir un paradigma emergent, conegut com a modelat basat en agents (ABM), al qual un gran nombre d’agents autònoms interaccionen entre sí i amb el món, per tal de produir comportaments emergents propis de sistemes complexes del món real. Per aconseguir això, fem servir Pandora, un programari desenvolupat al Centre de Supercomputació de Barcelona. El nostre sistema està estructurat com una canonada, que consisteix en quatre etapes: (a) adquisició de dades, (b) processament de dades, (c) execució i optimització del model, i (d) presentació de resultats. Presentem també un pla de treball que fa servir les quatre etapes del sistema, basat en dades obertes dels hospitals de Catalunya, i un model epidemiològic que implementem fent servir ABM.