Welcome to the UPF Digital Repository

Implementation of a big data cloud-based catalog using open data

Show simple item record

dc.contributor.author Caritj Costa, Roger
dc.date.accessioned 2020-11-25T11:28:11Z
dc.date.available 2020-11-25T11:28:11Z
dc.date.issued 2020
dc.identifier.uri http://hdl.handle.net/10230/45887
dc.description Treball de fi de Grau en Informàtica
dc.description Tutor: Vicenç Gómez Cerdà
dc.description.abstract In this project, we will develop a cloud-based data catalog. We will first determine the services that will be necessary and afterward build the infrastructure in Azure. Then we will explore the Open Data sources available and evaluate them to see if they fit our purposes. Once they are selected we will periodically retrieve and transform this data to a similar format in order to work with all the datasets at the same time. Once this part is concluded, it will provide us an automatically updated data catalog with information from different sources. We will also see some use cases and will start using this data to give useful risk-related information.
dc.description.abstract En aquest projecte, desenvoluparem un catàleg de dades basat en el núvol. Mostrarem els serveis que seran necessaris i aixecarem la infraestructura a Azure, després explorarem les fonts de dades obertes disponibles i les avaluarem per veure si s'ajusten a les nostres necessitats. Un cop seleccionades, les extraurem periòdicament i les transformarem en un format similar per poder treballar amb tots els conjunts de dades a el mateix temps. Una vegada això estigui funcionant, ens proporcionarà un catàleg de dades actualitzat automàticament amb informació de diferents fonts. També veurem algun cas d'ús i utilitzarem aquestes dades per donar informació útil relacionada amb el risc.
dc.description.abstract En este proyecto, desarrollaremos un catálogo de datos basado en la nube. Mostraremos los servicios que serán necesarios y levantaremos la infraestructura en Azure, luego exploraremos las fuentes de datos abiertos disponibles y las evaluaremos para ver si se ajustan a nuestros necesidades. Una vez seleccionado, los extraemos periódicamente y lo transformaremos en un formato similar para poder trabajar con todos los conjuntos de datos al mismo tiempo. Una vez esto esté funcionando , nos proporcionará un catálogo de datos actualizado automáticamente con información de diferentes fuentes. También veremos algún caso de uso y utilizaremos estos datos para dar información útil relacionada con el riesgo.
dc.format.mimetype application/pdf
dc.language.iso eng
dc.rights Atribución-NoComercial-SinDerivadas 4.0 Internacional
dc.rights.uri http://creativecommons.org/licenses/by-nc-nd/4.0
dc.title Implementation of a big data cloud-based catalog using open data
dc.type info:eu-repo/semantics/bachelorThesis
dc.rights.accessRights info:eu-repo/semantics/openAccess

Thumbnail
Icon

This item appears in the following Collection(s)

Show simple item record

Search DSpace


Advanced Search

Browse

My Account

Statistics

In collaboration with Compliant to Partaking