Welcome to the UPF Digital Repository

Bayesian optimization with uncertainty aware neural networks

Show simple item record

dc.contributor.author Ampudia, David
dc.contributor.author Leung, Clinton
dc.date.accessioned 2023-04-26T11:05:26Z
dc.date.available 2023-04-26T11:05:26Z
dc.date.issued 2022-05
dc.identifier.uri http://hdl.handle.net/10230/56569
dc.description Treball fi de màster de: Master's Degree in Data Science. Methodology Program. Curs 2021-2022
dc.description Tutor: Hrvoje Stojic
dc.description.abstract Bayesian optimization has emerged as an effective and efficient approach for finding the global optimum of highly complex derivative-free black-box functions. It typically models the objective function with Gaussian processes (GP) as a surrogate. Based on this surrogate, an auxiliary acquisition function proposes candidate optima locations to query the objective function at. In this paper, we explore recent developments that may help alleviate two key limitations of GP’s: poor performance with large datasets, and non-stationary target functions. To this end, we propose and implement several scalable uncertainty aware neural networks as alternative surrogates. In a series of tests, we showcase the relative performance of ensembles, Bayesian, and direct estimation neural network approaches against that of traditional GP’s and state of the art Sparse Variational Gaussian Processes (SVGP) in Bayesian optimization settings. Our results show that not only are neural networks a scalable solution with comparable performance to GP’s, but they also hold the potential to outperform SVGP’s.
dc.description.abstract La optimización bayesiana ha surgido como una alternativa eficaz y eficiente para encontrar el óptimo global de funciones sin derivadas y altamente complejas. Por lo general, la optimización bayesiana modela la función objetivo con procesos gaussianos (PG) como sustituto. En función de este sustituto, una función de adquisición auxiliar propone posibles ubicaciones óptimas para consultar la función objetivo. En este artículo, exploramos los desarrollos recientes que pueden ayudar a aliviar dos limitaciones clave de los PG: bajo rendimiento cuando contamos con grandes cantidades de datos, y funciones objetivo no estacionarias. Con este fin, proponemos e implementamos una serie de alternatives en forma de redes neuronales capaces de cuantificar la incertidumbre del modelo y que permiten trabajar con datos de mayor dimensionalidad. En una serie de pruebas y escenarios de optimización bayesiana, mostramos el rendimiento de modelos neurales de conjuntos (ensembles), bayesianos y de estimación directa de la incertidumbre y los comparamos a los PG tradicionales y a los procesos gaussianos variacionales dispersos (PGVD) de última generación. Nuestros resultados muestran que las redes neuronales implementadas no solo son una solución escalable con un rendimiento comparable al de los PG, sino que también tienen el potencial de superar a los PGVD.
dc.description.abstract La optimització bayesiana ha aparegut com una alternativa eficaç i eficient per trobar l’òptim global de funcions sense derivades i molt complexes. Normalment, la optimització bayesiana modela la funció objectiu amb processos gaussians (PG) com a substitut. En funció d’aquest substitut, una funció d’adquisició auxiliar proposa possibles ubicacions òptimes per consultar la funció objectiu. En aquest article, explorem els desenvolupaments recents que poden ajudar a al·leviar dues limitacions clau dels PG: rendiment baix quan disposem de grans quantitats de dades, i funcions objectiu no estacionàries. Amb aquest fi, proposem i implementem una sèrie d’alternatives en forma de xarxes neuronals amb capacitat de quantificar l’incertesa del model i que permeten treballar amb dades de major dimensionalitat. En una sèrie de proves i escenaris d’optimització bayesiana, mostrem el rendiment de models neurals de conjunts (ensembles), bayesians i d’estimació directa de l’incertesa i els comparem amb els PG tradicionals i amb els processos gaussians variacionals dispersos (PGVD) de darrera generació. Els nostres resultats mostren que les xarxes neuronals implementades no només són una solució escalable amb un rendiment comparable als PG, sinó que també tenen el potencial de superar als PGVD.
dc.format.mimetype application/pdf
dc.language.iso eng
dc.rights Atribución-NoComercial-SinDerivadas 3.0 España
dc.rights.uri http://creativecommons.org/licenses/by-nc-nd/3.0/es/
dc.subject.other Treball de fi de màster – Curs 2021-2022
dc.title Bayesian optimization with uncertainty aware neural networks
dc.type info:eu-repo/semantics/masterThesis
dc.subject.keyword Bayesian optimization
dc.subject.keyword Gaussian processes
dc.subject.keyword Surrogate models
dc.subject.keyword Uncertainty aware neural networks
dc.subject.keyword Ensembles
dc.subject.keyword Direct estimation neural networks
dc.subject.keyword Sparse Variational Gaussian Processes (SVGP)
dc.subject.keyword Optimización bayesiana
dc.subject.keyword Procesos gaussianos
dc.subject.keyword Modelos sustitutos
dc.subject.keyword Redes neuronales capaces de cuantificar la incertidumbre
dc.subject.keyword Conjuntos
dc.subject.keyword Estimación directa de la incertidumbre
dc.subject.keyword Procesos gaussianos variacionales dispersos (PGVD)
dc.subject.keyword Optimització bayesiana
dc.subject.keyword Processos gaussians
dc.subject.keyword Models substituts
dc.subject.keyword Xarxes neuronals amb capacitat de quantificar l’incertesa
dc.subject.keyword Conjunts
dc.subject.keyword Estimació directa de l’incertesa
dc.subject.keyword Processos gaussians variacionals dispersos (PGVD)
dc.rights.accessRights info:eu-repo/semantics/openAccess

Thumbnail

This item appears in the following Collection(s)

Show simple item record

Search DSpace


Advanced Search

Browse

My Account

Statistics

Compliant to Partaking