Bayesian optimization with uncertainty aware neural networks

Mostra el registre complet Registre parcial de l'ítem

• dc.contributor.author Ampudia, David
• dc.contributor.author Leung, Clinton
• dc.date.accessioned 2023-04-26T11:05:26Z
• dc.date.available 2023-04-26T11:05:26Z
• dc.date.issued 2022-05
• dc.description Treball fi de màster de: Master's Degree in Data Science. Methodology Program. Curs 2021-2022ca
• dc.description Tutor: Hrvoje Stojicca
• dc.description.abstract Bayesian optimization has emerged as an effective and efficient approach for finding the global optimum of highly complex derivative-free black-box functions. It typically models the objective function with Gaussian processes (GP) as a surrogate. Based on this surrogate, an auxiliary acquisition function proposes candidate optima locations to query the objective function at. In this paper, we explore recent developments that may help alleviate two key limitations of GP’s: poor performance with large datasets, and non-stationary target functions. To this end, we propose and implement several scalable uncertainty aware neural networks as alternative surrogates. In a series of tests, we showcase the relative performance of ensembles, Bayesian, and direct estimation neural network approaches against that of traditional GP’s and state of the art Sparse Variational Gaussian Processes (SVGP) in Bayesian optimization settings. Our results show that not only are neural networks a scalable solution with comparable performance to GP’s, but they also hold the potential to outperform SVGP’s.ca
• dc.description.abstract La optimización bayesiana ha surgido como una alternativa eficaz y eficiente para encontrar el óptimo global de funciones sin derivadas y altamente complejas. Por lo general, la optimización bayesiana modela la función objetivo con procesos gaussianos (PG) como sustituto. En función de este sustituto, una función de adquisición auxiliar propone posibles ubicaciones óptimas para consultar la función objetivo. En este artículo, exploramos los desarrollos recientes que pueden ayudar a aliviar dos limitaciones clave de los PG: bajo rendimiento cuando contamos con grandes cantidades de datos, y funciones objetivo no estacionarias. Con este fin, proponemos e implementamos una serie de alternatives en forma de redes neuronales capaces de cuantificar la incertidumbre del modelo y que permiten trabajar con datos de mayor dimensionalidad. En una serie de pruebas y escenarios de optimización bayesiana, mostramos el rendimiento de modelos neurales de conjuntos (ensembles), bayesianos y de estimación directa de la incertidumbre y los comparamos a los PG tradicionales y a los procesos gaussianos variacionales dispersos (PGVD) de última generación. Nuestros resultados muestran que las redes neuronales implementadas no solo son una solución escalable con un rendimiento comparable al de los PG, sino que también tienen el potencial de superar a los PGVD.
• dc.description.abstract La optimització bayesiana ha aparegut com una alternativa eficaç i eficient per trobar l’òptim global de funcions sense derivades i molt complexes. Normalment, la optimització bayesiana modela la funció objectiu amb processos gaussians (PG) com a substitut. En funció d’aquest substitut, una funció d’adquisició auxiliar proposa possibles ubicacions òptimes per consultar la funció objectiu. En aquest article, explorem els desenvolupaments recents que poden ajudar a al·leviar dues limitacions clau dels PG: rendiment baix quan disposem de grans quantitats de dades, i funcions objectiu no estacionàries. Amb aquest fi, proposem i implementem una sèrie d’alternatives en forma de xarxes neuronals amb capacitat de quantificar l’incertesa del model i que permeten treballar amb dades de major dimensionalitat. En una sèrie de proves i escenaris d’optimització bayesiana, mostrem el rendiment de models neurals de conjunts (ensembles), bayesians i d’estimació directa de l’incertesa i els comparem amb els PG tradicionals i amb els processos gaussians variacionals dispersos (PGVD) de darrera generació. Els nostres resultats mostren que les xarxes neuronals implementades no només són una solució escalable amb un rendiment comparable als PG, sinó que també tenen el potencial de superar als PGVD.ca
• dc.format.mimetype application/pdf*
• dc.identifier.uri http://hdl.handle.net/10230/56569
• dc.language.iso engca
• dc.rights Atribución-NoComercial-SinDerivadas 3.0 Españaca
• dc.rights.accessRights info:eu-repo/semantics/openAccessca
• dc.rights.uri http://creativecommons.org/licenses/by-nc-nd/3.0/es/ca
• dc.subject.keyword Bayesian optimizationen
• dc.subject.keyword Gaussian processesen
• dc.subject.keyword Surrogate modelsen
• dc.subject.keyword Uncertainty aware neural networksen
• dc.subject.keyword Ensemblesen
• dc.subject.keyword Direct estimation neural networksen
• dc.subject.keyword Sparse Variational Gaussian Processes (SVGP)en
• dc.subject.keyword Optimización bayesiana
• dc.subject.keyword Procesos gaussianos
• dc.subject.keyword Modelos sustitutos
• dc.subject.keyword Redes neuronales capaces de cuantificar la incertidumbre
• dc.subject.keyword Conjuntos
• dc.subject.keyword Estimación directa de la incertidumbre
• dc.subject.keyword Procesos gaussianos variacionales dispersos (PGVD)
• dc.subject.keyword Optimització bayesianaca
• dc.subject.keyword Processos gaussiansca
• dc.subject.keyword Models substitutsca
• dc.subject.keyword Xarxes neuronals amb capacitat de quantificar l’incertesaca
• dc.subject.keyword Conjuntsca
• dc.subject.keyword Estimació directa de l’incertesaca
• dc.subject.keyword Processos gaussians variacionals dispersos (PGVD)ca
• dc.subject.other Treball de fi de màster – Curs 2021-2022ca
• dc.title Bayesian optimization with uncertainty aware neural networksca
• dc.type info:eu-repo/semantics/masterThesisca