Bayesian optimization with uncertainty aware neural networks

Ampudia, David; Leung, Clinton

Bayesian optimization with uncertainty aware neural networks

License

Citation

Ampudia, D, Leung, C. Bayesian optimization with uncertainty aware neural networks. 2022. handle: http://hdl.handle.net/10230/56569

This citation was generated automatically.

Abstract

Bayesian optimization has emerged as an effective and efficient approach for finding the global optimum of highly complex derivative-free black-box functions. It typically models the objective function with Gaussian processes (GP) as a surrogate. Based on this surrogate, an auxiliary acquisition function proposes candidate optima locations to query the objective function at. In this paper, we explore recent developments that may help alleviate two key limitations of GP’s: poor performance with large datasets, and non-stationary target functions. To this end, we propose and implement several scalable uncertainty aware neural networks as alternative surrogates. In a series of tests, we showcase the relative performance of ensembles, Bayesian, and direct estimation neural network approaches against that of traditional GP’s and state of the art Sparse Variational Gaussian Processes (SVGP) in Bayesian optimization settings. Our results show that not only are neural networks a scalable solution with comparable performance to GP’s, but they also hold the potential to outperform SVGP’s.
La optimització bayesiana ha aparegut com una alternativa eficaç i eficient per trobar l’òptim global de funcions sense derivades i molt complexes. Normalment, la optimització bayesiana modela la funció objectiu amb processos gaussians (PG) com a substitut. En funció d’aquest substitut, una funció d’adquisició auxiliar proposa possibles ubicacions òptimes per consultar la funció objectiu. En aquest article, explorem els desenvolupaments recents que poden ajudar a al·leviar dues limitacions clau dels PG: rendiment baix quan disposem de grans quantitats de dades, i funcions objectiu no estacionàries. Amb aquest fi, proposem i implementem una sèrie d’alternatives en forma de xarxes neuronals amb capacitat de quantificar l’incertesa del model i que permeten treballar amb dades de major dimensionalitat. En una sèrie de proves i escenaris d’optimització bayesiana, mostrem el rendiment de models neurals de conjunts (ensembles), bayesians i d’estimació directa de l’incertesa i els comparem amb els PG tradicionals i amb els processos gaussians variacionals dispersos (PGVD) de darrera generació. Els nostres resultats mostren que les xarxes neuronals implementades no només són una solució escalable amb un rendiment comparable als PG, sinó que també tenen el potencial de superar als PGVD.