Bayesian optimization with uncertainty aware neural networks

Abstract

Bayesian optimization has emerged as an effective and efficient approach for finding the global optimum of highly complex derivative-free black-box functions. It typically models the objective function with Gaussian processes (GP) as a surrogate. Based on this surrogate, an auxiliary acquisition function proposes candidate optima locations to query the objective function at. In this paper, we explore recent developments that may help alleviate two key limitations of GP’s: poor performance with large datasets, and non-stationary target functions. To this end, we propose and implement several scalable uncertainty aware neural networks as alternative surrogates. In a series of tests, we showcase the relative performance of ensembles, Bayesian, and direct estimation neural network approaches against that of traditional GP’s and state of the art Sparse Variational Gaussian Processes (SVGP) in Bayesian optimization settings. Our results show that not only are neural networks a scalable solution with comparable performance to GP’s, but they also hold the potential to outperform SVGP’s.La optimización bayesiana ha surgido como una alternativa eficaz y eficiente para encontrar el óptimo global de funciones sin derivadas y altamente complejas. Por lo general, la optimización bayesiana modela la función objetivo con procesos gaussianos (PG) como sustituto. En función de este sustituto, una función de adquisición auxiliar propone posibles ubicaciones óptimas para consultar la función objetivo. En este artículo, exploramos los desarrollos recientes que pueden ayudar a aliviar dos limitaciones clave de los PG: bajo rendimiento cuando contamos con grandes cantidades de datos, y funciones objetivo no estacionarias. Con este fin, proponemos e implementamos una serie de alternatives en forma de redes neuronales capaces de cuantificar la incertidumbre del modelo y que permiten trabajar con datos de mayor dimensionalidad. En una serie de pruebas y escenarios de optimización bayesiana, mostramos el rendimiento de modelos neurales de conjuntos (ensembles), bayesianos y de estimación directa de la incertidumbre y los comparamos a los PG tradicionales y a los procesos gaussianos variacionales dispersos (PGVD) de última generación. Nuestros resultados muestran que las redes neuronales implementadas no solo son una solución escalable con un rendimiento comparable al de los PG, sino que también tienen el potencial de superar a los PGVD.La optimització bayesiana ha aparegut com una alternativa eficaç i eficient per trobar l’òptim global de funcions sense derivades i molt complexes. Normalment, la optimització bayesiana modela la funció objectiu amb processos gaussians (PG) com a substitut. En funció d’aquest substitut, una funció d’adquisició auxiliar proposa possibles ubicacions òptimes per consultar la funció objectiu. En aquest article, explorem els desenvolupaments recents que poden ajudar a al·leviar dues limitacions clau dels PG: rendiment baix quan disposem de grans quantitats de dades, i funcions objectiu no estacionàries. Amb aquest fi, proposem i implementem una sèrie d’alternatives en forma de xarxes neuronals amb capacitat de quantificar l’incertesa del model i que permeten treballar amb dades de major dimensionalitat. En una sèrie de proves i escenaris d’optimització bayesiana, mostrem el rendiment de models neurals de conjunts (ensembles), bayesians i d’estimació directa de l’incertesa i els comparem amb els PG tradicionals i amb els processos gaussians variacionals dispersos (PGVD) de darrera generació. Els nostres resultats mostren que les xarxes neuronals implementades no només són una solució escalable amb un rendiment comparable als PG, sinó que també tenen el potencial de superar als PGVD.