Bayesian bandits for algorithm selection: latent-state modeling and spatial reward structures

Abstract

This thesis extends the classical Multi-Armed Bandit (MAB) framework to dynamic and spatial environments. In dynamic settings, Bayesian latent-state models with Thompson Sampling and UCB are evaluated for their ability to adapt to non-stationary rewards, with comparisons to simpler autoregressive (AR) models. For spatially structured problems, Gaussian Process (GP) and Lipschitz bandits are used to exploit correlations between arms. Algorithms such as GP-UCB and Zoom-In demonstrate improved learning efficiency. Empirical results highlight the benefits of modeling temporal and spatial structure, while also emphasizing the computational trade-offs compared to classical, more tractable bandit algorithms. Esta tesis amplía el marco clásico de Multi-Armed Bandit (MAB) a entornos dinámicos y espaciales. En contextos dinámicos, se evalúan modelos bayesianos con estados latentes, combinados con algoritmos clásicos por su capacidad de adaptarse a recompensas no estacionarias, comparándolos con modelos autorregresivos (AR) más simples. Para el caso de estructura espacial, se emplean GP Bandits y Lipschitz Bandits para aprovechar las correlaciones entre brazos. Algoritmos como GP-UCB y Zoom-In demuestran una mayor eficiencia en el aprendizaje en este entorno. Los resultados empíricos resaltan las ventajas de modelar la estructura temporal y espacial, al tiempo que se enfatizan los costes computacionales frente a los algoritmos clásicos más accesibles.