Ernst, Marvin MichelGelabert Cortés, OriolVadenja, Melisa2025-11-262025-11-262025-06-04http://hdl.handle.net/10230/72017Treball fi de màster de: Master's Degree in Data Science. Methodology Program. Curs 2024-2025Tutors: David Rossel i Christian BrownleesThis thesis extends the classical Multi-Armed Bandit (MAB) framework to dynamic and spatial environments. In dynamic settings, Bayesian latent-state models with Thompson Sampling and UCB are evaluated for their ability to adapt to non-stationary rewards, with comparisons to simpler autoregressive (AR) models. For spatially structured problems, Gaussian Process (GP) and Lipschitz bandits are used to exploit correlations between arms. Algorithms such as GP-UCB and Zoom-In demonstrate improved learning efficiency. Empirical results highlight the benefits of modeling temporal and spatial structure, while also emphasizing the computational trade-offs compared to classical, more tractable bandit algorithms.Esta tesis amplía el marco clásico de Multi-Armed Bandit (MAB) a entornos dinámicos y espaciales. En contextos dinámicos, se evalúan modelos bayesianos con estados latentes, combinados con algoritmos clásicos por su capacidad de adaptarse a recompensas no estacionarias, comparándolos con modelos autorregresivos (AR) más simples. Para el caso de estructura espacial, se emplean GP Bandits y Lipschitz Bandits para aprovechar las correlaciones entre brazos. Algoritmos como GP-UCB y Zoom-In demuestran una mayor eficiencia en el aprendizaje en este entorno. Los resultados empíricos resaltan las ventajas de modelar la estructura temporal y espacial, al tiempo que se enfatizan los costes computacionales frente a los algoritmos clásicos más accesibles.engThis work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International LicenseTreball de fi de màster – Curs 2024-2025info:eu-repo/semantics/masterThesisMulti-armed banditsLatent-state modelsGaussian process banditsModelos de estado latenteinfo:eu-repo/semantics/openAccess