Reinforcement learning in an emulated NES environment

Abstract

A short review and comparison of Q-Learning, Function Approximation by gradient descent and Monte Carlo Tree Search algorithms, implemented to run on an environment based on an emulation of the Nintendo Entertainment System video gaming console. The Nintendo Entertainment System and its catalogue of games/nprovide a multitude of scenarios to research learning algorithms. Different states and rewards are produced in real-time using memory snapshots provided by an emulator running different games. Although the state space of Nintendo Entertainment System is much larger than that of an Atari, Monte Carlo Tree Search is still able to learn useful/npolicies.

Un breve análisis y comparación de los algoritmos de Q-learning, Function Approximation por descenso de gradiente y Monte Carlo Tree Search, implementados para correr en un entorno basado en una emulación de la consola de videojuegos Nintendo Entertainment System. La Nintendo Entertainment System y su catálogo de juegos proveen de una multitud de escenarios para investigar algoritmos de aprendizaje. Diferentes estados y recompensas son producidos en tiempo real usando capturas de memoria proveídas por un emulador ejecutando distintos juegos. Aunque el espacio de estados de la Nintendo Entertainment System es mucho más grande que el de una Atari, Monte Carlo Tree Search es aun capaz de obtener algunos resultados.