Image processing techniques to extract symbolic features from Atari video games

Abstract

Engineers at the University of Alberta have developed a framework called Arcade Learning Environment (ALE), which allows computers to play Atari videogames based on the generation of random agents and a reward system. This software provides, at each time step, information of the game’s RAM, as well as a matrix of pixels that represents the image of the screen. The main goal of this project is to write a program that applies several image processing techniques in order to extract symbolic features from those images. These techniques, implemented in MATLAB, include finding the image’s SIFT keypoints and matching them between consecutive frames, segmenting the frame into connected components and obtaining crucial information about each one of them in order to classify the objects as movable or static, and tracking the objects’ movements around the screen, in order to estimate an interpolation of their trajectory over time.Enginyers de la Universitat d’Alberta han desenvolupat un programa anomenat Arcade Learning Environment (ALE), que permet als ordinadors jugar a videojocs Atari basant-se en la generació d’agents aleatoris i un sistema de recompenses. Aquest programa proporciona, a cada instant de temps, informació sobre la RAM del joc, així com una matriu de píxels que representa la imatge de la pantalla. L’objectiu principal d’aquest projecte és escriure un programa que apliqui diverses tècniques de processament d’imatge per tal d’extreure característiques simbòliques d’aquestes imatges. Aquestes tècniques, implementades en MATLAB, inclouen trobar els keypoints SIFT de les imatges i les correspondències entre fotogrames consecutius, segmentar la imatge en components connexes i obtenir informació clau de cada una d’elles per tal de classificar cada objecte segons si és estàtic o mòbil, i rastrejar els seus moviments per la pantalla per tal d’estimar una interpolació de la seva trajectòria al llarg del temps.