Design and implementation of an interactive graphics generation system

Abstract

In modern dance it is becoming more common to use projected visual imagery to enhance the performance and explore new artistic paths. A challenge is how to generate the images in real-time and integrate them with the movements of the dancer. In this project I have designed and implemented a real-time interactive system with the openFrameworks toolkit that generates computer graphics based on human motions and that can be used in dance performances. Using a Microsoft Kinect depth sensing camera and efficient computer vision algorithms, the system extracts motion data in real-time that is then used as input controls for the graphics generation. The graphics generated include particle systems with different behaviors, abstract representation of the silhouette of the dancers and two dimensional fluids simulation. By means of a user-friendly interface we can adjust the parameters that control the motion capture, change the graphics projected and alter their behavior in real-time. The system has been tested in real dance performances and has fulfilled the requirements that were specified for that user context.En dansa moderna és cada vegada més comú utilitzar imatges projectades per a/nmillorar la experiència de l’espectacle i explorar nous camins artístics. Un repte/nés com generar aquestes imatges en temps real i integrar-les als moviments del ballarí. En aquest projecte he dissenyat i implementat un sistema interactiu a temps/nreal utilitzant la llibreria openFrameworks que genera gràfics en ordinador a partir/ndel moviment humà i que pot ser utilitzat en espectacles de dansa. Utilitzant el/nsensor Microsoft Kinect i algoritmes eficients de visió artificial, el sistema extreu/ninformació del moviment en temps real que serveix com a control d’entrada per/na la generació dels gràfics. Els gràfics que es poden generar inclouen sistemes de/npartícules amb diferents comportaments, representació abstracta de la silueta dels/nballarins i un simulador de fluids en dos dimensions. A través d’una interfície/ngràfica es poden ajustar els paràmetres que controlen la captura del moviment,/ncanviar els gràfics que es projecten i alterar el seu comportament en temps real./nEl sistema ha estat testejat en situacions reals i ha complert els requeriments que/ns’havien plantejat per aquest context.