From affective computing to empathic adaptive systems: inference and induction of emotion in ecologically-valid contexts to foster novel paradigms of human-computer interaction

Abstract

Due to the complexity of the natural world, scientific studies on cognitive, behavioral and physiological phenomena are typically conducted under strict laboratory conditions. Nonetheless, recent technological improvements in virtual reality systems and wearable devices are leading to a gradual shift in research towards life-like experimental settings. We present a number of studies focused on the expression and induction of affect in humans that combine quantitative and qualitative data collected through self-reported, behavioral and psychophysiological measures in the eXperience Induction Machine, an immersive space specifically designed to conduct ecologically-valid experiments using virtual and mixed reality. We show that it is possible to empirically investigate emotion in life-like contexts that go beyond standard laboratory setups, while, at the same time, maintaining a high degree of control over the variables measured. Grounded in our results, we introduce BrainX3, an immersive empathic adaptive system for the exploration of complex data from neuroscience. The novelty of our application consists in the coupling of human implicit states with the computational power of machines to explore large datasets and boost the discovery process. Using BrainX3, we demonstrate that human conscious and unconscious intrinsic abilities play a key role in the architectural design of new generation interfaces to tackle scientific challenges such as the “data deluge".

Degut a la complexitat del món natural, els estudis científics en fenòmens cognitius, fisiològics i de comportament se solen conduir sota estrictes condicions de laboratori. No obstant això, recents millores tecnològiques en sistemes de realitat virtual i dispositius portables condueixen a un canvi gradual en la recerca cap a escenaris d'experimentació més realistes. Presentem varis estudis enfocats en l'expressió i la inducció d'afecte en humans que combinen dades quantitatives i qualitatives extretes a través de mesures fisiològiques, d'autoavaluació i de comportament en l'eXperience Induction Machine (Màquina d'Inducció d'Experiència), un espai immersiu dissenyat específicament per a conduir experiments validats ecològicament fent servir realitat virtual i mixta. Mostrem que és possible investigar emocions empíricament en contextos realistes que van més enllà de les disposicions estàndard de laboratori, mentre, a la vegada, mantenen un alt grau de control sobre les variables mesurades. Basat en els nostres resultats, introduïm el BrainX3, un sistema adaptatiu, empàtic i immersiu per a l'exploració de dades neurocientífiques complexes. La novetat de la nostra aplicació consisteix en la connexió entre estats implícits de l'ésser humà i el poder computacional de les màquines per a explorar grans bases de dades i potenciar el procés de descobriment. Fent servir BrainX3, demostrem que les habilitats intrínseques conscients i inconscients de l'humà juguen un paper primordial en el disseny de l'arquitectura d'interfícies de nova generació per a abordar reptes científics com el devessall de dades.

Programa de doctorat en Tecnologies de la Informació i les Comunicacions