Multimodal fusion of video signals for remote evaluation of emotional/cognitive processing

Abstract

Remote photoplethysmography consists in measuring the blood pulse of a subject given a video signal of, for example, his/her face. The progress made in this area has been very beneficial for human emotion study from the physiological perspective, since the traditional measures such as the electrocardiogram (ECG) are very intrusive. However, extracting pulse signals from video is very challenging due to the noise caused by motion and illumination This project consists on two main parts: the first one is the pulse extraction from video: how to detect the region of interest (ROI), how to filter out the noise produced by the illumination changes, and finally, how to filter and detrend the signal succesfully. The second part consists on the emotion estimation given the pulse signal obtained before. Those emotions are quantified in the Valence-Arousal bidimensional space, which tries to represent as faithfully as possible the human emotions. Finally a support-vector machine (SVM) model has been trained to predict those emotions.La fotopletismografia remota consisteix en mesurar el pols sanguini mitjançant un senyal de vídeo del subjecte en qüestió. L’estudi de les emocions des de la perspectiva dels senyals fisiològics s’ha beneficiat enormement dels avenços en aquest camp, ja que podria deixar enrere tècniques intrusives com l’electrocardiograma. Tot i això, extraure el pols del senyal de vídeo és una tasca complicada degut a la poca intensitat d’aquest i al soroll causat pels canvis d’il·luminació i els moviments del subjecte. Aquest projecte consta de dues parts diferenciades: la primera és l’extracció del pols sanguini a partir de vídeos de la cara dels subjectes. En aquesta part es presentarà com detectar la regió d’interès, com eliminar el soroll produït per les variacions de lumíniques i es farà un estudi extensiu dels mètodes de filtrat i de detrending del senyal. La segona part consisteix en l’estimació de les emocions dels subjectes a partir del pols extret. Aquestes emocions estan quantificades amb mesures de València i Excitació les quals intenten representar, en un espai bidimensional, les emocions humanes. Finalment, s’ha entrenat un model de support-vector machine per a poder predir aquestes emocions.