Facial shape estimation methods for computing physiological signals with non-invasive techniques

Abstract

For the last few years, there has been an increasing interest in the estimation of physiological data in the context of human behavior understanding and human computer interaction with many different applications such as the automatic recognition of either the physical or the emotional state of a person, or telehealth, among others. Nowadays, however, an important drawback is that these signals can only be measured by means of invasive techniques such as electrodes or pulse oximeters. In this project we address estimation of physiological data by means of indirect, non-invasive measurements. Specifically, we focus on the estimation of the heart rate by amplifying the subtle color variations that appear in the facial skin due to the blood stream pulse. Hence, we develop a fully automatic scheme based on landmark localization in order to segment the facial skin region where to extract the signals that are processed and analyzed with the purpose to estimate the heart rate. Evaluation of the proposed scheme is provided in quantitative terms with respect to ground truth obtained by means of invasive measurements. To this end, we have gathered a small multimodal database comprising highresolution facial videos and ECG recordings from specialized equipment. The main conclusion of this project is the severe difficulty in the measurement of the heart rate from dynamic videos, in which head rotations in both 2D and 3D appear. However, the proposed scheme was able to accurately estimate the heart rate in static videos: in experiments on eventy-eight videos from thirteen subjects we obtained a median error of 2.64 beats per minute, which is comparable to the state of the art.

En els darrers anys, s’ha produït un interès creixent en l’estimació de senyals fisiològics sota el paradigma de la comprensió del comportament humà i de la interacció persona-ordinador amb múltiples aplicacions tals com el reconeixement automàtic de l’estat, tant físic com emocional, d’una persona, o la telemedicina, entre d’altres. Actualment, però, una de les limitacions més importants és que aquests senyals només es poden mesurar a través de tècniques invasives com són els electrodes o els pulsioxíımetres. En aquest projecte ens centrarem en l’estimació de senyals fisiològics a través de mesures indirectes i no-invasives. Concretament, ens centrarem en l’estimació del ritme cardíac a través de l’amplificació de les variacions subtils de color que es produeixen a la regió cutània de la cara. Amb aquesta finalitat, hem desenvolupat un paradigma totalment automàtic basat en la localització de punts caracteríıstics per tal de segmentar la regió cutània de la cara de la qual n’extreurem els senyals que seran processats i analitzats amb l’objectiu d’estimar el ritme cardíac. El paradigma proposat s’avalua quantitativament respecte dades reals obtingudes a través de mesures invasives. Amb aquest propòsit, hem compilat una petita base de dades multimodal, la qual conté videos facials a alta resolució i electrocardiogrames enregistrats amb equipament especialitzat. La conclusió principal que es pot extreure d’aquest projecte és la dificultat de mesurar la freqüència cardíaca a partir de vídeos dinàmics, en els quals la posició del cap dels subjectes canvia tot descrivint rotacions en 2D i en 3D. Això no obstant, el paradigma proposat ha sigut capaç d’estimar amb precisió el ritme cardíac en vídeos estàtics: en experiments realitzats en setanta-vuit vídeos de tretze subjectes diferents, vam obtenir un error de 2,64 batecs per minut de mediana, el qual és comparable amb l’estat de l’art.