Designing sonic interactions for implicit physiological computing

Mealla Cincuegrani, Sebastián

Designing sonic interactions for implicit physiological computing

Document Type

Doctoral thesis
Published Version

Author

Mealla Cincuegrani, Sebastián

Director

Jordà Puig, Sergi
Väljamäe, Aleksander

Publication Date

2016-02-10

Pages

238 p.

License

Citation

Mealla Cincuegrani, S. Designing sonic interactions for implicit physiological computing. Universitat Pompeu Fabra; 2016. handle: http://hdl.handle.net/10803/393715

This citation was generated automatically.

Doctoral program

Programa de doctorat en Tecnologies de la Informació i les Comunicacions

Abstract

La interacción persona-ordenador (HCI) estudia la relación entre usuarios y sistemas computacionales. Sin embargo, se concentra primordialmente en el control explícito, mediante dispositivos como el teclado o el ratón. A medida que los sistemas se vuelven más complejos, esta aproximación tradicional limita interacciones más naturales e intuitivas. Sin embargo, HCI puede incorporar información implícita del usuario a través de la Fisiología Computacional, dedicada a medir cambios psicofisiológicos (afectivos, perceptivos o cognitivos) para adaptar sistemas sin control explícito del usuario. Asimismo, el sonido ofrece ventajas para representar dichos estados, ya que puede ser procesado más rápidamente que las presentaciones visuales, es fácilmente localizable, posee una resolución temporal alta, y permite presentar múltiples flujos de datos simultaneamente. Esta tesis doctoral tiene por objetivo conceptualizar, prototipar y evaluar interacciones sonoras basadas en fisiología computacional implícita, en contextos HCI. En concreto, se evaluan sus cualidades de perceptualización, el rol de la complejidad de los mappings entre información fisiológica y sonido, y sus implicancias en la creación musical.
The field of Human-Computer Interaction (HCI) is devoted to understand the interplay between people and computers. However, it is mainly based on explicit control by means of devices such as the keyboard and mouse. As systems become increasingly complex, this traditional approach constitutes a bottleneck for seamless HCI. However, HCI can incorporate implicit user information through Physiological Computing, which monitors psychophysiological states (affective, perceptive or cognitive) for adapting computer systems without explicit user control. At the output level, sound appears as an excellent medium for representing implicit states, as it can be processed faster than visual presentation, can be easily localized, it has a good temporal resolution, and account for multiple data display. In this dissertation we conceptualize, prototype and evaluate sonic interactions for implicit Physiological Computing in the context of HCI, focusing on their perceptualization quality, the role of mapping complexity, and their meaningfulness in the musical domain.

Keywords

HCI, SID, NIME, Physiological computing, Sound, Music, Implicit interaction, Brain Computer Interfaces, Tangible user interfaces, Multimodal interfaces, Music collaboration, Neurofeedback, Mapping, Tabletop, Reactable, Fisiología computacional, Interacción implícita, Interfaces cerebro-ordenador, Interfaces multimodales, Interfaces tangibles, Colaboración musical, Sonido, Música