Statistical modelling and resynthesis of environmental texture sounds

Kersten, Stefan

Statistical modelling and resynthesis of environmental texture sounds

Document Type

Doctoral thesis
Published Version

Author

Kersten, Stefan

Director

Serra, Xavier
Purwins, Hendrick

Publication Date

2016-02-05

Pages

172 p.

License

Citation

Kersten, S. Statistical modelling and resynthesis of environmental texture sounds. Universitat Pompeu Fabra; 2016. handle: http://hdl.handle.net/10803/400395

This citation was generated automatically.

Doctoral program

Programa de doctorat en Tecnologies de la Informació i les Comunicacions

Abstract

Environmental texture sounds are an integral, though often overlooked, part of our daily life. They constitute those elements of our sounding environment that we tend to perceive subconsciously but which we miss when they are missing. Those sounds are also increasingly important for adding realism to virtual environments, from immersive artificial worlds through computer games to mobile augmented reality systems. This work spans the spectrum from data-driven stochastic sound synthesis methods to distributed virtual reality environments and their aesthetic and technological implications. We propose a framework for statistically modelling environmental texture sounds in different sparse signal representations. We explore three different instantiations of this framework, two of which constitute a novel way of representing texture sounds in a physically-inspired sparse statistical model and of estimating model parameters from recorded sound examples.
Los sonidos texturales ambientales son parte integral de nuestra vida diaria, a pesar de que muchas veces pasen desapercibidos. Constituyen esos elementos de nuestro entorno sonoro que solemos percibir de manera subconsciente pero que extrañamos cuando desaparecen. Esos sonidos son también cada vez más importantes para añadir realismo a los ambientes virtuales, desde mundos artificiales de inmersión hasta sistemas móviles de realidad aumentada, pasando por juegos de ordenador. Este trabajo abarca todo el espectro desde métodos de síntesis de sonido estocásticos basados en datos hasta entornos distribuidos de realidad virtual, así como sus implicaciones estéticas y tecnológicas. Proponemos un marco para modelar estadísticamente sonidos ambientales texturales en diferentes representaciones sparse de señales. Exploramos tres diferentes instanciaciones de este marco, dos de las cuales constituyen una nueva manera de representar sonidos texturales en un modelo estadístico inspirado físicamente así como de estimar parámetros de modelo a partir de ejemplos de sonido grabados.

Keywords

Augmented reality, Cluster analysis, Concatenative synthesis, Data-driven synthesis, Distributed system, Soundscape, Sparse model, Statistical model, Stochastic synthesis, Texture sound, Virtual reality, Algoritmo de agrupamiento, Modelo estadístico, Paisaje sonoro, Realidad aumentada, Realidad virtual, Sistema distribuído, Sonido textural, Síntesis basada en datos, Síntesis concatenativa, Síntesis estocástica