Natural language processing technologies in compensatory supports for people with aphasia and acquired reading impairments

Cistola, Giorgia

Natural language processing technologies in compensatory supports for people with aphasia and acquired reading impairments

Document Type

Doctoral thesis
Published Version

Author

Cistola, Giorgia

Director

Farrús, Mireia
Van der Meulen, Ineke

Publication Date

2022-07-04

Pages

136 p.

Citation

Cistola, G. Natural language processing technologies in compensatory supports for people with aphasia and acquired reading impairments. Universitat Pompeu Fabra; 2022. handle: http://hdl.handle.net/10803/674766

This citation was generated automatically.

Doctoral program

Programa de doctorat en Tecnologies de la Informació i les Comunicacions

Abstract

Aphasia is often associated with reading impairments. Nonetheless, supports designed for people with aphasia and acquired reading impairments allowing autonomous access to written material are lacking. These individuals frequently use tools intended for other populations, thus encountering difficulties. This thesis includes two experiments exploring whether two natural language processing techniques - speech synthesis and automatic text simplification – combined facilitate access to written content. The first experiment assessed which speech synthesis technology was aphasia-friendly considering comprehension rate, reaction times and preferences; it showed that the concatenative speech synthesis was the one causing longer reaction times in the participants. Therefore, we selected the deep learning-based output voice for the second experiment. Then, in the second experiment, we investigated whether automatic text simplification improved comprehension of sentences when combined with a text-to-speech system. The simplification of passive sentences did not increase comprehension, differently from the simplification of complex relative clauses. However, this test was conducted online, and the findings need to be considered carefully. Overall, this thesis's contribution could benefit clinicians and researchers both in the aphasia and natural language processing fields.
L’afàsia s’associa sovint amb problemes de lectura. No obstant, falten suports pensats per a persones amb afàsia i discapacitat lectora adquirida que permetin l’accés autònom al material escrit. Aquests individus utilitzen freqüentment eines destinades a altres poblacions, amb les dificultats que això comporta. Aquesta tesi inclou dos experiments que exploren si dues tècniques de processament del llenguatge natural, la síntesi de la parla i la simplificació automàtica de textos, faciliten l'accés al contingut escrit. En el primer experiment es va avaluar quina tecnologia de síntesi de parla anava més bé per a l’afàsia, tenint en compte la velocitat de comprensió, els temps de reacció i les preferències; i es va veure que la síntesi de la parla concatenativa era la que provocava temps de reacció més llargs en els participants. Per tant, vam seleccionar la veu de sortida basada en l’aprenentatge profund per al segon experiment. Després, en el segon experiment, vam investigar si la simplificació automàtica del text millorava la comprensió de les frases quan es combinava amb un sistema de conversió de text a parla. La simplificació de frases passives no augmentava la comprensió, a diferència de la simplificació de les oracions de relatiu complexes. Tanmateix, aquest experiment es va realitzar en línia i les conclusions s’han d’analitzar amb precaució. A grans trets, la contribució d’aquesta tesi podria beneficiar metges i investigadors tant en l'àmbit de l’afàsia com del processament del llenguatge natural.