In-depth exploration of the syntactic capabilities of autoencoding language models for downstream applications

Pérez-Mayos, Laura

In-depth exploration of the syntactic capabilities of autoencoding language models for downstream applications

Document Type

Doctoral thesis
Published Version

Author

Pérez-Mayos, Laura

Director

Wanner, Leo
Ballesteros, Miguel

Publication Date

2022-06-15

Pages

160 p.

License

Citation

Pérez-Mayos, L. In-depth exploration of the syntactic capabilities of autoencoding language models for downstream applications. Universitat Pompeu Fabra; 2022. handle: http://hdl.handle.net/10803/674651

This citation was generated automatically.

Doctoral program

Programa de doctorat en Tecnologies de la Informació i les Comunicacions

Abstract

Pretrained Transformer-based language models have quickly replaced traditional approaches to model NLP tasks, pushing the state of the art to new levels, and will certainly continue to be very influential in the years to come. In this thesis, we offer an extensive empirical comparison of the morpho-syntactic capabilities of pretrained Transformer-based autoencoding models. We analyse the syntactic generalisation abilities of different widely-used pretrained models, comparing them along two dimensions: 1-- language: monolingual (English and Spanish) and multilingual models; and 2-- pretraining objectives: masked language modeling and next sentence prediction. We complement the analysis with a study of the impact of the pretraining data size on the syntactic generalisation abilities of the models and their performance on different downstream tasks. Finally, we investigate how the syntactic knowledge encoded in the models evolves along the fine-tuning process on different morpho-syntactic and semantics-related downstream tasks.
Els models de llenguatge preentrenats basats en Transformer han reemplaçat ràpidament els models tradicionals de Processat del Llenguatge Natural, fent avançar l'estat de l'art a nous nivells, i de ben segur continuaran sent molt influents durant els propers anys. En aquesta tesi presentem una extensa comparativa empírica de les capacitats morfosintàctiques de models de llenguatge preentrenats basats en Transformer de tipus \textit{autoencoding}. Analitzem les capacitats de generalització sintàctica de diferents models que es fan servir habitualment, comparant-los en base a: 1-- llenguatge: models monolingües (anglès i castellà) i multilingües; i 2-- objectius d'entrenament: modelat del llenguatge amb màscares i predicció de la següent frase. Per complementar la comparativa, estudiem l'impacte del volum de les dades d'entrenament en les habilitats de generalització sintàctica dels models i el seu rendiment en diverses tasques. Finalment, investiguem com el coneixement sintàctic codificat als models evoluciona durant el seu entrenament en diverses tasques sintàctiques i semàntiques.

Keywords

Pretrained language models, Transformer, BERT, Syntax, Syntactic knowledge, Contextual embeddings, Models de llenguatge preentrenats, Sintaxi, Coneixement sintàctic, Representacions contextuals