Pretrained Transformer-based language models have quickly replaced traditional approaches to
model NLP tasks, pushing the state of the art to new levels, and will certainly continue to be very
influential in the years to come. In this thesis, we offer an extensive empirical comparison of the
morpho-syntactic capabilities of pretrained Transformer-based autoencoding models. We analyse
the syntactic generalisation abilities of different widely-used pretrained models, comparing them
along two dimensions: ...
Pretrained Transformer-based language models have quickly replaced traditional approaches to
model NLP tasks, pushing the state of the art to new levels, and will certainly continue to be very
influential in the years to come. In this thesis, we offer an extensive empirical comparison of the
morpho-syntactic capabilities of pretrained Transformer-based autoencoding models. We analyse
the syntactic generalisation abilities of different widely-used pretrained models, comparing them
along two dimensions: 1-- language: monolingual (English and Spanish) and multilingual models;
and 2-- pretraining objectives: masked language modeling and next sentence prediction. We
complement the analysis with a study of the impact of the pretraining data size on the syntactic
generalisation abilities of the models and their performance on different downstream tasks. Finally,
we investigate how the syntactic knowledge encoded in the models evolves along the fine-tuning
process on different morpho-syntactic and semantics-related downstream tasks.
+
Els models de llenguatge preentrenats basats en Transformer han reemplaçat ràpidament els
models tradicionals de Processat del Llenguatge Natural, fent avançar l'estat de l'art a nous nivells,
i de ben segur continuaran sent molt influents durant els propers anys. En aquesta tesi presentem
una extensa comparativa empírica de les capacitats morfosintàctiques de models de llenguatge
preentrenats basats en Transformer de tipus \textit{autoencoding}. Analitzem les capacitats de
generalització sintàctica ...
Els models de llenguatge preentrenats basats en Transformer han reemplaçat ràpidament els
models tradicionals de Processat del Llenguatge Natural, fent avançar l'estat de l'art a nous nivells,
i de ben segur continuaran sent molt influents durant els propers anys. En aquesta tesi presentem
una extensa comparativa empírica de les capacitats morfosintàctiques de models de llenguatge
preentrenats basats en Transformer de tipus \textit{autoencoding}. Analitzem les capacitats de
generalització sintàctica de diferents models que es fan servir habitualment, comparant-los en
base a: 1-- llenguatge: models monolingües (anglès i castellà) i multilingües; i 2-- objectius
d'entrenament: modelat del llenguatge amb màscares i predicció de la següent frase. Per
complementar la comparativa, estudiem l'impacte del volum de les dades d'entrenament en les
habilitats de generalització sintàctica dels models i el seu rendiment en diverses tasques.
Finalment, investiguem com el coneixement sintàctic codificat als models evoluciona durant el seu
entrenament en diverses tasques sintàctiques i semàntiques.
+
Programa de doctorat en Tecnologies de la Informació i les Comunicacions
