In-depth exploration of the syntactic capabilities of autoencoding language models for downstream applications
Mostra el registre complet Registre parcial de l'ítem
- dc.contributor.author Pérez-Mayos, Laura
- dc.contributor.other Wanner, Leo
- dc.contributor.other Ballesteros, Miguel
- dc.contributor.other Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions
- dc.date.accessioned 2024-03-16T02:34:35Z
- dc.date.available 2024-03-16T02:34:35Z
- dc.date.issued 2022-06-28T11:47:04Z
- dc.date.issued 2022-06-28T11:47:04Z
- dc.date.issued 2022-06-15
- dc.date.modified 2024-03-15T10:58:07Z
- dc.description.abstract Pretrained Transformer-based language models have quickly replaced traditional approaches to model NLP tasks, pushing the state of the art to new levels, and will certainly continue to be very influential in the years to come. In this thesis, we offer an extensive empirical comparison of the morpho-syntactic capabilities of pretrained Transformer-based autoencoding models. We analyse the syntactic generalisation abilities of different widely-used pretrained models, comparing them along two dimensions: 1-- language: monolingual (English and Spanish) and multilingual models; and 2-- pretraining objectives: masked language modeling and next sentence prediction. We complement the analysis with a study of the impact of the pretraining data size on the syntactic generalisation abilities of the models and their performance on different downstream tasks. Finally, we investigate how the syntactic knowledge encoded in the models evolves along the fine-tuning process on different morpho-syntactic and semantics-related downstream tasks.
- dc.description.abstract Els models de llenguatge preentrenats basats en Transformer han reemplaçat ràpidament els models tradicionals de Processat del Llenguatge Natural, fent avançar l'estat de l'art a nous nivells, i de ben segur continuaran sent molt influents durant els propers anys. En aquesta tesi presentem una extensa comparativa empírica de les capacitats morfosintàctiques de models de llenguatge preentrenats basats en Transformer de tipus \textit{autoencoding}. Analitzem les capacitats de generalització sintàctica de diferents models que es fan servir habitualment, comparant-los en base a: 1-- llenguatge: models monolingües (anglès i castellà) i multilingües; i 2-- objectius d'entrenament: modelat del llenguatge amb màscares i predicció de la següent frase. Per complementar la comparativa, estudiem l'impacte del volum de les dades d'entrenament en les habilitats de generalització sintàctica dels models i el seu rendiment en diverses tasques. Finalment, investiguem com el coneixement sintàctic codificat als models evoluciona durant el seu entrenament en diverses tasques sintàctiques i semàntiques.
- dc.description.abstract Programa de doctorat en Tecnologies de la Informació i les Comunicacions
- dc.format 160 p.
- dc.format application/pdf
- dc.format application/pdf
- dc.identifier http://hdl.handle.net/10803/674651
- dc.identifier.uri http://hdl.handle.net/10230/53638
- dc.language.iso eng
- dc.publisher Universitat Pompeu Fabra
- dc.rights L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-sa/4.0/
- dc.rights http://creativecommons.org/licenses/by-sa/4.0/
- dc.rights info:eu-repo/semantics/openAccess
- dc.source TDX (Tesis Doctorals en Xarxa)
- dc.subject.keyword Pretrained language models
- dc.subject.keyword Transformer
- dc.subject.keyword BERT
- dc.subject.keyword Syntax
- dc.subject.keyword Syntactic knowledge
- dc.subject.keyword Contextual embeddings
- dc.subject.keyword Models de llenguatge preentrenats
- dc.subject.keyword Sintaxi
- dc.subject.keyword Coneixement sintàctic
- dc.subject.keyword Representacions contextuals
- dc.subject.keyword 62
- dc.title In-depth exploration of the syntactic capabilities of autoencoding language models for downstream applications
- dc.type info:eu-repo/semantics/doctoralThesis
- dc.type info:eu-repo/semantics/publishedVersion