Welcome to the UPF Digital Repository

Learning mechanisms of uncertainty and neuromodulation

Show simple item record

dc.contributor.author Puigbò Llobet, Jordi-Ysard
dc.contributor.other Verschure, Paul F. M. J.
dc.contributor.other González Ballester, Miguel Ángel
dc.contributor.other Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions
dc.date.accessioned 2024-03-16T02:33:22Z
dc.date.available 2024-03-16T02:33:22Z
dc.date.issued 2019-10-14T10:11:34Z
dc.date.issued 2020-09-30T02:00:22Z
dc.date.issued 2019-10-01
dc.identifier http://hdl.handle.net/10803/667643
dc.identifier.uri http://hdl.handle.net/10230/42447
dc.description.abstract Learning systems are, by default, adaptive. Experience shapes the parame- ters of artificial systems, as well as it changes the connectivity of biological brains. Nonetheless, our attempts to create artificial learning systems have shown that continuous learning leads to overfitting recent data at the ex- pense of the older. While the field compensated this loss by segregating training from exploitation phases, this comes at the cost of sacrificing the adaptation to uncertain or new situations. How do animals robustly forage for food, find their lairs or flee from predators in ever-changing conditions and, sometimes unfamiliar situations? This dissertation proposes that our brains flexibly change between learning modes, favoring exploitation of previous knowledge or the incorporation/adaptation of new one. From the perspective of fine-tuning perception, this thesis presents a framework to unveil some of the mechanisms that biology can use to learn from uncertain situations rapidly. First, we identify two components of rapid learning by exploring how learning speed can be modulated not just explicitly (i.e., changing a learning rate parameter) but also implicitly (i.e., changing network dynamics) by the modulation of recurrent inhibitory networks. Studying the interactions of cholinergic neuromodulation with local and global inhibition allows us to differentiate between two operation modes that switch between robust exploitation of existing representations and flexibly exploring potential alternatives. To disambiguate the learning mechanisms behind this learning mode switching by a neuromodulator like acetylcholine, we take a step back and propose a neural model to estimate the input uncertainty. The resulting dynamical system minimizes the squared error relative to the input variance, as a proxy of how much an input was unexpected. We show how this kind of system uses two forms of inhibitory populations to estimate the input, and modulate the learning speed, in synthetic datasets and machine learning benchmarks. Altogether, this model illustrates a neural microcircuit, capable of flexibly incorporating new evidence when inputs are unexpected, facilitating learn- ing speed and providing a mechanism to externally regulating learning speed implicitly.
dc.description.abstract Els sistemes d’aprenentatge son, per defecte, adaptatius. L’experiència dona forma als paràmetres dels sistemes artificials de la mateixa manera que canvia la connectivitat dels cervells biològics. Tot i aixı́, els intents per crear sistemes artificials d’aprenentatge ens ha ensenyat que l’aprenentatge continuat porta a el sobre-ajust de les dades més recents, al cost del més antic. Com poden els animals buscar menjar de forma robusta, trobar els seus caus o fugir dels depredadors? Aquesta tesi proposa que els cervells canvien de forma flexible entre modes d’aprenentatge, afavorint l’explotació del coneixement ja adquirit o la incorporació o adaptació amb nou coneixement. Des de la perspectiva del refinament de la percepció, aquesta tesi pre- senta un marc per desvelar alguns dels mecanismes que utilitza la biologia per a aprendre de situacions amb incertesa, de forma ràpida. Primer, iden- tifiquem dues components que permeten aprendre més ràpid, explorant com la velocitat d’aprenentatge pot ser modulada no només de forma explı́cita (i.e., modulant un paràmetre de velocitat d’aprenentatge) sinó també implı́cita (i.e., canviant les dinàmiques de la xarxa) a través de la modulació de les xarxes inhibitories amb recurrència. Mitjançant l’estu- di de les interaccions entre la neuromodulació colinèrgica i la inhibició local i global del cervell podem diferenciar entre dos modes d’operació que canvien entre l’explotació robusta de les representacions existents i l’exploració flexible de les potencials alternatives. Per a desambiguar els mecanismes d’aprenentatge que fan això possible, fem un pas enrere i proposem un model neuronal per estimar l’incertesa de la informació d’entrada a la xarxa. Aixı́ mostrem com un sistema com aquest requereix de l’us de dos poblacions inhibitòries diferents que prediuen les dades d’entrada i modulen la velocitat d’aprenentatge, tant en tasques sintètiques com benchmarks del camp d’aprenentatge automàtic (Machine Learning). En resum, aquest model esbossa un microcircuit neuronal capaç d’incor- porar nova evidència de forma flexible, quan les dades son inesperades, facilitant la velocitat d’aprenentatge i oferint un mecanisme per regular de forma externa però implicita, aquesta velocitat.
dc.description.abstract Programa de doctorat en Tecnologies de la Informació i les Comunicacions
dc.format 146 p.
dc.format application/pdf
dc.format application/pdf
dc.language.iso eng
dc.publisher Universitat Pompeu Fabra
dc.rights L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-sa/4.0/
dc.rights http://creativecommons.org/licenses/by-nc-sa/4.0/
dc.rights info:eu-repo/semantics/openAccess
dc.source TDX (Tesis Doctorals en Xarxa)
dc.title Learning mechanisms of uncertainty and neuromodulation
dc.type info:eu-repo/semantics/doctoralThesis
dc.type info:eu-repo/semantics/publishedVersion
dc.date.modified 2024-03-15T10:58:03Z
dc.subject.keyword Learning
dc.subject.keyword Neuromodulation
dc.subject.keyword Uncertainty
dc.subject.keyword Neocortex
dc.subject.keyword Computational Neuroscience
dc.subject.keyword Aprenentatge
dc.subject.keyword Neuromodulació
dc.subject.keyword Incertesa
dc.subject.keyword Neocortex
dc.subject.keyword Neurociència computacional
dc.subject.keyword 62


Files in this item

Files Size Format View

There are no files associated with this item.

This item appears in the following Collection(s)

Show simple item record

Search DSpace


Advanced Search

Browse

My Account

Statistics

In collaboration with Compliant to Partaking