The Role of inhibitory plasticity in the formation and the long-term maintenance of neural assemblies and memories
Loading...
Document Type
Document Version
Author
Director
Quoy, Mathias
Deco, Gustavo
Torcini, Alessandro
Zamora López, Gorka
Deco, Gustavo
Torcini, Alessandro
Zamora López, Gorka
Tutor
Other authors
Publication Date
Pages
183 p.
Embargo date
License
Citation
Bergoin, R. The Role of inhibitory plasticity in the formation and the long-term maintenance of neural assemblies and memories. Universitat Pompeu Fabra; 2023. handle: http://hdl.handle.net/10803/689854
This citation was generated automatically.
Citation
Doctoral program
Programa de Doctorat en Tecnologies de la Informació i les Comunicacions
Abstract
Brain circuits display modular architecture at different scales of organization. Such neural assemblies are typically associated to functional specialization that favours both the segregation and the integration of information. However, the mechanisms leading to their emergence and consolidation remain elusive. This PhD thesis aims to understand the formation of modular structures in artificial neural networks and the mechanisms that sustain these memory structures over time while allowing continuous adaptation. In addition, the thesis seeks to validate the architecture and mechanisms using real sensory information and to evaluate their effective integration into cognitive tasks. In the first chapter, we review the state of the art regarding the formation of multiple clusters in networks of coupled oscillators, focusing specifically on Kuramoto oscillators subjected to adaptation. This chapter also highlights the formation of structural clusters via external stimulation and discusses two approaches: frequencybased and synchrony-based, paving the way for the experiments conducted in the following chapters. In the second chapter, we focus on the formation and consolidation of modular structures induced by external stimuli in networks of theta-neurons. The results show that inhibitory neurons play a crucial role in the maintenance of these modular architectures. Networks containing both excitatory and inhibitory neurons are able to maintain and consolidate learned memories by avoiding total synchronisation of the network, while networks with only excitatory neurons or networks that do not differentiate between excitatory and inhibitory neurons fail to do so. We also show that the number of inhibitory neurons in the network determines its memory capacity. In the third chapter, we study the phenomenon of spontaneous memory recall in an asynchronous irregular state and its role in long-term memory consolidation. We consider an excitatory-inhibitory spiking neural network subjected to spike-timingdependent plasticity. We show that the presence of two groups of inhibitory neurons – one subjected to Hebbian-STDP and one subjected to anti-Hebbian-STDP – is necessary to guarantee the emergence of the modular structures and their spontaneous recall at rest. We prove that these recalls are correlated with a consolidation of the structural modules. In addition, a relationship between the number of inhibitory neurons and the storage capacity is again established. Finally in the last chapter, we apply this architecture to the learning of audio-visual information. This confirms the possibility of forming and maintaining complex structures over the long-term, but this time with real sensory stimuli. Learning each modality independently results in stable segregated structures, enabling accurate unimodal recognition. The integration of modalities is achieved via hub neurons, facilitating coherent and more efficient processing of multisensory information in recognition and generation tasks. In summary, this PhD thesis contributes to a better understanding of the impact of inhibition on network dynamics, allowing sustainable memory learning. In addition, these works highlight the role of this same inhibition in the storage of memories and in their integration and processing in cognitive tasks. In this way, this thesis also provides insights for more bio-realistic artificial intelligence systems, while contributing to a better understanding of neural mechanisms.
Los circuitos cerebrales muestran una arquitectura modular a diferentes escalas de organización. La presencia de tales conjuntos neuronales suele asociarse a una organizacion funcional que favorece tanto la segregación como la integración de la información. Sin embargo, los mecanismos que conducen al surgimiento y consolidación de esta organización modular siguen siendo desconocidos. Esta tésis doctoral trata de comprender la formación de estructuras modulares en redes neuronales artificiales y los mecanismos que sostienen estas estructuras de memoria a lo largo del tiempo, permitiendo así su contínua adaptación. Además, esta tésis pretende validar el surgimiento de tales arquitecturas modulares utilizando para ello información sensorial real, y evaluar su integración efectiva en tareas cognitivas. El primer capítulo resume el conocimiento actual en el campo con respecto a la formación de architecturas modulares, siguiendo redes de osciladores acoplados. En este caso, nos centramos en redes de osciladores de Kuramoto acoplados sometidos a adaptación. También se destaca la formación de módulos estructurales debido a la aplicación de estimulos externos y se analizan dos enfoques distintos para ello: el basado en la frecuencia y el basado en la sincronía. Estos ejemplos sirven como punto de partida para los experimentos realizados en los capítulos siguientes. El segundo capítulo se centra en la formación y la consolidación de arquitecturas modulares, inducidas por la presencia de estímulos externos en redes de “neuronas theta”. Los resultados muestran que las neuronas inhibitorias son fundamentales para el mantenimiento de estas arquitecturas modulares. Las redes que contienen neuronas excitatorias e inhibitorias son capaces de mantener y consolidar las memorias aprendidas, evitando la sincronización total de la red. Sin embargo, las memories no pueden ser consolidadas en aquellas redes compuestas únicamente de neuronas excitatorias, o en aquellas en las que no se evita diferenciar entre neuronas excitatorias e inhibitorias. También demostramos que la capacidad de memoria de las redes viene determinado por el número de neuronas inhibitorias. En el tercer capítulo, estudiamos la aparición de recuerdos espontáneos en las redes neuronales, mientras éstas se encuentran en un estado basal caracterizado por la actividad irregular y asíncrona de sus neuronas. También estudiamos el papel de los recuerdos espontáneos en la consolidación de las memorias a largo plazo. Para ello, consideramos una red compuesta por neuronas excitatorias e inhibitorias sometidas a una plasticidad dependiente del tiempo de los picos de actividad neuronal. Demostramos que la pres- encia de dos grupos de neuronas inhibitorias —uno sometido a Hebbian-STDP y el otro sometido a anti- Hebbian-STDP— es necesaria para garantizar la formación espontánea de las estructuras modulares y la presencia de recuerdos espontáneos en la actividad neuronal. Demostramos también que estos recuerdos espontáneos son necesarios para la consolidación de la architectura modular. Además, establecemos de nuevo una relación entre el número de neuronas inhibitorias y la capacidad de almacenamiento de la red. Finalmente, en el último capítulo, utilizamos este tipo de arquitecturas para el aprendizaje de información audiovisual. Con ello confirmamos también la formación y mantenimiento de estructuras complejas a largo plazo, pero esta vez empleando estímulos sensoriales reales. El aprendizaje de cada modalidad sensorial de manera independiente da lugar a estructuras segregadas pero estables, lo que a posteriori permite un reconocimiento uni- modal preciso. Sin embargo, la integración de las dos modalidades sensoriales se consigue a través de "hubs" neuronales. La presencia de tales neuronas facilita un procesamiento coherente y más eficiente de la información multisensorial en tareas de reconocimiento y generación. En resúmen, esta tésis doctoral contribuye a la comprensión del papel que juega la inhibición en la dinámica de redes neuronales, permitiendo un aprendizaje sostenible de la memoria. Además, destacamos la importancia de esta inhibición en el almacenamiento de los recuerdos, y en su integración y posterior procesamiento durante tareas cognitivas. De este modo, esta tésis también aporta nuevas ideas para el desarrollo de sistemas de inteligencia artificial con mayor realismo biológico, al tiempo que contribuye a una mayor comprensión de los mecanismos neuronales relacionados con el aprendizaje y la formación de estructuras neuronales.
Los circuitos cerebrales muestran una arquitectura modular a diferentes escalas de organización. La presencia de tales conjuntos neuronales suele asociarse a una organizacion funcional que favorece tanto la segregación como la integración de la información. Sin embargo, los mecanismos que conducen al surgimiento y consolidación de esta organización modular siguen siendo desconocidos. Esta tésis doctoral trata de comprender la formación de estructuras modulares en redes neuronales artificiales y los mecanismos que sostienen estas estructuras de memoria a lo largo del tiempo, permitiendo así su contínua adaptación. Además, esta tésis pretende validar el surgimiento de tales arquitecturas modulares utilizando para ello información sensorial real, y evaluar su integración efectiva en tareas cognitivas. El primer capítulo resume el conocimiento actual en el campo con respecto a la formación de architecturas modulares, siguiendo redes de osciladores acoplados. En este caso, nos centramos en redes de osciladores de Kuramoto acoplados sometidos a adaptación. También se destaca la formación de módulos estructurales debido a la aplicación de estimulos externos y se analizan dos enfoques distintos para ello: el basado en la frecuencia y el basado en la sincronía. Estos ejemplos sirven como punto de partida para los experimentos realizados en los capítulos siguientes. El segundo capítulo se centra en la formación y la consolidación de arquitecturas modulares, inducidas por la presencia de estímulos externos en redes de “neuronas theta”. Los resultados muestran que las neuronas inhibitorias son fundamentales para el mantenimiento de estas arquitecturas modulares. Las redes que contienen neuronas excitatorias e inhibitorias son capaces de mantener y consolidar las memorias aprendidas, evitando la sincronización total de la red. Sin embargo, las memories no pueden ser consolidadas en aquellas redes compuestas únicamente de neuronas excitatorias, o en aquellas en las que no se evita diferenciar entre neuronas excitatorias e inhibitorias. También demostramos que la capacidad de memoria de las redes viene determinado por el número de neuronas inhibitorias. En el tercer capítulo, estudiamos la aparición de recuerdos espontáneos en las redes neuronales, mientras éstas se encuentran en un estado basal caracterizado por la actividad irregular y asíncrona de sus neuronas. También estudiamos el papel de los recuerdos espontáneos en la consolidación de las memorias a largo plazo. Para ello, consideramos una red compuesta por neuronas excitatorias e inhibitorias sometidas a una plasticidad dependiente del tiempo de los picos de actividad neuronal. Demostramos que la pres- encia de dos grupos de neuronas inhibitorias —uno sometido a Hebbian-STDP y el otro sometido a anti- Hebbian-STDP— es necesaria para garantizar la formación espontánea de las estructuras modulares y la presencia de recuerdos espontáneos en la actividad neuronal. Demostramos también que estos recuerdos espontáneos son necesarios para la consolidación de la architectura modular. Además, establecemos de nuevo una relación entre el número de neuronas inhibitorias y la capacidad de almacenamiento de la red. Finalmente, en el último capítulo, utilizamos este tipo de arquitecturas para el aprendizaje de información audiovisual. Con ello confirmamos también la formación y mantenimiento de estructuras complejas a largo plazo, pero esta vez empleando estímulos sensoriales reales. El aprendizaje de cada modalidad sensorial de manera independiente da lugar a estructuras segregadas pero estables, lo que a posteriori permite un reconocimiento uni- modal preciso. Sin embargo, la integración de las dos modalidades sensoriales se consigue a través de "hubs" neuronales. La presencia de tales neuronas facilita un procesamiento coherente y más eficiente de la información multisensorial en tareas de reconocimiento y generación. En resúmen, esta tésis doctoral contribuye a la comprensión del papel que juega la inhibición en la dinámica de redes neuronales, permitiendo un aprendizaje sostenible de la memoria. Además, destacamos la importancia de esta inhibición en el almacenamiento de los recuerdos, y en su integración y posterior procesamiento durante tareas cognitivas. De este modo, esta tésis también aporta nuevas ideas para el desarrollo de sistemas de inteligencia artificial con mayor realismo biológico, al tiempo que contribuye a una mayor comprensión de los mecanismos neuronales relacionados con el aprendizaje y la formación de estructuras neuronales.
Keywords
Artificial neural network, Spiking neural network, Coupled oscillator, Learning, Adaptation, Plasticity, Inhibition, Synchronization, Long-term memory, Memory consolidation, Modular structure, Spontaneous recall, Multimodality, Recognition, Generation, Red neuronal artificial, Red neuronal de espigas, Osciladores acoplados, Aprendizaje, Adaptación, Plasticidad, Inhibición, Sincronización, Memoria a largo plazo, Consolidación de la memoria, Estructura modular, Recuerdos espontáneos, Multimodalidad sensorial, Reconocimiento, Generación
Subjects
62 - Engineering. Technology
Publisher
Universitat Pompeu Fabra
