The Role of constraints in coputation exploring optimality through limited resources and intrinsic motivation

Mastrogiuseppe, Chiara

The Role of constraints in coputation exploring optimality through limited resources and intrinsic motivation

Document Type

Doctoral thesis
Published Version

Author

Mastrogiuseppe, Chiara

Director

Moreno Bote, Rubén

Publication Date

2025-03-04

Pages

146 p.

License

Citation

Mastrogiuseppe, C. The Role of constraints in coputation exploring optimality through limited resources and intrinsic motivation. Universitat Pompeu Fabra; 2025. handle: http://hdl.handle.net/10803/694299

This citation was generated automatically.

Doctoral program

Programa de Doctorat en Tecnologies de la Informació i les Comunicacions

Abstract

When interacting with the world, agents take actions they consider optimal, that is, best. Typically, this optimality is evaluated over the entire space of possibilities. However, agents are inherently bounded -- for instance by energy, time, or even lifespan -- resulting in behavior that often deviates from global optimality. In this work, we investigate how introducing constraints reshapes the concept of optimality. First, we explore optimality within the framework of the Breadth-Depth (BD) dilemma, a one-shot allocation of limited resources in large decision trees. Next, we rethink utility and reward within the Maximum Occupancy Principle (MOP): in this intrinsic motivation framework, extrinsic rewards are not the goals per se but means to sustain actions in the world. Finally, we introduce NeuroMOP, showing how intrinsic motivation provides a framework to interpret neural variability. Our results highlight the potential role of constraints in shaping computations in the brain, spanning from neural activity to behavior.
Quan interactuen amb el món, els agents prenen les accions que consideren òptimes, és a dir, les millors. Normalment, aquesta òptimització s’avalua en tot l’espai de possibilitats. Tanmateix, els agents estan intrínsecament limitats -- per exemple, per l’energia, el temps o fins i tot l’esperança de vida --, cosa que provoca comportaments que sovint s’allunyen de l’òptim global. En aquest treball, investiguem com la introducció de restriccions redefineix el concepte d’òptimització. Primer, explorem l’òptimització dins el marc del Breadth-Depth (BD) dilema, una assignació única de recursos limitats en grans arbres de decisions. A continuació, replantegem la utilitat i la recompensa dins el Principi de Màxima Ocupació (MOP): en aquest marc de motivació intrínseca, les recompenses extrínseques no són els objectius en si mateixos, sinó els mitjans per sostenir accions en el món. Finalment, introduïm NeuroMOP, mostrant com la motivació intrínseca ofereix un marc per comprendre l’activitat neuronal. Els nostres resultats subratllen el paper potencial de les restriccions en la configuració dels càlculs al cervell, des de l’activitat neuronal fins al comportament.

Keywords

Decision making, Optimality, Constrained optimization, Breadth-depth tradeoff, Maximum entropy, Reinforcement learning, Intrinsic motivation, Maximum occupancy, Neural activity, Neural variability, Presa de decisions, Optimitat, Optimització restringida, Breadth-depth, Entropia màxima, Aprenentatge de reforç, Motivació intrínseca, Ocupació màxima, Activitat neuronal, Variabilitat neuronal