Constraints and rewards in behavior and optimal decision making

Ramirez-Ruiz, Jorge

Constraints and rewards in behavior and optimal decision making

Document Type

Doctoral thesis
Published Version

Author

Ramirez-Ruiz, Jorge

Director

Moreno-Bote, Ruben

Publication Date

2023-06-22

Pages

154 p.

License

Citation

Ramirez-Ruiz, J. Constraints and rewards in behavior and optimal decision making. Universitat Pompeu Fabra; 2023. handle: http://hdl.handle.net/10803/688642

This citation was generated automatically.

Doctoral program

Programa de Doctorat en Tecnologies de la Informació i les Comunicacions

Abstract

The idea of optimal decision-making presupposes certain features about the agent and their environment. This thesis examines two common assumptions in disciplines that study natural and artificial behavior: perfect rationality and reward maximization. Defining or inferring a reward function to maximize can be problematic, especially when one considers the constraints faced by the agents. First, we explore the breadth-depth dilemma, a tradeoff that contrasts superficial versus deep sampling of options by having finite resources. In the models, two major regimes of optimal sample allocation arise as a function of sampling capacity, offering alternative ways to understand “suboptimal” behavior. Additionally, we propose a novel intrinsic motivation approach based on occupying as many paths in the environment as possible, using rewards as means rather than the goal. Agents can thus attach meaning to reward, and develop diverse yet goal-directed behaviors. This approach presents novel opportunities to understand fluid, naturalistic behavior.
La noción de decisiones óptimas presupone algunas características del agente y su entorno. Esta tesis examina dos suposiciones comunes en diversas disciplinas que estudian comportamiento natural y artificial: racionalidad perfecta y maximización de recompensas. Definir o inferir una función de recompensa a maximizar puede ser problemático, especialmente cuando uno considera las constricciones a las que el agente se enfrenta. Primeramente, esta tesis explora el dilema amplitud– profundidad, un balance que contrasta un muestreo superficial contra uno profundo de las opciones a elegir al tener recursos limitados. En nuestros modelos, dos regímenes principales emergen para la distribución óptima de recursos en función de la capacidad de muestreo, lo cual ofrece alternativas para entender algunos comportamientos “subóptimos”. Adicionalmente, se propone una perspectiva de motivación intrínseca basada en la ocupación máxima de trayectorias en el entorno, usando las recompensas como medio y no como fin. Los agentes pueden así asignar un significado a las recompensas, y desarrollan comportamientos variables al mismo tiempo que orientado a metas. Este enfoque ofrece nuevas oportunidades de entender comportamientos naturales y fluidos.

Keywords

Decision making, Optimality, Constrained optimization, Bounded rationality, Breadth–depth tradeoff, Intrinsic motivation, Reward hypothesis, Entropy, Reinforcement learning, Goal-directed behavior, Toma de decisiones, Optimalidad, Optimización con restricciones, Racionalidad limitada, Balance amplitud–profundidad, Motivación intrínseca, Hipótesis de recompensa, Entropía, Aprendizaje por refuerzos, Comportamiento orientado a metas