Constraints and rewards in behavior and optimal decision making

Mostra el registre complet Registre parcial de l'ítem

• dc.contributor.author Ramirez-Ruiz, Jorge
• dc.contributor.other Moreno-Bote, Ruben
• dc.contributor.other Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions
• dc.date.accessioned 2024-03-16T02:34:45Z
• dc.date.available 2024-03-16T02:34:45Z
• dc.date.issued 2023-07-12T08:29:28Z
• dc.date.issued 2023-07-12T08:29:28Z
• dc.date.issued 2023-06-22
• dc.date.modified 2024-03-15T10:58:05Z
• dc.description.abstract The idea of optimal decision-making presupposes certain features about the agent and their environment. This thesis examines two common assumptions in disciplines that study natural and artificial behavior: perfect rationality and reward maximization. Defining or inferring a reward function to maximize can be problematic, especially when one considers the constraints faced by the agents. First, we explore the breadth-depth dilemma, a tradeoff that contrasts superficial versus deep sampling of options by having finite resources. In the models, two major regimes of optimal sample allocation arise as a function of sampling capacity, offering alternative ways to understand “suboptimal” behavior. Additionally, we propose a novel intrinsic motivation approach based on occupying as many paths in the environment as possible, using rewards as means rather than the goal. Agents can thus attach meaning to reward, and develop diverse yet goal-directed behaviors. This approach presents novel opportunities to understand fluid, naturalistic behavior.
• dc.description.abstract La noción de decisiones óptimas presupone algunas características del agente y su entorno. Esta tesis examina dos suposiciones comunes en diversas disciplinas que estudian comportamiento natural y artificial: racionalidad perfecta y maximización de recompensas. Definir o inferir una función de recompensa a maximizar puede ser problemático, especialmente cuando uno considera las constricciones a las que el agente se enfrenta. Primeramente, esta tesis explora el dilema amplitud– profundidad, un balance que contrasta un muestreo superficial contra uno profundo de las opciones a elegir al tener recursos limitados. En nuestros modelos, dos regímenes principales emergen para la distribución óptima de recursos en función de la capacidad de muestreo, lo cual ofrece alternativas para entender algunos comportamientos “subóptimos”. Adicionalmente, se propone una perspectiva de motivación intrínseca basada en la ocupación máxima de trayectorias en el entorno, usando las recompensas como medio y no como fin. Los agentes pueden así asignar un significado a las recompensas, y desarrollan comportamientos variables al mismo tiempo que orientado a metas. Este enfoque ofrece nuevas oportunidades de entender comportamientos naturales y fluidos.
• dc.description.abstract Programa de Doctorat en Tecnologies de la Informació i les Comunicacions
• dc.format 154 p.
• dc.format application/pdf
• dc.identifier http://hdl.handle.net/10803/688642
• dc.identifier.uri http://hdl.handle.net/10230/57558
• dc.language.iso eng
• dc.publisher Universitat Pompeu Fabra
• dc.rights L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-nd/4.0/
• dc.rights http://creativecommons.org/licenses/by-nc-nd/4.0/
• dc.rights info:eu-repo/semantics/openAccess
• dc.source TDX (Tesis Doctorals en Xarxa)
• dc.subject.keyword Decision making
• dc.subject.keyword Optimality
• dc.subject.keyword Constrained optimization
• dc.subject.keyword Bounded rationality
• dc.subject.keyword Breadth–depth tradeoff
• dc.subject.keyword Intrinsic motivation
• dc.subject.keyword Reward hypothesis
• dc.subject.keyword Entropy
• dc.subject.keyword Reinforcement learning
• dc.subject.keyword Goal-directed behavior
• dc.subject.keyword Toma de decisiones
• dc.subject.keyword Optimalidad
• dc.subject.keyword Optimización con restricciones
• dc.subject.keyword Racionalidad limitada
• dc.subject.keyword Balance amplitud–profundidad
• dc.subject.keyword Motivación intrínseca
• dc.subject.keyword Hipótesis de recompensa
• dc.subject.keyword Entropía
• dc.subject.keyword Aprendizaje por refuerzos
• dc.subject.keyword Comportamiento orientado a metas
• dc.subject.keyword 62
• dc.title Constraints and rewards in behavior and optimal decision making
• dc.type info:eu-repo/semantics/doctoralThesis
• dc.type info:eu-repo/semantics/publishedVersion