Representation learning for hierarchical reinforcement learning

Mostra el registre complet Registre parcial de l'ítem

  • dc.contributor.author Steccanella, Lorenzo
  • dc.contributor.other Jonsson, Anders
  • dc.contributor.other Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions
  • dc.date.accessioned 2024-03-16T02:35:04Z
  • dc.date.available 2024-03-16T02:35:04Z
  • dc.date.issued 2023-05-26T12:20:46Z
  • dc.date.issued 2023-05-26T12:20:46Z
  • dc.date.issued 2023-05-19
  • dc.date.modified 2024-03-15T10:58:03Z
  • dc.description.abstract Hierarchical Reinforcement Learning (HRL) has the potential to simplify the solution of environments with long horizons and sparse rewards. The idea behind HRL is to decompose a complex decision-making problem into smaller, manageable sub-problems, allowing an agent to learn more efficiently and effectively. In this thesis, we aim to contribute to the field of HRL through the study of state space partition representations. We aim to discover representations that allow decomposing a complex state space in a set of small interconnected partitions. We start our work by presenting which are the properties of ideal state space partitions for HRL and then proceed to explore different methods for creating such partitions. We present algorithms able to leverage such representations to learn more effectively in sparse reward settings. Finally, we show how to combine the learned representation with Goal-Conditioned Reinforcement Learning (GCRL) and additionally we present state representations useful for GCRL.
  • dc.description.abstract El método Hiearchical Reinforcement Learning (HRL) tiene el potencial de simplificar la solución de entornos con escasas recompensas y horizontes a largo plazo. La idea detrás de HRL es descomponer un problema complejo de toma de decisiones en subproblemas más pequeños y manejables, lo que permite que un agente aprenda de manera más eficiente y efectiva. En esta tesis, pretendemos contribuir al campo del HRL a través del estudio de las representaciones de partición del espacio de estado. Nuestro objetivo es descubrir representaciones que permitan descomponer un espacio de estado complejo en un conjunto de particiones interconectadas. Comenzamos nuestro trabajo presentando cuáles son las propiedades de las particiones de espacio de estado ideales para HRL y luego procedemos a explorar diferentes métodos para crear dichas particiones. Presentamos algoritmos capaces de aprovechar tales representaciones para aprender de manera más efectiva en entornos de escasa recompensa. Finalmente, mostramos cómo combinar la representación aprendida con el método Goal-Conditioned Reinforcement Learning (GCRL) y, adicionalmente, presentamos representaciones de estado útiles para GCRL.
  • dc.description.abstract Programa de Doctorat en Tecnologies de la Informació i les Comunicacions
  • dc.format 127 p.
  • dc.format application/pdf
  • dc.identifier http://hdl.handle.net/10803/688366
  • dc.identifier.uri http://hdl.handle.net/10230/56996
  • dc.language.iso eng
  • dc.publisher Universitat Pompeu Fabra
  • dc.rights L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-sa/4.0/
  • dc.rights http://creativecommons.org/licenses/by-nc-sa/4.0/
  • dc.rights info:eu-repo/semantics/openAccess
  • dc.source TDX (Tesis Doctorals en Xarxa)
  • dc.subject.keyword Reinforcement learning
  • dc.subject.keyword Hierarchical reinforcement learning
  • dc.subject.keyword Goal-conditioned reinforcement learning
  • dc.subject.keyword Representation learning
  • dc.subject.keyword Options learning
  • dc.subject.keyword Reward shaping
  • dc.subject.keyword Sparse-reward environments
  • dc.subject.keyword 33
  • dc.title Representation learning for hierarchical reinforcement learning
  • dc.type info:eu-repo/semantics/doctoralThesis
  • dc.type info:eu-repo/semantics/publishedVersion

Col·leccions