Lagragian duality for efficient large-scale reinforcement learning

Bas Serrano, Joan

Lagragian duality for efficient large-scale reinforcement learning

Document Type

Doctoral thesis
Published Version

Author

Bas Serrano, Joan

Director

Neu, Gergely

Publication Date

2022-06-28

Pages

126 p.

License

Citation

Bas Serrano, J. Lagragian duality for efficient large-scale reinforcement learning. Universitat Pompeu Fabra; 2022. handle: http://hdl.handle.net/10803/674767

This citation was generated automatically.

Doctoral program

Programa de doctorat en Tecnologies de la Informació i les Comunicacions

Abstract

Reinforcement learning is an expanding field where very often there is a mismatch between the high performance of the algorithms and their poor theoretical justification. For this reason, there is a need of algorithms that are well grounded in theory, with strong mathematical guarantees and that are efficient in solving large-scale problems. In this work we explore the linear programming approach for optimal control in MDPs. In order to develop novel reinforcement learning algorithms, we apply tools from constrained optimization to this linear programming framework. In concrete, we propose a variety of new algorithms using techniques like constraint relaxation, regularization or Lagrangian duality. We provide a formal performance analysis for all of these algorithms, and evaluate them in a range of benchmark tasks.
L'aprenentatge per reforç (en anglès, reinforcement learning) és un camp en expansió on tot sovint la gran eficàcia dels algorismes no va de la mà d'una bona justificació teòrica d'aquests. Per aquest motiu, hi ha la necessitat d'algorismes ben fonamentats en la teoria, amb garanties matemàtiques robustes, i que a la vegada siguin eficients a l'hora de resoldre problemes de gran escala. En aquest treball explorem la formulació basada en programació lineal per al control òptim en problemes de decisió de Markov. Per tal de desenvolupar nous algorismes d'aprenentatge per reforç, apliquem eines del camp de l'optimització de funcions convexes a la formulació basada en programació lineal. En concret, utilitzem tècniques com la relaxació de condicions, la regularització, o la dualitat Lagrangiana. També elaborem una anàlisi formal del rendiment d'aquests algorismes i els avaluem en diferents tasques de referència.

Keywords

Reinforcement learning, Lagrangian duality, Linear programming, Constraint relaxation, Convex optimization, Entropy regularization, Aprenentatge per reforç, Dualitat lagrangiana, Programació lineal, Relaxació de condicions, Regularització entròpica