Bas Serrano, JoanNeu, GergelyUniversitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions2024-03-162024-03-162022-07-122022-07-122022-06-28http://hdl.handle.net/10230/53728Reinforcement learning is an expanding field where very often there is a mismatch between the high performance of the algorithms and their poor theoretical justification. For this reason, there is a need of algorithms that are well grounded in theory, with strong mathematical guarantees and that are efficient in solving large-scale problems. In this work we explore the linear programming approach for optimal control in MDPs. In order to develop novel reinforcement learning algorithms, we apply tools from constrained optimization to this linear programming framework. In concrete, we propose a variety of new algorithms using techniques like constraint relaxation, regularization or Lagrangian duality. We provide a formal performance analysis for all of these algorithms, and evaluate them in a range of benchmark tasks.L'aprenentatge per reforç (en anglès, reinforcement learning) és un camp en expansió on tot sovint la gran eficàcia dels algorismes no va de la mà d'una bona justificació teòrica d'aquests. Per aquest motiu, hi ha la necessitat d'algorismes ben fonamentats en la teoria, amb garanties matemàtiques robustes, i que a la vegada siguin eficients a l'hora de resoldre problemes de gran escala. En aquest treball explorem la formulació basada en programació lineal per al control òptim en problemes de decisió de Markov. Per tal de desenvolupar nous algorismes d'aprenentatge per reforç, apliquem eines del camp de l'optimització de funcions convexes a la formulació basada en programació lineal. En concret, utilitzem tècniques com la relaxació de condicions, la regularització, o la dualitat Lagrangiana. També elaborem una anàlisi formal del rendiment d'aquests algorismes i els avaluem en diferents tasques de referència.Programa de doctorat en Tecnologies de la Informació i les Comunicacions126 p.application/pdfapplication/pdfengL'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by/4.0/http://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccessinfo:eu-repo/semantics/doctoralThesisReinforcement learningLagrangian dualityLinear programmingConstraint relaxationConvex optimizationEntropy regularizationAprenentatge per reforçDualitat lagrangianaProgramació linealRelaxació de condicionsRegularització entròpica62