• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Disertación de Maestría
DOI
https://doi.org/10.11606/D.100.2020.tde-30012020-115648
Documento
Autor
Nombre completo
Dênis Benevolo Pais
Dirección Electrónica
Instituto/Escuela/Facultad
Área de Conocimiento
Fecha de Defensa
Publicación
São Paulo, 2020
Director
Tribunal
Delgado, Karina Valdivia (Presidente)
Fernández Tuesta, Esteban
Hase, Masayuki Oka
Lopes, Carlos Roberto
Título en portugués
Abordagens eficientes e aproximadas com políticas estacionárias para CVaR MDP
Palabras clave en portugués
CVaR
Política Estacionária
Processo de Decisão Markoviano
Processo de Decisão Markoviano Sensível ao Risco
Resumen en portugués
Processos de decisão Markovianos (Markov Decision Processes - MDPs) são amplamente utilizados para resolver problemas de tomada de decisão sequencial. O critério de desempenho mais utilizado em MDPs é a minimização do custo total esperado. Porém, esta abordagem não leva em consideração flutuações em torno da média, o que pode afetar significativamente o desempenho geral do processo. MDPs que lidam com esse tipo de problema são chamados de MDPs sensíveis a risco. Um tipo especial de MDP sensível a risco é o CVaR MDP, que inclui a métrica CVaR (Conditional-Value-at-Risk) comumente utilizada na área financeira. Um algoritmo que encontra a política ótima para CVaR MDPs é o algoritmo de Iteração de Valor com Interpolação Linear chamado CVaRVILI. O algoritmo CVaRVILI precisa resolver problemas de programação linear várias vezes, o que faz com que o algoritmo tenha um alto custo computacional. O objetivo principal deste trabalho é projetar abordagens eficientes e aproximadas com políticas estacionárias para CVaR MDPs. Para tal, é proposto um algoritmo que avalia uma política estacionária para CVaR MDPs de custo constante e que não precisa resolver problemas de programação linear, esse algoritmo é chamado de PECVaR. PECVaR é utilizado para inicializar o algoritmo CVaRVILI e também é utilizado para se obter um novo algoritmo heurístico para CVaR MDPs chamado MPCVaR (Multi Policy CVaR)
Título en inglés
Efficient and Approximate Approaches with Stationary Policies for CVaR MDP
Palabras clave en inglés
CVaR
Markov Decision Process
Risk-Sensitive Markovian Decision Process
Stationary Policy
Resumen en inglés
Morkov Decision Process - MDPs are widely used to solve sequential decision-making process problems. The objective function or criteria of assessment mostly used in this problem's case is the minimization of the expectation of the total cost. However, this approach does not consider the variability of the cost( in other words , fluctuations related to the mean ), that can affect significantly your general performance. MDPs which deal with this kind of problems are called Risk Sensitive MDPs. A special kind of Risk Sensitive MDP is the CVaR MDP, which includes the CVaR (Conditional-Value-at-Risk) metric, a robust way in order to measure risks and commonly used to measure financial risk. One algorithm that finds the optimal policy for CVaR MDPs is the CVaR Value Iteration with linear Interpolation algorithm (CVaRVILI ). The CVaRVILI algorithm needs to solve linear programming problems several times, which makes the algorithm costly to compute. The main objective of this paper is to design efficient and approximate approaches with stationary policies for CVaR MDPs. For this purpose, an algorithm that evaluates a stationary policy for CVaR constant cost MDPs and that does not need to solve linear programming problems is proposed, this algorithm is called PECVaR. PECVaR is used to initialize the CVaRVILI algorithm and is also used to obtain a new heuristic algorithm for CVaR MDPs called MPCVaR (Multi Policy CVaR)
 
ADVERTENCIA - La consulta de este documento queda condicionada a la aceptación de las siguientes condiciones de uso:
Este documento es únicamente para usos privados enmarcados en actividades de investigación y docencia. No se autoriza su reproducción con finalidades de lucro. Esta reserva de derechos afecta tanto los datos del documento como a sus contenidos. En la utilización o cita de partes del documento es obligado indicar el nombre de la persona autora.
Fecha de Publicación
2020-02-19
 
ADVERTENCIA: Aprenda que son los trabajos derivados haciendo clic aquí.
Todos los derechos de la tesis/disertación pertenecen a los autores
CeTI-SC/STI
Biblioteca Digital de Tesis y Disertaciones de la USP. Copyright © 2001-2020. Todos los derechos reservados.