Tese de Doutorado

Neste trabalho apresentamos uma técnica iterativa para calcular a solução maximal de um conjunto de equações algébricas de Riccati acopladas entre si (EARA) a tempo discreto, baseada no método de diferença temporal, quando a matriz de probabilidade P é conhecida. As EARA estão relacionadas ao controle ótimo de sistemas lineares com saltos Markovianos e têm sido estudadas exaustivamente, nos últimos anos. Traçaremos um paralelo com a teoria de algoritmos de diferenças temporais para processos Markovianos de decisão (PMD), para desenvolver um algoritmo iterativo dependente de um parâmetro 'lambda' 'pertence a' [0,1] para a solução maximal das EARA. Para o caso especial onde 'lambda' = 1 e 'lambda' = 0, temos asituação na qual os algoritmos se reduzem à iteração das equações a diferenças de Riccati (iteração de valores) e o método de quasi-linearização (iteração de estratégias), respectivamente. Apresentamos ainda uma técnica iterativa, baseada emsimulações de Monte Carlo, para calcular o controle ótimo de um problema de regulador linear quadrático de horizonte infinito para um sistema linear com saltos Markovianos a tempo discreto, quando a matriz de transição de probabilidade P não é conhecida. Para isso, traçamos paralelo com a teoria do algoritmo TD('lambda') para PMD para desenvolver o algoritmo TD('lambda') para controle ótimo associado à solução maximal de um EARA. Alguns exemplos numéricos são apresentados neste trabalho para esclarecer a teoria.

In this paper, we present an iterative technique for deriving the maximal solution of a set of discrete-time coupled algebraic Riccati equations (CARE), based on temporal difference methods, for the case in which the transition probability matrix P of the Markov chain is known. CARE are related to the optimal control of Markovian jump linear systems and have been extensively studied over the last few years. We drawn a parallel with the theory of temporal difference algorithms for Markovian decision processes to develop a .......