Dissertação de Mestrado

Automated planning, a subfield of Artificial Intelligence focused on sequential decision-making, involves synthesizing a plan to reach a specified goal by an agent operating in a descriptive model of an environment. While significant progress has been made in discrete and deterministic planning, continuous and stochastic environments present challenges due to infinite action spaces and branching factors. Differentiable planning addresses these challenges by framing planning as an optimization problem that can be solved using gradient-based optimization techniques. This approach allows for the synthesis of plans in complex, nonlinear stochastic continuous environments without problem simplification. Risk is an inherent aspect of decision-making under uncertainty, and decisions made without considering potential adverse outcomes can lead to undesirable consequences. This thesis introduces a formal framework for risk-sensitive differentiable planning that applies to various stochastic continuous environments. It discusses theoretical convergence properties, practical implementation considerations, and provides an empirical evaluation of the proposed method on an illustrative navigation problem, a benchmark control problem, and a real-world financial application. Risk-averse policies were observed to favor safer paths over shorter ones in the navigation problem, closely approximate optimal solutions in the control benchmark, and yield competitive decision strategies in the financial application. These results confirm that the proposed method works effectively in practice, producing robust, risk-sensitive solutions across domains and demonstrating its practical applicability in complex real-world scenarios.

Planejamento é a área da Inteligência Artificial que estuda problemas de tomada de decisão sequencial da perspectiva de um agente que busca atingir um certo objetivo. Embora avanços significativos tenham sido feitos em planejamento discreto e determinístico, ambientes contínuos e estocásticos apresentam inúmeros desafios. O planejamento diferenciável aborda esses desafios ao enquadrar a tarefa de planejamento como um problema de otimização que pode ser resolvido usando técnicas de otimização baseadas em gradientes. Esta abordagem permite a síntese de planos em ambientes contínuos e estocásticos, complexos e não lineares, sem simplificação do problema. O risco é um aspecto inerente à tomada de decisão em condições de incerteza, e decisões tomadas sem considerar possíveis resultados adversos podem levar a consequências indesejáveis. Este trabalho introduz uma estrutura formal para o planejamento diferenciável sensível ao risco que se aplica a vários problemas contínuos e estocásticos. São discutidas propriedades teóricas de convergência e considerações práticas de implementação, além de realizada uma avaliação empírica do método proposto em um problema ilustrativo de navegação, um \\textit de controle e uma aplicação financeira do mundo real. Observou-se que políticas avessas ao risco tendem a priorizar rotas com menor variância no problema de navegação, aproximam-se de forma consistente de soluções ótimas no \\textit de controle e apresentam estratégias de decisão competitivas na aplicação financeira. Esses resultados confirmam o bom desempenho do método proposto na prática, gerando soluções robustas e sensíveis ao risco em diferentes domínios e demonstrando sua aplicabilidade em cenários reais complexos.