A vehicle navigating in an urban environment must obey traffic rules by properly setting its speed in order to stay below the road speed limit and avoiding collisions. This is presumably the scenario that autonomous vehicles will face: they will share the traffic roads with other vehicles (autonomous or not), cooperatively interacting with them. In other words, autonomous vehicles should not only follow traffic rules, but should also behave in such a way that resembles other vehicles behavior. However, manually specification of such behavior is a time-consuming and error-prone work, since driving in urban roads is a complex task, which involves many factors. Furthermore, since the interaction between vehicles is inherent to driving, inferring surrounding vehicles motion is essential to provide a more fluid navigation, avoiding a over-reactive behavior. In this sense, the uncertainty coming from noisy sensor measurements and unknown surrounding vehicles behavior cannot been neglected in order to guarantee safe and reliable decisions. In this thesis, we propose using Partially Observable Markov Decision Process (POMDP) to address the problem of incomplete information inherent of motion planning for autonomous driving. We also propose a variant of Maximum Entropy Inverse Reinforcement Learning (IRL) to learn human expert behavior from demonstration. Three different urban scenarios are covered throughout this work: longitudinal planning at signalized intersection by considering noisy measurements sensor; longitudinal and lateral planning on multi-lane roads in the presence of surrounding vehicles, in which their intention of changing lane are inferred from sequential observations; longitudinal and lateral planning during merge maneuvers in a highly interactive scenario, in which the autonomous vehicle behavior is learned from real data containing human demonstrations. Results show that our methods compare favorably to approaches that neglected uncertainty during planning, and also can improve the IRL performance, which adds safety and reliability in the decision-making.

Um veículo que navega em um ambiente urbano deve obedecer às regras de trânsito, definindo corretamente sua velocidade para ficar abaixo do limite de velocidade da estrada e evitar colisões. Este é presumivelmente o cenário que os veículos autônomos enfrentarão: eles compartilharão as vias de tráfego com outros veículos (autônomos ou não), interagindo cooperativamente com eles. Em outras palavras, os veículos autônomos não devem apenas seguir as regras de trânsito, mas também devem se comportar de maneira semelhante a outros veículos. Porém, a especificação manual de tal comportamento é um trabalho demorado e sujeito a erros, visto que dirigir em vias urbanas é uma tarefa complexa, que envolve diversos fatores. Além disso, uma vez que a interação entre os veículos é inerente à condução, inferir o movimento dos veículos ao redor é essencial para proporcionar uma navegação mais fluida, evitando um comportamento excessivamente reativo. Nesse sentido, incertezas provenientes de sensores com algum grau de imprecisão, como também do comportamento desconhecido de outros veículos não podem ser negligenciadas de forma a garantir tomadas de decisão seguras e confiáveis. Nesta tese, propomos o uso do Processo de Decisão de Markov Parcialmente Observável (POMDP) para resolver o problema de informação incompleta inerente ao planejamento de movimento para veículos autônomos. Também propomos uma variante do Aprendizagem por Reforço Inverso (IRL) baseado no princípio da Entropia Máxima para aprender o comportamento de motoristas humanos a partir de demonstrações. Três diferentes cenários urbanos são abordados ao longo deste trabalho: planejamento longitudinal em cruzamentos com semáforo considerando medições ruidosas de sensores; planejamento longitudinal e lateral em vias de múltiplas faixas na presença de outros veículos, em que a intenção dos mesmos de mudar de faixa é inferida a partir de uma sequência de observações; planejamento longitudinal e lateral durante manobras para adentrar vias movimentadas em um cenário altamente interativo, no qual o comportamento do veículo autônomo é aprendido a partir de dados reais contendo demonstrações humanas. Os resultados mostram que nossos métodos se comparam favoravelmente a abordagens que negligenciam a incerteza durante o planejamento, e também podem melhorar o desempenho do aprendizado por IRL, o que agrega segurança e confiabilidade na tomada de decisão.