• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Dissertação de Mestrado
DOI
https://doi.org/10.11606/D.18.2020.tde-25082020-092618
Documento
Autor
Nome completo
Gustavo Alves Prudencio de Morais
Unidade da USP
Área do Conhecimento
Data de Defesa
Imprenta
São Carlos, 2020
Orientador
Banca examinadora
Grassi Junior, Valdir (Presidente)
Lima, Danilo Alves de
Wolf, Denis Fernando
Título em português
Aprendizagem profunda por reforço combinada com controlador recursivo robusto para controle lateral baseado em visão computacional
Palavras-chave em português
Algoritmos evolucionários
Aprendizagem profunda por reforço
Controle baseado em visão
Regulador linear Quadrático
Regulador Linear Quadrático Robusto
Veículos autônomos
Resumo em português
Tecnologias na área de robótica móvel, como veículos autônomos, impactam diretamente na qualidade de vida e na mudança de comportamentos sociais, por isso, se mantêm como uma área promissora para a indústria. Mesmo com este cenário otimista, ainda existem muitos desafios relacionados à segurança que necessitam ser supridos para tornar essa tecnologia viável, como o desenvolvimento de técnicas de controle baseadas em visão para agentes autônomos. Algumas áreas de pesquisa estão propondo soluções a partir de métodos de aprendizagem de máquinas, como Aprendizagem Profunda por Reforço (APR), no entanto, algoritmos de APR ainda apresentam baixo desempenho em simuladores urbanos e realistas. Neste contexto, este trabalho propõe um modelo híbrido que combina APR com um Regulador Linear Quadrático (RLQ) padrão. O modelo definido utiliza algoritmos de aprendizagem de máquinas para extrair características de imagens e, na sequência, estas características são interpretadas como medidas de erro a serem minimizadas pelo controlador. Ademais, um segundo controlador híbrido é proposto, onde é aplicado robustez ao modelo anterior utilizando um Regulador Linear Quadrático Robusto (RLQR) e, devido à dinâmica desconhecida do sistema, o modelo realiza uma busca evolucionária para estimar as matrizes de incerteza do modelo. Desta forma, as entradas para cada sistema de controle são imagens de uma câmera RGB em tempo real, e suas saídas são ações contínuas de esterçamento do volante para manter o veículo com velocidade constante no centro da via. Os resultados experimentais obtidos mostram que o controle RLQ híbrido superou o controle realizado pelo algoritmo de APR implementado, que apresentou o maior erro de trajetória no cenário de treino e não foi capaz de generalizar suas ações no cenário de teste. Por fim, ao adicionar robustez ao controlador por meio do RLQR híbrido, obteve-se menos sensibilidade a distúrbios e, em todos os testes realizados, as colisões foram reduzidas a zero.
Título em inglês
Deep reinforcement learning combined with robust recursive controller for lateral control based on computer vision
Palavras-chave em inglês
Autonomous vehicles
Deep reinforcement learning
Evolutionary algorithms
Linear Quadratic Regulator
Robust Linear Quadratic Regulator
Vision-based control
Resumo em inglês
Technologies in mobile robotics field, such as autonomous vehicles, have a direct impact on the quality of life and the change in social behaviors, therefore, they remain a promising area for the industry. Even with this optimistic scenario, there are still many securityrelated challenges that need to be addressed to make this technology feasible. One of these challenges is the development of vision-based control techniques for autonomous agents and, in this sense, some research areas are proposing solutions based on machine learning methods, such as Deep Reinforced Learning (DRL). However, DRL algorithms underperforms in urban and realistic simulators. In this context, this work proposes a hybrid model that merges DRL with a standard Linear Quadratic Regulator (RQL), applied for vision-based autonomous vehicles control. The proposed model uses machine learning algorithms to feature extraction and, subsequently, these values are interpreted as error measures to be minimized by the controller. In addition, a second hybrid controller is proposed, where it is applied robustness to the previous model using a Robust Quadratic Linear Regulator (RLQR) and, due to the unknown dynamics of the system, an evolutionary search was used to estimate the system uncertainty matrices. In this way, the inputs for each control system are real-time images from an RGB camera, and their outputs are continuous steering actions to keep the vehicle at constant speed in the center of the road. The experimental results obtained show that the hybrid RQL control outperformed the APR algorithm, which presented the highest trajectory error in the training scenario and it was not able to generalize its actions in the test scenario. Also, by adding robustness to the controller via the hybrid RLQR, it was obtained less sensitivity to disturbances and, in all tests performed, collisions were reduced to zero.
 
AVISO - A consulta a este documento fica condicionada na aceitação das seguintes condições de uso:
Este trabalho é somente para uso privado de atividades de pesquisa e ensino. Não é autorizada sua reprodução para quaisquer fins lucrativos. Esta reserva de direitos abrange a todos os dados do documento bem como seu conteúdo. Na utilização ou citação de partes do documento é obrigatório mencionar nome da pessoa autora do trabalho.
Data de Publicação
2021-06-23
 
AVISO: Saiba o que são os trabalhos decorrentes clicando aqui.
Todos os direitos da tese/dissertação são de seus autores
CeTI-SC/STI
Biblioteca Digital de Teses e Dissertações da USP. Copyright © 2001-2021. Todos os direitos reservados.