• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Disertación de Maestría
DOI
https://doi.org/10.11606/D.18.2020.tde-25082020-092618
Documento
Autor
Nombre completo
Gustavo Alves Prudencio de Morais
Instituto/Escuela/Facultad
Área de Conocimiento
Fecha de Defensa
Publicación
São Carlos, 2020
Director
Tribunal
Grassi Junior, Valdir (Presidente)
Lima, Danilo Alves de
Wolf, Denis Fernando
Título en portugués
Aprendizagem profunda por reforço combinada com controlador recursivo robusto para controle lateral baseado em visão computacional
Palabras clave en portugués
Algoritmos evolucionários
Aprendizagem profunda por reforço
Controle baseado em visão
Regulador linear Quadrático
Regulador Linear Quadrático Robusto
Veículos autônomos
Resumen en portugués
Tecnologias na área de robótica móvel, como veículos autônomos, impactam diretamente na qualidade de vida e na mudança de comportamentos sociais, por isso, se mantêm como uma área promissora para a indústria. Mesmo com este cenário otimista, ainda existem muitos desafios relacionados à segurança que necessitam ser supridos para tornar essa tecnologia viável, como o desenvolvimento de técnicas de controle baseadas em visão para agentes autônomos. Algumas áreas de pesquisa estão propondo soluções a partir de métodos de aprendizagem de máquinas, como Aprendizagem Profunda por Reforço (APR), no entanto, algoritmos de APR ainda apresentam baixo desempenho em simuladores urbanos e realistas. Neste contexto, este trabalho propõe um modelo híbrido que combina APR com um Regulador Linear Quadrático (RLQ) padrão. O modelo definido utiliza algoritmos de aprendizagem de máquinas para extrair características de imagens e, na sequência, estas características são interpretadas como medidas de erro a serem minimizadas pelo controlador. Ademais, um segundo controlador híbrido é proposto, onde é aplicado robustez ao modelo anterior utilizando um Regulador Linear Quadrático Robusto (RLQR) e, devido à dinâmica desconhecida do sistema, o modelo realiza uma busca evolucionária para estimar as matrizes de incerteza do modelo. Desta forma, as entradas para cada sistema de controle são imagens de uma câmera RGB em tempo real, e suas saídas são ações contínuas de esterçamento do volante para manter o veículo com velocidade constante no centro da via. Os resultados experimentais obtidos mostram que o controle RLQ híbrido superou o controle realizado pelo algoritmo de APR implementado, que apresentou o maior erro de trajetória no cenário de treino e não foi capaz de generalizar suas ações no cenário de teste. Por fim, ao adicionar robustez ao controlador por meio do RLQR híbrido, obteve-se menos sensibilidade a distúrbios e, em todos os testes realizados, as colisões foram reduzidas a zero.
Título en inglés
Deep reinforcement learning combined with robust recursive controller for lateral control based on computer vision
Palabras clave en inglés
Autonomous vehicles
Deep reinforcement learning
Evolutionary algorithms
Linear Quadratic Regulator
Robust Linear Quadratic Regulator
Vision-based control
Resumen en inglés
Technologies in mobile robotics field, such as autonomous vehicles, have a direct impact on the quality of life and the change in social behaviors, therefore, they remain a promising area for the industry. Even with this optimistic scenario, there are still many securityrelated challenges that need to be addressed to make this technology feasible. One of these challenges is the development of vision-based control techniques for autonomous agents and, in this sense, some research areas are proposing solutions based on machine learning methods, such as Deep Reinforced Learning (DRL). However, DRL algorithms underperforms in urban and realistic simulators. In this context, this work proposes a hybrid model that merges DRL with a standard Linear Quadratic Regulator (RQL), applied for vision-based autonomous vehicles control. The proposed model uses machine learning algorithms to feature extraction and, subsequently, these values are interpreted as error measures to be minimized by the controller. In addition, a second hybrid controller is proposed, where it is applied robustness to the previous model using a Robust Quadratic Linear Regulator (RLQR) and, due to the unknown dynamics of the system, an evolutionary search was used to estimate the system uncertainty matrices. In this way, the inputs for each control system are real-time images from an RGB camera, and their outputs are continuous steering actions to keep the vehicle at constant speed in the center of the road. The experimental results obtained show that the hybrid RQL control outperformed the APR algorithm, which presented the highest trajectory error in the training scenario and it was not able to generalize its actions in the test scenario. Also, by adding robustness to the controller via the hybrid RLQR, it was obtained less sensitivity to disturbances and, in all tests performed, collisions were reduced to zero.
 
ADVERTENCIA - La consulta de este documento queda condicionada a la aceptación de las siguientes condiciones de uso:
Este documento es únicamente para usos privados enmarcados en actividades de investigación y docencia. No se autoriza su reproducción con finalidades de lucro. Esta reserva de derechos afecta tanto los datos del documento como a sus contenidos. En la utilización o cita de partes del documento es obligado indicar el nombre de la persona autora.
Fecha de Publicación
2021-06-23
 
ADVERTENCIA: Aprenda que son los trabajos derivados haciendo clic aquí.
Todos los derechos de la tesis/disertación pertenecen a los autores
CeTI-SC/STI
Biblioteca Digital de Tesis y Disertaciones de la USP. Copyright © 2001-2021. Todos los derechos reservados.