• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Disertación de Maestría
DOI
https://doi.org/10.11606/D.3.2020.tde-04052021-085708
Documento
Autor
Nombre completo
José Amendola Netto Andrade
Dirección Electrónica
Instituto/Escuela/Facultad
Área de Conocimiento
Fecha de Defensa
Publicación
São Paulo, 2020
Director
Tribunal
Tannuri, Eduardo Aoun (Presidente)
Botelho, Silvia Silva da Costa
Costa, Anna Helena Reali
Título en inglés
Reinforcement learning applied to vessel navigation in fast-time simulations.
Palabras clave en inglés
Fast-time simulations
Navigation in restricted waters
Reinforcement learning
Resumen en inglés
Fast-time simulations have been proven to be an essential tool for maritime engineering, not only in ship design but also by detecting critical situations and bottlenecks in projects of ports. However, such simulations are not performed by professional pilots and might become a complex task with results not so close to reality. Such issues can present an opportunity for introducing Reinforcement Learning methods in the maritime domain. This work proposes a Reinforcement Learning based solution which is able to automatically generate vessel trajectories in restricted waters under the effect of environment forces. The agent learns by interacting with the simulator and receiving reward signals. It also gives discrete commands in spaced time steps in order to emulate limitations of human piloting. The method evaluates the distributed version of two state-of-art Reinforcement Learning algorithms. It handles channel segments as separate episodes and includes curvature information for anticipating actions. Experiments were run considering realistic scenarios with narrow curved channels where wind and current incidence varies along the trajectory. The novelty of the work is the fact that the solution proposed requires no prior knowledge on dynamic models or predefined line paths to be followed by the ship. It may impact in fast-time simulations by requiring less human effort in trajectories generation. The method adopted keeps a simple representation and can be applied to any port channel configuration that respects local technical regulations.
Título en portugués
Aprendizado por reforço aplicado à navegação marítima em simulações de tempo acelerado.
Palabras clave en portugués
Aprendizado computacional
Navegação em águas restritas
Navios
Portos
Simulação
Resumen en portugués
Simulações em tempo acelerado têm se provado uma ferramenta essencial para engenharia marítima, não somente para projeto de navios, mas também para detectar pontos críticos e possíveis gargalos em projetos de portos. Contudo, tais simulações não são realizadas por pilotos profissionais e isso pode se tornar uma tarefa complexa com resultados não tão fiéis à realidade. Tais questões podem apresentar uma oportunidade para introduzir Aprendizado por Reforço no domínio marítimo. Esse trabalho propõe uma solução baseada em Aprendizagem por Reforço que é capaz de gerar de forma automática trajetórias de navios em águas restritas sob o efeito de forças ambientais. O agente aprende interagindo com o simulador e recebendo sinais de reforço. Ele também provê comandos discretos em intervalos discretos de tempo para emular as limitações presentes na pilotagem humana. O método avalia a versão distribuída de dois algoritmos no estado da arte em aprendizado por reforço. Ele lida com segmentos de canais como episódios separados e inclui informação de curvatura para ações antecipatórias. Experimentos foram conduzidos considerando cenários realistas com canais estreitos e curvos onde a incidência de vento e corrente variam ao longo da trajetória. O caráter inovador do trabalho se dá pelo fato de que a solução proposta não requer qualquer conhecimento prévio dos modelos dinâmicos ou de caminhos pré-definidos para serem seguidos pelo navio. Isso pode impactar as simulações em tempo acelerado exigindo menos esforço humano na obtenção das trajetórias. O método adotado utiliza uma representação simples e técnicas locais.
 
ADVERTENCIA - La consulta de este documento queda condicionada a la aceptación de las siguientes condiciones de uso:
Este documento es únicamente para usos privados enmarcados en actividades de investigación y docencia. No se autoriza su reproducción con finalidades de lucro. Esta reserva de derechos afecta tanto los datos del documento como a sus contenidos. En la utilización o cita de partes del documento es obligado indicar el nombre de la persona autora.
Fecha de Publicación
2021-05-04
 
ADVERTENCIA: Aprenda que son los trabajos derivados haciendo clic aquí.
Todos los derechos de la tesis/disertación pertenecen a los autores
CeTI-SC/STI
Biblioteca Digital de Tesis y Disertaciones de la USP. Copyright © 2001-2021. Todos los derechos reservados.