• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Master's Dissertation
DOI
https://doi.org/10.11606/D.3.2020.tde-04052021-085708
Document
Author
Full name
José Amendola Netto Andrade
E-mail
Institute/School/College
Knowledge Area
Date of Defense
Published
São Paulo, 2020
Supervisor
Committee
Tannuri, Eduardo Aoun (President)
Botelho, Silvia Silva da Costa
Costa, Anna Helena Reali
Title in English
Reinforcement learning applied to vessel navigation in fast-time simulations.
Keywords in English
Fast-time simulations
Navigation in restricted waters
Reinforcement learning
Abstract in English
Fast-time simulations have been proven to be an essential tool for maritime engineering, not only in ship design but also by detecting critical situations and bottlenecks in projects of ports. However, such simulations are not performed by professional pilots and might become a complex task with results not so close to reality. Such issues can present an opportunity for introducing Reinforcement Learning methods in the maritime domain. This work proposes a Reinforcement Learning based solution which is able to automatically generate vessel trajectories in restricted waters under the effect of environment forces. The agent learns by interacting with the simulator and receiving reward signals. It also gives discrete commands in spaced time steps in order to emulate limitations of human piloting. The method evaluates the distributed version of two state-of-art Reinforcement Learning algorithms. It handles channel segments as separate episodes and includes curvature information for anticipating actions. Experiments were run considering realistic scenarios with narrow curved channels where wind and current incidence varies along the trajectory. The novelty of the work is the fact that the solution proposed requires no prior knowledge on dynamic models or predefined line paths to be followed by the ship. It may impact in fast-time simulations by requiring less human effort in trajectories generation. The method adopted keeps a simple representation and can be applied to any port channel configuration that respects local technical regulations.
Title in Portuguese
Aprendizado por reforço aplicado à navegação marítima em simulações de tempo acelerado.
Keywords in Portuguese
Aprendizado computacional
Navegação em águas restritas
Navios
Portos
Simulação
Abstract in Portuguese
Simulações em tempo acelerado têm se provado uma ferramenta essencial para engenharia marítima, não somente para projeto de navios, mas também para detectar pontos críticos e possíveis gargalos em projetos de portos. Contudo, tais simulações não são realizadas por pilotos profissionais e isso pode se tornar uma tarefa complexa com resultados não tão fiéis à realidade. Tais questões podem apresentar uma oportunidade para introduzir Aprendizado por Reforço no domínio marítimo. Esse trabalho propõe uma solução baseada em Aprendizagem por Reforço que é capaz de gerar de forma automática trajetórias de navios em águas restritas sob o efeito de forças ambientais. O agente aprende interagindo com o simulador e recebendo sinais de reforço. Ele também provê comandos discretos em intervalos discretos de tempo para emular as limitações presentes na pilotagem humana. O método avalia a versão distribuída de dois algoritmos no estado da arte em aprendizado por reforço. Ele lida com segmentos de canais como episódios separados e inclui informação de curvatura para ações antecipatórias. Experimentos foram conduzidos considerando cenários realistas com canais estreitos e curvos onde a incidência de vento e corrente variam ao longo da trajetória. O caráter inovador do trabalho se dá pelo fato de que a solução proposta não requer qualquer conhecimento prévio dos modelos dinâmicos ou de caminhos pré-definidos para serem seguidos pelo navio. Isso pode impactar as simulações em tempo acelerado exigindo menos esforço humano na obtenção das trajetórias. O método adotado utiliza uma representação simples e técnicas locais.
 
WARNING - Viewing this document is conditioned on your acceptance of the following terms of use:
This document is only for private use for research and teaching activities. Reproduction for commercial use is forbidden. This rights cover the whole data about this document as well as its contents. Any uses or copies of this document in whole or in part must include the author's name.
Publishing Date
2021-05-04
 
WARNING: Learn what derived works are clicking here.
All rights of the thesis/dissertation are from the authors
CeTI-SC/STI
Digital Library of Theses and Dissertations of USP. Copyright © 2001-2021. All rights reserved.