Fast-time simulations have been proven to be an essential tool for maritime engineering, not only in ship design but also by detecting critical situations and bottlenecks in projects of ports. However, such simulations are not performed by professional pilots and might become a complex task with results not so close to reality. Such issues can present an opportunity for introducing Reinforcement Learning methods in the maritime domain. This work proposes a Reinforcement Learning based solution which is able to automatically generate vessel trajectories in restricted waters under the effect of environment forces. The agent learns by interacting with the simulator and receiving reward signals. It also gives discrete commands in spaced time steps in order to emulate limitations of human piloting. The method evaluates the distributed version of two state-of-art Reinforcement Learning algorithms. It handles channel segments as separate episodes and includes curvature information for anticipating actions. Experiments were run considering realistic scenarios with narrow curved channels where wind and current incidence varies along the trajectory. The novelty of the work is the fact that the solution proposed requires no prior knowledge on dynamic models or predefined line paths to be followed by the ship. It may impact in fast-time simulations by requiring less human effort in trajectories generation. The method adopted keeps a simple representation and can be applied to any port channel configuration that respects local technical regulations.

Simulações em tempo acelerado têm se provado uma ferramenta essencial para engenharia marítima, não somente para projeto de navios, mas também para detectar pontos críticos e possíveis gargalos em projetos de portos. Contudo, tais simulações não são realizadas por pilotos profissionais e isso pode se tornar uma tarefa complexa com resultados não tão fiéis à realidade. Tais questões podem apresentar uma oportunidade para introduzir Aprendizado por Reforço no domínio marítimo. Esse trabalho propõe uma solução baseada em Aprendizagem por Reforço que é capaz de gerar de forma automática trajetórias de navios em águas restritas sob o efeito de forças ambientais. O agente aprende interagindo com o simulador e recebendo sinais de reforço. Ele também provê comandos discretos em intervalos discretos de tempo para emular as limitações presentes na pilotagem humana. O método avalia a versão distribuída de dois algoritmos no estado da arte em aprendizado por reforço. Ele lida com segmentos de canais como episódios separados e inclui informação de curvatura para ações antecipatórias. Experimentos foram conduzidos considerando cenários realistas com canais estreitos e curvos onde a incidência de vento e corrente variam ao longo da trajetória. O caráter inovador do trabalho se dá pelo fato de que a solução proposta não requer qualquer conhecimento prévio dos modelos dinâmicos ou de caminhos pré-definidos para serem seguidos pelo navio. Isso pode impactar as simulações em tempo acelerado exigindo menos esforço humano na obtenção das trajetórias. O método adotado utiliza uma representação simples e técnicas locais.