Recent changes in industrial paradigms enforce that robots must be intelligent and capable of decision-making. Robotic manipulators need to satisfy many requirements for operating properly. Perhaps the most fundamental one is the capability of operating in its environment without collisions. In this work, we perform visual obstacle avoidance on goal-reaching tasks of a robotic manipulator using an end-to-end Deep Reinforcement Learning model. The motion control policy is responsible for reaching a target position while at the same time avoiding an obstacle positioned randomly in the scene. This policy uses vision and proprioceptive sensor data to operate. We train the reinforcement learning agent using Twin-Delayed DDPG (TD3) algorithm in a simulated environment, utilizing the Unity game engine and the ML-Agents toolkit. Experiments demonstrate that the agent can successfully learn a meaningful policy to avoid obstacles using images.

Mudanças recentes nos paradigmas industriais esperam que os robôs sejam inteligentes e capazes de tomar decisões. Os manipuladores robóticos precisam satisfazer muitos requisitos para operar adequadamente. Talvez o mais fundamental seja a capacidade de operar em seu ambiente sem colisões. Neste trabalho, evitamos obstáculos visuais em tarefas de alcance de meta de um manipulador robótico usando um modelo de Aprendizado por Reforço Profundo de ponta-aponta. A política de controle de movimento é responsável por atingir uma posição alvo e, ao mesmo tempo, evitar um obstáculo posicionado aleatoriamente na cena. Esta política usa dados de sensores proprioceptivos e de visão para operar. O agente de aprendizagem por reforço foi treinado através do algoritmo Twin-Delayed DDPG (TD3) em um ambiente simulado, utilizando a game engine Unity e o framework ML-Agents. Experimentos demonstram que o agente pode aprender com sucesso uma política significativa para evitar obstáculos usando imagens.