A robótica social representa um ramo da interação humano-robô dedicado ao desenvolvimento de sistemas para controlar os robôs para operar em ambientes não estruturados com a presença de seres humanos. Robôs sociais devem interagir com seres humanos entendendo sinais sociais e respondendo adequadamente a eles. A maioria dos robôs sociais ainda são pré-programados, não tendo grande capacidade de aprender e responder com ações adequadas durante uma interação com humanos. Métodos mais elaborados usam movimentos corporais, direção do olhar e linguagem corporal. Nesta tese os sinais socialmente aceitáveis comumente utilizados durante uma interação são considerados para o treinamento de um robô social. Um sistema inteligente foi desenvolvido para tornar um robô capaz de decidir, de forma autônoma, quais comportamentos emitir em função do estado emocional humano. Para isso, a primeira contribuição deste trabalho é uma arquitetura denominada Social Robotics Deep Q-Network (SocialDQN) é proposta para ensinar robôs sociais a se comportarem e interagirem adequadamente com humanos com base em sinais sociais, especialmente em estados emocionais humanos. Ela oferece um arcabouço para a utilização de sinais sociais visando controlar as ações do robô e seu aprendizado é realizado por meio de Deep Reinforcement Learning(DRL). Uma segunda contribuição é o simulador SimDRLSR, que é o primeiro simulador a prover uma ferramenta para modelar humanos e seus comportamentos por meio de sinais sociais. O desenvolvimento e validação da rede SocialDQN foram realizados com o apoio desse simulador. Os resultados obtidos em diversos testes realizados em ambiente real demonstraram que o sistema aprendeu satisfatoriamente a maximizar as recompensas e, consequentemente, o robô se comportou de forma socialmente aceitável.

Social robotics represents a branch of human-robot interaction dedicated to developing systems to control robots to operate in unstructured environments in the presence of humans. Social robots must interact with humans by understanding social signals and responding appropriately. Most social robots are still pre-programmed, unable to learn and respond with appropriate actions during an interaction with humans. More elaborate methods use body movements, gaze direction, and body language. In this thesis, the socially acceptable signals commonly used during an interaction are considered for the training of a social robot. An intelligent system was developed to make a robot capable of autonomously deciding which behaviors to emit depending on the human emotional state. For this, the first contribution of this work is an architecture called Social Robotics Deep Q-Network (SocialDQN) is proposed to teach social robots to behave and interact appropriately with humans based on social signals, especially in human emotional states. It offers a framework for the use of social signals to control the robots actions and its learning is carried out through Deep Reinforcement Learning (DRL). A second contribution is the SimDRLSR simulator, which is the first simulator to provide a tool to model humans and their behavior through social signals. The development and validation of the SocialDQN network were carried out with the support of this simulator. The results obtained in several tests carried out in a real environment showed that the system learned satisfactorily to maximize rewards and, consequently, the robot behaved in a socially acceptable way.