A comunicação por meio de sinais é uma forma importante de linguagem natural. A língua de sinais é uma maneira rica e diversificada de expressão humana, geralmente menos estudada, mas extremamente relevante para a comunidade surda. A principal questão abordada neste trabalho é como traduzir a Língua Brasileira de Sinais (LIBRAS) implementando métodos de Aprendizado Profundo (DL) com disponibilidade limitada de dados. Estudos anteriores tipicamente usam uma única base de dados, na maioria dos casos coletada pelos próprios autores. Neste trabalho é proposta uma abordagem diferenciada, de integração de diferentes fontes de dados, resultando em um Cross-Dataset, como uma alternativa mais adequada para avaliar a performance e capacidade de generalização dos modelos em um cenário mais realista. São explorados dois métodos para extrair as características espaciais. O primeiro se concentra em Redes Neurais Convolucionais (CNN) pré-treinadas, que exploram a capacidade das CNNs em capturar padrões visuais relevantes. O segundo se concentra na Estimação de Landmarks através de dados puramente visuais (RGB), que envolvem informações do esqueleto como pontos de referência da Pose, Mãos e Face. A fim de processar os dados sequenciais e realizar a classificação dos sinais isolados, uma rede Long Short-Term Memory (LSTM) é utilizada. Além disso, as conclusões obtidas não apenas apontam para a configuração de modelo mais eficaz, mas também exploram fatores de pré-processamento de vídeos, como amostragem de frames, redimensionamento ideal para estimação de Landmarks e aplicação de Data Augmentation. Uma das contribuições marcantes deste trabalho reside na coleta e compilação de um Cross-Dataset com dados oriundos de diversas instituições de ensino, cobrindo pelo menos três estados brasileiros. Ao reunir dados de diferentes fontes, este estudo fornece uma visão mais representativa da LIBRAS, contribuindo para uma compreensão mais profunda das complexidades envolvidas e provendo diretrizes gerais para uma melhor generalização de modelos de reconhecimento e tradução da LIBRAS.

Signed communication is an important form of natural language. Sign language is a rich and diverse way of human expression, often less studied but extremely relevant for the deaf community. The main question addressed in this work is how to translate Brazilian Sign Language (LIBRAS) by implementing Deep Learning (DL) methods with limited data availability. Previous studies typically use a single dataset, in most cases collected by the authors themselves. In this work, a distinctive approach of integrating different data sources, resulting in a Cross-Dataset, is proposed as a more suitable alternative to evaluate the models performance and generalization power in a real-world scenario. Two methods for extracting spatial features are explored. The first one focuses on pre-trained Convolutional Neural Networks (CNN), which exploit the ability of CNNs to capture relevant visual patterns. The second one focuses on Landmarks Estimation through purely visual (RGB) data, which involves skeleton information such as Pose, Hands and Face keypoints. In order to process the sequential data and classify the isolated signs, a Long Short-Term Memory (LSTM) network is used. Moreover, the obtained findings dont point out only to the most effective model configuration, but also explore video preprocessing techniques such as frame sampling, optimal resizing for Landmark Estimation, and Data Augmentation. One of the outstanding contributions of this work lies in the collection and compilation of a Cross-Dataset with data from several educational institutions, covering at least three Brazilian states. By gathering data from different sources, this study provides a more representative view of LIBRAS, contributing to a deeper understanding of the involved complexities and providing general guidelines for a better generalization in terms of LIBRAS Automatic Translation.