Hand pose estimation is a challenging problem in computer vision with a wide range of applications, especially in human-computer interface. With the development of inexpensive consumer-level depth cameras and the evolution on deep learning techniques, the current state-of-art in the problem is continuously developing and several new methods have been proposed in recent years. Those methods are mostly data-driven and reach good results in standard datasets such as NYU, ICVL and HANDS17. An application that would benefit from the use of computer vision techniques is hand occupational therapy. In chronic diseases like rheumatoid arthritis (RA), the evaluation of the hand functional state is fundamental for the treatment and prevention of finger deformities. One of the procedures for deformity diagnosis is the measurement of movement angles i.e. flexion/extension and abduction/addution, made using goniometers in a process that can be time-consuming and invasive for the patient. The main proposal of this PhD is to fill a gap in the literature by proposing and evaluating the viability of using a framework composed of a 3D low-cost sensor and a 3D hand pose estimation state-of-art method for automatic assessment of rheumatoid arthritis patients. Given depth maps as input, our framework estimates 3D hand joint positions using a deep convolutional neural network. The proposed pose estimation algorithm can be executed in real-time, allowing users to visualise 3D skeleton tracking results at the same time as the depth images are acquired. Once 3D joint poses are obtained, our framework estimates flexion/extension and abduction/adduction angles by applying computational geometry oper- ations. The absence of public datasets with RA patients in the literature makes the estimation of hand poses of patients a challenge for computer vision data-driven methods. We therefore proposed a protocol to acquire new data from groups of patients and control. We performed experiments of identification of RA patients and control sets and also performed comparison with goniometer data. Results show that a method based on Fourier descriptors is able to perform automatic discrimination of hands with Rheumatoid Arthritis (RA) and healthy pa- tients. The angle between joints can be used as an indicative of current movement capabilities and function. The acquisition is much easier, non-invasive and patient-friendly, significantly reducing the evaluation time and offering real-time data for the dynamic movement.

Estimativa de pose de mão é um problema considerado complexo dentro da área de visão computacional com uma vasta gama de aplicações, especialmente na área de interface humano- computador. Com a evolução do estado-da-arte em técnicas de aprendizado profundo e com a popularização de sensores 3 de baixo custo, o estado-da-arte atual do problema vem se atualizando continuamente e muitos métodos novos têm sido propostos nos últimos anos. Esses métodos em sua maioria são baseados no uso de grandes volumes de dados para treinamento, e alcançam resultados cada vez melhores nas bases de dados padronizadas, como NYU, ICVL e HANDS17. Uma das aplicações que se beneficiaria do uso de visão computacional é a terapia ocupacional de mão. Por exemplo, em doenças crônicas como a artrite reumatoide (AR), a avaliação do estado funcional do paciente é fundamental para o tratamento bem como para a prevenção de deformidade dos dedos. Um dos procedimentos para o diagnóstico das deformidades dos dedos é a medição dos ângulos de movimento, por exemplo a flexão/extensão e abdução/adução dos dedos, feita por um goniômetro em um processo simples, mas que pode ser invasivo e demorado para o paciente. Esta tese busca preencher uma lacuna do estado-da- arte ao propor e avaliar a viabilidade da utilização de um arcabouço composto de um sensor 3D de baixo custo e uma técnica estado-da-arte em estimativa de pose de mão 3D para aquisição automática dos ângulos da mão em pacientes de artrite reumatoide. O algoritmo proposto é aplicado em um conjunto de imagens de profundidade, retornando a posição das juntas da mão estimadas a partir de uma rede neural convolucional profunda. O algoritmo utilizado pode ser executado em tempo real, permitindo a visualização dos esqueletos resultantes ao mesmo tempo em que as imagens são adquiridas. A partir dessa estimativa, os ângulos de flexão/extensão e de abdução/adução da mão são calculados aplicando operações de geometria computacional. A dificuldade em se encontrar bases de dados relativas a pessoas com AR torna a estimativa de poses de mão dos pacientes um desafio ainda maior para os métodos de visão computacional baseados em dados. Dessa forma, foi proposto um protocolo de aquisição de dados para grupos de pacientes e controle. Foram feitos experimentos de comparação com os dados do goniômetro dos acometidos pela AR. Os resultados mostram que é possível distinguir automaticamente os conjuntos de acometidos e controle usando descritores de Fourier. Os ângulos mensurados pelo sensor podem ser usados como indicativo das capacidades de movimento dos pacientes. O procedimento é simples, não invasivo e mais amigável para os acometidos pela AR, reduzindo o tempo de avaliação além de oferecer dados em tempo real do movimento dinâmico.