• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Master's Dissertation
DOI
https://doi.org/10.11606/D.3.2024.tde-26032024-112307
Document
Author
Full name
Loubrys Lázaro Rojas Reinoso
E-mail
Institute/School/College
Knowledge Area
Date of Defense
Published
São Paulo, 2024
Supervisor
Committee
Bressan, Graça (President)
Potts, Alain Segundo
Silva, Flavio Soares Correa da
Title in Portuguese
Um sistema de análise facial em tempo real para a classificação de postura de faces.
Keywords in Portuguese
Aprendizado computacional
Face (Análise)
Processamento de imagens
Abstract in Portuguese
A estimativa de pose da cabeça é uma área de pesquisa ativa com uma ampla gama de aplicações, incluindo reconhecimento facial, detecção de vivacidade, animação facial e muito mais. As pesquisas mostram que sistemas relacionados a rostos geralmente funcionam bem em cenários controlados, obtendo excelentes resultados com rostos completos e quase frontais. No entanto, desafios surgem ao lidar com perfis. Propomos um sistema de análise facial multitarefa, sem treinamento, projetado para classificar poses de rosto. Após receber uma imagem, o sistema pode ser capaz de detectar rostos e seus pontos de referência, estimar a pose do rosto através do grau de liberdade da cabeça humana, calculando os ângulos resolvendo o problema de Perspective-n-Point (PnP), uma sólida alternativa para aqueles que buscam um equilíbrio entre robustez e velocidade. Alguns dos métodos mais robustos geralmente dependem de soluções de aprendizado profundo, mas geralmente são inadequados para aplicações em tempo real ou exigem computadores de alto desempenho. Após estimar os ângulos, um modelo de ML supervisionado foi treinado para determinar rostos como frontais ou não frontais. O sistema fornecerá feedback em tempo real para os usuários corrigirem a pose da cabeça. O Erro Absoluto Médio (MAE) obtido foi de 4,24, garantindo velocidade de execução em tempo real em hardware de baixa potência. Para avaliar o modelo de aprendizado de máquina treinado, foram implementados três protocolos, com o Protocolo 2 apresentando os melhores resultados, com zeros falsos positivos, tornando-o uma excelente escolha para aplicações no mundo real. Além disso, testamos a proposta em um protótipo de conceito para abertura e verificação de contas. O sistema funcionou como pré-processamento de imagens, permitindo apenas imagens que atendem a requisitos específicos - rostos frontais. Medimos o impacto da proposta em outros sistemas de análise facial; o desempenho dos sistemas de reconhecimento facial e detecção de vivacidade melhorou significativamente, aumentando de 90% para 96% e de 62% para 87%, respectivamente.
Title in English
A real-time face analysis system for head poses classification.
Keywords in English
Computational learning
Face (Analysis)
Image processing
Abstract in English
Head pose estimation attracts significant interest from the research community by the wide range of applications that rely on or are enhanced by a good head pose estimation system, including face recognition, liveness detection, facial animation, and more. Research has shown that face-related systems generally perform well in controlled scenarios, achieving excellent results for full and nearly frontal faces. However, the performance of face-related systems typically declines significantly for profile faces, presenting a major challenge. We propose a multi-task, training-free face analysis system designed to classify face poses. After receiving an image, the system could be capable of detecting faces and their landmarks, estimating the head pose based on the human head's degrees of freedom, and calculating the angles using the Perspective-n-Point (PnP) problem, a solid alternative for those seeking a balance between robustness and speed. Some of the more robust methods often rely on deep learning solutions but they are generally unsuitable for real-time applications or require high-performance computers. After, estimating the angles, a supervised ML model has been trained to determinate faces as either frontal or non-frontal. The system will provide users with real-time feedback, such as visual cues, to help them correct their head position. The Mean Absolute Error (MAE) obtained was 4.24, guarantying real-time running speed in low-power hardware. To evaluate the machine learning model trained, were implemented three protocols, yielding Protocol 2 the best results, with zero false positives, making it an excellent choice for real-world applications. Additionally, we tested the proposal in a proof of concept for accounts opening and verification. The system acted as an image preprocessor, allowing only images that meet specific requirements frontal faces. We measured the impact of the proposal in other face analysis systems; the performance of face recognition and liveness detection systems improved significantly, increasing from 90% to 96% and from 62% to 87%, respectively.
 
WARNING - Viewing this document is conditioned on your acceptance of the following terms of use:
This document is only for private use for research and teaching activities. Reproduction for commercial use is forbidden. This rights cover the whole data about this document as well as its contents. Any uses or copies of this document in whole or in part must include the author's name.
Publishing Date
2024-03-28
 
WARNING: Learn what derived works are clicking here.
All rights of the thesis/dissertation are from the authors
CeTI-SC/STI
Digital Library of Theses and Dissertations of USP. Copyright © 2001-2024. All rights reserved.