Grandes conjuntos de dados de imagens de faces são frequentemente usados para treinar e implementar soluções de visão computacional para reconhecimento facial. Nesse contexto, a aplicação de tais modelos em diferentes populações levanta preocupações sobre a existência de exemplos suficientes e representativos para as diversas classes / grupos em termos de gênero, idade e cor da pele, entre outros atributos. O viés de seleção desses dados é inserido durante a coleta. É difícil encontrar bancos de dados que sejam anotados por cor da pele ou atributos étnico-raciais, o que também dificulta o estudo de viés de seleção nesse contexto em aprendizado de máquina. O objetivo deste projeto de pesquisa é propor e avaliar um método para detecção de tons de pele em imagens que tenham desempenho equilibrado para diferentes tipos de pele e que permita auditar bases de dados de forma a minimizar problemas com viés de seleção em modelos de reconhecimento facial em direção a uma classificação justa. O método proposto consiste em aplicar diferentes abordagens de processamento de imagens e algoritmos para rotulagem automática da cor da pele, selecionando as melhores abordagens para cada tipo de cor de pele (usando o sistema de classificação Fitzpatrick Skin Type) de acordo com o F-score obtido e aplicando-as em ordem de prioridade. Mostramos que o uso de uma única abordagem tende a direcionar os melhores resultados para faixas específicas de tons de pele, enquanto a combinação reduz o viés geral e melhora a classificação em diferentes tipos de pele. Aplicamos a proposta no banco de dados de faces LFW e no banco de dados dermatológico Fitzpatrick17k usando transformações gama, CLAHE, equalização de histogramas e filtros estatísticos de ordem não linear. Mostramos que um extrator de características com pesos pré treinados da Facenet usando o modelo de rede neural convolucional ResNet50 como base tem pior desempenho na distinção de pessoas de pele escura e que é possível mitigar esse efeito através de técnicas de pré-processamento de imagens combinando abordagens que sejam melhores em cada faixa de tom de pele para obter um método de rotulação automática de grandes bancos de dados que se aproxime da rotulação manual. Por fim, disponibilizamos para futuros trabalhos, além da descrição do método, um destacamento da LFW com anotações manuais de tons de pele de 150 pessoas únicas e anotações de cor de pele para cada imagem da base LFW completa feitas a partir do método de classificação automática proposto.

Large face datasets are often used to train and deploy Computer Vision solutions for face recognition. In this context, the application of such models in different populations raises concerns about the existence of sufficient and representative examples for the diverse classes/groups in terms of gender, age and skin color, among others attributes. The selection bias in such data may be inserted during the sample collection. It is difficult to find databases that are annotated by skin color or ethnic-racial attributes, which also makes it difficult to study selection bias in this context in machine learning. The objective of this work is to propose and evaluate an automatic classification method for skin tones in images with balanced performance across different skin types and that allows auditing databases in order to minimize problems with selection bias in facial recognition models towards a fair classification. The proposed method consists of applying different processing approaches and algorithms for automatic skin color labeling, selecting the best approaches for each skin color type (using the dermatologist approved Fitzpatrick Skin Type classification system) according to the F-score obtained and applying them in an order of priority. We show that using a single approach will bias the best results towards specific skin tone ranges, while combining it reduce the overall bias and improves classification across different skin types. We applied the proposal in the LFW faces database and in the Fitzpatrick17k dermatological database using gamma transformations, CLAHE, histogram equalization and non-linear order statistics filters. We showed that a feature extractor with pre-trained weights from Facenet using the convolutional neural network model ResNet50 as a base has worse performance in distinguishing dark-skinned people and that it is possible to mitigate this effect through image pre-processing techniques combining approaches that are best across each skin tone range to achieve an auto-labeling approach of large databases that approximates manual labeling. Finally, we provide for future works, in addition to the description of the method, an LFW detachment with manual annotations of skin tones of 150 unique people and also skin color annotations for each image of the complete LFW base made from of the proposed automatic classification method.