Master's Dissertation
DOI
https://doi.org/10.11606/D.55.2022.tde-16122022-180337
Document
Author
Full name
Daniel de Oliveira Caires
Institute/School/College
Knowledge Area
Date of Defense
Published
São Carlos, 2022
Supervisor
Committee
Toledo, Cláudio Fabiano Motta (President)
Bonato, Vanderlei
Lima, João Miguel Gago Pontes de Brito
Ponti, Moacir Antonelli
Title in Portuguese
Técnicas de interpretabilidade para aprendizado de máquina: um estudo abordando avaliação de crédito e detecção de fraude
Keywords in Portuguese
Aprendizado de máquina
Interpretabilidade
SHAP
Abstract in Portuguese
Atualmente técnicas de aprendizado de máquina vêm sendo constantemente utilizadas para apoiar no processo de tomada de decisões importantes para indivíduos e corporações. Com o peso dessas decisões, surgem também inúmeras preocupações relativas ao seu funcionamento, quais condições foram necessárias para levar aos resultados obtidos, ou até se possíveis erros ou vieses não interferiram. Por esse motivo, a interpretabilidade das técnicas de aprendizado de máquina é um tema cuja relevância cresce a cada dia. O objetivo dessa dissertação é avaliar as principais técnicas de interpretabilidade, para isso, aplicando-as em modelos preditivos de classificação em bases de dados reais, uma relacionada a concessão de crédito e outra sobre detecção de fraude. Dentre as técnicas avaliadas estão: Gráfico de Dependência Parcial, Permutação de Atributo de Importância, Importância de Atributo e SHAP (SHapley Additive exPlanations). Do ponto de vista metodológico, para cada base de dados foi desenvolvido um modelo preditivo e posteriormente as técnicas de interpretabilidade foram aplicadas. Os resultados mostraram que as técnicas conseguiram trazer mais entendimento sobre quais variáveis tiveram maior impacto para seu respectivo modelo, e até avaliar individualmente um consumidor, quantificando quanto cada variável contribuiu para a sua classificação final. Nesse sentido o SHAP se destacou sendo a técnica que trouxe maior variedade e qualidade de informações que contribuíram para se atingir avanço na interpretabilidade.
Title in English
Interpretability techniques for machine learning: a study addressing credit assessment and fraud detection
Keywords in English
Interpretability
Machine Learning
SHAP
Abstract in English
Currently, machine learning techniques have been constantly used to support the process of making important decisions for individuals and corporations. With the burden of these decisions, there are also numerous concerns regarding its behavior, which conditions were necessary to led to the obtained results, or even if possible errors or biases interfere. For this reason, the interpretability of machine learning techniques is a topic whose relevance has grown. The objective of this dissertation is to evaluate the main interpretability techniques, applying them in predictive classification models for real databases, one related to credit granting and another about fraud detection. Among the techniques evaluated are: Partial Dependency Plot, Permutation Feature Importance, Feature Importance and SHapley Additive exPlanations (SHAP). From the methodological point of view, for each database a predictive model was developed and later the interpretability techniques were applied. The results showed that the techniques were able to bring more knowledge about which variables had the greatest impact on their respective model, and even individually evaluate a consumer, quantifying how much each variable contributed to its final classification. In this sense, SHAP stood out as the technique that brought greater variety and quality of information that contributed to achieving progress in interpretability.
WARNING - Viewing this document is conditioned on your acceptance of the following terms of use:
This document is only for private use for research and teaching activities. Reproduction for commercial use is forbidden. This rights cover the whole data about this document as well as its contents. Any uses or copies of this document in whole or in part must include the author's name.
Publishing Date
2022-12-16