Tese de Doutorado

A crescente adoção de sistemas baseados em aprendizado de máquina em domínios críticos intensifica a necessidade de métodos rigorosos de teste e validação. Contudo, a complexidade e a natureza opaca desses modelos, aliadas à dependência de dados, dificultam a aplicação de técnicas tradicionais de teste de software. A literatura revela uma lacuna significativa no entendimento da caracterização de falhas reais nesses sistemas, limitando o desenvolvimento de estratégias eficazes de teste. Para superar esse desafio, este trabalho propõe a construção de um modelo formal de conhecimento, na forma de uma ontologia, capaz de organizar e unificar o domínio das falhas em sistemas de aprendizado de máquina. O modelo foi desenvolvido por meio de um ciclo iterativo com foco na generalização, e sua formalização seguiu padrões semânticos amplamente adotados. A validação funcional foi realizada por meio de consultas específicas destinadas a responder questões de competência, demonstrando a capacidade do modelo de representar e recuperar informações relevantes. Os resultados obtidos são significativos: a ontologia amplia a compreensão dos elementos e relações no domínio de falhas em aprendizado de máquina, facilitando a tomada de decisão dos envolvidos com testes. Serve como base para a generalização de abordagens de teste, possibilitando a construção de conjuntos de dados para pesquisas e benchmarks industriais, além de oferecer subsídios essenciais para o desenvolvimento de soluções automatizadas de teste. Em suma, este trabalho fornece uma fundamentação semântica sólida para a engenharia da qualidade em sistemas de aprendizado de máquina, abrindo caminho para testes mais eficazes e confiáveis.

The growing adoption of machine learning systems in critical domains intensifies the need for rigorous testing and validation methods. However, the opaque and complex nature of these models, combined with their dependence on data, poses challenges to the application of traditional software testing techniques. The literature highlights a significant gap in understanding the characterization of real-world failures in such systems, hindering the development of effective testing strategies. To address this challenge, this work proposes the construction of a formal knowledge model, in the form of an ontology, capable of organizing and unifying the domain of failures in machine learning systems. The model was developed through an iterative lifecycle focused on generalization, and its formalization followed widely adopted semantic standards. Functional validation was conducted through targeted queries designed to answer competency questions, demonstrating the models ability to represent and retrieve relevant information. The results are noteworthy: the ontology deepens the understanding of the elements and relationships within the failure domain of machine learning, facilitating decision-making for testing stakeholders. It serves as a foundation for generalizing testing approaches, enabling the creation of datasets for research and industrial benchmarks, and providing essential support for the development of automated testing solutions. In summary, this work offers a robust semantic foundation for quality engineering in machine learning systems, paving the way for more effective and reliable testing practices.