O processo de desenvolvimento de software é uma tarefa complexa, apoiada pela engenharia de software. Apesar da evolução da engenharia de software, os sistemas ainda falham por defeitos inseridos no desenvolvimento. O teste de software tenta revelar defeitos, usando técnicas de teste bem conhecidas, as quais são usualmente baseadas em requisitos funcionais dos sistemas. Requisitos não funcionais, como o uso de recursos, também podem ser usados no teste, pois apontam comportamentos não esperados de uso de processador, memória, e entrada e saída. A metodologia de teste Tricorder, em desenvolvimento no ICMC/USP, agrupa perfis de desempenho (uso de recursos), de modo a automatizar a detecção de padrões anômalos de comportamento de sistemas de software. A Tricorder, que atua de maneira complementar aos testes já realizados no sistema, usa algoritmos de aprendizado de máquina não supervisionados, e já foi inicialmente avaliada, com sucesso, na detecção de defeitos funcionais de aplicações que processam streams de dados. O principal objetivo deste projeto é estender a avaliação da metodologia de teste Tricorder em outros domínios de aplicação que não apenas o processamento de streams de dados. Espera-se, ao atingir este objetivo principal, identificar eventuais ajustes na metodologia Tricorder que possam melhorar a sua automatização, eficácia e eficiência. A metodologia usada neste projeto considerou quatro diferentes experimentos para revelar defeitos em sistemas de criptografia, métodos de ordenação, processamento de vídeo e simulações de fluídos. Os defeitos analisados foram baseados em taxonomias de defeitos existentes na literatura e, sempre que possíveis, foram usados defeitos reais, relatados por seus desenvolvedores. As métricas usadas nas avaliações considerou a capacidade de revelar defeitos e a quantidade de falsos positivos e falsos negativos. Os resultados dos experimentos mostram que a Tricorder consegue revelar com sucesso defeitos de software nos domínios de aplicação analisados, para a grande maioria das execuções com defeitos. Este trabalho contribui com a atividade de teste de software, em particular com a redução do custo desta atividade, pois estender o uso da Tricorder, uma metodologia que automaticamente detecta defeitos em programas, sem a necessidade criar novos casos de teste e de oráculos.

The software development process is a complex task, supported by software engineering. Despite the evolution of software engineering, systems still fail due to defects inserted in the development. Software testing attempts to reveal defects using well-known testing techniques, which are usually based on functional requirements of the systems. Non-functional requirements, such as resource usage, can also be used in testing, as they point out unexpected processor, memory, and input/output usage behaviors. The Tricorder test methodology, under development at ICMC/USP, groups performance profiles (resource usage) in order to automate the detection of anomalous behavior patterns in software systems. Tricorder, which works in a complementary way to the tests already carried out on the system, uses unsupervised machine learning algorithms, and has already been successfully evaluated in the detection of functional defects in applications that process data streams. The main objective of this project is to extend the evaluation of the Tricorder test methodology in other application domains than just the processing of data streams. It is expected, in reaching this main objective, to identify possible adjustments in the Tricorder methodology that can improve its automation, effectiveness and efficiency. The methodology used in this project considered four different experiments to reveal defects in cryptography systems, ordering methods, video processing and fluid simulations. The defects analyzed were based on existing defect taxonomies in the literature and, whenever possible, real defects reported by their developers were used. The metrics used in the evaluations considered the ability to reveal defects and the number of false positives and false negatives. The results of the experiments show that Tricorder is able to successfully reveal software defects in the analyzed application domains, for the vast majority of defected executions. This work contributes to the software testing activity, in particular to the cost reduction of this activity, as it extends the use of Tricorder, a methodology that automatically detects defects in programs, without the need to create new test cases and oracles.