Tese de Doutorado

In this thesis, we investigate the use of Fisher Vector (FV) for encoding multilevel features extracted from deep neural networks in image classification. Specifically, we employ Convolutional Neural Networks (CNNs) and hybrid CNN + Visual Transformer (ViT) models for feature extraction. While CNNs are effective at extracting generalist features, they exhibit a locality bias, which we address using hybrid architectures. The FV encoding method tackles issues related to order-sensitive encoders, such as Fully-Connected layers, in visual texture recognition and related fields (e.g., medical image classification). Our results demonstrate that the proposed approach significantly improves CNN accuracy in visual texture recognition. Despite its usefulness in the context of limited data availability, scalability to larger datasets remains a challenge. To mitigate this, we propose a method for reducing the computational costs of FV encoding. We rigorously evaluate the robustness of this method and apply it to larger datasets within the context of medical image classification. Additionally, we explore the impact of fine-tuning on the models performance. Finally, our approach proves suitable for both small and large datasets, exhibiting competitiveness compared to existing literature.

Nesta tese, investigamos o uso de Vetores de Fisher (FV) para codificar descritores de vários níveis extraídos de redes neurais profundas na classificação de imagens. Mais especificamente, empregamos Redes Neurais Convolucionais (CNNs) e modelos híbridos CNN + Transformador Visual (ViT) para extração de descritores. Embora as CNNs sejam eficazes na extração de descritores generalistas, elas apresentam um viés de localidade, o qual endereçamos usando arquiteturas híbridas. A codificação por FV busca resolver problemas relacionados a codificadores sensíveis à ordem, como camadas totalmente conectadas, no reconhecimento de texturas visuais e campos relacionados (por exemplo, classificação de imagens médicas). Nossos resultados demonstram que a abordagem proposta melhora significativamente a precisão das CNNs no reconhecimento de texturas visuais. Apesar de sua utilidade no contexto de disponibilidade limitada de dados, a escalabilidade para conjuntos de dados maiores ainda é um desafio. Para mitigar isso, propomos um método para reduzir os custos computacionais da codificação por FV. Avaliamos rigorosamente a robustez desse método e o aplicamos a conjuntos de dados maiores no contexto da classificação de imagens médicas. Além disso, exploramos o impacto do ajuste fino no desempenho do modelo. Finalmente, nossa abordagem se mostra adequada para conjuntos de dados pequenos e grandes, demonstrando competitividade quando comparada à literatura existente.