In the context of Computer-Aided Diagnosis, it is often not enough for the system to produce correct predictions. When physicians are certain about the diagnosis of a given case, they can accept or disregard the systems prediction according to their own conclusions. However, in cases where they are uncertain, the physicians may not trust the system prediction without an explanation for it. In the medical domain, where the users are ethically and legally responsible for their decisions, the system should be able to articulate the reasons for its prediction in some way. One strategy that has been suggested to provide this support for decision is to retrieve images from similar cases that were already diagnosed. The physicians can then compare the retrieved cases to the one under consideration and decide if such diagnosis apply. Traditionally, Content-Based Medical Image Retrieval (CBMIR) has been done with hand-crafted features. Despite showing significant improvements in many other medical images analysis tasks, Deep Learning is not frequently used in CBMIR. Most current approaches to integrate Deep Learning into CBMIR use features obtained from models trained to classify images. These models tend to learn features that are correlated with the classes and ignore the ones that are not. Despite being useful to categorize images, the features learned from such models ignore intra-class variations that may be relevant to finding visually similar images. The ideal would be to retrieve the most visually similar case possible, not just one that belongs to the same class, so that the physicians can have more confidence in their decision. Autoencoders, on the other hand, are Deep Learning models that aim to learn features that describe the intrinsic factors of variations of a dataset. In this work, we investigate and discuss the use of Deep Learning for medical image retrieval, presenting the theoretical foundation and a critical analysis of current approaches found in literature. We also propose an approach for CBMIR based on Variational Autoencoders and show that this approach can yield better results than the ones based solely on classification and can even be used in combination to improve the results of the latter.

No contexto de Diagnóstico Assistido por Computador (CAD), às vezes não é suficiente que o sistema produza predições corretas. Quando os médicos estão seguros a respeito do diagnóstico de um caso em particular, eles podem aceitar ou desprezar a predição do sistema de acordo com suas próprias conclusões. Mas em casos em que os médicos estejam inseguros, eles podem não confiar na predição do sistema sem que haja alguma explicação para ela. No domínio médico, onde os usuários são ética e legalmente responsáveis por suas decisões, o sistema deve ser capaz de articular de alguma forma as razões de suas decisões. Uma estratégia que tem sido sugerida para prover esse suporte à decisão é a de recuperar imagens similares que já foram diagnosticadas. Dessa forma, os médicos podem, então, comparar os casos retornados ao caso em consideração e decidir se os diagnósticos desses se aplicam. Tradicionalmente, Recuperação de Imagens Médicas por Conteúdo (CBMIR) tem sido feita com representações projetadas manualmente. Apesar de demonstrar melhorias significativas em muitas outras tarefas de análise de imagens médicas, Deep Learning (DL) não é frequentemente utilizado em CBMIR. A maioria das abordagens atuais para integrar DL em CBMIR utiliza representações obtidas de modelos treinados para classificar imagens. Esses modelos tendem a aprender representações que captu- ram características que são correlacionadas com as classes e ignoram as características que não o são. Apesar de serem úteis parar classificar imagens, essas representações ignoram variações intra-classe que podem ser relevantes para encontrar imagens visualmente semelhantes. O ideal seria retornar casos com a maior similaridade visual possível, para que médicos possam ter mais confiança nas suas decisões, e não somente casos que pertençam à mesma classe. Autoencoders, por outro lado, são modelos de DL que visam aprender representações que descrevam fatores de variação intrínsecos do conjunto de dados. Este trabalho visa investigar e discutir o uso de DL para busca de imagens médicas, apresentando a fundamentação teórica e análise crítica das abordagens atuais encontradas na literatura. Também é apresentada uma abordagem para CBMIR baseada em Variational Autoencoders e mostrado que essa abordagem pode produzir resultados superiores àquelas baseadas puramente em classificação, e pode inclusive ser utilizada em conjunto com estas.