The size and complexity of the data generated by social media and medical images has increased in a fast pace. Unlike traditional data, images cannot be dealt with in its original domain, leading to rising challenges in knowledge discovery tasks. The image analysis can aid on several decision making tasks. Crowdsourcing images such as social media images can be used to increase the speed of authorities to take action in emergency situations. Images taken from the medical domain can support on daily activities of physicians to diagnose their patients. Content-Based Image Retrieval (CBIR) systems are built to retrieve similar images, being an important step for the knowledge discovery. However, in some image domains, only parts of the image are relevant to the problem. This PhD research is based on the following hypothesis: the integration of image segmentation methods with local feature CBIR system improves the precision of the retrieved images. We evaluate our proposals in two images domain: fire detection on urban emergency situations and chronic skin ulcer images. The main contributions of this PhD research can be divided in four parts. First, we propose BoWFire to detect and segment fire in emergency situations. We explore the combination of color and texture features through superpixels to detect fire in still images. Then, we explore the use of superpixels to extract local features with BoSS. BoSS is a Bag-of-Visual-Words (BoVW) approach based on visual signatures. To integrate segmentation methods with CBIR, we propose ICARUS, a skin ulcer image retrieval framework. ICARUS integrate segmentations methods based on superpixels with BoVW. We also propose ASURA, a deep learning segmentation method for skin ulcer lesions. Besides segmenting skin ulcer lesions, ASURA is able to estimate the area of the lesion in real-world units by analyzing real-world objects present in the images. Our experiments show that our proposals achieved a better precision while retrieving the most similar images in comparison with the existing approaches.

O tamanho e complexidade dos dados gerados por mídias sociais e imagens médicas tem crescido rapidamente. Diferentemente de dados tradicionais, não é possível lidar com imagens dentro de seus domínios originais. Aumentando assim os desafios para a descoberta de conhecimento. Técnicas de processamento de imagens podem auxiliar em diversas tarefas de tomada de decisão. Imagens provenientes de crowdsourcing, como imagens de mídias sociais, podem ser usadas para aumentar a velocidade de resposta de autoridades em situações de emergência. Imagens retiradas da área médica podem auxiliar médicos em suas atividades diárias, como no diagnostico de pacientes. Sistemas de recuperação de imagens baseada em conteúdo (CBIR do inglês Content-Based Image Retrieval) são capazes de recuperar as imagens mais similares, sendo uma etapa importante para a descoberta de conhecimento. Entretanto, em alguns domínios de imagens, apenas partes da imagem são relevantes para o problema de recuperação. Essa pesquisa de doutorado se baseia na seguinte hipótese: a integração de métodos de segmentação de imagens em sistemas CBIR através de características locais aumenta a precisão na recuperação de imagens. As propostas dessa pesquisa de doutorado foram avaliadas em dois domínios de imagem: detecção de fogo em imagens de situações de emergência urbana e imagens de úlcera cutânea crônica. As principais contribuições dessa pesquisa de doutorado podem ser divididas em quatro partes. Primeiro foi proposto o BoWFire, um método para detectar e segmentar fogo em situações de emergência. Foi explorada a combinação das características de cor e textura através de superpixeis para a detecção de fogo em imagens estáticas. A segunda contribuição foi o método BoSS, que explora o uso de superpixeis para extrair características locais. O método BoSS é uma abordagem de Bag-of-Visual-Words (BoVW) baseada em assinaturas visuais. Para integrar os métodos de segmentação com sistemas CBIR, foi proposto o framework ICARUS para a recuperação de imagens de úlcera cutânea. O ICARUS integra métodos se segmentação baseados em superpixel com BoVW. Também foi proposto o framework ASURA para a segmentação de úlceras cutâneas baseado em técnicas de deep learning. Além de segmentar as úlceras cutâneas, o ASURA é capaz de estimar a área da lesão em unidades de medida reais. Para tanto, o ASURA analisa os objetos presentes nas imagens. Os experimentos mostraram que as propostas dessa pesquisa de doutorado alcançaram uma melhor precisão ao recuperar as imagens mais similares em comparação às abordagens existentes na literatura