• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Thèse de Doctorat
DOI
https://doi.org/10.11606/T.45.2023.tde-22032024-184659
Document
Auteur
Nom complet
Artur Andre Almeida de Macedo Oliveira
Adresse Mail
Unité de l'USP
Domain de Connaissance
Date de Soutenance
Editeur
São Paulo, 2023
Directeur
Jury
Hirata Junior, Roberto (Président)
Buckeridge, Marcos Silveira
Gomes, David Menotti
Lotufo, Roberto de Alencar
Wang, Zhangyang
Titre en anglais
Overcoming challenging crban images: deep learning and data integration methods for detecting trees entangled with power lines
Mots-clés en anglais
Computer vision
Deep learning
Instance hardness
Urban images
Resumé en anglais
Urban image classification at the street-level poses significant challenges due to the presence of diverse elements, varying appearances, and complex poses. Factors such as occlusion, background clutter, environmental conditions, and camera viewpoints further complicate the classification process. In this study, we leverage the capabilities of state-of-the-art Deep Learning Networks (DLNs), including MobileNets, ResNets, DenseNets, and EfficientNets, to tackle these challenges head-on. We aim to evaluate the performance of these DLNs, identify limitations, and propose innovative techniques for overcoming them. Our research focuses on the specific task of classifying urban images with or without trees near overhead powerlines. Through an extensive exploration, we provide methods and insights that not only address this classification problem but also offer generalizable solutions applicable to a range of classification tasks. Two major contributions are introduced in our work. Firstly, we extend the INvestigate and Analyze a CITY (INACITY) platform by integrating a graph-oriented database, improving the performance and coverage of urban image collection from Google Street View. Secondly, we develop the Street-Level Image Labeler (SLIL) tool, which efficiently mitigates the manual labeling burden, facilitating dataset creation. With the help of INACITY and SLIL, we curate a comprehensive labeled dataset comprising 8,800 street-level urban images. Human evaluation of the dataset reveals the presence of challenging images that perplex even experienced classifiers. For example, distinguishing whether powerlines intersect or pass behind tree canopies can be difficult depending on the perspective. The comparison of state-of-the-art DLNs on this dataset reveals that the highest accuracy achieved by plain DLNs is 74.6%. However, by introducing a new class \emph distinct from positive or negative, and employing the noisy student training protocol and focal loss, we effectively enhance the recall rates for positive and negative classes respectively from 66.5% and 63.7% to 83.7% and 78.8%. This approach enables us to better identify and classify images that were previously prone to misclassification.
Titre en portugais
Superando imagens urbanas desafiantes: métodos de aprendizagem profunda e integração de dados para deteção de emaranhamentos entre árvores e fios elétricos
Mots-clés en portugais
Aprendizagem profunda
Dificuldade de instância
Imagens urbanas
Visão computacional
Resumé en portugais
A classificação de imagens urbanas em nível de rua apresenta desafios devido à presença de diversos elementos, aparências variadas e poses complexas. Fatores como oclusão, confusão de fundo, condições climáticas e pontos de vista da câmera complicam ainda mais o processo de classificação. Neste estudo, aproveitamos as capacidades de redes de aprendizado profundo recentes, incluindo MobileNets, ResNets, DenseNets e EfficientNets, para enfrentar esses desafios. Nosso objetivo é avaliar o desempenho dessas redes, identificar limitações e propor novas técnicas para superá-las. Nossa pesquisa se concentra na tarefa específica de classificar imagens urbanas com ou sem árvores próximas à rede elétrica. Através de uma exploração extensiva, fornecemos métodos e insights úteis não só para esse problema de classificação, mas também aplicáveis a tarefas de classificação em outros domínios. Duas contribuições principais são introduzidas em nosso trabalho. Em primeiro lugar, ampliamos a plataforma INvestigate and Analyze a CITY (INACITY) integrando um banco de dados orientado a grafos, melhorando o desempenho e a cobertura da coleta de imagens urbanas com o Google Street View. Em segundo lugar, desenvolvemos a ferramenta Street-Level Image Labeler (SLIL), que reduz eficientemente o ônus de rotular imagens manualmente, facilitando a criação de conjuntos de dados. Com a ajuda do INACITY e do SLIL, criamos um conjunto de dados abrangente com 8.800 imagens urbanas em nível de rua rotuladas binariamente como contendo árvores próximas à rede elétrica (i.e. classe positiva) ou não (i.e. classe negativa). A avaliação humana do conjunto de dados revela a presença de imagens desafiadoras que confundem até mesmo classificadores experientes. Por exemplo, distinguir se fios de poste cruzam ou passam por trás das copas das árvores pode ser difícil, dependendo do ponto de vista da câmera. A comparação de redes neurais profundas recentes nesse conjunto de dados revela que a maior precisão alcançada por redes comuns é de 74,6%. No entanto, ao introduzir uma nova classe distinta da positiva ou negativa, a classe \emph, e empregar o protocolo de treinamento \emph{Noisy Student} e a função de custo \emph{Focal Loss}, melhoramos efetivamente as taxas de revocação para as classe positiva de 66,5% para 83,7% e para a classe negativa de 63,7% para 78,8%. Essa abordagem nos permite identificar e classificar melhor imagens que anteriormente eram propensas a classificações incorretas.
 
AVERTISSEMENT - Regarde ce document est soumise à votre acceptation des conditions d'utilisation suivantes:
Ce document est uniquement à des fins privées pour la recherche et l'enseignement. Reproduction à des fins commerciales est interdite. Cette droits couvrent l'ensemble des données sur ce document ainsi que son contenu. Toute utilisation ou de copie de ce document, en totalité ou en partie, doit inclure le nom de l'auteur.
tese2.pdf (46.57 Mbytes)
Date de Publication
2024-03-25
 
AVERTISSEMENT: Apprenez ce que sont des œvres dérivées cliquant ici.
Tous droits de la thèse/dissertation appartiennent aux auteurs
CeTI-SC/STI
Bibliothèque Numérique de Thèses et Mémoires de l'USP. Copyright © 2001-2024. Tous droits réservés.