• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Tesis Doctoral
DOI
https://doi.org/10.11606/T.45.2023.tde-22032024-184659
Documento
Autor
Nombre completo
Artur Andre Almeida de Macedo Oliveira
Dirección Electrónica
Instituto/Escuela/Facultad
Área de Conocimiento
Fecha de Defensa
Publicación
São Paulo, 2023
Director
Tribunal
Hirata Junior, Roberto (Presidente)
Buckeridge, Marcos Silveira
Gomes, David Menotti
Lotufo, Roberto de Alencar
Wang, Zhangyang
Título en inglés
Overcoming challenging crban images: deep learning and data integration methods for detecting trees entangled with power lines
Palabras clave en inglés
Computer vision
Deep learning
Instance hardness
Urban images
Resumen en inglés
Urban image classification at the street-level poses significant challenges due to the presence of diverse elements, varying appearances, and complex poses. Factors such as occlusion, background clutter, environmental conditions, and camera viewpoints further complicate the classification process. In this study, we leverage the capabilities of state-of-the-art Deep Learning Networks (DLNs), including MobileNets, ResNets, DenseNets, and EfficientNets, to tackle these challenges head-on. We aim to evaluate the performance of these DLNs, identify limitations, and propose innovative techniques for overcoming them. Our research focuses on the specific task of classifying urban images with or without trees near overhead powerlines. Through an extensive exploration, we provide methods and insights that not only address this classification problem but also offer generalizable solutions applicable to a range of classification tasks. Two major contributions are introduced in our work. Firstly, we extend the INvestigate and Analyze a CITY (INACITY) platform by integrating a graph-oriented database, improving the performance and coverage of urban image collection from Google Street View. Secondly, we develop the Street-Level Image Labeler (SLIL) tool, which efficiently mitigates the manual labeling burden, facilitating dataset creation. With the help of INACITY and SLIL, we curate a comprehensive labeled dataset comprising 8,800 street-level urban images. Human evaluation of the dataset reveals the presence of challenging images that perplex even experienced classifiers. For example, distinguishing whether powerlines intersect or pass behind tree canopies can be difficult depending on the perspective. The comparison of state-of-the-art DLNs on this dataset reveals that the highest accuracy achieved by plain DLNs is 74.6%. However, by introducing a new class \emph distinct from positive or negative, and employing the noisy student training protocol and focal loss, we effectively enhance the recall rates for positive and negative classes respectively from 66.5% and 63.7% to 83.7% and 78.8%. This approach enables us to better identify and classify images that were previously prone to misclassification.
Título en portugués
Superando imagens urbanas desafiantes: métodos de aprendizagem profunda e integração de dados para deteção de emaranhamentos entre árvores e fios elétricos
Palabras clave en portugués
Aprendizagem profunda
Dificuldade de instância
Imagens urbanas
Visão computacional
Resumen en portugués
A classificação de imagens urbanas em nível de rua apresenta desafios devido à presença de diversos elementos, aparências variadas e poses complexas. Fatores como oclusão, confusão de fundo, condições climáticas e pontos de vista da câmera complicam ainda mais o processo de classificação. Neste estudo, aproveitamos as capacidades de redes de aprendizado profundo recentes, incluindo MobileNets, ResNets, DenseNets e EfficientNets, para enfrentar esses desafios. Nosso objetivo é avaliar o desempenho dessas redes, identificar limitações e propor novas técnicas para superá-las. Nossa pesquisa se concentra na tarefa específica de classificar imagens urbanas com ou sem árvores próximas à rede elétrica. Através de uma exploração extensiva, fornecemos métodos e insights úteis não só para esse problema de classificação, mas também aplicáveis a tarefas de classificação em outros domínios. Duas contribuições principais são introduzidas em nosso trabalho. Em primeiro lugar, ampliamos a plataforma INvestigate and Analyze a CITY (INACITY) integrando um banco de dados orientado a grafos, melhorando o desempenho e a cobertura da coleta de imagens urbanas com o Google Street View. Em segundo lugar, desenvolvemos a ferramenta Street-Level Image Labeler (SLIL), que reduz eficientemente o ônus de rotular imagens manualmente, facilitando a criação de conjuntos de dados. Com a ajuda do INACITY e do SLIL, criamos um conjunto de dados abrangente com 8.800 imagens urbanas em nível de rua rotuladas binariamente como contendo árvores próximas à rede elétrica (i.e. classe positiva) ou não (i.e. classe negativa). A avaliação humana do conjunto de dados revela a presença de imagens desafiadoras que confundem até mesmo classificadores experientes. Por exemplo, distinguir se fios de poste cruzam ou passam por trás das copas das árvores pode ser difícil, dependendo do ponto de vista da câmera. A comparação de redes neurais profundas recentes nesse conjunto de dados revela que a maior precisão alcançada por redes comuns é de 74,6%. No entanto, ao introduzir uma nova classe distinta da positiva ou negativa, a classe \emph, e empregar o protocolo de treinamento \emph{Noisy Student} e a função de custo \emph{Focal Loss}, melhoramos efetivamente as taxas de revocação para as classe positiva de 66,5% para 83,7% e para a classe negativa de 63,7% para 78,8%. Essa abordagem nos permite identificar e classificar melhor imagens que anteriormente eram propensas a classificações incorretas.
 
ADVERTENCIA - La consulta de este documento queda condicionada a la aceptación de las siguientes condiciones de uso:
Este documento es únicamente para usos privados enmarcados en actividades de investigación y docencia. No se autoriza su reproducción con finalidades de lucro. Esta reserva de derechos afecta tanto los datos del documento como a sus contenidos. En la utilización o cita de partes del documento es obligado indicar el nombre de la persona autora.
tese2.pdf (46.57 Mbytes)
Fecha de Publicación
2024-03-25
 
ADVERTENCIA: Aprenda que son los trabajos derivados haciendo clic aquí.
Todos los derechos de la tesis/disertación pertenecen a los autores
CeTI-SC/STI
Biblioteca Digital de Tesis y Disertaciones de la USP. Copyright © 2001-2024. Todos los derechos reservados.