• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Tese de Doutorado
DOI
https://doi.org/10.11606/T.55.2023.tde-08012024-161234
Documento
Autor
Nome completo
Angelo Garangau Menezes
E-mail
Unidade da USP
Área do Conhecimento
Data de Defesa
Imprenta
São Carlos, 2023
Orientador
Banca examinadora
Carvalho, André Carlos Ponce de Leon Ferreira de (Presidente)
Carta, Antonio
Osório, Fernando Santos
Pellegrini, Lorenzo
Título em inglês
Continual Object Detection with Deep Neural Networks
Palavras-chave em inglês
Continual learning
Continual object detection
Object detection
Parameter mining
Replay
Resumo em inglês
The rapid technological development in the past decades has significantly increased the amount of available data in the world. Naturally, models that scale with the size of the available data, such as Deep Neural Networks, have become the primary strategy for several research fields with abundant data (e.g., computer vision and natural language processing). With this large data availability, research on learning models that can adapt incrementally to continual streams of data has been encouraged. In this way, the field of Continual Learning proposes to study the ability to learn consecutive tasks without losing performance on the previously trained ones. In computer vision, researchers have mainly focused their efforts on incremental classification tasks, but continual object detection also deserves attention due to its vast range of applications in robotics and autonomous vehicles. In fact, this scenario is even more complex than conventional classification, given the occurrence of instances of classes that are unknown at the time but can appear in subsequent tasks as a new class to be learned, resulting in missing annotations and conflicts with the background label. Since this field is in its early stages, research in continual object detection still offers several opportunities and lacks methodology conventions. This Ph.D. thesis investigates the field more thoroughly and identifies possible links with related areas such as general continual learning and neural network pruning. Specifically, we proposed the first systematic review on the topic, developed two metrics for improving the analysis of performance in incremental detection scenarios, investigated which exemplar selection method works best for replay-based continual detection strategies, and explored different ways to identify and penalize important task parameters across sequential updates. To validate our proposals and claims, we conducted experiments and reported results comparable to the current state-of-the-art in popular detection benchmarks (i.e., PASCAL VOC) adapted to the incremental setting, as well as in real-world datasets and applications. The findings presented in this thesis were also put into practice in two applications. Firstly, they were tested in the 3rd CLVISION Challenge, where we were able to achieve the 3rd place in the continual instance detection track. Secondly, they were applied to the continual aerial inspection of transmission towers at TAESA, the largest Brazilian electric power transmission company, to improve the automation of their inspection pipeline.
Título em português
Aprendizado Contínuo de Objetos com Redes Neurais Profundas
Palavras-chave em português
Aprendizado contínuo
Detecção de objetos
Detecção de objetos incremental
Mineração de parâmetros
Replay
Resumo em português
O rápido desenvolvimento tecnológico nas últimas décadas aumentou significativamente a quantidade de dados disponíveis no mundo. Naturalmente, modelos que escalam com o tamanho dos dados disponíveis, como as redes neurais profundas, tornaram-se a principal estratégia para vários campos de pesquisa com abundância de dados, como por exemplo visão computacional e processamento de linguagem natural. Com a grande disponibilidade de dados, a pesquisa sobre modelos de aprendizado que podem se adaptar de forma incremental a fluxos contínuos de dados tem sido incentivada. Dessa forma, a área de Aprendizado Contínuo de modelos se apresenta como o campo que propõe o estudo sobre a capacidade de aprender tarefas consecutivas sem perder desempenho nas tarefas previamente treinadas. Para a área de visão computacional, os pesquisadores têm concentrado seus esforços principalmente em tarefas de classificação incremental, mas a detecção contínua de objetos também merece atenção devido à sua vasta gama de aplicações em robótica e veículos autônomos. O cenário de detecção incremental é ainda mais complexo que a simples classificação devido à ocorrência de instâncias de classes desconhecidas mas que podem aparecer em tarefas subsequentes como uma nova classe a ser aprendida, resultando em anotações ausentes e conflitos com o rótulo de background. Uma vez que se apresenta em seus estágios iniciais, a pesquisa em detecção contínua de objetos ainda oferece várias oportunidades e carece de convenções metodológicas. Desta maneira, esta tese de doutorado busca investigar esse campo mais detalhadamente e identificar possíveis vínculos com áreas relacionadas, como aprendizado contínuo geral e a poda de redes neurais. Especificamente, propusemos a primeira revisão sistemática sobre o tópico, desenvolvemos duas métricas para melhorar a análise de desempenho em cenários de detecção incremental, investigamos qual método de seleção de exemplares funciona melhor para estratégias de detecção contínua de objetos baseadas em replay e exploramos como identificar e penalizar parâmetros importantes de tarefas que possuam treinamento contínuo. Para validar nossas propostas e hipóteses, conduzimos experimentos e relatamos resultados comparáveis ao estado da arte atual em benchmarks populares de detecção (ex: PASCAL VOC) adaptados à configuração incremental, bem como em conjuntos de dados e aplicações do mundo real. As contribuições apresentadas nesta tese também foram colocados em prática em duas aplicações. Primeiramente, elas foram testados no 3rd CLVISION Challenge, onde alcançaram a 3rd posição na trilha de detecção contínua de instâncias. Em segundo lugar, foram aplicadas na inspeção aérea contínua de torres de transmissão da TAESA, maior empresa brasileira de transmissão de energia elétrica, para melhora de suas pipelines de inspeção automatizada.
 
AVISO - A consulta a este documento fica condicionada na aceitação das seguintes condições de uso:
Este trabalho é somente para uso privado de atividades de pesquisa e ensino. Não é autorizada sua reprodução para quaisquer fins lucrativos. Esta reserva de direitos abrange a todos os dados do documento bem como seu conteúdo. Na utilização ou citação de partes do documento é obrigatório mencionar nome da pessoa autora do trabalho.
Data de Publicação
2024-01-08
 
AVISO: Saiba o que são os trabalhos decorrentes clicando aqui.
Todos os direitos da tese/dissertação são de seus autores
CeTI-SC/STI
Biblioteca Digital de Teses e Dissertações da USP. Copyright © 2001-2024. Todos os direitos reservados.