• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Tese de Doutorado
DOI
https://doi.org/10.11606/T.55.2022.tde-17022023-095144
Documento
Autor
Nome completo
Angelica Tiemi Mizuno Nakamura
E-mail
Unidade da USP
Área do Conhecimento
Data de Defesa
Imprenta
São Carlos, 2022
Orientador
Banca examinadora
Wolf, Denis Fernando (Presidente)
Nascimento, Erickson Rangel do
Ponti, Moacir Antonelli
Vassallo, Raquel Frizera
Título em português
Aproveitando o comportamento de convergência para equilibrar tarefas conflitantes no aprendizado de múltiplas tarefas
Palavras-chave em português
Aprendizado de múltiplas tarefas
Otimização multi-objetivo
Redes neurais
Resumo em português
O aprendizado de múltiplas tarefas é um paradigma de aprendizagem que utiliza tarefas correlacionadas para melhorar a generalização. Uma maneira comum de aprender várias tarefas é por meio da abordagem com parâmetros compartilhados, na qual uma única arquitetura é usada para compartilhar o mesmo subconjunto de parâmetros, criando um viés indutivo entre eles durante o processo de treinamento. Devido à sua simplicidade, pontencial em melhorar a generalização e reduzir o custo computacional, o aprendizado de múltiplas tarefas ganhou a atenção das comunidades científica e indústria. Na literatura, o aprendizado simultâneo de múltiplas tarefas é normalmente realizado por uma combinação linear de funções de perda. No entanto, os gradientes das tarefas frequentemente conflitam entre si durante a otimização das funções de perdas. E, combinar os gradientes de todas as tarefas para que todas convirjam para sua solução ótima ao longo do processo de treinamento não é trivial. Para resolver este problema, é utilizado a ideia de otimização multi-objetivo para propor um método que leva em conta o comportamento temporal dos gradientes para criar um viés dinâmico que ajusta a importância de cada tarefa durante a retropropagação. Dessa forma, o método dá mais atenção para as tarefas que estão divergindo ou não sendo beneficiadas nas últimas iterações, garantindo que o aprendizado simultâneo alcance a maximização do desempenho de todas as tarefas. Para validar o método proposto, foram realizados análise de sensibilidade e diversos experimentos no conjunto de dados público de classificação de dígitos, e no problema de compreensão de cena no conjunto de dados do CityScapes. Por meio dos experimentos realizados, o método proposto mostrou superar o desempenho dos métodos estado da arte na aprendizagem de tarefas conflitantes, garantindo que todas as tarefas alcancem bons desempenhos de generalização ao mesmo tempo em que acelera a convergência das curvas de aprendizado.
Título em inglês
Leveraging convergence behavior to balance conflicting tasks in multi-task learning
Palavras-chave em inglês
Multi-objective optimization
Multi-task learning
Neural networks
Resumo em inglês
Multi-Task Learning is a learning paradigm that uses correlated tasks to improve performance generalization. A common way to learn multiple tasks is through the hard parameter sharing approach, in which a single architecture is used to share the same subset of parameters, creating an inductive bias between them during the training process. Due to its simplicity, potential to improve generalization, and reduce computational cost, it has gained the attention of the scientific and industrial communities. In the literature, the simultaneous learning of multiple tasks is usually performed by a linear combination of loss functions. Nonetheless, tasks gradients often conflict with each other during losses optimization, and it is not trivial to combine them so that all tasks converge toward their optimal solution throughout the training process. To address this problem, the idea of multi-objective optimization was adopted to propose a method that takes into account the temporal behavior of the gradients to create a dynamic bias that adjusts the importance of each task during backpropagation. The result of this method is to give more attention to tasks that are diverging or not being benefited during the last iterations, ensuring that the simultaneous learning is heading to the performance maximization of all tasks. To evaluate the performance of the proposed method in learning conflicting tasks, sensitivity analysis and a series of experiments were performed on a public handwritten digit classification dataset, and on the scene understanding problem in the CityScapes Dataset. Through the performed experiments, the proposed method outperformed state-of-the-art methods in learning conflicting tasks. Unlike the adopted baselines, the proposed method ensures that all tasks reach good generalization performances at the same time it speeds up the learning curves.
 
AVISO - A consulta a este documento fica condicionada na aceitação das seguintes condições de uso:
Este trabalho é somente para uso privado de atividades de pesquisa e ensino. Não é autorizada sua reprodução para quaisquer fins lucrativos. Esta reserva de direitos abrange a todos os dados do documento bem como seu conteúdo. Na utilização ou citação de partes do documento é obrigatório mencionar nome da pessoa autora do trabalho.
Data de Publicação
2023-02-17
 
AVISO: Saiba o que são os trabalhos decorrentes clicando aqui.
Todos os direitos da tese/dissertação são de seus autores
CeTI-SC/STI
Biblioteca Digital de Teses e Dissertações da USP. Copyright © 2001-2024. Todos os direitos reservados.