• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Tese de Doutorado
DOI
https://doi.org/10.11606/T.45.2023.tde-05062023-071021
Documento
Autor
Nome completo
Nayereh Hamidishad
Unidade da USP
Área do Conhecimento
Data de Defesa
Imprenta
São Paulo, 2023
Orientador
Banca examinadora
Cesar Junior, Roberto Marcondes (Presidente)
Costa, Luciano da Fontoura
Hirata, Nina Sumiko Tomita
Mascarenhas, Nelson Delfino d'Ávila
Takemura, Celina Maki
Título em inglês
Two-phase methods to segment man-made objects around reservoirs
Palavras-chave em inglês
Deep learning
High-resolution RS imagery
Image processing
Man-made object segmentation
Object-based method
Reservoir segmentation
Resumo em inglês
Reservoirs are fundamental infrastructures for the management of water resources. They reduce the effects of interseasonal and interannual streamflow fluctuations and hence facilitate water supply, hydroelectric power generation, and flood control, to name a few. There is a significant interaction between the environment and reservoirs. For example, reservoirs affect the quality of the water downstream of their dams, and human activities affect the quality of the reservoirs inflowing water and its chemical and biological processes. Construction around reservoirs is a human activity that can negatively impact the reservoirs water quality. This social issue can be detected by segmenting the man-made objects around reservoirs in the Remote Sensing (RS) images. Traditional pixel-based, Object-Based (OB), and Deep-Learning (DL) methods are three Land-Cover Mapping (LCM) approaches. We developed a new approach based on image processing techniques and the OB method for LCM of the selected regions around reservoirs. Disadvantages of the OB approach, such as the high dependency of results on the choice of parameters, led us to use DL to circumvent excessive parameter specification and tunning that are often required by OB methods. In recent years, DL has attracted considerable attention as a method for segmenting the RS imagery semantically and has achieved remarkable success. To segment man-made objects around the reservoirs utilizing an end-to-end workflow, segmenting reservoirs and detaching the Region of Interest (RoI) around them are essential. However, reservoirs are always considered in a broad class termed water bodies in RS semantic segmentation studies. Besides, man-made object semantic segmentation in the RoIaR is not explored in the literature. Moreover, man-made object segmentation in high-resolution images, especially countryside man-made object segmentation, is not extensively explored in the literature. In this research, we develop a new approach based on DL and image processing techniques for man-made object segmentation around the reservoirs. In the proposed two-phase workflow, the reservoir is initially segmented using a DL model. Then, a post-processing stage is proposed to remove errors such as floating vegetation. Next, the RoI around the Reservoir (RoIaR) is detached using the proposed image processing techniques. Finally, the man-made objects in the RoIaR are segmented by a DL model. We collected high-resolution Google Earth (GE) images of eight reservoirs in Brazil, mainly located in the countrysides, over two different available years to train the workflow models. Furthermore, we validated the prepared workflow with a test dataset not seen during training. The F1-scores of the phase-1 semantic segmentation stage, post-processing stage, and phase-2 semantic segmentation stage on the external test set are 92.54%, 94.68%, and 88.11%, respectively, which show high generalization ability of the prepared workflow.
Título em português
Métodos de duas fases para segmentar áreas construídas ao redor de reservatórios.
Palavras-chave em português
Aprendizagem profunda
Imagem RS de alta resolução
Processamento de imagem
Segmentação de reservatórios
Segmentação feita pelo homem
Resumo em português
Os reservatórios são infraestruturas fundamentais para a gestão dos recursos hídricos. Eles reduzem os efeitos das flutuações de fluxo de água intersazonais e interanuais e, portanto, facilitam o abastecimento de água, a geração de energia hidrelétrica e o controle de enchentes, para citar alguns exemplos. Há uma interação significativa entre o meio ambiente e os reservatórios. Por exemplo, as atividades humanas podem afetar a qualidade da água afluente do reservatório e seus processos químicos e biológicos. As construções ao redor dos reservatórios são um exemplo de tais atividades. Essa questão social pode ser detectada segmentando os objetos criados pelo homem em torno dos reservatórios nas imagens de sensoriamento remoto (RS). Os métodos tradicionais baseados em pixels, baseados em objetos (OB) e de aprendizado profundo são três abordagens de mapeamento de cobertura da terra (LCM). Desenvolvemos uma nova abordagem baseada em técnicas de processamento de imagens e no método OB para segmentar regiões selecionadas ao redor de reservatórios. As desvantagens da abordagem OB, como a alta dependência dos resultados na escolha dos parâmetros, nos levaram a usar DL para contornar a necessidade excessiva de especificação de parâmetros e o ajuste frequentemente exigido pelos métodos OB. Nos últimos anos, o DL atraiu considerável atenção como um método para segmentar imagens das imagens do RS e alcançou um sucesso notável. Para segmentar objetos artificiais em torno dos reservatórios utilizando um fluxo de trabalho de ponta a ponta, segmentar os reservatórios e destacar a região de interesse (ROI) em torno deles é essencial. No entanto, os reservatórios são normalmente considerados em uma classe ampla denominada corpos dágua. Além disso, os estudos de segmentação de objetos feitos pelo homem implementados em imagens RS de alta resolução urbana consideram menos frequentemente construções na zona rural. Portanto, eles frequentemente não consideram estruturas desafiadoras de cobertura do solo, como estradas não asfaltadas. Nesta pesquisa, desenvolvemos uma nova abordagem baseada em técnicas de processamento de DL e imagens para segmentação de objetos feitos pelo homem em torno dos reservatórios. No fluxo de trabalho em duas fases proposto, o reservatório é inicialmente segmentado usando um modelo DL. Em seguida, uma etapa de pós-processamento é proposta para remover erros da vegetação flutuante nos reservatórios. Em seguida, a RoI ao redor do reservatório (RoIaR) é destacada usando as técnicas de processamento de imagem. Finalmente, os objetos artificiais na roiar são segmentados por um modelo DL. Coletamos imagens de alta resolução do Google Earth (GE) de oito reservatórios no Brasil, localizados principalmente nas paisagens, em dois anos disponíveis para treinar os modelos de fluxo de trabalho. Além disso, validamos o fluxo de trabalho preparado com um conjunto de dados de teste não visto durante o treinamento. As pontuações F1 do estágio de segmentação semântica da fase 1, estágio de pós-processamento e estágio de segmentação semântica da fase 2 no conjunto de teste externo são 92,54%, 94,68% e 88,11%, respectivamente, que mostram alta capacidade de generalização do fluxo de trabalho preparado.
 
AVISO - A consulta a este documento fica condicionada na aceitação das seguintes condições de uso:
Este trabalho é somente para uso privado de atividades de pesquisa e ensino. Não é autorizada sua reprodução para quaisquer fins lucrativos. Esta reserva de direitos abrange a todos os dados do documento bem como seu conteúdo. Na utilização ou citação de partes do documento é obrigatório mencionar nome da pessoa autora do trabalho.
Data de Publicação
2023-06-07
 
AVISO: Saiba o que são os trabalhos decorrentes clicando aqui.
Todos os direitos da tese/dissertação são de seus autores
CeTI-SC/STI
Biblioteca Digital de Teses e Dissertações da USP. Copyright © 2001-2024. Todos os direitos reservados.