• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Doctoral Thesis
DOI
https://doi.org/10.11606/T.45.2023.tde-05062023-071021
Document
Author
Full name
Nayereh Hamidishad
Institute/School/College
Knowledge Area
Date of Defense
Published
São Paulo, 2023
Supervisor
Committee
Cesar Junior, Roberto Marcondes (President)
Costa, Luciano da Fontoura
Hirata, Nina Sumiko Tomita
Mascarenhas, Nelson Delfino d'Ávila
Takemura, Celina Maki
Title in English
Two-phase methods to segment man-made objects around reservoirs
Keywords in English
Deep learning
High-resolution RS imagery
Image processing
Man-made object segmentation
Object-based method
Reservoir segmentation
Abstract in English
Reservoirs are fundamental infrastructures for the management of water resources. They reduce the effects of interseasonal and interannual streamflow fluctuations and hence facilitate water supply, hydroelectric power generation, and flood control, to name a few. There is a significant interaction between the environment and reservoirs. For example, reservoirs affect the quality of the water downstream of their dams, and human activities affect the quality of the reservoirs inflowing water and its chemical and biological processes. Construction around reservoirs is a human activity that can negatively impact the reservoirs water quality. This social issue can be detected by segmenting the man-made objects around reservoirs in the Remote Sensing (RS) images. Traditional pixel-based, Object-Based (OB), and Deep-Learning (DL) methods are three Land-Cover Mapping (LCM) approaches. We developed a new approach based on image processing techniques and the OB method for LCM of the selected regions around reservoirs. Disadvantages of the OB approach, such as the high dependency of results on the choice of parameters, led us to use DL to circumvent excessive parameter specification and tunning that are often required by OB methods. In recent years, DL has attracted considerable attention as a method for segmenting the RS imagery semantically and has achieved remarkable success. To segment man-made objects around the reservoirs utilizing an end-to-end workflow, segmenting reservoirs and detaching the Region of Interest (RoI) around them are essential. However, reservoirs are always considered in a broad class termed water bodies in RS semantic segmentation studies. Besides, man-made object semantic segmentation in the RoIaR is not explored in the literature. Moreover, man-made object segmentation in high-resolution images, especially countryside man-made object segmentation, is not extensively explored in the literature. In this research, we develop a new approach based on DL and image processing techniques for man-made object segmentation around the reservoirs. In the proposed two-phase workflow, the reservoir is initially segmented using a DL model. Then, a post-processing stage is proposed to remove errors such as floating vegetation. Next, the RoI around the Reservoir (RoIaR) is detached using the proposed image processing techniques. Finally, the man-made objects in the RoIaR are segmented by a DL model. We collected high-resolution Google Earth (GE) images of eight reservoirs in Brazil, mainly located in the countrysides, over two different available years to train the workflow models. Furthermore, we validated the prepared workflow with a test dataset not seen during training. The F1-scores of the phase-1 semantic segmentation stage, post-processing stage, and phase-2 semantic segmentation stage on the external test set are 92.54%, 94.68%, and 88.11%, respectively, which show high generalization ability of the prepared workflow.
Title in Portuguese
Métodos de duas fases para segmentar áreas construídas ao redor de reservatórios.
Keywords in Portuguese
Aprendizagem profunda
Imagem RS de alta resolução
Processamento de imagem
Segmentação de reservatórios
Segmentação feita pelo homem
Abstract in Portuguese
Os reservatórios são infraestruturas fundamentais para a gestão dos recursos hídricos. Eles reduzem os efeitos das flutuações de fluxo de água intersazonais e interanuais e, portanto, facilitam o abastecimento de água, a geração de energia hidrelétrica e o controle de enchentes, para citar alguns exemplos. Há uma interação significativa entre o meio ambiente e os reservatórios. Por exemplo, as atividades humanas podem afetar a qualidade da água afluente do reservatório e seus processos químicos e biológicos. As construções ao redor dos reservatórios são um exemplo de tais atividades. Essa questão social pode ser detectada segmentando os objetos criados pelo homem em torno dos reservatórios nas imagens de sensoriamento remoto (RS). Os métodos tradicionais baseados em pixels, baseados em objetos (OB) e de aprendizado profundo são três abordagens de mapeamento de cobertura da terra (LCM). Desenvolvemos uma nova abordagem baseada em técnicas de processamento de imagens e no método OB para segmentar regiões selecionadas ao redor de reservatórios. As desvantagens da abordagem OB, como a alta dependência dos resultados na escolha dos parâmetros, nos levaram a usar DL para contornar a necessidade excessiva de especificação de parâmetros e o ajuste frequentemente exigido pelos métodos OB. Nos últimos anos, o DL atraiu considerável atenção como um método para segmentar imagens das imagens do RS e alcançou um sucesso notável. Para segmentar objetos artificiais em torno dos reservatórios utilizando um fluxo de trabalho de ponta a ponta, segmentar os reservatórios e destacar a região de interesse (ROI) em torno deles é essencial. No entanto, os reservatórios são normalmente considerados em uma classe ampla denominada corpos dágua. Além disso, os estudos de segmentação de objetos feitos pelo homem implementados em imagens RS de alta resolução urbana consideram menos frequentemente construções na zona rural. Portanto, eles frequentemente não consideram estruturas desafiadoras de cobertura do solo, como estradas não asfaltadas. Nesta pesquisa, desenvolvemos uma nova abordagem baseada em técnicas de processamento de DL e imagens para segmentação de objetos feitos pelo homem em torno dos reservatórios. No fluxo de trabalho em duas fases proposto, o reservatório é inicialmente segmentado usando um modelo DL. Em seguida, uma etapa de pós-processamento é proposta para remover erros da vegetação flutuante nos reservatórios. Em seguida, a RoI ao redor do reservatório (RoIaR) é destacada usando as técnicas de processamento de imagem. Finalmente, os objetos artificiais na roiar são segmentados por um modelo DL. Coletamos imagens de alta resolução do Google Earth (GE) de oito reservatórios no Brasil, localizados principalmente nas paisagens, em dois anos disponíveis para treinar os modelos de fluxo de trabalho. Além disso, validamos o fluxo de trabalho preparado com um conjunto de dados de teste não visto durante o treinamento. As pontuações F1 do estágio de segmentação semântica da fase 1, estágio de pós-processamento e estágio de segmentação semântica da fase 2 no conjunto de teste externo são 92,54%, 94,68% e 88,11%, respectivamente, que mostram alta capacidade de generalização do fluxo de trabalho preparado.
 
WARNING - Viewing this document is conditioned on your acceptance of the following terms of use:
This document is only for private use for research and teaching activities. Reproduction for commercial use is forbidden. This rights cover the whole data about this document as well as its contents. Any uses or copies of this document in whole or in part must include the author's name.
Publishing Date
2023-06-07
 
WARNING: Learn what derived works are clicking here.
All rights of the thesis/dissertation are from the authors
CeTI-SC/STI
Digital Library of Theses and Dissertations of USP. Copyright © 2001-2024. All rights reserved.