• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Doctoral Thesis
DOI
https://doi.org/10.11606/T.55.2020.tde-29072020-100439
Document
Author
Full name
Rodrigo Mitsuo Kishi
Institute/School/College
Knowledge Area
Date of Defense
Published
São Carlos, 2020
Supervisor
Committee
Goularte, Rudinei (President)
Barrére, Eduardo
Gonzaga, Adilson
Manzato, Marcelo Garcia
Title in Portuguese
Fusão de informação multimodal por detecção de correlação para tarefas de análise de vídeo
Keywords in Portuguese
Análise de co-ocorrência
Fusão prévia
Multimídia
Multimodalidade
Vídeo digital
Abstract in Portuguese
O emprego de fusão prévia multimodal tem se mostrado eficaz em grande parte das tarefas de análise de vídeo existentes. Os métodos de fusão prévia encontrados na literatura foram desenvolvidos para melhorar a eficácia em tarefas específicas e, por esse motivo, são essencialmente vinculados a particularidades de suas respectivas tarefas fim. Com isso, alguns aspectos importantes para a produção de uma representação expressiva por meio de fusão de informação, bem como o potencial de generalização quanto ao domínio de aplicação foram negligenciados em pesquisas até o presente momento. Esta tese de doutorado propõe um método, M4InFus, destinado a realizar fusão de informação multimodal sem utilizar especificidades de domínio de aplicação. O método M4InFus é baseado em identificação de co-ocorrência de padrões unimodais em segmentos de vídeo e cobre lacunas existentes na área de fusão de informação multimodal. O método proposto foi aplicado em dois experimentos na tarefa de Segmentação Temporal de Vídeo em Cenas e em um experimento na tarefa de Classificação de Vídeo, promovendo ganhos em eficácia em ambas as tarefas. Considerando que a eficácia em tais tarefas é limitada pela Lacuna Semântica, há um indício de que representações geradas pelo método M4InFus são menos distantes da semântica contida nos segmentos de vídeo de origem. Este projeto de doutorado também gerou, como contribuição, a implementação do M4InFus e a formação de recursos humanos em níveis de doutorado e de iniciação científica.
Title in English
Multimodal information fusion by correlation detection for video analysis tasks
Keywords in English
Co-occurrence analysis
Digital video
Early fusion
Multimedia
Multimodality
Abstract in English
Multimodal early fusion has been shown to be effective on many of existing video analysis tasks. Available early fusion methods found in the literature had been developed to improve efficacy at specific tasks and, therefore, are essentially tied to particularities of their respective tasks. In this context, research on both, important aspects to compute meaningful representations by information fusion and generalization potential regarding application domain, have been negleted up to this date. This PhD thesis proposes M4InFus, a method intended to perform multimodal information fusion without using application domain specificities. M4InFus method is based on co-occurrence detection of unimodal patterns on video segments and covers existing gaps on multimodal information fusion area. The proposed method have been applied in two experiments on the Temporal Video Scene Segmentation task and one experiment on the Video Classification task, promoting efficacy gains in both tasks. Considering the efficacy in those tasks limited by the Semantic Gap, this information is a clue about the representations generated by the M4InFus method to be less distant from the semantics contained in the original video segments.This doctoral project also produced, as a contribution, an implementation of the M4InFus method and human resources formation on doctoral and undergraduate research levels.
 
WARNING - Viewing this document is conditioned on your acceptance of the following terms of use:
This document is only for private use for research and teaching activities. Reproduction for commercial use is forbidden. This rights cover the whole data about this document as well as its contents. Any uses or copies of this document in whole or in part must include the author's name.
Publishing Date
2020-07-29
 
WARNING: Learn what derived works are clicking here.
All rights of the thesis/dissertation are from the authors
CeTI-SC/STI
Digital Library of Theses and Dissertations of USP. Copyright © 2001-2022. All rights reserved.