O emprego de fusão prévia multimodal tem se mostrado eficaz em grande parte das tarefas de análise de vídeo existentes. Os métodos de fusão prévia encontrados na literatura foram desenvolvidos para melhorar a eficácia em tarefas específicas e, por esse motivo, são essencialmente vinculados a particularidades de suas respectivas tarefas fim. Com isso, alguns aspectos importantes para a produção de uma representação expressiva por meio de fusão de informação, bem como o potencial de generalização quanto ao domínio de aplicação foram negligenciados em pesquisas até o presente momento. Esta tese de doutorado propõe um método, M4InFus, destinado a realizar fusão de informação multimodal sem utilizar especificidades de domínio de aplicação. O método M4InFus é baseado em identificação de co-ocorrência de padrões unimodais em segmentos de vídeo e cobre lacunas existentes na área de fusão de informação multimodal. O método proposto foi aplicado em dois experimentos na tarefa de Segmentação Temporal de Vídeo em Cenas e em um experimento na tarefa de Classificação de Vídeo, promovendo ganhos em eficácia em ambas as tarefas. Considerando que a eficácia em tais tarefas é limitada pela Lacuna Semântica, há um indício de que representações geradas pelo método M4InFus são menos distantes da semântica contida nos segmentos de vídeo de origem. Este projeto de doutorado também gerou, como contribuição, a implementação do M4InFus e a formação de recursos humanos em níveis de doutorado e de iniciação científica.

Multimodal early fusion has been shown to be effective on many of existing video analysis tasks. Available early fusion methods found in the literature had been developed to improve efficacy at specific tasks and, therefore, are essentially tied to particularities of their respective tasks. In this context, research on both, important aspects to compute meaningful representations by information fusion and generalization potential regarding application domain, have been negleted up to this date. This PhD thesis proposes M4InFus, a method intended to perform multimodal information fusion without using application domain specificities. M4InFus method is based on co-occurrence detection of unimodal patterns on video segments and covers existing gaps on multimodal information fusion area. The proposed method have been applied in two experiments on the Temporal Video Scene Segmentation task and one experiment on the Video Classification task, promoting efficacy gains in both tasks. Considering the efficacy in those tasks limited by the Semantic Gap, this information is a clue about the representations generated by the M4InFus method to be less distant from the semantics contained in the original video segments.This doctoral project also produced, as a contribution, an implementation of the M4InFus method and human resources formation on doctoral and undergraduate research levels.