Atualmente, muito se tem discutido sobre a quantidade abundante de enchentes que assolam a cidade de São Paulo, inclusive esses desastres naturais preocupam excessivamente as autoridades governamentais paulistas, pois geram diversos prejuízos financeiros e sociais para a população afetada. Assim, existem iniciativas como a Gestão de Desastres que possuem o objetivo de prevenir e diminuir os impactos dos desastres naturais em nossa sociedade, visto que há fases com a tarefa de localizar e socorrer as vítimas das inundações. Dessa forma, as redes sociais (por exemplo, o Twitter) são essenciais para o auxílio da etapa de resposta da Gestão de Desastres, porque existe a disseminação de uma quantidade demasiada de mensagens relacionadas com alagamentos, no qual são capazes de serem úteis ao processo de localização de possíveis vítimas. No entanto, não é uma tarefa simples a obtenção da Consciência Situacional de desastres naturais a partir de tweets, visto que essas mensagens são frequentemente escritas de maneira coloquial e os algoritmos de Aprendizado de Máquina não são capazes de compreender o contexto das mensagens do Twitter. Dessa forma, com o objetivo de melhorar o processo de classificação textual e consequentemente captar Consciência Situacional de alagamentos de maneira mais precisa, então esta pesquisa investiga a Fusão Multimodal de informações textuais com contextuais. Esta pesquisa tem o objetivo de desenvolver uma abordagem de Fusão Multimodal capaz de auxiliar a etapa de resposta da Gestão de Desastres a partir de tweets, dados climáticos e incidências históricas de enchentes, além de implementar um software capaz de detectar possíveis vítimas de enchentes. Em vista disso, foram desenvolvidos mecanismos computacionais capazes de realizar o Processamento de Linguagem Natural das mensagens do Twitter, descobrir as regiões propícias ao acontecimento de alagamentos da capital paulista e combinar os dados heterogêneos por intermédio de estratégias baseadas em Aprendizado de Máquina. Os resultados revelam que o modelo de Fusão Multimodal do tipo híbrido com foco na decisão proporcionada pelos dados meteorológicos pode identificar as possíveis vítimas de alagamentos com 84,70% de precisão, aliás combinar dados textuais com multimodais proporciona um acréscimo de 18,53% na precisão da obtenção de Consciência Situacional de inundações, portanto para auxílio a fase de resposta da Gestão de Desastres, abordagens multimodais são mais eficazes dos que as unimodais. Ademais, algoritmos de agrupamento hierárquico demonstraram ser capazes de descobrir regiões propícias ao acontecimento de enchentes da cidade de São Paulo mais bem definidas do que os mecanismos de agrupamento baseados em densidade. Além disso, estratégias de definição da distância máxima de formação de áreas de alagamentos embasadas em abordagens empíricas se mostraram mais promissoras do que as baseadas em estratégias geo estatísticas. Por último, esta abordagem de Fusão Multimodal pode ser adaptada para diferentes idiomas, regiões e desastres naturais, além de que o software desenvolvido pode auxiliar as autoridades governamentais a localizar possíveis vítimas de inundações da capital paulista em tempo real.

Currently, much has been discussed about the abundant amount of floods that plague the city of São Paulo, including these natural disasters that worry the São Paulo government authorities excessively because they generate several financial and social losses for the affected population. Thus, there are initiatives such as Disaster Management that aim to corroborate the prevention and reduction of the impacts of natural disasters in our society since there are phases to locate and assist the victims of flooding. Therefore, social networks (for example, Twitter) are essential to help in the response stage of Disaster Management because there is the dissemination of too many messages related to floods, which are able to be useful in the process of locating possible victims. However, obtaining Situational Awareness of natural disasters from tweets is not a simple task since these messages are often written colloquially, and Machine Learning algorithms cannot understand the context of Twitter messages. Thus, to improve the textual classification process and consequently capture Situational Awareness of flooding more accurately, this research investigates the Multimodal Fusion of textual with contextual information. This research aims to develop a Multimodal Fusion approach capable of assisting the response stage of Disaster Management from tweets, climate data, and historical flood incidences and implementing software capable of detecting potential flood victims. Therefore, computational mechanisms capable of performing Natural Language Processing of the Twitter messages, discovering the regions prone to flooding in the capital city of São Paulo, and combining the heterogeneous data through strategies based on Machine Learning were developed. The results reveal that the hybrid type Multimodal Fusion model focusing on the decision provided by meteorological data can identify the possible victims of flooding with 84.70% accuracy. Moreover, combining textual data with multimodal data provides an 18.53% increase in the accuracy of obtaining Situational Awareness of flooding, so to aid the response phase of Disaster Management, multimodal approaches are more effective than unimodal ones. Furthermore, hierarchical clustering algorithms proved to discover better-defined flood-prone regions in the city of São Paulo than density-based clustering mechanisms; moreover, strategies for defining the maximum distance for flood area formation based on empirical approaches showed to be more promising than those based on geo-statistical strategies. Finally, this Multimodal Fusion approach can be adapted to different languages, regions, and natural disasters. In addition, the developed software can help government authorities locate possible victims of flooding in São Paulo in real-time