Tese de Doutorado

As principais limitações da computação em nuvem, como latência e disponibilidade de processamento, afetam significativamente a análise de dados, especialmente oriundos de micro sensores, o que, por sua vez, também dificulta a melhoria da manipulação da informação em inúmeras atividades, muitas delas inerentes à Indústria 4.0 e a microeletrônica. Assim, este trabalho propõe a criação do DACN (Disparador Algorítmico para computação em Névoa) para manipulação de dados com características Big Data. O DACN apresenta um formato baseado em Barramento de Serviços Corporativos feito a partir de microsserviços. O método aplicado é baseado em uma prova de conceito e seis estudos de caso (EC). Esse conjunto produz um roadmap para aplicação global que apresente um ou mais dos 6Vs do Big Data. Ao final de cada estudo de caso, uma análise baseada em SWOT Framework é efetuada, verificando-se se os objetivos daquela etapa foram atingidos e determinando-se as limitações que ocorreram; assim levando a ações de encaminhamento para a próxima fase, ou seja, ao final gerando o roadmap para a reprodutibilidade. A prova de conceito, analisando sensores NTC dispostos em uma sala, visou definir a viabilidade do formato da estrutura. O EC1 tratou a latência aplicada a um grande volume de dados (30M de registros, média de 25 valores por registro), trazendo a média de 13 s de tempo de resposta em contexto de busca para minutos ou horas. No EC2, avaliou-se a viabilidade de aplicar o DACN a dados mais complexos, aplicando a detecção de elementos em imagens, a partir da aprendizagem criada em um serviço de nuvem, reduzindo a necessidade de grande armazenamento e validando a disponibilidade de processamento, além de mostrar a interoperabilidade com a camada de nuvem . Para o EC3 se fez a análise da simulação de uma aquisição de dados de sensores ambientais em ambiente de contaminação de solo por um ano e se validou a capacidade de suporte à decisão, complementado pelo EC4 que utilizou a simulação da aquisição de 3M de dados de pacientes de COVID-19, que apresentou baixa latência, tendo resultados de 340 ms para uma filtragem mais simples e inferior a 1 s para filtragem mais complexa, sendo extrapolado para um teste em ambiente de nuvem que trouxe latência superior a 4 vezes o obtido na estrutura proposta para névoa. Validadas as características principais, o EC5 faz um estudo multifatorial onde equipes diferentes, em instituições diferentes de SP fizeram o teste de processamento e latência do DACN permitindo a análise em tempo real e em médio e longo prazo de micro sensores ambientais e de sons. Por fim, o EC6 apresenta um teste de campo, baseado no EC2, mostrando, quantitativamente, tempo de resposta de detecção de objetos em imagens, em torno de 3 min. para análises de imagem de grande qualidade com precisão superior a 80%. O DACN mostra, portanto, que atende às características previstas na literatura para Computação em Névoa e, baseado no roadmap disponibilizado é possível reproduzi-lo para quaisquer problemas com tais características.

The main limitations of cloud computing, such as latency and processing availability, significantly affect data analysis, especially from microsensors. This also hinders the improvement of information manipulation in numerous activities, many of them inherent to Industry 4.0 and microelectronics. Therefore, this work proposes the creation of DACN (ADFC: Algorithmic Trigger for Fog Computing), a Fog Computing framework for data manipulation with Big Data characteristics. DACN features an Enterprise Service Bus-based format built from microservices. The applied method is based on a proof of concept and six case studies. This set produces a roadmap for a global application presenting one or more of the 6Vs of big data. At the end of each case study, a SWOT Framework-based analysis is performed to verify whether the objectives of that stage were achieved and determine any limitations that occurred. This led to actions for forwarding to the next phase, ultimately generating a roadmap for reproducibility. The proof of concept, analyzing NTC sensors arranged in a room, aimed to determine the feasibility of the structures format. EC1 tested latency applied to a large volume of data (30M records, an average of 25 values per record), reducing the average response time from 13 s in a search context to minutes or hours. In EC2, the feasibility of applying the DACN to more complex data was assessed, applying element detection in images based on learning created in a cloud service, reducing the need for large storage and validating processing availability, in addition to demonstrating interoperability with the cloud layer. For EC3, a simulation analysis of environmental sensor data acquisition in a soil contamination environment was performed for one year, validating its decision support capability. EC4 complemented this by simulating the acquisition of 3M data from COVID-19 patients. This demonstrated low latency, with results of 340 ms for simpler filtering and less than 1 s for more complex filtering. This was then extrapolated to a test in a cloud environment, resulting in latency more than four times that obtained with the proposed fog structure. Once the main characteristics were validated, EC5 conducted a multifactorial study in which different teams, at different institutions in São Paulo, tested the DACNs processing and latency, enabling real-time, medium, and long-term analysis of micro environmental and sound sensors. Finally, EC6 presents a field test based on EC2, quantitatively demonstrating object detection response times in images of around 3 min. for high-quality image analysis with over 80% accuracy. The DACN therefore shows that it meets the characteristics predicted in the literature for Fog Computing and, based on the roadmap provided, it is possible to reproduce it for any problems with such characteristics.