Tese de Doutorado

A Quarta Revolução Industrial levou, entre outras características, ao aumento da presença de Inteligência Artificial (IA) em sistemas de engenharia críticos em relação à segurança (safety) e reforça a tendência de que a década de 2020 é o ponto de inflexão para que métodos de garantia de segurança de sistemas críticos dotados de IA sejam estabelecidos visando à certificação desses sistemas para operação comercial. Normas técnicas e pesquisas científicas correlatas possuem duas limitações principais: (i.) a contextualização incipiente da IA nos processos de garantia de segurança atrelados ao ciclo de vida de sistemas de engenharia e (ii.) a escassez de diretrizes detalhadas sobre técnicas de garantia de segurança recomendáveis para cada categoria de IA. Dentro desse contexto, a presente pesquisa possui três objetivos principais. O primeiro deles é definir um método iterativo e incremental para promover a garantia de segurança de sistemas que incluem IA, mediante um processo de levantamento dedutivo de requisitos de segurança e de verificação indutiva sob óticas qualitativa e quantitativa. O segundo, por sua vez, é agregar ao método técnicas de garantia de segurança de IA já presentes na literatura e outras técnicas e melhorias concebidas durante a pesquisa para generalizar o método para diferentes categorias de IA e implementações (software e hardware programável). Por fim, o terceiro objetivo consiste em identificar técnicas promissoras e recomendáveis de garantia de segurança e mapeá-las em cada categoria de IA e etapa do ciclo de vida. O método Safety ArtISt (Safety Artificial Intelligence Structure), detalhado nesta tese, foi concebido visando ao atendimento dos três objetivos prévios. Ele foi avaliado por meio de um benchmark de facto, composto por quatro estudos de caso idealizados para exercitar a íntegra do método e avaliar, qualitativa e quantitativamente, como os resultados obtidos corroboram os objetivos da pesquisa. Tais resultados evidenciam que o método Safety ArtISt cumpre tais objetivos, uma vez que ele se mostrou eficaz em promover o desenvolvimento de sistemas críticos em relação à segurança com IA e em identificar e mitigar, de forma antecipada, potenciais problemas de segurança não antevistos em projetos realizados, por terceiros, sem o uso do método. Trabalhos futuros para o seguimento da pesquisa em áreas correlatas também são explorados.

The Fourth Industrial Revolution has led, among other features, to an increased presence of Artificial Intelligence (AI) in safety-critical systems, thus reinforcing the trend that the 2020s are likely to be the point of no return for establishing safety assurance methods for AI-based safety-critical systems towards certifying them for revenue service. Standards and scientific research on the theme feature two main limitations: (i.) a weak contextualization of AI in safety assurance processes applied throughout systems lifecycle, and (ii.) the scarcity of detailed guidelines on safety assurance techniques that are recommended for each AI category. Within this context, this research has three main objectives. The first one is to define an iterative and incremental method that leverages the safety assurance of systems with AI by means of deductive (top-down) safety requirement elicitation and inductive (bottom-up) qualitative and quantitative verification. The second one, in turn, is to build this method by combining safety assurance techniques defined on the literature with other techniques and improvements developed during this research in order to generalize the method for different AI techniques. Finally, the third objective is to identify promising and recommended safety assurance techniques and map them into each AI category and lifecycle step. The method herein named Safety ArtISt (Safety Artificial Intelligence Structure) was designed in this thesis aiming to meet the three aforementioned objectives. It was evaluated by means of a de facto benchmark, which comprises four case studies crafted to fully exercise the Safety ArtISt method that allow evaluating, by means of qualitative and quantitative results, to what extent the three research objectives were met. The results obtained in this research indicate that the aforementioned objectives were met with the Safety ArtISt method, as the latter has been proven to be both effective in developing safety-critical systems with AI and mitigating in advance potential safety problems not in hindsight in projects carried out beforehand by third parties without using Safety ArtISt. Further research targeting further improvements on the Safety ArtISt method, as well as in other themes on the safety assurance of systems with AI, is also explored in this thesis.