Natural language inference (NLI) is the task of determining the entailment relationship between a pair of sentences. We are interested in the problem of verifying whether the deep learning models current used in NLI satisfy some logical properties. In this thesis, we focus on two properties: i) the capacity of solving deduction problems based on some specific logical forms (e.g., Boolean coordination, quantifiers, definite description, and counting operators); and ii) the property of having the same conclusion from equivalent premises. For each one of these properties we develop a new evaluation procedure. For i) we offer a new synthetic dataset that can be used both for inference perception and inference generation; and for ii) we propose a null hypothesis test constructed to represent the different manners that the inclusion of sentences with the same meaning can affect the training of a machine learning model. Our results show that although deep learning models have an outstanding performance on the majority of NLI datasets, they still lack some important inference skills such as dealing with counting operators, predicting which word can form an entailment given an specific context, and presenting the same deductions for two different text inputs with the same meaning. This indicates that despite the high prediction power of these new models, they do present some inference biases that cannot be easily removed. Future investigations are needed in order to understand the scope of this bias. It is possible that by increasing the training sample size in the fine-tuning phase, this bias can be reduced.

Inferência em linguagem natural (natural language inference - NLI) é uma tarefa de classificação de texto baseada em determinar a relação de implicação entre um par de sentenças. Nessa tese estamos interessados em verificar se os modelos de deep learning usados em NLI satisfazem algumas propriedades lógicas. Aqui, focamos em duas propriedades: i) a capacidade de resolver problemas de dedução usando algumas formas lógicas (por exemplo, coordenação Booleana, quantificadores, descrição definida e operadores de contagem); e ii) a propriedade de ter a mesma conclusão partindo de premissas equivalentes. Para cada uma dessas propriedades, desenvolvemos um novo procedimento de avaliação. Para i) oferecemos um novo conjunto de dados sintético que podem ser usados tanto para a classificação quanto para a geração de inferência; e para ii) propomos um teste de hipóteses construído para representar as diferentes maneiras que a inclusão de sentenças com o mesmo significado pode afetar o treinamento de um modelo de aprendizado de máquina. Nossos resultados mostram que, embora os modelos de deep learning tenham um desempenho excelente na maioria dos problemas de NLI, eles ainda carecem de algumas importantes habilidades de inferência, como lidar com operadores de contagem, prever qual palavra pode formar uma implicação em um contexto específico e apresentar as mesmas deduções para duas entradas de texto que são diferentes mas possuem o mesmo significado. Isso indica que, apesar do grande poder de predição desses novos modelos, eles apresentam alguns viéses de inferência que não podem ser facilmente removidos. Futuras investigações precisam ser feitas para se entender o alcance desse víes. É possível que aumentando o tamanho da amostra de treinamento na fase de fine-tuning esse viés seja reduzido.