A Inferência em Linguagem Natural, do inglês Natural Language Inference (NLI), é um dos tópicos de pesquisa do Processamento Computacional de Linguagem Natural. Consiste, basicamente, na tarefa de determinar se um texto breve em língua natural, chamado premissa, acarreta outro texto, chamado hipótese. Normalmente, a tarefa é apresentada em forma de pares de premissa-hipótese e uma classificação para a relação de acarretamento. Neste trabalho, propomo-nos a testar diferentes métodos de solução para os proble- mas de NLI oferecidos pelos três primeiros conjuntos de dados do Pascal RTE Challenge (Dagan et al., 2005), o RTE-₁, o RTE-₂ e o RTE-₃. Para tanto, implementamos quatro métodos diferentes de solução e algumas combinações entre eles: um método baseado em regras de Bag-of-Words (BoW) sem alinhamento, um baseado em alinhamento sen- tencial, um baseado em representação lógica para os textos dos pares e um baseado na tarefa de Question Answering (QA). Nosso objetivo é comparar em que medida métodos baseados em regras são eficazes para solucionar problemas de NLI e em que medida podem concorrer minimamente com modelos baseados em arquiteturas Transformer como o RoBERTa (Liu et al., 2019b), cujo desempenho é reconhecidamente bom nessa tarefa. A partir da implementação de diferentes regras de classificação, compusemos dois modelos. O primeiro, chamado BCBI, foi composto por regras de BoW sem alinhamento e por um Classificador Bayesiano Ingênuo. O segundo, chamado BACBI, foi composto regras de BoW, métodos de alinhamento e por um Classificador Bayesiano Ingênuo. O BCBI obteve uma acurácia de 65% no RTE-₁, 57% no RTE-₂ e 63% no RTE-₃. O modelo BACBI obteve uma acurácia de 55% no RTE-₁, 57% no RTE-₂ e 60% no RTE-₃. Para o teste baseado em QA, convertemos hipóteses em perguntas polares (sim/não) e mantivemos as premissas como se fossem candidatas a respostas. As duas são passadas para o modelo RoBERTa para a classificação dos pares. Avaliado nos conjuntos de dados, o modelo atingiu uma acurácia de 74% no RTE-₁, 78% no RTE-₂ e 71% no RTE-₃. Por fim, comparamos os resultados alcançados pelos modelos com outros trabalhos avaliados nos conjuntos de dados. Concluímos que os modelos baseados em regras não foram eficazes para solucionar os problemas da tarefa. O método baseado no modelo RoBERTa, no entanto, atingiu resultados compatíveis com as melhores classificações nos corpora relatadas na literatura.

Natural Language Inference (NLI) is a research topic in Natural Language Processing. In short, NLI is the task of determining if a natural language text, called premise, entails another text, the hypothesis. Generally, the problem is formulated as a premise- hypothesis pair together with a classification label for the entailment relation. In this work, we propose to test different classification methods for the NLI problems offered by the first three datasets of the Pascal RTE Challenge benchmarks (Dagan et al., 2005), RTE-₁, RTE-₂ and RTE-₃. For this purpose, we implemented four different classification methods and some combinations between them: one based on Bag-of- Words (BoW) without alignment, one based on sentence alignment, one based on logical representation of the pairs, and one based on the Question Answering (QA) task. Our goal is to compare them, to evaluate the effectiveness of rule-based methods in solving the NLI problems, and to find out to what extent they could compete with Transformers based models such as RoBERTa (Liu et al., 2019b) that are generally recognized for their performance in this task. From the implementation of different classification rules, we composed two models. The first one, called BCBI, was composed by BoW rules without alignment, and a Naive Bayes Classifier. The second model, called BACBI, was composed by BoW rules, alignment methods, and a Naive Bayes Classifier. The BCBI model achieved an accuracy of 65% in the RTE-₁, 57% in the RTE-₂ and 63% in the RTE-₃ dataset. The BACBI model, in turn, achieved an accuracy of 55% in the RTE-₁, 57% in the RTE-₂ and 60% in the RTE-₃. For the QA-based test, we converted the hypothesis into polar questions (yes/no) and used the premises as candidates for answers. Both were input in the RoBERTa model for the pairs classification. This model achieved an accuracy of 74% in the RTE-₁, 78% in the RTE-₂ and 71% in the RTE-₃. Finally, we compared the results achieved by the models with other works evaluated in the same datasets. The rule-based models were not as efficient as the Transformer based model in solving NLI tasks. The latter achieved results comparable to some of the best classifiers for the RTE datasets.