• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Dissertação de Mestrado
DOI
https://doi.org/10.11606/D.45.2021.tde-07062021-135753
Documento
Autor
Nome completo
Felipe Ribas Serras
E-mail
Unidade da USP
Área do Conhecimento
Data de Defesa
Imprenta
São Paulo, 2021
Orientador
Banca examinadora
Finger, Marcelo (Presidente)
Maranhão, Juliano Souza de Albuquerque
Vieira, Renata
Título em português
Algoritmos baseados em atenção neural para a automação da classicação multirrótulo de acórdãos jurídicos 
Palavras-chave em português
Acórdãos
Aplicações legais da ciência da computação
BERT
Classificação automática de textos
Classificação de textos jurídicos
Inteligência artificial
Linguística computacional
Mecanismos de atenção
Processamento de linguagem natural
Redes neurais
Transformers
Verbetação
Resumo em português
No Brasil e em vários outros países, decisões de tribunais superiores criam jurisprudência e podem ser utilizadas na resolução de casos semelhantes. Os acórdãos, textos que registram tais decisões, contam com uma classificação multicategoria e multirrótulo chamada de verbetação, realizada manualmente com a intenção de que tais documentos possam ser facilmente buscados e recuperados. A literatura da área já identificou vários problemas na elaboração dessas verbetações; concomitantemente, algoritmos neurais de linguística computacional baseados em atenção, como o Transformer e o BERT, têm ganhado destaque ao permitir que a resolução automática de problemas linguísticos atinja patamares nunca antes alcançados, lançando questões sobre seus limites, potencial e aplicabilidade. O trabalho de pesquisa aqui apresentado consiste num estudo inicial do uso de algoritmos baseados em atenção para a automação da verbetação de acórdãos em português, com o intuito de lançar caminhos para a resolução dos problemas listados na literatura e de agregar conhecimento do escopo e funcionalidade dessa família de métodos. Para tal, utilizamos dados do Projeto Kollemata como base para implementar e treinar versões multicategoria e multirrótulo de diversos modelos BERT, com o intuito de realizar a verbetação de acórdãos de maneira automática. Esse processo constituiu-se de três etapas: a construção de um córpus processável a partir dos dados do Kollemata e a consequente análise exploratória desse córpus com o intuito de mapear as propriedades dos dados a serem utilizados; a adequação ontológica e taxonômica do sistema de classes do córpus com base nos resultados obtidos dessa análise, de maneira a tornar a classificação computacionalmente viável; a implementação de uma versão multicategoria e multirrótulo do BERT e seu treinamento com o córpus adequado, sob diversos parâmetros e usando diferentes modelos BERT de interesse, de maneira a avaliar o comportamento e limites das médias da Medida-F1 e outros índices de performance. Obtivemos, no melhor caso, 72% para a micro-média da medida-F1 e 71% para sua macro-média, constituindo ganhos da ordem de 30% ou mais em relação aos baselines estatísticos utilizados. Além disso, encontramos uma família ótima de parâmetros para essa tarefa, condizente com valores ótimos obtidos para tarefas distintas e observamos uma série de propriedades interessantes da evolução das métricas de performance em função de diferentes parâmetros. Registramos, também, melhor performance dos modelos maiores e pré-treinados com dados em português, em comparação com modelos menores e multilinguais. Entretanto, essa vantagem é pequena, o que indica a possibilidade da utilização de modelos menores e multilinguais para essa tarefa em específico, sem perda significativa de qualidade. Uma análise cuidadosa desse e de outros resultados auxiliares aqui apresentados, também nos levou a concluir que a principal barreira na obtenção de melhores resultados de performance é a forma como os dados foram classificados e organizados, indicando esse como principal aspecto de melhora a ser implementado em trabalhos futuros.
Título em inglês
Using neural attention-based algorithms to automate court decisions multilabel classification.
Palavras-chave em inglês
Artificial intelligence
Attention mechanisms
Automatic text categorization
BERT
Computational linguistics
Court decisions
Legal applications of computer science
Legal texts categorization
Natural language processing
Neural networks
Transformers
Resumo em inglês
In Brazil and several other countries, higher court rulings create precedence and can be used to solve similar cases. The court decisions are recorded in documents that have a multiclass and multi-label classification called "verbetação", which is performed manually so that such documents can be easily retrieved in cases of interest. The literature in the field has already identified several problems in these classifications; at the same time, attention-based neural algorithms, such as Transformer and BERT, have gained prominence by allowing Computational Linguistics problem solving to reach levels never achieved before, bringing out questions about their potential, applicability, and limits. The objective of this research work was to carry out an initial study of the use of attention-based algorithms for the automation of court decision classification and to further improve the understanding of the scope and functionality of this family of methods. To this end, we used data from Kollemata Project to implement and train multi-label and multiclass versions of different BERT models, aiming to perform the classification of judicial decisions automatically. This process consisted of three stages: building a processable córpus from the Kollemata dataset, and the consequent exploratory analysis of this corpus, mapping the properties of the data; ontologically adequating the córpus system of classes, making it computationally viable for classification purposes; implementing a multiclass and multi-label version of BERT and training different BERT models with the adapted córpus, under different parameters, aiming to evaluate the behavior and limits of the micro-averaged and macro-averaged F1-Measure, as well as of other performance metrics. We obtained, in the best case, 72% for micro-averaged F1 and 71% for macro-averaged F1, corresponding to gains of 30% or more over the tested statistical baselines. Besides that, we found an optimal set of parameters to this task, consistent with optimal values obtained for other tasks, and observed different interesting properties about the evolution of the studied metrics with different tested parameters. We also registered higher performances for bigger and Portuguese-based models, in contrast with the multilingual and smaller ones, however, this advantage is small, which corroborates the use of smaller and multilingual models for this specific task. A detailed analysis of this and other auxiliary results, also presented in this work, revealed that the main obstacle in improving these performance metrics is the form that the training data was originally organized and classified, indicating this as the main aspect to be studied and improved in subsequent works.
 
AVISO - A consulta a este documento fica condicionada na aceitação das seguintes condições de uso:
Este trabalho é somente para uso privado de atividades de pesquisa e ensino. Não é autorizada sua reprodução para quaisquer fins lucrativos. Esta reserva de direitos abrange a todos os dados do documento bem como seu conteúdo. Na utilização ou citação de partes do documento é obrigatório mencionar nome da pessoa autora do trabalho.
DissertacaoFinal.pdf (7.02 Mbytes)
Data de Publicação
2021-06-14
 
AVISO: Saiba o que são os trabalhos decorrentes clicando aqui.
Todos os direitos da tese/dissertação são de seus autores
CeTI-SC/STI
Biblioteca Digital de Teses e Dissertações da USP. Copyright © 2001-2022. Todos os direitos reservados.