• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Thèse de Doctorat
DOI
https://doi.org/10.11606/T.55.2003.tde-11082004-004358
Document
Auteur
Nom complet
Claudia Regina Milaré
Adresse Mail
Unité de l'USP
Domain de Connaissance
Date de Soutenance
Editeur
São Carlos, 2003
Directeur
Jury
Carvalho, André Carlos Ponce de Leon Ferreira de (Président)
Bittencout, Guilherme
Engel, Paulo Martins
Monard, Maria Carolina
Silva, Flavio Soares Correa da
Titre en portugais
"Extração de conhecimento de redes neurais artificiais utilizando sistemas de aprendizado simbólico e algoritmos genéticos"
Mots-clés en portugais
Algoritmo Genético
Extração de Conhecimento de Redes Neurais
Sistemas de Aprendizado Simbólico
Resumé en portugais
Em Aprendizado de Máquina - AM não existe um único algoritmo que é sempre melhor para todos os domínios de aplicação. Na prática, diversas pesquisas mostram que Redes Neurais Artificiais - RNAs têm um 'bias' indutivo apropriado para diversos domínios. Em razão disso, RNAs têm sido aplicadas na resolução de vários problemas com desempenho satisfatório. Sistemas de AM simbólico possuem um 'bias' indutivo menos flexível do que as RNAs. Enquanto que as RNAs são capazes de aprender qualquer função, sistemas de AM simbólico geralmente aprendem conceitos que podem ser descritos na forma de hiperplanos. Por outro lado, sistemas de AM simbólico representam o conceito induzido por meio de estruturas simbólicas, as quais são geralmente compreensíveis pelos seres humanos. Assim, sistemas de AM simbólico são preferíveis quando é essencial a compreensibilidade do conceito induzido. RNAs carecem da capacidade de explicar suas decisões, uma vez que o conhecimento é codificado na forma de valores de seus pesos e 'thresholds'. Essa codificação é difícil de ser interpretada por seres humanos. Em diversos domínios de aplicação, tal como aprovação de crédito e diagnóstico médico, prover uma explicação sobre a classificação dada a um determinado caso é de crucial importância. De um modo similar, diversos usuários de sistemas de AM simbólico desejam validar o conhecimento induzido, com o objetivo de assegurar que a generalização feita pelo algoritmo é correta. Para que RNAs sejam aplicadas em um maior número de domínios, diversos pesquisadores têm proposto métodos para extrair conhecimento compreensível de RNAs. As principais contribuições desta tese são dois métodos que extraem conhecimento simbólico de RNAs. Os métodos propostos possuem diversas vantagens sobre outros métodos propostos previamente, tal como ser aplicáveis a qualquer arquitetura ou algoritmo de aprendizado de RNAs supervisionadas. O primeiro método proposto utiliza sistemas de AM simbólico para extrair conhecimento de RNAs, e o segundo método proposto estende o primeiro, combinado o conhecimento induzido por diversos sistemas de AM simbólico por meio de um Algoritmo Genético - AG. Os métodos propostos são analisados experimentalmente em diversos domínios de aplicação. Ambos os métodos são capazes de extrair conhecimento simbólico com alta fidelidade em relação à RNA treinada. Os métodos propostos são comparados com o método TREPAN, apresentando resultados promissores. TREPAN é um método bastante conhecido para extrair conhecimento de RNAs.
Titre en anglais
Extraction of knowledge from Artificial Neural Networks using Symbolic Machine Learning Systems and Genetic Algorithm
Mots-clés en anglais
Extraction of knowledge from Artificial Neural Networks
Genetic Algorithm
Symbolic Machine Learning Systems
Resumé en anglais
In Machine Learning - ML there is not a single algorithm that is the best for all application domains. In practice, several research works have shown that Artificial Neural Networks - ANNs have an appropriate inductive bias for several domains. Thus, ANNs have been applied to a number of data sets with high predictive accuracy. Symbolic ML algorithms have a less flexible inductive bias than ANNs. While ANNs can learn any input-output mapping, i.e., ANNs have the universal approximation property, symbolic ML algorithms frequently learn concepts describing them using hyperplanes. On the other hand, symbolic algorithms are needed when a good understating of the decision process is essential, since symbolic ML algorithms express the knowledge induced using symbolic structures that can be interpreted and understood by humans. ANNs lack the capability of explaining their decisions since the knowledge is encoded as real-valued weights and biases of the network. This encoding is difficult to be interpreted by humans. In several application domains, such as credit approval and medical diagnosis, providing an explanation related to the classification given to a certain case is of crucial importance. In a similar way, several users of ML algorithms desire to validate the knowledge induced, in order to assure that the generalization made by the algorithm is correct. In order to apply ANNs to a larger number of application domains, several researches have proposed methods to extract comprehensible knowledge from ANNs. The primary contribution of this thesis consists of two methods that extract symbolic knowledge, expressed as decision rules, from ANNs. The proposed methods have several advantages over previous methods, such as being applicable to any architecture and supervised learning algorithm of ANNs. The first method uses standard symbolic ML algorithm to extract knowledge from ANNs, and the second method extends the first method by combining the knowledge induced by several symbolic ML algorithms through the application of a Genetic Algorithm - GA. The proposed methods are experimentally analyzed in a number of application domains. Results show that both methods are capable to extract symbolic knowledge having high fidelity with trained ANNs. The proposed methods are compared with TREPAN, showing promising results. TREPAN is a well known method to extract knowledge from ANNs.
 
AVERTISSEMENT - Regarde ce document est soumise à votre acceptation des conditions d'utilisation suivantes:
Ce document est uniquement à des fins privées pour la recherche et l'enseignement. Reproduction à des fins commerciales est interdite. Cette droits couvrent l'ensemble des données sur ce document ainsi que son contenu. Toute utilisation ou de copie de ce document, en totalité ou en partie, doit inclure le nom de l'auteur.
claudia_milare.pdf (1.33 Mbytes)
Date de Publication
2006-04-17
 
AVERTISSEMENT: Apprenez ce que sont des œvres dérivées cliquant ici.
Tous droits de la thèse/dissertation appartiennent aux auteurs
CeTI-SC/STI
Bibliothèque Numérique de Thèses et Mémoires de l'USP. Copyright © 2001-2024. Tous droits réservés.