• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Master's Dissertation
DOI
https://doi.org/10.11606/D.54.1992.tde-07042015-165731
Document
Author
Full name
Osame Kinouchi Filho
Institute/School/College
Knowledge Area
Date of Defense
Published
São Carlos, 1992
Supervisor
Committee
Alfonso, Nestor Felipe Caticha
Fontanari, Jose Fernando
Wreszinski, Walter Felipe
Title in Portuguese
Generalização ótima em perceptrons
Keywords in Portuguese
Não disponível
Abstract in Portuguese
O perceptron tem sido estudado no contexto da física estatística desde o trabalho seminal de Gardner e Derrida sobre o espaço de aclopamentos desta rede neural simples. Recentemente, Opper e Haussler calcularam via método de réplicas, o desempenho ótimo teórico do perceptron na aprendizagem de uma regra a partir de exemplos (generalização). Neste trabalho encontramos a curva de desempenho ótimo após a primeira apresentação dos exemplos (primeiro passo da dinâmica de aprendizagem). No limite de grande número de exemplos encontramos que o erro de generalização é apenas duas vezes maior que o erro encontrado por Opper e Haussler. Calculamos também o desempenho ótimo para o primeiro passo da dinâmica de aprendizagem com seleção de exemplos. Mostramos que a seleção ótima ocorre quando o novo exemplo é escolhido ortogonal ao vetor de acoplamentos do perceptron. O erro de generalização neste caso decai exponencialmente com o número de exemplos. Propomos também uma nova classe de algoritmos de aprendizagem que aproxima muito bem as curvas de desempenho ótimo. Estudamos analiticamente o primeiro passo da dinâmica de aprendizagem e numericamente seu comportamento para tempos longos. Mostramos que vários algoritmos conhecidos (Hebb, Perceptron, Adaline, Relaxação) podem ser interpretados como aproximações, de maior ou menor qualidade, de nosso algoritmo
Title in English
Not available
Keywords in English
Not available
Abstract in English
The perceptron has been studied in the contexto f statistical physics since the seminal work of Gardner and Derrida on the coupling space of this simple neural network. Recently, Opper and Haussler calculated, with the replica method, the theoretical optimal performance of the perceptron for learning a rule (generalization). In this work we found the optimal performance curve after the first presentation of the examples (first step of learning dynamics). In the limit of large number of examples the generalization error is only two times the error found by Opper and Haussler. We also calculated the optimal performance for the first step in the learning situation with selection of examples. We show that optimal selection occurs when the new example is choosen orthogonal to the perceptron coupling vector. The generalization error in this case decay exponentially with the number of examples. We also propose a new class of learning algorithms which aproximates very well the optimal performance curves. We study analytically the first step of the learning dynamics and numerically its behaviour for long times. We show that several known learning algorithms (Hebb, Perceptron, Adaline, Relaxation) can be seen as more or less reliable aproximations o four algorithm
 
WARNING - Viewing this document is conditioned on your acceptance of the following terms of use:
This document is only for private use for research and teaching activities. Reproduction for commercial use is forbidden. This rights cover the whole data about this document as well as its contents. Any uses or copies of this document in whole or in part must include the author's name.
OsameFilhoM.pdf (4.57 Mbytes)
Publishing Date
2015-04-08
 
WARNING: Learn what derived works are clicking here.
All rights of the thesis/dissertation are from the authors
CeTI-SC/STI
Digital Library of Theses and Dissertations of USP. Copyright © 2001-2024. All rights reserved.