• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Master's Dissertation
DOI
https://doi.org/10.11606/D.45.2021.tde-05042022-095004
Document
Author
Full name
Cleber Batista de Souza
E-mail
Institute/School/College
Knowledge Area
Date of Defense
Published
São Paulo, 2021
Supervisor
Committee
Chiann, Chang (President)
Lopes, Kim Samejima Mascarenhas
Silva, Flavio Soares Correa da
Title in Portuguese
Árvores de decisão: a evolução do CART ao BART
Keywords in Portuguese
AdaBoost
Árvores Bayesianas
Árvores de classicação
Árvores de decisão
Árvores de regressão
Bagging
BART
Boosting
CART
Florestas aleatórias
Gradiente boost
XGBoost
Abstract in Portuguese
O objetivo deste trabalho é apresentar a evolução do uso dos modelos de Árvore de Decisão cuja linhagem remonta ao modelo CART (Classication And RegressionTrees) apresentado na publica- ção seminal Breiman et al. (1984). O modelo CART gerou uma sequência frutífera de modelos a partir da ideia de replicação da amostra disponível (via bootstrap) e/ou multiplicação no número de árvores (ensembles) para compor um resultado nal. Passando pelo Bagging com replicação de amostras seguido das Florestas Aleatórias com a soma de múltiplas de árvores, apresentamos os modelos baseados em boosting: AdaBoost, Gradiente Boost e XGBoost. Surgidos a partir da utilização dos modelos aditivos, árvores são ajustadas em sequência onde cada árvore subsequente procura diminuir o erro cometido pela precedente e ao mesmo tempo maximizar uma função de perda que engloba o conjunto de árvores como um todo, o resultado nal é a soma de todas árvores geradas. Os modelos de árvores Bayesianas também são apresentados: árvores Bayesianas CART e árvores Bayesianas BART. Para cada modelo desenvolvemos, segundo aplicável, como a árvore é construída, estimativas de erro, funções de perda adequadas, medidas de importância de variáveis, algoritmo de cálculo e uma ilustração para entendimento. No nal mostramos resultados de simula ção e aplicações em dados reais.
Title in English
Decision trees: the evolution from CART to BART
Keywords in English
AdaBoost
Bagging
BART
Bayesian CART trees
Boosting
CART
Classication trees
Decision trees
Gradient boost
Random forest
Regression trees
XGBoost
Abstract in English
The objective of this work is to present the evolution of the use of Decision Tree models whose lineage goes back to the CART model (Classication And RegressionTrees) presented in the seminal publication Breiman et al. (1984). The CART model generated a fruitful sequence of models from the idea of replicating the available sample (via bootstrap) and/or multiplying in the number of trees (ensembles) to compose a nal result. Going through Bagging with replication of samples followed by Random Forests with the sum of multiples of trees, we present the models based on boosting: AdaBoost, Gradient Boost and XGBoost. Arising from the use of additive models, trees are adjusted in sequence where each subsequent tree seeks to reduce the error made by the preceding one and at the same time maximize a loss function that encompasses the set of trees as a whole, the nal result is the sum of all generated trees. Bayesian tree models are also presented: Bayesian CART trees and Bayesian BART trees. For each model we develop, as applicable, how the tree is constructed, error estimates, suitable loss functions, variable importance measures, calculation algorithm and an illustration for understanding. At the end we provide simulation results and applications on real data.
 
WARNING - Viewing this document is conditioned on your acceptance of the following terms of use:
This document is only for private use for research and teaching activities. Reproduction for commercial use is forbidden. This rights cover the whole data about this document as well as its contents. Any uses or copies of this document in whole or in part must include the author's name.
Publishing Date
2022-04-06
 
WARNING: Learn what derived works are clicking here.
All rights of the thesis/dissertation are from the authors
CeTI-SC/STI
Digital Library of Theses and Dissertations of USP. Copyright © 2001-2024. All rights reserved.