In many practical problems related to supervised statistical learning, we are interested in predicting a continuous target. Frequently, the relationship between the explanatory variable and the target variable is nonlinear, so models that introduce nonlinearity for this purpose tend to obtain better performances in general. A statistical model that addresses this problem called the regression splines model has received considerable attention in recent years. This is due to its great predictive power and good fits incorporated by its flexibility. However, the splines regression model has a significant disadvantage: one of its main components, called knots, related to the change points, are usually chosen before the estimation process. They are considered pre-specified values, which in some situations can present severe problems in practical problems. In this work, we propose a new methodology that tries to solve this considering the knots location and knots number as parameters, and we solve this problem as an optimization approach using the nonlinear optimization algorithm BFGS. Furthermore, we introduce new regularization methods to penalize variables with irrelevant knots and avoid overfitting. The proposed methodology obtained many advantages compared to the approach used in the literature, such as automatic estimation of the number and location of knots, regularization methods that avoids overfitting, and selection of irrelevant knots. Our ap- proach obtained several gains in predictive performance and knots estimation in the simulations, thus obtaining better results than the usual procedure.

Em muitos problemas práticos relacionados ao aprendizado estatístico supervisionado, estamos interessados em prever um alvo contínuo. Frequentemente, a relação entre a variável explicativa e o variável alvo é não linear, então os modelos que introduzem não linearidade para este propósito tendem a obter melhores performances em geral. Um modelo estatístico que aborda esse problema é chamado de regressão splines e tem recebido atenção considerável nos últimos anos. Isso se deve ao seu grande poder preditivo e bons ajustes incorporados pela sua flexibilidade. No entanto, o modelo de regressão splines tem um desvantagem significativa: um de seus principais componentes, chamados nós, relacionados aos pontos de mudança, geralmente são escolhidos antes do processo de estimação. São considerados valores pré-especificados, que em algumas situações podem apresentar problemas graves na prática. Neste trabalho, propomos uma nova metodologia que tenta resolver isso considerando a localização dos nós e o número de nós como parâmetros, e resolvemos esse problema como uma abordagem de otimização usando o algoritmo de otimização não linear BFGS. Além disso, introduzimos novos métodos de regularização para penalizar variáveis com nós e evitar overfitting. A metodologia proposta obteve muitas vantagens em relação à a abordagem utilizada na literatura, como a estimativa automática do número e localização de nós, métodos de regularização que evitam overfitting e seleção de nós irrelevantes. Nosso método obteve vários ganhos em desempenho preditivo e estimativa de nós nas simulações, obtendo assim melhores resultados do que o procedimento usual.