Combining LASSO-Type methods with a smooth transition random forest

Abstract

In this work, we propose a novel hybrid method for the estimation of regression models, which is based on a combination of LASSO-type methods and smooth transition (STR) random forests. Tree-based regressions are known for their flexibility and skills to learn even very nonlinear patterns. The STR-Tree model introduces smoothness into traditional splitting nodes, leading to a non-binary labeling, which can be interpreted as a group membership degree for each observation. Our proposed approach has two steps, as follows: in the first step we fit a penalized linear regression, via LASSO-type methods, then, in the second step, we take the residuals from the first step fit and estimate a STR random forest for these residuals once more against the original covariates. Therefore, by doing so, we can capture the possibly important linear relationship in the data generating process, if any, via a parametric approach in the first step, and let a highly flexible model “attack” the non-linearities in the second step. We present numerical studies, both with simulated and real data, to illustrate the performance of our method. Our proposal has shown advantages in terms of predictive power in comparisson with other benchmarks, especially if the data possesses both linear and nonlinear features.

Neste trabalho, propomos um novo método híbrido para a estimação de modelos de regressão, baseado em uma combinação de métodos do tipo LASSO e de random forest com transição suave (STR). Modelos de regressão baseados em árvores são conhecidos por sua flexibilidade e capacidade em reconhecer padrões até mesmo altamente não-lineares nos dados. O modelo STR-Tree introduz suavidade nos nós da árvore, levando a uma atribuição não-binária das observações em cada grupo, o que pode ser interpretado como diferentes graus de pertencimento a eles. Nossa proposta consiste em um método em dois passos, da seguinte forma: primeiro ajustamos uma regressão penalizada através do LASSO, então, no segundo passo, utilizamos os resíduos obtidos no primeiro ajuste e estimamos uma random forest com transição suave (STR) dos resíduos novamente contra as covariáveis originais. Procedendo dessa forma, podemos capturar as possíveis importantes relações lineares nos dados, caso presentes, de forma paramétrica no primeiro passo e deixar um modelo muito mais flexível “atacar” as não-linearidades em um segundo momento. Apresentamos estudos numéricos, tanto com dados simulados quanto com dados reais, para ilustrar o desempenho do nosso método. Nossa proposta se mostrou vantajosa em termos de poder preditivo em comparação com outras referências, especialmente se os dados contêm atributos tanto lineares quanto não-lineares.