Statistical learning methods for time series forecasting

Abstract

Métodos para alta dimensão tem ganhado cada vez mais importância na literatura econométrica, onde a inclusão de um grande número de variáveis econômicas e financeiras pode melhorar significativamente o desempenho de previsões de séries temporais. Porém, em um contexto de alta dimensão, métodos tradicionais enfrentam alguns problemas relacionados à interpretabilidade do modelo, variância elevada, correlação espúria, eficiência computacional, entre outros. Métodos de aprendizado estatístico são desenvolvidos para um melhor desempenho de previsão, combinando técnicas de regularização e ajuste empírico dos parâmetros e são capazes de lidar com alguns destes problemas na presença de conjuntos de dados de alta dimensão. No artigo que integra esta dissertação, utilizamos uma variedade de métodos de aprendizado estatístico para previsão de séries temporais, realizando diversos exercícios numéricos, incluindo simulação Monte Carlo e análise empírica de dados. Propusemos um método chamado WLadaENet (weighted lag adaptive Elastic Net), que combina regularização quadrática com penalização ponderada semelhante ao método adaENet, porém, penaliza mais severamente coeficientes de variáveis com defasagens mais elevadas, como o método WLadaLASSO Em nossas simulações, o método WLadaENet apresenta um bom desempenho em termos de seleção de variáveis quando o modelo é esparso e em termos de previsão fora da amostra, mesmo quando o modelo não é esparso e apresenta não linearidades. Em nossa primeira aplicação empírica realizamos previsões entre 1 e 12 meses da inflação do Brasil e do núcleo de inflação, incluindo previsões da inflação acumulada. Na segunda aplicação realizamos previsões para a inflação dos Estados Unidos. O método Ridge apresenta um bom desempenho para as previsões da inflação brasileira e um desempenho moderado para as previsões da inflação norte americana utilizando-se amostras de tamanho semelhante. Porém, quando utilizada uma amostra muito maior para a previsão da inflação norte americana, o desempenho método Ridge reduz drasticamente, enquanto o desempenho do método L2Boost melhora significativamente, principalmente pra a inflação acumulada. O método proposto no artigo, WLadaENet, também apresenta um bom desempenho para previsão da inflação norte americana neste caso.

High-dimensional methods are getting more and more present in the literature and the inclusion of a large set of economic and financial predictors can improve the time series forecasting performance significantly. However, in high-dimensional context traditional methods face some challenges related to the model‘s interpretability, high variance, spurious correlation, compu- tational efficiency, among others. Statistical learning methods, which are designed to improve out-of-sample prediction by combining regularization and empirical tuning, are able to handle some of these issues in high-dimensional context. In the paper contained into this dissertation we employ a variety of high-dimensional statistical learning methods in order to perform time series forecasting, carrying out a simulation study and presenting two empirical applications. A method we call WLadaENet (weighted lag adaptive Elastic Net) is proposed, which combines quadratic regularization and the adaptive weighted LASSO shrinkage similarly to adaENet, but further penalizes coefficients of higher-lagged variables like WLadaLASSO In our Monte Carlo implementation, the WLadaENet presents a good performance in terms of variable selection when the model is sparse and in terms of forecasting even when the model is not sparse and nonlinearities are included. In the first application we perform forecasts of Brazilian inflation and the core inflation from 1 to 12 months ahead, including the accumulated inflation. In the second application we forecast U.S. inflation. We find that Ridge Regression has a good performance to forecast Brazilian inflation, and a moderate performance to forecast U.S. inflation when the data have (almost) the same size, in turn, when we use a larger sample the performance of Ridge Regression decreases while L2Boost improves its performance, especially when accumulated inflation is considered. The method WLadaENet proposed in the paper also presents a good performance to forecast U.S. inflation in this case.