As time passes by, the performance of real-world predictive models degrades due to distributional shifts. Typical countermeasures, such as retraining and online learning, can be costly and difficult to implement in production, especially when business constraints and culture are accounted for. Causality-based approaches aim at identifying invariant mechanisms from data, thus leading to more robust predictors at the possible expense of a decrease in short-term performance. However, most such approaches scale poorly to high dimensions or require extra knowledge such as segmentation of the data in representative environments. In this work, we review the literature on the limitations of Machine Learning in real settings, with a focus on approaches that use causality concepts to improve generalization. Motivated by the shortcomings discussed above, we develop Time Robust Forests (TRF), a new algorithm for inducing decision trees with an inductive bias towards learning time-invariant rules. The algorithm's main innovation is to replace the usual information-gain split criterion (or similar) with a new criterion that examines the imbalance among classes induced by the split through time. Experiments with real data show that our approach can improve long-term generalization, thus offering an interesting alternative for dynamical classification problems.

Com o passar do tempo, o desempenho de modelos preditivos em dados reais degrada devido a mudanças na distribuição dos dados. Medidas típicas como o retreino e aprendizado em tempo-real podem ser custosas e difíceis de implementar em produção, especialmente quando restrições de negócio e cultura organizacional são levados em conta. Abordagens baseadas em causalidade buscam identificar mecanismos invariantes nos dados, resultando em preditores mais robustos às custas da diminuição de desempenho no curto prazo. Grande parte dessas abordagens, porém, não escala bem com alta dimensionalidade, ou requer conhecimento extra, tal como a segmentação do conjunto de dados em ambientes representativos. Neste trabalho, revisamos a literatura sobre as limitações do Aprendizado de Máquina em cenários reais com um foco em abordagens que usam conceitos de causalidade para melhorar a generalização. Motivados pelas deficiências discutidas acima, desenvolvemos a Floresta Temporalmente Robusta (TRF), um novo algoritmo para induzir árvores de decisão com um viés indutivo para o aprendizado de regras temporalmente invariantes. A inovação do algoritmo está em substituir o habitual critério para divisão baseado em ganho de informação por um novo critério que toma em consideração o desbalanceamento entre as classes a serem separadas em uma perspectiva temporal. Experimentos com dados vindos de aplicações reais mostram que nossa abordagem pode melhorar a generalização no longo prazo, oferecendo desta forma uma alternativa para problemas de classificação de caráter dinâmico.