Trees, forests, and impurity-based variable importance in regression
Erwan Scornet
Abstract
Les méthodes d’ensemble basées sur les arbres de décision comme les forêts aléatoires (Mach. Learn. 45 (2001) 5–32) sont très prisées pour traiter des jeux de données tabulaires de grande dimension, notamment de par leur capacité à détecter des signaux parcimonieux et les bonnes performances prédictives qui en découlent. Cependant, lorsque l’apprentissage automatique est utilisé pour des problèmes d’aide à la décision, choisir la procédure à utiliser uniquement au regard de ses capacités prédictives n’est pas souhaitable. En effet, prendre une décision éclairée requiert de comprendre les phénomènes régissant le comportement des données, ce qui n’est possible qu’en ayant une compréhension précise du processus de prédiction de l’algorithme. Malheureusement, les forêts aléatoires ne sont pas intrinsèquement interprétables puisque leur prédiction résulte de l’agrégation de plusieurs centaines d’arbres de décision. Une approche classique pour améliorer la compréhension de ces “boîtes noires” est de calculer les indices d’importance de variables, qui sont employés pour quantifier l’influence de chaque variable d’entrée sur la sortie. Les mesures d’importance de variables sont ensuite utilisées pour classer ou sélectionner les variables et jouent ainsi un rôle prépondérant dans les analyses de données. Le MDI (Mean Decrease Impurity) est l’une des deux mesures d’importance calculées par les forêts aléatoires. Cependant, il n’y a aucune justification théorique à l’utilisation du MDI : nous ne savons toujours pas vers quelle quantité cet indicateur converge. Dans cet article, nous analysons le MDI et prouvons qu’en l’absence d’interactions entre les variables d’entrées, si celles-ci sont de plus indépendantes, alors le MDI fournit une décomposition de la variance de la sortie, où la contribution de chaque variable d’entrée est clairement identifiée. Nous étudions également des modèles contenant des interactions ou de la dépendance (entre les variables d’entrées), et montrons que le MDI est intrinsèquement mal défini pour ces modèles.