Mean-field Langevin dynamics and energy landscape of neural networks

Abstract

L’objectif de nos travaux est d’étudier le fondement théorique pour la convergence des algorithmes du type gradient stochastique, qui sont très souvent utilisés dans les problèmes d’apprentissage non-convexe, e.g. calibrer un réseau de neurones. L’observation clé, qui a déjà été remarquée dans (Mei, Montanari and Nguyen (2018); Chizat and Bach (2018); Rotskoff and Vanden-Eijnden (2018)), est qu’une certaine classe de problèmes non-convexes fini-dimensionnels devient convexe une fois injectée dans l’espace des mesures de probabilité. À l’aide de cette observation nous montrons que la fonction d’énergie correspondante définie dans l’espace des mesures de probabilité a un unique minimiser qui peut être caractérisé par une condition de premier ordre en utilisant la notion de dérivée fonctionnelle. Par la suite, nous étudions la structure de flux de gradient avec la métrique de 2-Wasserstein, que nous appelons la dynamique de Langevin au champs moyen (MFLD), et nous montrons que la loi marginale du flux de gradient converge vers une loi stationnaire qui correspond au minimiser de la même fonction d’énergie précédente. Sous certaines conditions de régularité du probléme initial, la convergence a lieu à une vitesse exponentielle. Nos preuves de la convergence vers la loi stationnaire est nouvelle, qui reposent sur le principe d’invariance de LaSalle et l’inégalité HWI. Remarquons que nous ne supposons pas que l’interaction potentielle de MFLD soit du type convolution ou symétrique. De plus, nos résultats s’appliquent aux fonctions d’objectif convexes générales contrairement aux beaucoup d’articles dans la littérature qui se limitent aux fonctions quadratiques. Enfin, nous montrons que la différence entre le probléme initial d’optimisation fini-dimensionnel et sa limite dans l’espace des mesures de probabilité est de l’ordre d’un sur le nombre de paramètres.

Topics & Concepts