Intelligence artificielle

Réseaux de neurones profonds en évolution – Vers la science des données

Réseaux de neurones profonds en évolution - Vers la science des données


Photo de Johannes Plenio sur Unsplash

Beaucoup d'entre nous ont vu Deep Learning remporter un succès énorme dans divers domaines ces dernières années, en grande partie grâce à leur capacité à automatiser la phase d'ingénierie des caractéristiques, souvent fastidieuse et difficile, en apprenant des «extracteurs de caractéristiques hiérarchiques» à partir de données. [2]. De plus, dans la mesure où la conception de l’architecture (c’est-à-dire le processus de création de la forme et de la fonctionnalité d’un réseau de neurones) est un processus long et difficile, principalement manuelle, l’innovation est limitée et la plupart des progrès ont été réalisés à partir d’algorithmes performants. remarquablement bien avec les ressources et données informatiques actuelles [13]. Un autre problème est que les réseaux de neurones profonds sont principalement optimisés par des algorithmes de suivi de gradient (tels que SGD, RMSProp), qui constituent une excellente ressource pour limiter l’espace de recherche, mais sont susceptibles d’être piégés par les optima locaux, les points de selle et les gradients bruyants, en particulier dans les environnements denses. domaines de solution tels que l'apprentissage par renforcement [6].

Illustration d'une fonction avec des gradients bruyants et plusieurs minima locaux. Un algorithme de suivi de gradient tel que SGD sera facilement piégé par les minima locaux s'il est initialisé dans une valeur basse (0 à 30) ou élevée (65 à 100).

Cet article décrit la manière dont les algorithmes évolutifs ont été proposés et testés comme une alternative compétitive pour résoudre les problèmes décrits.

Recherche d'architecture neuronale

Alors que les réseaux de neurones profonds (DNN) ont de plus en plus de succès, la demande d'ingénierie d'architecture permettant de meilleures performances augmente. Avec la complexité croissante de DNN, la capacité des humains à les concevoir manuellement est contrainte et donc la recherche d’architecture neuronale (NAS) les méthodes deviennent de plus en plus importantes. Ce problème devient particulièrement intéressant lorsque la leçon amère de Sutton [15] est pris en compte:

La plus grande leçon que l’on puisse tirer de 70 années de recherche sur l’IA est que les méthodes générales qui utilisent le calcul sont finalement les plus efficaces, et de loin.

Les algorithmes évolutifs (EA) se sont révélés utiles dans ce domaine [10].

On pourrait penser à NAS comme un processus en trois dimensions [2]. La première dimension est leur espace de recherche, qui définit les architectures possibles pouvant être représentées par l’algorithme. Naturellement, un espace de recherche plus grand implique davantage de combinaisons possibles à tester. Afin de rendre le problème résolu, certaines contraintes s’appliquent directement aux couches:

  1. Un nombre maximum de couches est sélectionné.
  2. Ils ne peuvent être connectés que dans une configuration en chaîne (séquentielle) ou multi-branches.
  3. Les blocs de construction des types de couches sont prédéfinis, mais leurs hyperparamètres peuvent être ajustés.
Exemples de réseaux de neurones connectés en chaîne (à gauche) et multi-branches (à droite). Chaque nœud représente une couche et chaque flèche symbolise la connexion entre eux. Reproduit de Elsken et al. [2].

Ensuite vient le Stratégie de recherche, qui définit comment explorer l’espace de recherche. La recherche aléatoire, l'optimisation bayésienne, l'apprentissage par renforcement, l'optimisation par gradients et les approches neuro-évolutives sont des solutions courantes. La première approche pour les NAS évolutifs provient de Miller et al. [7] qui ont utilisé des approches génétiques pour proposer des architectures et une rétropropagation pour optimiser les poids. Ensuite, Stanley et Risto [12] a présenté NeuroEvolution of Augmenting Topologies (NEAT), un algorithme génétique pour l'évolution des réseaux de neurones artificiels (RNA) qui non seulement optimise, mais complexifie également les solutions en tenant compte à la fois de la forme physique et de la diversité. Plus récemment, Real et al. [9] ont constaté que l'évolution fonctionnait tout aussi bien que l'apprentissage par renforcement en termes de précision, mais elle développait de meilleures performances à mi-temps et des modèles plus petits (une description plus détaillée de ce cas est donnée ci-dessous).

Néanmoins, les algorithmes génétiques et DNN sont connus pour exiger des ressources élevées, de l'ordre de milliers de jours GPU. Par conséquent, pour que NAS soit une stratégie abordable, l’estimation de la performance doit être effectuée avec une fidélité inférieure (c'est-à-dire moins de certitude, en utilisant une approximation) par rapport à la performance réelle. Quelques exemples à ce sujet sont [11], qui utilise un ANN pour prédire la performance des réseaux candidats, en se rapprochant du front de Pareto optimal, et [8], en mettant en œuvre une stratégie d’estimation de la performance dans laquelle un réseau de neurones LSTM est utilisé pour estimer le score de validation d’un autre réseau de neurones candidats pour seulement quelques époques de formation. Au lieu de procéder à une estimation, certaines approches ont tenté de conserver la fonctionnalité du réseau de neurones tout en modifiant son architecture et en accélérant ainsi la formation. Auto-Keras [5] a été construit sur cette approche.

Les applications du NAS aux architectures de réseaux neuronaux traditionnelles ont fait l'objet de recherches au cours des dernières années, ce qui a permis d'obtenir un nouveau résultat à la pointe de la technologie. Pour donner quelques exemples, Rawal et al.[8] a proposé un codage arborescent d'un DNN faisant l'objet d'une recherche par programmation génétique et une performance améliorée de LSTM sur la modélisation de langage standard basée (c'est-à-dire la prédiction du mot suivant dans un grand corpus de langage) de 0,9 points de perplexité (le nouveau modèle estime désormais mieux le langage cible Distribution). En outre, sur la classification des images, Real et al. [9] faire évoluer AmoebaNet-A pour atteindre une précision ImageNet de 83,9% dans le top 1, de 96,6% dans le top 5 et ainsi établir un nouvel état de la technique. Il a été proposé que ces résultats puissent être encore développés en tirant parti de la diversité inhérente aux populations d'AG pour amplifier les méthodes actuelles d'assemblage et même l'encourager explicitement, en récompensant directement des ensembles au sein d'une population plutôt que des modèles directs.

Apprentissage en cours de renforcement

Les algorithmes neuro-évolutifs peuvent être divisés en deux: l'évolution des pondérations et de l'architecture (par exemple, le NAS) et celles qui tentent uniquement d'optimiser les pondérations d'un DNN. La combinaison d'algorithmes évolutifs avec l'apprentissage par renforcement se présente généralement sous la forme d'une implémentation uniquement pondérée.

Comme en général, les algorithmes basés sur les gradients, tels que l'exploration de contraintes de descente de gradient stochastique (SGD) au suivi d'un gradient, leur espace de recherche devient quelque peu linéaire et les minima locaux deviennent un problème. [1]. De plus, avec Deep Reinforcement Learning (Deep RL), deux problèmes supplémentaires se posent: il est difficile d’associer une action à un retour lorsque les récompenses sont rares, convergeant prématurément vers des optima locaux (c’est-à-dire qu’elles ne se produisent qu’après qu’une série de décisions ont été prises. cession temporelle) [14] et ils sont très sensibles à la sélection de l'hyperparamètre [3].

Des algorithmes génétiques ont été proposés comme solution de contournement à ces problèmes dans DRL. Tel et al. [13] faire évoluer les poids d'un DNN avec une AG basée sur une population dépourvue de gradient et constate qu'elle s'est bien comportée sur des problèmes de RL profonds tels qu'Atari et la locomotion humanoïde. En comparant leurs résultats avec également une recherche aléatoire (RS), ils constatent que GA surperforme toujours RS, et RS surperforme parfois RL, suggérant que les optima locaux, les points de selle et les gradients bruyants entravent la progression des méthodes basées sur les gradients et qu'un échantillonnage dense dans une région autour de l'origine est, dans certains cas, suffisant pour surpasser les méthodes basées sur des gradients. Ils constatent également que GA évolue beaucoup plus rapidement en vitesse d'horloge murale que Q-learning.

Tel et al. [13] soulignez également qu’une question inconnue est de savoir si une approche hybride qui utilise l’échantillonnage général au tout début, puis le passage à la recherche par gradient permettra d’obtenir des résultats meilleurs et plus rapides. C'est exactement ce que Khadka et al. [6] présent avec Apprentissage par renforcement évolutif (ERL), un algorithme hybride qui utilise une population provenant d’une EA pour former un agent RL et réinsère l’agent dans la population pour une évaluation de la condition physique. Ils présentent l’AG comme une bonne alternative à la résolution des problèmes mentionnés précédemment de Deep RL, mais ils ont également du mal à optimiser un grand nombre de paramètres. Par conséquent, la capacité d'assignation de crédits exploratoire et temporelle de l'AG est combinée à des gradients de Deep RL pour permettre un apprentissage plus rapide. Ainsi, Le RL évolutif est capable de résoudre plus de tâches que, par exemple, le DDPG (gradient déterministe de politique profond) et plus rapide que le simple GA.

La ligne du bas

Des études pratiques comme [6] et [9] ont prouvé que les applications évolutives d’apprentissage en profondeur constituaient une méthode utile pour faire progresser l’état de la technique. Néanmoins, de nombreuses limitations subsistent dans les méthodes employées, tout comme l'utilisation de blocs de construction prédéfinis pour les NAS et les mutations non croisées ni les mutations utilisées dans l'ERL. En outre, il est à noter que les évaluations environnementales sont considérées comme des méthodes d’optimisation en boîte noire et qu’elles ne permettent donc pas de comprendre pourquoi les performances sont élevées.

Des recherches ultérieures détermineront l’avenir des évaluations environnementales dans l’apprentissage en profondeur, mais jusqu’à présent, il semble qu’elles commencent à rester et deviennent un outil essentiel pour résoudre des problèmes d’apprentissage spécifiques, du moins à moyen / long terme.

Show More

SupportIvy

SupportIvy.com : Un lieu pour partager le savoir et mieux comprendre le monde. Meilleure plate-forme de support gratuit pour vous, Documentation &Tutoriels par les experts.

Related Articles

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Close
Close