Intelligence artificielle

Non, l'apprentissage en profondeur ne sauvera pas le monde

Non, l'apprentissage en profondeur ne sauvera pas le monde


Pour commencer cet article, prenons l'important ensemble de données de vision Imagenet qui a popularisé l'apprentissage en profondeur au cours des dernières années. Lorsque vous constatez une baisse constante de l'erreur de classification, vous vous sentez «Oh mon Dieu!», La performance est maintenant «meilleure» que ne le peuvent les humains. Si vous croyez que ce résultat signifie que nous avons réellement progressé dans la compréhension de la vision humaine ou que les systèmes de vision par ordinateur sont meilleurs que la vision humaine en général, vous êtes vraiment un croyant «aveugle» d'un apprentissage en profondeur. Les systèmes d'apprentissage en profondeur permettent de mémoriser des ensembles de données de référence tels qu'Imagenet. Cependant, même les performances d'un système de vision formé sur ImageNet sont terriblement catastrophiques lorsqu'elles sont essayées dans un environnement réel, avec une webcam et la dernière version de MATLAB.

En mars, Yoshua Bengio a reçu une part du prix Turing, la plus haute distinction en informatique, pour ses contributions au développement de l'apprentissage en profondeur. Il pense que son potentiel ne sera pas pleinement exploité et ne constituera pas une véritable révolution de l’intelligence artificielle tant que l’on ne pourra pas aller au-delà de la simple reconnaissance de formes et en apprendre plus sur les causes et les effets. Les systèmes d’apprentissage automatique, y compris l’apprentissage en profondeur, sont très spécifiques et formés à une tâche particulière, comme la reconnaissance de chats dans des images ou les commandes vocales dans l’audio.. Mais l'apprentissage en profondeur est fondamentalement aveugle à la cause et à l'effet. Bengio fait remarquer que «les humains n’ont pas besoin de vivre à travers de nombreux exemples d’accidents pour conduire prudemment», dit-il. Ils peuvent simplement imaginer des accidents, «afin de se préparer mentalement si cela se produit réellement». La question est de savoir comment donner cette capacité aux systèmes d'IA.

Les systèmes d'apprentissage automatique ont maintenant accès à plus de données que tout être humain peut voir, lire ou traiter en mille vies. Pourtant, tous les centres de données dans le monde, des millions et des millions de GPU ne semblent pas pouvoir rivaliser avec le cerveau d’un enfant de deux ans. Un article récent a montré que les meilleurs systèmes de vision en apprentissage en profondeur sont confus si un objet subit une légère rotation (par exemple, un camion de pompiers en rotation est confus pour autre chose). Quel enfant de deux ans confondrait un autobus scolaire avec un sac de boxe? Ou un camion de pompiers avec un bus scolaire? Au plus profond de notre ADN / esprit / âme se cache la nécessité de comprendre le monde et de se connecter les uns aux autres, et l'IA traditionnelle est loin de comprendre ce type d'empathie partagée.

Un autre problème auquel Deep Learning est confronté est qu’il va à l’encontre de la logique. Il n'y a pas de raison mathématique pour laquelle les réseaux de perceptrons disposés en couches devraient être aussi doués pour des défis tels que la reconnaissance des visages et des objets. Il s'agit d'un problème d'optimisation hautement non convexe et mal défini, et toutes les théories existantes suggèrent qu'il ne devrait pas être possible d'optimiser correctement dans cet espace. Cependant, non seulement les approches d'apprentissage en profondeur ont du succès, mais il existe également un algorithme temporel linéaire (descente de gradient) incroyablement rapide qui permet de trouver des solutions apparemment proches de l'optimum. Pour un informaticien théorique tel que Sanjeev Arora de Princeton, cela ressemble au mystère de la «matière noire» en physique. Quelque chose qui ne devrait pas exister et ne devrait pas fonctionner mais le fait. Et les mathématiciens ont été déconcertés - malgré l’énorme succès des réseaux de neurones profonds, personne n’est vraiment sûr de la manière dont ils réussissent. Récemment, cela a changé grâce aux travaux de Henry Lin à l'Université de Harvard et de Max Tegmark au MIT.

La réponse dépend de la nature de l'univers et se situe dans le domaine de la physique, pas des mathématiques. Lorsqu'il s'agit de classer les images de chats et de chiens, le réseau de neurones doit implémenter une fonction qui prend en entrée un million de pixels en niveaux de gris et génère la distribution de probabilité de ce qu'elle pourrait représenter. C'est parce que l'univers est régi par un minuscule sous-ensemble de toutes les fonctions possibles. Et lorsque les lois de la physique sont écrites mathématiquement, elles peuvent toutes être décrites par des fonctions possédant un ensemble remarquable de propriétés simples.

Pour mettre cela en perspective, considérons l'ordre d'une fonction polynomiale, qui est la taille de son exposant le plus élevé. Ainsi, une équation quadratique comme y = x ^ 2 a l'ordre 2, l'équation y = x ^ 24 a l'ordre 24, et ainsi de suite. De toute évidence, le nombre d'ordres est infini et pourtant, seul un petit sous-ensemble de polynômes apparaît dans les lois de la physique. Pour des raisons qui ne sont pas encore bien comprises, notre univers peut être décrit avec précision par des hamiltoniens polynômes de faible ordre. Les polynômes qui décrivent les lois de la physique ont des ordres allant de 2 à 4. Les lois de la physique ont d'autres propriétés importantes - elles sont généralement symétriques en ce qui concerne la rotation et la translation. Faites pivoter un chat ou un chien sur 360 degrés et le résultat est identique. traduisez-le par 10 mètres ou 100 mètres ou un kilomètre et il aura le même aspect. Cela simplifie également la tâche de rapprochement du processus de reconnaissance du chat ou du chien.

Ces propriétés signifient que les réseaux de neurones n'ont pas besoin d'approcher une infinitude de fonctions mathématiques possibles, mais seulement un sous-ensemble infime des plus simples. Les réseaux de neurones exploitent une autre propriété de l'univers. C'est la hiérarchie de sa structure. Les particules élémentaires forment des atomes qui forment à leur tour des molécules, des cellules, des organismes, des planètes, des systèmes solaires, des galaxies, etc. Les structures complexes sont souvent formées en une suite d'étapes plus simples. C'est pourquoi la structure des réseaux de neurones est également importante: les couches de ces réseaux peuvent approcher chaque étape de la séquence causale. Un ensemble de paramètres cosmologiques (densité de la matière noire, etc.) détermine le spectre de puissance des fluctuations de densité dans notre univers, ce qui détermine à son tour le type de rayonnement de fond cosmique qui nous parvient depuis notre premier univers, qui se combine avec la radio au premier plan. le bruit de notre galaxie pour produire les cartes du ciel dépendant de la fréquence qui sont enregistrées par un télescope par satellite. Chacune de ces couches causales contient progressivement plus de données. Il n'y a qu'une poignée de paramètres cosmologiques, mais les cartes et le bruit qu'elles contiennent sont constitués de milliards de nombres. Le but de la physique est d'analyser les grands nombres de manière à en révéler les plus petits. Et lorsque les phénomènes ont cette structure hiérarchique, les réseaux de neurones facilitent considérablement son analyse.

Ainsi, non seulement les idées de Lin et de Tegmark expliquent pourquoi les machines d’apprentissage en profondeur fonctionnent si bien, mais également pourquoi le cerveau humain peut donner un sens à l’univers. L’évolution a en quelque sorte opté pour une structure cérébrale idéale pour démêler la complexité de l’univers. Mais la conscience n’a pas reçu toute son attention dans l’intelligence artificielle, à l’exception de quelques papiers isolés. Nous faisons l'expérience de la conscience d'une manière intégrée. Nous voyons les couleurs et les formes ensemble, pas séparément. Nous ne savons pas vraiment ce que c'est. Mais nous n’avons pas à nous en préoccuper maintenant. Nous ne savons toujours pas comment une cellule fonctionne réellement, ni ce qui compte vraiment pour nous et pourquoi l'Univers existe. Mais ce sens métaphysique fondamental de l'inconnu, cette vie est en principe au-delà de l'explication mécaniste, s'est estompé.

La physique est un très bon exemple de science capable de fournir un éclairage considérable sur la façon dont les choses se passent, de manière très contre-intuitive, mais aussi très prédictive, très explicative. La physique ne nous dit toujours pas pourquoi il existe un univers par opposition à un autre. À un moment donné, personne n'a compris la chaleur. Les gens pensaient que c'était une substance calorifique qui coulait. Maintenant nous savons ce qu'est la chaleur. C'est l'énergie cinétique moyenne des molécules. Et Information préalable est très important pour la perception. La perception se produit à l'intérieur comme à l'extérieur. Nous voyons ce que nous nous attendons à voir. La perception est un équilibre permanent entre les attentes antérieures et les informations sensorielles. Nous hallucinons tout le temps. Lorsque nous sommes d'accord sur nos hallucinations, nous appelons cela la réalité. Récemment, Yoshua Bengio a proposé une idée appelée Conscience avant. Il s’inspire du phénomène de la conscience perçu comme la formation d’une combinaison basse dimension de quelques concepts constituant une pensée consciente, c’est-à-dire la conscience en tant que conscience à un instant donné.

Un neurone et perceptron

Par conséquent, il y a trois simplifications excessives qui doivent être traitées conformément aux dernières conclusions de la recherche en neurosciences dans les cadres de la nouvelle génération d'apprentissage en profondeur.

  1. Un neurone n'est pas simplement un dispositif de seuillage à la suite d'une sommation algébrique simple. Le traitement est non linéaire et le flux d'informations bidirectionnel.
  2. L'apprentissage et la mémoire ne sont pas réalisés exclusivement par des changements synaptiques. La plasticité est omniprésente et omniprésente.
  3. Il n'y a pas de solution unique à la manière dont l'apprentissage biologique est accompli. Les systèmes biologiques expriment la dégénérescence.

Une façon de tracer un avenir pour AI / ML au-delà de l'apprentissage en profondeur consiste à redéfinir la question. L’apprentissage en profondeur permet essentiellement d’apprendre à partir d’un ensemble de données existant. Malheureusement, cela n’est pas suffisant pour de nombreux défis mondiaux - changement climatique, pauvreté, responsabilité des gouvernements / corruption et transparence, etc. L’apprentissage en profondeur a fait des pas de géant au cours des dernières années. Avec cette compréhension améliorée, le taux d'avancement devrait s'accélérer.

Les références -

Afficher plus

SupportIvy

SupportIvy.com : Un lieu pour partager le savoir et mieux comprendre le monde. Meilleure plate-forme de support gratuit pour vous, Documentation &Tutoriels par les experts.

Articles similaires

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Bouton retour en haut de la page
Fermer