Intelligence artificielle

Google AI et développements dans l'apprentissage semi-supervisé

Google AI et développements dans l'apprentissage semi-supervisé


Comment Google est-il un favori dans le domaine de l'IA?

L’histoire de la création de Google semble si souvent racontée que certains diraient que cela n’a pas besoin d’être racontée, alors je ferai de mon mieux pour la garder courte. Du garage au Googleplex, ils ont d’abord construit un moteur de recherche en utilisant des liens pour déterminer l’importance des pages individuelles. Cette société s’appelait Backrub car le programme analysait les «liens en arrière» du Web pour comprendre l’importance d’un site Web et ses liens avec d’autres sites.

Revenir en arrière pour s’assurer que la classification d’un site Web est correcte avec des algorithmes est la première innovation de Google. Classement. Cela a fonctionné en comptant le nombre et la qualité des liens vers une page pour déterminer une estimation approximative de l'importance du site Web. L'hypothèse sous-jacente était que les sites Web les plus importants recevraient probablement davantage de liens en provenance d'autres sites. C'est peut-être l'algorithme le plus connu utilisé par Google, mais il n'a pas été inventé par les fondateurs. En fait, les fondateurs de Google citent Garfield, Marchiori et Kleinberg dans leurs papiers originaux.

Mathématique PageRanks pour un réseau simple, exprimé en pourcentage. (Google utilise une échelle logarithmique.) La page C a un PageRank plus élevé que la page E, même s'il y a moins de liens vers C; Le lien vers C provient d'une page importante et a donc une grande valeur. Si les internautes qui commencent sur une page au hasard ont une probabilité de 85% de choisir un lien aléatoire dans la page qu'ils visitent actuellement et une probabilité de 15% de passer à une page choisie au hasard sur l'ensemble du Web, ils atteindront la page E 8,1% du temps. (La probabilité de passer à une page arbitraire de 15% correspond à un facteur d'amortissement de 85%.) Sans atténuation, tous les surfeurs Internet finiraient par se retrouver sur les pages A, B ou C et toutes les autres pages auraient un PageRank égal à 0. En présence d'amortissement, la page A renvoie efficacement à toutes les pages du Web, même si elle ne possède pas de liens sortants.

Google a été fondée le 4 septembre 1998 à Menlo Park, Californie, États-Unis. Plusieurs décennies avant leur lancement, il y avait eu quelques développements dans un autre domaine rétrospectif, la rétropropagation. Les bases de la rétro-propagation continue ont été développées par Henry J. Kelley en 1960 et par Arthur E. Bryson en 1961 en utilisant les principes de la programmation dynamique (recherche du chemin le plus court dans un graphe avec une sous-structure optimale).

Il semble qu’au fur et à mesure que nous progressions, nous devions regarder en arrière pour comprendre la voie à suivre ou peut-être la prochaine étape.

L’arrivée, le fait de venir dans un espace et même de regarder en arrière vous ont toujours intéressé.
-James Turrell

Propagation en arrière, court pour "propagation en arrière d’erreurs », est un algorithme d’apprentissage supervisé de réseaux de neurones artificiels utilisant la descente de gradient. À partir d’un réseau de neurones artificiel et d’une fonction d’erreur, la méthode calcule le gradient de la fonction d’erreur en fonction des poids du réseau de neurones.

Plus récemment En 1986, grâce aux travaux de David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams et James McClelland est connu pour avoir réintroduit la rétropropagation. Cela s'avérerait par la suite important pour la recherche d'images en termes de classification d'images. Surtout quand, plus tard, Google devenait le moteur de recherche le plus populaire et introduisait Image Search:

Ainsi, nos cofondateurs Larry Page et Sergey Brin - comme tous les autres inventeurs à succès - ont continué à itérer. Ils ont commencé avec images. Après tout, les gens voulaient plus que du texte. Cette première apparition est apparue après les Grammy Awards en 2000, où Jennifer Lopez portait une robe verte qui a attiré l’attention du monde entier. À l'époque, c'était la requête de recherche la plus populaire que nous ayons jamais vue. Mais nous n'avions aucun moyen sûr d'obtenir les utilisateurs exactement ce qu'ils voulaient: JLo porter cette robe. Google Image Search est né.
-Eric Schmidt, ancien PDG de Google, cité dans le magazine Quartz d'avril 2015.

Lors du lancement de Google Image en juillet 2001, le site offrait l’accès à 250 millions d’images.

Aux yeux d'un moteur de recherche, le Web est essentiellement un corps de mots sur des milliards de pages, avec les hyperliens qui relient les mots. L’une des grandes avancées de Google a été de lier efficacement ces mots, en mesurant la pertinence par l’apparition de mots sur une page et le nombre de liens hypertexte pointant vers cette page, ou sa popularité. […] À l'heure actuelle, la plupart des moteurs de recherche d'images s'appuient sur des mots-clés, ou un texte descriptif lié à une photo, afin de récupérer une liste de résultats correspondant à la requête d'un internaute. Cette méthode peut toutefois ne pas être fiable si les descriptions des photos ou des images sont insuffisantes.
-Stefanie Olsen, CNET 2006

En 2010, le nombre d'images dans Google Image avait dépassé les 10 milliards. Il était peut-être clair à l'époque qu'ils devaient faire quelque chose. Ce quelque chose était Google Brain.

Google Cerveau est une équipe de recherche en intelligence artificielle travaillant en profondeur chez Google. Formé au début des années 2010, Google Brain associe des recherches en apprentissage automatique ouvertes à une ingénierie des systèmes et à des ressources informatiques à l'échelle de Google. Cela a commencé comme une collaboration entre Jeff Dean, Google Fellow, Greg Corrado, chercheur chez Google, et Andrew Ng, professeur à l'Université de Stanford.

Lorsque j'étais à Stanford dans les années 2000, mon étudiant au doctorat, Adam Coates, est entré dans mon bureau avec un graphique montrant que plus vous transmettez de données à un réseau de neurones, meilleur est le fonctionnement du réseau de neurones. Nous avons commencé à chercher les plus gros ordinateurs que nous ayons pu trouver. Cette découverte et l'idée d'utiliser l'informatique distribuée pour développer des réseaux de neurones ont conduit à la création de Google Brain en 2011. Depuis lors, l'apprentissage en profondeur a fait de grands progrès, car nous avons collecté plus de données et créé les ordinateurs puissants nécessaires à sa fabrication. travail.
- Andrew Ng cité dans WIPO Technology Trends 2019: Intelligence artificielle (p.9).

Le boom de l'apprentissage en profondeur a commencé avec un article de 2012 intitulé «AlexNet» d'après l'auteur principal Alex Krizhevsky. Le trio de chercheurs qui ont rédigé le document de l'Université de Toronto (dont Geoffrey Hinton et Ilya Sutskever) a participé au concours ImageNet pour classer les images dans l'une des mille catégories. AlexNet a atteint une précision sans précédent en utilisant un réseau de neurones profonds, avec huit couches pouvant être entraînées et 650 000 neurones.

Ils ont pu former un réseau aussi important sur autant de données, car ils ont découvert comment exploiter les GPU grand public, conçus pour le traitement parallèle à grande échelle. Cela a démontré l'importance de meilleurs algorithmes, de plus de données d'apprentissage et de plus de puissance de calcul.

En 2012, un réseau de neurones créé par Google a appris à reconnaître les humains et les chats dans les vidéos YouTube, sans jamais savoir comment les caractériser. Il a appris à détecter les félins avec une précision de 74,8% et les visages avec 81,7%.
-
Explorez l'apprentissage automatique par Google

En 2013, Geoffrey Hinton a rejoint Google Brain. Deux ans après la victoire d’AlexNet en 2012, Google s’est inscrit au concours avec un réseau de neurones encore plus profond et a remporté le premier prix. La société a engagé des experts de premier plan en apprentissage automatique, notamment l'acquisition de DeepMind en 2014 (acquisition en profondeur, pour 400 millions de dollars), ce qui lui permet de rester à la pointe de la conception de réseaux de neurones. Une version populaire est les réseaux de neurones convolutionnels (CNN).

Partagé par Jefkine dans Deepgrid
Architecture typique de CNN

Prendre des données d'entrée vous permet de classer différentes images. La société dispose également d’un accès sans égal aux grands ensembles de données. Un article de 2013 décrivait comment Google utilisait des réseaux de neurones profonds pour reconnaître les numéros d'adresses dans des dizaines de millions d'images capturées par Google Street View.

Are.na sur la classification

En 2016, Google a créé une puce personnalisée appelée unité de traitement du tenseur spécialement conçue pour accélérer les opérations utilisées par les réseaux de neurones. Le système de la machine TensorFlow est maintenant gratuit pour tous, combiné avec la puce Tensor AI. Sundar Pichai, PDG de Google, a indiqué que Google est en train de passer d’une "première sur mobile" à une "première sur l’IA".

Le PDG de Google, Sundar Pichai, s'exprimera lors de la conférence des développeurs I / O de Google, le 7 mai 2019 - Photo de Ars Technica.

Représenté, vous pouvez voir les couches d’un CNN avec Test quantitatif avec des vecteurs d'activation de concept (TCAV) une nouvelle méthode d'interprétabilité pour comprendre les signaux que vos modèles de réseaux de neurones utilisent pour la prédiction

En juin de cette année (2019), j'ai écrit un article intitulé Brevets dans le domaine de l'intelligence artificielle. Google ne figure pas parmi les sociétés détenant le plus grand nombre de brevets dans le domaine de l'IA. En fait, les plus grandes entreprises sont classées par ordre décroissant parmi les plus grandes: IBM (8 290), Microsoft (5 930), Toshiba (5 223), Samsung (5 102) et NEC (4 406). Mon article fait référence au rapport de l'Organisation mondiale de la propriété intellectuelle (OMPI) Tendances technologiques 2019: Intelligence artificielle. D'autre part

“… Alphabet (y compris Google, DeepMind, Waymo et X Development) se classe au 10ème rang pour le nombre d'inventions déposées, avec 3 814 au total, il se classe au 1er rang en termes d'acquisitions de sociétés d'intelligence artificielle” WIPO Technology Trends 2019: Intelligence artificielle (p.16). )

Google dans le sens de la programmation cherche toujours à avancer. Toutefois, compte tenu de ses deux décennies d’exploitation centrées sur la classification et sur la manière dont il construit un réseau inclusif autour des nouvelles technologies, ainsi que sur ses acquisitions, je voudrais bien expliquer pourquoi Google est actuellement l’un des pionniers du marché. domaine de l'IA.

C'est le jour 39 de # 500daysofAI.

Je comprends que c’était une sorte de teaser, et comme vous le comprenez, je ne serai peut-être pas en mesure de répondre pleinement aux questions que j’ai ébauchées dans cet article au cours des prochains jours. Cependant, comme toujours, j’espère bien que vous restez avec moi pendant le voyage.

Qu'est-ce que # 500daysofAI?
Je me mets au défi d'écrire et de réfléchir au sujet de l'intelligence artificielle pour les 500 prochains jours avec # 500days de l'IA. Apprendre ensemble est la plus grande joie, alors n'hésitez pas à me faire part de vos commentaires si vous sentez qu'un article résonne.
Afficher plus

SupportIvy

SupportIvy.com : Un lieu pour partager le savoir et mieux comprendre le monde. Meilleure plate-forme de support gratuit pour vous, Documentation &Tutoriels par les experts.

Articles similaires

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Bouton retour en haut de la page
Fermer