Intelligence artificielle

Pourquoi avons-nous besoin de Tiny AI?

Pourquoi avons-nous besoin de Tiny AI?


Image de Worawut sous licence d'Adobe Stock

Nous savons tous que les algorithmes deviennent chaque jour plus intelligents, mais sont-ils également plus écologiques?

Pas du tout, et cela devient un problème important. En conséquence, les chercheurs travaillent dur pour découvrir de nouvelles façons de développer des algorithmes plus petits.

Dans cet article, nous allons expliquer pourquoi Tiny AI est une étape importante pour assurer un avenir à l'IA.

L'intelligence artificielle a fait de nombreuses percées au cours des dernières années. L'apprentissage en profondeur est l'une de ces percées qui alimentent de nombreux A.I. systèmes qui fournissent des précisions élevées. Grâce à l'apprentissage en profondeur, les algorithmes peuvent numériser des images médicales et identifier des tumeurs, naviguer dans des voitures autonomes même dans des schémas de circulation complexes et traduire la littérature de presque toutes les langues dans une autre.

Chaque jour A.I. devient plus précis, mais la haute précision a un coût environnemental caché.

Des chercheurs de l'Université du Massachusetts à Amherst ont récemment mené une étude qui a révélé à quel point la formation d'un algorithme est énergivore. Selon l'étude, la formation d'un seul algorithme pourrait consommer 5 fois les émissions de dioxyde de carbone à vie d'une voiture moyenne, ou l'équivalent d'environ 300 vols aller-retour entre New York et San Francisco.

À la recherche d'une grande précision, nous semblons avoir perdu notre concentration sur l'efficacité énergétique.

Roy Schwartz, chercheur à l'Institut Allen, et ses co-auteurs suggèrent dans un article intitulé Green A.I., que A.I. les chercheurs devraient s'efforcer de faire de l'efficacité énergétique un critère d'évaluation à côté de la précision et d'autres mesures.

Un récent article de Slate cite Schwartz disant: «Nous ne voulons pas atteindre un état où A.I. deviendra un contributeur important au réchauffement climatique. »

C’est là que Tiny A.I. pourrait aider.

Tiny AI est le terme utilisé pour décrire les efforts de la communauté de recherche en IA pour réduire la taille des algorithmes, en particulier ceux qui nécessitent de grandes quantités d'ensembles de données et une puissance de calcul. De minuscules chercheurs en IA développent des méthodes, appelées méthodes de distillation, qui non seulement réduisent la taille d'un modèle, mais le font tout en accélérant l'inférence et en maintenant des niveaux élevés de précision. En utilisant ces méthodes de distillation, un modèle peut être réduit de manière significative, par des facteurs atteignant jusqu'à 10x. En outre, un algorithme beaucoup plus petit peut être déployé en périphérie sans envoyer de données au cloud, prenant plutôt des décisions sur l'appareil.

Prenez BERT comme exemple. BERT est un modèle de langage pré-formé (PLM) développé par Jacob Devlin et son équipe chez Google. Cet algorithme est très utile car il vous aide à écrire. Il peut le faire, car contrairement aux modèles précédents, BERT comprend les mots et le contexte. En conséquence, BERT peut faire des suggestions d'écriture ou terminer vos phrases.

Mais BERT est un grand modèle. Le MIT Technology Review a indiqué que la version plus grande du BERT contenait 340 millions de paramètres de données. De plus, sa formation nécessitait une fois autant d'électricité qu'il suffirait pour alimenter un ménage américain pendant 50 jours.

BERT est devenu une cible parfaite pour Tiny A.I. des chercheurs. Dans un article récent, des chercheurs de Huawei ont affirmé qu'ils étaient capables de réduire la taille du BERT de 7,5x tout en améliorant la vitesse de 9,4x.

Ils ont appelé leur nouveau modèle, TinyBERT. Mais, quelle est la qualité de TinyBERT par rapport à BERT? Les auteurs affirment que TinyBERT atteint 96% des performances de son professeur, BERT.

À mesure que ces progrès évolueront, nous verrons de nombreux avantages de Tiny A.I. D'une part, les services existants tels que les assistants vocaux et les caméras n'auront pas besoin de transférer de données entre le cloud et les appareils locaux.

D'un autre côté, Tiny AI nous permettra de déployer des algorithmes complexes sur des périphériques périphériques. Par exemple, l'analyse d'images médicales à l'aide d'un smartphone. Ou la conduite autonome sans nuage. De plus, avoir vos données stockées en périphérie améliore également la confidentialité et la sécurité des données.

Compte tenu de la croissance explosive de l'IA, il est important d'avoir des chercheurs et des ingénieurs qui étudient et mesurent les implications environnementales de la formation et du déploiement de leurs algorithmes.

Ne nous efforçons pas seulement de créer des modèles plus précis. Examinons également leur impact sur l'environnement. Sinon, nous pourrions nous retrouver avec une technologie de plus qui endommage notre planète.

Afficher plus

SupportIvy

SupportIvy.com : Un lieu pour partager le savoir et mieux comprendre le monde. Meilleure plate-forme de support gratuit pour vous, Documentation &Tutoriels par les experts.

Articles similaires

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Bouton retour en haut de la page
Fermer