Intelligence artificielle

AI verte – Blog AI2

AI verte - Blog AI2


Par Roy Schwartz, Jesse Dodge, Noah A. Smith et Oren Etzioni

Photo de Sarah Dorweiler sur Unsplash

Le rythme actuel des progrès de l'intelligence artificielle est remarquablement rapide. Il ne se passe pas une semaine sans un nouveau résultat passionnant sur un système d'IA qui peut mieux comprendre le langage naturel, reconnaître des objets dans une image, maîtriser des jeux comme les échecs ou Go, ou résoudre un Rubik’s Cube.

Un facteur majeur dans ce type de progrès de l'IA est l'introduction de modèles d'apprentissage en profondeur plus gros et plus chers. Une analyse d'Amodei et Hernandez (2018) montre une augmentation globale de 300 000x du coût des formation Modèles d'IA (essentiellement, leur apprendre à effectuer une tâche donnée) au fil du temps pour des modèles de pointe.

Petaflops par jour de données de formation utilisées par les modèles populaires d'apprentissage en profondeur de 2012 à 2018. La quantité de calcul utilisée pour former des modèles d'apprentissage profond a augmenté de 300 000x en 6 ans. Le chiffre est tiré de Amodei et Hernandez (2018).

Cette forte augmentation des exigences de calcul a fait obstacle à la participation à la recherche en IA en raison du coût croissant de la génération de résultats de pointe - les budgets de calcul annuels de nombreux laboratoires de recherche universitaires, par exemple, sont souvent inférieurs au coût de la formation. juste l'un des modèles de pointe de la figure ci-dessus une seule fois. Cela entraîne également des impacts environnementaux négatifs; Strubell et al. (2019) ont montré que la formation moderne des modèles d'IA consomme une quantité de CO2 similaire à celle d'une voiture moyenne en 5 ans.

Pour attirer l'attention sur cette tendance, notre équipe de chercheurs du Allen Institute for AI (AI2) a récemment rédigé un article d'opinion intitulé «Green AI» (apparaître, CACM). Dans notre article, nous avons énuméré les facteurs qui contribuent à cette tendance et décrit les orientations de recherche potentielles pour aider à l'atténuer. Nous sommes heureux de voir notre document susciter un large intérêt (New York Times, Ardoise, VentureBeat, GeekWire, Fortune, Synchronisé, Revue technique du MITet autres) et susciter des discussions sur ce sujet important.

Chez AI2, nous soutenons également d'autres façons dont l'IA peut être «verte», comme le déploiement de l'IA au service de l'atténuation du changement climatique ou de l'amélioration des infrastructures d'énergie renouvelable, mais l'objectif de cet article est de résumer notre point de vue sur quelques aspects particuliers de ce que nous appelons IA verte tel que présenté dans notre document et pour aborder certaines des questions soulevées dans le débat public qui a suivi.

Photo de Jeff Hardi sur Unsplash

Pour mieux comprendre le concept de l'IA verte, nous commençons par décrire le terme opposé, AI rouge. L'AI rouge fait référence à la recherche sur l'IA qui cherche à obtenir des résultats de pointe en termes de précision (ou des mesures connexes) en utilisant une puissance de calcul massive - essentiellement «en achetant» des résultats plus solides.

Pour mettre en évidence la prévalence de l'IA rouge, nous avons démontré que la communauté de l'IA se concentre sur les mesures de performance, telles que la précision, au détriment des mesures d'efficacité telles que la vitesse ou le coût de l'énergie, en montrant qu'une grande majorité des articles en haut Les conférences sur l'IA visent les résultats liés à la précision par rapport à l'efficacité.

Les articles d'IA ont tendance à viser la précision plutôt que l'efficacité. La figure montre la proportion d'articles qui ciblent la précision, l'efficacité, les deux ou d'autres à partir d'un échantillon de 60 articles des meilleures conférences sur l'IA.

Qu'est-ce qui rend un système d'IA rouge?

Pour mieux comprendre les différentes manières dont la recherche sur l'IA peut être considérée comme rouge, considérez un résultat spécifique qui est rapporté dans un article scientifique. Systèmes IA généralement apprendre pour effectuer une tâche spécifique en observant de nombreux exemples. Ces tâches comprennent reconnaître un objet dans une image donnée, traduire un texte de l'anglais vers le français, ou faire le prochain mouvement d'échecs. Le développement de tels systèmes comprend généralement une phase appelée formation, qui comprend le traitement de la collection d'exemples un par un (par exemple, des paires de phrases traduites anglais / français), jusqu'à ce que le modèle ait appris pour faire des prédictions correctes sur de nouveaux exemples invisibles (par exemple, traduire une nouvelle phrase anglaise en français).

Les modèles d'IA sont généralement évalués en mesurant leur (Par exemple, à partir d'un ensemble de, disons, 1000 phrases anglaises invisibles, combien de phrases le modèle a-t-il traduites correctement en français?). Pour améliorer encore la précision du modèle, le processus de développement comprend également l'exécution de plusieurs phases de formation, puis la sélection de celle ayant le score de précision le plus élevé.

Ces dernières années, de nombreux chercheurs en IA ont adopté un moyen simple de rendre les modèles d'IA plus précis, en consacrant plus de ressources à leur développement:

a) la formation d'un modèle plus coûteux en calcul, dans lequel le traitement d'un seul échantillon (E) est plus coûteux en termes d'argent et d'énergie,

b) la formation du modèle sur plus (D) ata (un plus grand nombre d'exemples), ce qui se traduit par une formation plus longue et plus coûteuse, et

c) exécuter de nombreuses expériences d'entraînement, à la recherche de résultats encore plus précis, souvent appelés réglage des paramètres (H) yper.

Ensemble, le coût global d'un résultat AI (R) peut être considéré comme une fonction de ces trois facteurs:

Coût (R) ≈ E ᐧ D ᐧ H

: Le coût d'un résultat AI (R) croît de façon linéaire avec le coût de traitement d'un seul échantillon (E), la taille de l'ensemble de formation (D) et le nombre d'expériences de paramètre (H) yper.

L'augmentation de chacun de ces facteurs augmente le coût monétaire et énergétique global de la génération du résultat donné, que nous appelons l'IA rouge.

Notre objectif ici est de faire la lumière sur les pratiques de l'IA rouge. Surtout, , et en fait, une grande partie contribue à ce que nous savons en repoussant les limites de l'IA. En effet, il est utile de repousser les limites de chacune des quantités discutées ci-dessus. Actuellement, malgré l'énorme quantité de ressources investies dans les modèles d'IA récents, ces investissements sont toujours payants en termes de précision (quoique à un rythme de plus en plus lent). Trouver le point de saturation (s'il existe) est une question importante pour l'avenir de l'IA. Les coûts de l'IA rouge peuvent même parfois être amortis, et donc extrêmement précieux, car un module formé par l'IA rouge peut être réutilisé par de nombreux projets de recherche en tant que composant intégré, ce qui ne nécessite pas de recyclage.

L'un des principaux objectifs de notre article est de sensibiliser le public au coût de l'IA rouge et d'encourager la communauté de l'IA à reconnaître la valeur du travail des chercheurs qui empruntent une voie différente, optimisant l'efficacité plutôt que la précision seule.

Le terme IA verte fait référence à la recherche sur l'IA qui donne de nouveaux résultats sans augmenter le coût de calcul et idéalement le réduire. Alors que l'IA rouge a entraîné une augmentation rapide des coûts de calcul (et donc du carbone), l'IA verte a l'effet inverse. Si les mesures d'efficacité sont largement acceptées en tant que métriques d'évaluation importantes pour la recherche parallèlement à la précision, les chercheurs auront alors la possibilité de se concentrer sur l'efficacité de leurs modèles avec un impact positif à la fois sur l'environnement et sur l'inclusivité.

L'un des défis à relever pour faire de l'efficacité une mesure d'évaluation fondamentale est qu'il existe de multiples mesures potentielles de l'efficacité, chacune limitée de diverses manières. Par exemple, le émis par le développement d'un système d'IA donné est une mesure importante, mais difficile à mesurer avec précision, et dépend en grande partie de l'infrastructure électrique locale. le consommé par un système d'IA est plus facile à mesurer, mais dépend aussi largement de la machine locale sur laquelle les expériences sont exécutées, et donc pas comparable entre différents chercheurs dans différents endroits. Mesurer la les coûts d'une expérience pourraient aider à inspirer le développement de modèles d'IA moins chers, mais là encore, la mesure est un défi, car il n'est pas clair comment évaluer les expériences sur du matériel local.

Photo de Nikola Johnny Mirkovic sur Unsplash

Parmi l'ensemble des mesures potentielles, nous suggérons de déclarer le nombre total d'opérations en virgule flottante () nécessaire pour générer un résultat. FPO fournit une estimation de la quantité de travail effectuée par un processus de calcul. Il peut être calculé analytiquement pour n'importe quel modèle d'IA. Le FPO a été utilisé dans le passé pour quantifier l'empreinte énergétique d'un modèle, mais il n'est pas encore largement adopté en IA.

FPO a plusieurs propriétés attrayantes. Premièrement, il calcule directement la quantité de travail effectuée par la machine en cours d'exécution lors de l'exécution d'une instance spécifique d'un modèle, et est donc lié à la quantité d'énergie consommée. Deuxièmement, FPO est indépendant du matériel sur lequel le modèle est exécuté. Cela facilite des comparaisons équitables entre différentes approches, contrairement aux mesures décrites ci-dessus.

Malgré ces avantages, FPO a également certaines limites. Plus important encore, la consommation d'énergie d'un modèle est non seulement influencée par la quantité de travail, mais aussi par la communication entre les différents composants, qui n'est pas captée par FPO. Néanmoins, nous pensons que le FPO est un bon compromis pour mesurer les coûts des expériences d'IA, et nous exhortons la communauté de l'IA à le signaler dans leurs expériences. À titre d'exemple, notre article sur l'IA verte présente plusieurs résultats FPO pour les principaux modèles d'IA.

Énergie renouvelable

Certaines entreprises telles que Google, Amazon et Microsoft font des efforts considérables pour utiliser l'énergie provenant de sources renouvelables et / ou acheter des compensations carbone pour réduire leur empreinte carbone. Ces efforts sont très importants et pourraient avoir un impact positif significatif sur les émissions globales de l'industrie de l'IA.

Néanmoins, nous soutenons que davantage doit être fait pour promouvoir l'IA verte. Premièrement, tous les chercheurs n'ont pas accès aux énergies renouvelables. Deuxièmement, il n'est pas clair que l'achat de compensations carbone soit aussi écologique que non polluant (ou moins polluant) au départ. Troisièmement, les préoccupations d'inclusivité soulevées par la hausse des coûts de l'IA persistent, même dans un monde 100% renouvelable, en raison du coût monétaire de l'énergie.

Efforts existants

Notre appel à une augmentation des rapports sur les ressources informatiques fait écho aux efforts existants dans la communauté de l'IA, dans des publications scientifiques (Schulley et al., 2018, Oliver et al., 2018, Dodge et al., 2019), ainsi que par le biais d'initiatives de conférences sur l'IA tels que NeurIPS 2019 et EMNLP 2020, qui nécessitent des soumissions pour remplir des formulaires contenant des informations sur le budget de calcul utilisé pour générer les résultats rapportés. Nous exhortons davantage de chercheurs à rendre compte des budgets de calcul utilisés dans leurs expériences, ainsi qu'à développer des méthodes qui facilitent ces rapports.

Le développement d'approches efficaces d'apprentissage automatique a également retenu l'attention de la communauté des chercheurs. Par exemple, une quantité importante de travail dans la communauté de la vision par ordinateur a porté sur des méthodes efficaces de traitement en temps réel des images pour des applications telles que les voitures autonomes (Rastegari et al, 2016, Liu et al., 2016, Ma et al, 2018 ), ou pour placer des modèles sur des appareils tels que les téléphones portables (Howard et al., 2017, Sandler et al., 2018). Récemment, plusieurs travaux ont traité de la formation de modèles efficaces (Dettmers et Zettlemoyer, 2019, Lan et al., 2020, Clark et al., 2020) et ont présenté des méthodes qui permettent d'atteindre une grande précision tout en exécutant moins de cycles d'entraînement (Li et al., 2017 ). Notre objectif est d'encourager davantage de chercheurs à travailler sur ces problèmes, en mettant en évidence les avantages potentiels importants de l'introduction de méthodes d'IA plus efficaces.

Photo de Fabian Blank sur Unsplash

La forte augmentation des coûts de l'IA empêche de nombreux chercheurs d'étudier des méthodes de pointe et de nombreux praticiens d'adopter les produits de la recherche de pointe. Il a également un impact potentiellement non négligeable sur l'environnement.

Nous soutenons que la première étape pour rendre l'IA plus verte consiste à augmenter la notification de ces coûts, qui sont souvent cachés dans les publications scientifiques sur l'IA. Nous pensons que le fait de faire de l'efficacité une mesure d'évaluation fondamentale encouragera la communauté à déployer plus d'efforts pour développer des méthodes plus efficaces, ce qui contribuera à atténuer bon nombre de ces préoccupations. À l'Institut Allen pour l'IA, nous travaillons à trouver des solutions à chacun de ces problèmes.

Afficher plus

SupportIvy

SupportIvy.com : Un lieu pour partager le savoir et mieux comprendre le monde. Meilleure plate-forme de support gratuit pour vous, Documentation &Tutoriels par les experts.

Articles similaires

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Bouton retour en haut de la page
Fermer