Chaque fois qu’une nouvelle application d’IA est annoncée, je ressens une brève bouffée d’excitation, suivie d’un nœud dans l’estomac. C’est parce que je sais que la technologie n’a pas été conçue dans un souci d’équité.
Un système appelé ChatGPT compte 100 millions d’utilisateurs uniques après seulement deux mois de lancement (Ouvre dans un nouvel onglet). L’outil textuel permet aux utilisateurs de s’engager dans une communication interactive, conviviale et générée par l’IA avec un chatbot développé pour parler avec autorité sur n’importe quel sujet qu’il est invité à aborder.
Dans une interview avec Michael Barbaro quotidien Podcast(s’ouvre dans un nouvel onglet) de New York Times, le journaliste technologique Kevin Roose a décrit comment une application comme ChatGPT, le chatbot AI de Bing, également basé sur le modèle de langage GPT-3 d’OpenAI, a répondu à sa demande de suggérer une soupe à l’oignon française comme plat d’accompagnement pour son dîner de la Saint-Valentin. Non seulement Bing a répondu aux questions avec des recommandations de salades, mais il lui a dit où trouver les ingrédients au supermarché et les quantités nécessaires pour faire une recette pour deux, et il a terminé l’échange avec une note lui souhaitant, à lui et à sa femme, une joyeuse Saint-Valentin— – même ajouter un cœur emoji.
La précision, la spécificité et même le charme de cet échange témoignent de l’exactitude et de la profondeur des connaissances nécessaires pour faire progresser la technologie. Qui ne fait pas confiance à un robot comme celui-ci ?
Bing fournit ces informations en analysant les mots-clés dans les invites de Roose (en particulier « soupe à l’oignon française » et « accompagnement ») et en utilisant un algorithme de correspondance pour concevoir les réponses les plus susceptibles de répondre à sa requête. Ces algorithmes sont formés pour répondre aux invites des utilisateurs à l’aide de grands modèles de langage développés par des ingénieurs travaillant pour OpenAI.
En 2020, les membres de l’équipe OpenAI ont publié un article académique affirmant que leur modèle de langage est le plus grand jamais créé, avec 175 milliards de paramètres derrière ses fonctionnalités (Ouvre dans un nouvel onglet). Avoir un modèle de langue aussi large devrait signifier que ChatGPT peut parler de tout, n’est-ce pas ?
Malheureusement, ce n’est pas le cas. Les modèles de cette échelle nécessitent la contribution de personnes du monde entier, mais reflètent intrinsèquement les préjugés de leurs auteurs. Cela signifie que les contributions des femmes, des enfants et d’autres personnes qui ont été marginalisées au cours de l’histoire humaine seront sous-représentées, et ce biais se reflétera dans la fonctionnalité de ChatGPT.
Table des matières
AI Bias, Bessie et Beyoncé : ChatGPT peut-il effacer l’héritage de l’excellence noire ?
Plus tôt cette année, j’étais invité Le spectacle de Karen Hunt(ouvre dans un nouvel onglet), elle mentionne qu’à l’époque, lorsqu’elle a demandé à l’artiste Bessie Smith (ouvre dans un nouvel onglet) si elle avait influencé la chanteuse de gospel Mahalia Jackson, ChatGPT n’a pas été en mesure de répondre à sa demande spécifique sans une invite supplémentaire pour introduire un nouvel onglet d’informations.
Bien que le bot puisse fournir des informations biographiques sur chaque femme, il ne pouvait pas discuter de manière fiable de la relation entre les deux. C’est une ironie, puisque Bessie Smith est l’une des chanteuses de blues les plus importantes de l’histoire américaine, non seulement elle a influencé Jackson, mais elle est considérée par les musicologues comme ayant jeté les bases de la musique populaire américaine (ouvre dans un nouvel onglet). Elle aurait influencé des centaines d’artistes, dont Elvis Presley, Billie Holiday et Janis Joplin (ouvre dans un nouvel onglet). ChatGPT, cependant, ne parvient toujours pas à fournir ce contexte pour l’impact de Smith.
En effet, l’une des façons dont le racisme et le sexisme se manifestent dans la société américaine consiste à stigmatiser les contributions des femmes noires. Pour que les musicologues rendent compte de manière générale de l’influence de Smith, ils doivent reconnaître sa capacité à façonner le comportement des Blancs et de la culture en général. Cela remet en question les valeurs « suprématistes blanches, capitalistes, patriarcales » qui, selon l’auteur et activiste Bell Hooks, ont façonné l’Amérique (ouvre dans un nouvel onglet).
Ainsi, la contribution de Smith est minimisée.Ainsi, lorsque les ingénieurs d’OpenAI ont formé le modèle ChatGPT, ils semblaient avoir un accès limité aux informations de Smith Influence sur la musique américaine contemporaine. Cela est devenu évident lorsque ChatGPT n’a pas répondu de manière adéquate à Hunter, et ce faisant, cet échec a renforcé la minimisation des contributions des femmes noires en tant que norme de l’industrie musicale.
Dans un exemple plus moderne explorant l’impact potentiel des préjugés, considérez le fait qu’en dépit d’être la plus célèbre gagnante d’un Grammy de l’histoire, Beyoncé n’a jamais remporté le record de l’année. Pourquoi?
un électeur Grammy, par taper En tant que « vétéran de l’industrie de la musique dans les années 70 », il dit qu’il n’a pas voté pour Beyoncé régénération comme disque de l’année parce que la fanfare entourant sa sortie était « si inquiétante ». (ouvre dans un nouvel onglet) L’impact de ce point de vue n’a rien à voir avec la qualité de l’album lui-même, ce qui fait que les artistes continuent de n’avoir aucune reconnaissance d’année record.
En regardant vers l’avenir d’un point de vue technique, Imagine Engineers développe un ensemble de données de formation pour les artistes musicaux les plus performants du début du 21e siècle. Il est ridicule que Beyoncé ne figure pas dans cet ensemble de données si le statut de gagnant du Grammy Record of the Year est un facteur important.
Sous-évalué dans la société, sous-évalué dans l’IA
Une négligence de cette nature m’irrite à cause du développement de nouvelles technologies qui sont censées faire progresser notre société – si vous faites partie de la classe moyenne, ce sont des Blancs hétérosexuels cisgenres. Mais si vous êtes une femme noire, ces applications renforcent l’affirmation de Malcolm X selon laquelle les femmes noires sont les personnes les plus méprisées d’Amérique (Ouvre dans un nouvel onglet).
Cette dévalorisation des contributions des femmes noires à la société au sens large a affecté mon image dans l’industrie technologique. Pour le contexte, je suis largement considéré comme un expert de l’impact racial des systèmes de technologie de pointe, et je suis souvent appelé à siéger à des conseils consultatifs et à soutenir des équipes de produits dans l’industrie technologique. Dans chacun de ces lieux, j’ai assisté à des conférences où les gens ont été émerveillés par mon expertise.
Bien que les équipes que je dirige aient approuvé et recommandé l’Algorithmic Accountability Act(Ouvre dans un nouvel onglet) à la Chambre des représentants des États-Unis en 2019 et 2022, et le langage qu’il contient, l’US Data Privacy Act de 2022(Ouvre dans un nouvel onglet ) a adopté l’impact Évaluer. Bien qu’une organisation à but non lucratif que je dirige ait été invitée à aider à façonner la façon dont les Nations Unies pensent du biais algorithmique. Bien que j’aie travaillé comme chercheur à Harvard, à Stanford et à l’Université de Notre-Dame, j’ai réfléchi à ces questions à ces endroits.
Malgré cette richesse d’expérience, ma présence a été une surprise car les femmes noires sont toujours considérées comme des employées de la diversité et inéligibles aux postes de direction.
L’incapacité de ChatGPT à reconnaître les effets du sexisme racialisé peut ne pas être une préoccupation pour certains. Cependant, cela devient une préoccupation pour nous tous lorsque nous considérons que Microsoft prévoit d’intégrer ChatGPT (Ouvre dans un nouvel onglet) dans notre expérience de recherche en ligne via Bing. De nombreuses personnes comptent sur les moteurs de recherche pour fournir des informations précises, objectives et impartiales, mais cela est impossible, non seulement à cause du biais dans les données de formation, mais aussi parce que les algorithmes qui pilotent ChatGPT sont conçus pour prédire plutôt que pour vérifier les informations.
Cela a causé quelques bugs flagrants (s’ouvre dans un nouvel onglet).
Tout cela soulève la question, pourquoi utiliser ChatGPT ?
Les enjeux de cet accident de film (ouvre dans un nouvel onglet) sont faibles, mais compte tenu du fait qu’un juge colombien a déjà utilisé ChatGPT (ouvre dans un nouvel onglet) dans une décision – c’est l’un des principaux sujets de préoccupation noirs.
Nous avons vu comment l’algorithme COMPAS (Correctional Offender Management Analysis of Alternative Sanctions) (ouvre dans un nouvel onglet) utilisé aux États-Unis prédit des taux de récidive plus élevés pour les accusés noirs que pour les accusés blancs. Imaginez le verdict de ChatGPT compilé à l’aide des données d’arrestation de l’ère « stop and frisk » à New York, lorsque 90% des personnes noires et brunes arrêtées par les forces de l’ordre étaient innocentes. (s’ouvre dans un nouvel onglet)
Saisir l’opportunité d’intégrer l’intelligence artificielle
Si nous reconnaissons l’existence et l’importance de ces problèmes, nous pouvons répondre aux voix manquantes des femmes noires et d’autres groupes marginalisés.
Par exemple, les développeurs pourraient identifier et combler les lacunes dans les données de formation en engageant des vérificateurs tiers ou des experts indépendants pour mener des évaluations d’impact sur la façon dont les personnes issues de groupes historiquement marginalisés utilisent la technologie.
La diffusion de versions bêta de nouvelles technologies à des utilisateurs de confiance, comme l’a fait OpenAI, peut également améliorer la représentation, si le groupe d’ »utilisateurs de confiance » est inclusif.
De plus, l’adoption de lois telles que l’Algorithmic Accountability Act, réintroduite au Congrès en 2022, établira des directives fédérales pour protéger les droits des citoyens américains, y compris les exigences d’évaluation d’impact et la transparence sur le moment et la manière dont la technologie est utilisée. Précautions de sécurité.
Je souhaite le plus sincèrement que les innovations technologiques conduisent à de nouvelles façons de penser la société. Avec l’adoption rapide de nouvelles ressources telles que ChatGPT, nous pouvons rapidement entrer dans une nouvelle ère d’acquisition de connaissances alimentée par l’IA. Mais l’utilisation de données de formation biaisées projette l’héritage de l’oppression dans le futur.
Les colonnes et l’analyse de Mashable Voices reflètent les opinions des auteurs.