PC & Mobile

Quand les données discriminent – Armes de la raison – Moyenne

Quand les données discriminent - Armes de la raison - Moyenne


L'intelligence artificielle est entraînée sur des données historiques, mais que se passe-t-il lorsque ces données sont biaisées, voire racistes?

Mots: Elizabeth Brico
Illustration: Marta Monteiro

Dans En mai 2018, le Conseil des droits de l'homme des Nations Unies a publié un rapport saisissant détaillant les différentes manières dont les États-Unis, parmi les pays les plus riches du nord du monde, restent frappés par l'extrême pauvreté et l'inégalité des revenus. Le rapport inclut les agences de protection de l'enfance qui ont été ratifiées par le président Nixon au milieu des années 1970 en tant que protection supposée contre les abus envers les enfants, mais qui sont devenues depuis un moyen pour le gouvernement d'intervenir dans la vie des pauvres, des malades mentaux, toxicomanes, et autrement handicapés - même au point de séparer de façon permanente les enfants de leurs parents.

Chaque année, plus de trois millions d’enfants et leurs familles font l’objet d’une enquête menée par les services de protection de l’enfance du pays. Au dire de tous, la très grande majorité de ces familles sont pauvres. Le 13 avril 2018, ma famille a rejoint ces statistiques lorsque la Floride est devenue l'un des premiers États du pays à utiliser l'IA dans le cadre de son processus de protection de l'enfance. Il a engagé le géant de l'analyse, SAS, pour mener un projet de recherche avec analyse avancée. À l'aide des données collectées entre 2007 et 2013, SAS a passé un contrat avec l'État pour créer un algorithme conçu pour déterminer les facteurs susceptibles d'entraîner le décès d'un enfant par la maltraitance ou la négligence.

En surface, cela semble merveilleux. Qui ne veut pas protéger les enfants? Mais les décès dus à la maltraitance d'enfants sont extrêmement rares - environ 1 750 par an, comparé aux centaines de milliers d'enfants retirés de leur foyer et à près de quatre millions d'enquêtes effectuées sans nécessité.

Tenter d'appliquer un ensemble de facteurs de risque pour un événement qui ne se produit que dans environ 0,0005% des cas ouverts conduit à une abondance de faux positifs et à l'enquête sur des familles sans antécédents de violence. C’est l’équivalent statistique de dire que les personnes victimes de traumatismes infantiles vont devenir des tueurs en série; Les tueurs en série ont souvent des antécédents de traumatismes dans l’enfance, mais la plupart des enfants traumatisés ne deviennent pas des tueurs en série.

Ce type d'erreur statistique s'était déjà produit à Los Angeles. En 2017, le comté de LA a mis fin à son contrat avec SAS après avoir exécuté un algorithme de pratique avec des objectifs presque identiques contre la maltraitance. L'algorithme - qui a été testé contre des cas historiques et qui n'a jamais été appliqué en temps réel - a généré 3 829 faux positifs à partir de données ne comprenant que 171 cas à haut risque. Le comté de LA a utilisé ces résultats pour mettre fin au contrat et examiner d'autres méthodologies pour l'avenir de l'IA pour le bien-être de l'enfant. Mais Florida a codifié les résultats de recherche de SAS dans son approche analytique des abus.

Là où cela a probablement affecté ma famille, l'accent a été récemment mis sur les nouveau-nés exposés à une substance. Ma fille aînée est née en Floride en 2014 alors que je prenais de la méthadone prescrite. Décider de prendre de la méthadone pendant la grossesse était une décision difficile à prendre. Je savais que cela risquait d’aboutir à un sevrage à la naissance de ma fille, mais mes prestataires de soins prénatals ont insisté sur le fait que c’était le meilleur plan d’action depuis que j’étais accro à l’héroïne quand j’ai appris que j'étais enceinte. La méthadone est la norme de référence en matière de traitement des troubles de la consommation d'opioïdes depuis les années 1970 et est approuvée par l'Organisation mondiale de la santé. Je n'ai rien fait d'illégal en le prenant, mais il y avait eu une brève enquête sur la protection de l'enfance dans ma famille à cause de cela.

Quatre ans plus tard, dans les mains du Département des enfants et des familles de Floride, cette brève enquête a refait surface en tant que facteur de risque qu'un algorithme avait déterminé me rendait plus susceptible de nuire à mes enfants. Notre famille avait-elle besoin d'aide? Oui. Est-ce que retirer mes enfants de ma garde et me jeter dans la rue avec mon mari était une décision bénéfique pour mes enfants? Pas du tout.

Comme le suggère Christopher Teixeira, ingénieur en chef chargé de l’analyse basée sur des modèles chez The MITRE Corporation, il est difficile de chiffrer avec précision la marge d’erreur acceptable pour les algorithmes, car elle se rapporte à ce qui est mesuré. «Si vous examinez un modèle prédisant si un enfant sera tué, deux types d’erreurs peuvent survenir», explique-t-il. «Premièrement, vous pourriez manquer de sévérité et l’enfant a été tué. Selon la personne à qui vous parlez, la mort de tout enfant est inexcusable. Par conséquent, toute erreur à cet égard est inacceptable. Le type d'erreur correspondant est: que se passe-t-il si vous dites que tous les enfants risquent de mourir? Maintenant, vous avez dépassé le système. "

Ce système surchargé a des répercussions majeures sur des familles comme le loyer des mines, mis à part par des analyses de risque exagérées au lieu d’être aidés par l’État, marginalisé principalement par notre statut économique précaire. SAS a utilisé des données publiques pour compiler ses recherches, y compris des informations telles que les antécédents criminels, l'historique des avantages sociaux et l'utilisation des services de santé publique, autant de sources principalement destinées aux personnes pauvres. Avant toute analyse des données, on supposait que la pauvreté était le facteur le plus déterminant pour la sécurité des enfants. Comment des prédictions issues d'une hypothèse aussi manifestement biaisée peuvent-elles être justes?

Bien sûr, ce n’est pas un problème propre au système de protection de l’enfance. Tout système connu pour son biais historique intégrera naturellement ce biais lorsqu'il implémentera des systèmes d'IA sans garanties appropriées. Par exemple, en 2016, ProPublica a découvert qu'un algorithme de risque utilisé pour les condamnations pénales dans le comté de Broward signalait à tort que les accusés noirs avaient un risque élevé tout en attribuant une note trop faible à certains accusés blancs.

Ce ne sont pas les seules juridictions à intégrer l'IA dans leur système de protection de l'enfance. Le département de l’enfance et de la famille de l’Illinois a récemment mis fin à son contrat avec Eckerd Connects, l’organisme communautaire de protection de l’enfance basé en Floride, derrière un outil de notation en temps réel appelé Rapid Safety Feedback. À l'instar des programmes de Floride et de Californie développés par SAS, l'outil Rapid Safety Feedback prétend pouvoir prédire quels enfants risquent le plus d'être tués ou gravement blessés à la suite d'abus, d'abandon ou de négligence.

Ce programme a été déployé dans l’État, qui comprend la ville très peuplée de Chicago, où il a, à tort, signalé que des milliers d’enfants risquaient de mourir. Deux enfants à qui on n'a pas attribué de scores à risque élevé ont fini par mourir sous surveillance, a déclaré que Chicago Tribune à l'époque. L’Illinois a rompu ses liens avec Eckerd, mais des versions presque identiques de cet outil sont utilisées dans diverses juridictions du pays, notamment dans le comté de Hillsborough, en Floride, où la même entreprise supervise également les services destinés aux familles dont les allégations de maltraitance sont jugées fondées.

Chaque année, plus de trois millions d’enfants et leurs familles font l’objet d’une enquête menée par les services de protection de l’enfance du pays. Au dire de tous, la très grande majorité de ces familles sont pauvres.

Alors, pourquoi ces programmes sont-ils encore utilisés s’ils sont tellement sujets aux erreurs? «Grâce aux recherches, nous savons que si un humain dort bien, il est beaucoup plus facile à prendre des décisions que s'il dormait mal», déclare Rhema Vaithianathan, codirectrice du Center for Social Data Analytics de l'Université de technologie d'Auckland, et l'un des concepteurs principaux d'un algorithme temps réel actuellement utilisé dans le comté d'Allegheny, en Pennsylvanie. «Les capacités cognitives humaines varient au cours de la journée, de la semaine ou du mois. Ce ne sont pas des robots qui prennent des décisions, ce sont des êtres humains dotés de tous les défauts qu’ils ont ». Un outil algorithmique objectif et infatigable, dit-elle, peut fournir une analyse plus rapide et plus complète de nombreux facteurs.

Emily Putnam-Hornstein, professeure agrégée de travail social à l'Université de Californie, qui a conçu le programme avec Vaithianathan, ajoute que ces outils donnent de meilleurs résultats lorsqu'ils sont associés à des travailleurs humains attentionnés. L’outil de dépistage familial Allegheny, par exemple, aide l’inspecteur d’admission à décider d’envoyer ou non un enquêteur à la maison, mais ne contribue pas à une décision ultérieure. Nous n’essayons pas non plus de savoir si un enfant sera tué. Au lieu de cela, cela indique la probabilité qu'une famille redevienne impliquée dans des services pour enfants à l'avenir.

C’est important car il est beaucoup plus facile de mesurer les facteurs menant à un résultat commun qu’un facteur aussi rare que le décès d’un enfant. Les renvois, contrairement aux décès dus à la maltraitance, ont lieu assez régulièrement (les taux exacts varient d'une juridiction à l'autre). Le problème avec la mesure de ce résultat, cependant, est que cela pourrait bien finir par mesurer le biais. Si les enfants sont référés pour de mauvaises raisons, comme le racisme, alors prédire si une famille se retrouvera dans le système pourrait être simplement une prédiction de savoir si une famille a des voisins racistes.

Ira Schwartz, consultante privée en analytique spécialisée dans la justice pour mineurs et le bien-être de l'enfant, estime également qu'IA a la capacité de rendre les programmes de bien-être de l'enfant plus efficaces et plus judicieux, à condition qu'ils utilisent les bonnes données correctement mises en œuvre. "Ils ne sont pas conçus pour éliminer la discrétion des travailleurs", explique Schwartz. "Il est vraiment conçu pour aider les travailleurs à prendre de meilleures décisions."

En 2017, Schwartz a passé un contrat avec le comté de Broward pour déterminer s'il était possible d'améliorer le processus actuel de justification de la maltraitance en remplaçant l'outil actuel - ce qu'il appelle "une liste de contrôle" - par des outils d'apprentissage automatique. Sa recherche, qui a également mesuré si les familles seraient de nouveau impliquées dans les services à l'enfance, a révélé que 40% des affaires renvoyées devant les tribunaux (celles impliquant généralement le retrait d'un enfant de la garde de ses parents) étaient inappropriées. Il a également appris que les cas qui faisaient l'objet d'interventions trop zélées avaient finalement été lésés et non aidés par la protection de l'enfance. Schwartz pense que combiner les analyses prédictives et normatives peut aider à réduire certaines de ces erreurs et, potentiellement, à remédier à certains des effets du biais contre les pauvres.

«Nous avons constaté que le statut socioéconomique était un facteur prédictif de la participation au bien-être de l'enfance», explique Schwartz, ce qui n'est pas surprenant compte tenu de l'algorithme reposant sur les données d'un organisme connu pour cibler les pauvres. Mais Schwartz pense que l’ajout d’analyses normatives au tableau pourrait peut-être utiliser cette information de manière équitable, plutôt que de l’utiliser simplement comme critère pour déchirer les familles pauvres.

L'analyse prescriptive serait en mesure de décider non seulement si une famille nécessite une intervention, mais de quel type. Cela pourrait aider à disperser les services d'aide de manière plus efficace. Au lieu de placer un enfant en famille d'accueil, le système pourrait prescrire des services de garde subventionnés. «Un grand nombre de cas de négligence sont essentiellement le résultat de la pauvreté», explique Schwartz. "Si ces problèmes économiques et financiers pouvaient être résolus de manière significative, cela réduirait considérablement le nombre de personnes présentes et considérées comme des parents négligents qui ne le sont pas."

Je me demande comment mon cas aurait été traité si les facteurs de risque de ma famille avaient été examinés sous un angle différent: «peut redevenir impliqué dans des services à l'enfance sans intervention appropriée» au lieu de «peut tuer ses enfants». Et si on nous avait donné accès à des services de garde subventionnés, à des services de santé mentale rapides et à une aide au logement?

Au lieu de cela, mon mari et moi avons été expulsés suite à une ordonnance du tribunal, alors que nous étions toujours aux prises avec les problèmes de santé mentale et les problèmes financiers qui avaient conduit à l'ouverture du dossier. Un juge nous a finalement ordonné d'achever tous ces services, mais il a fallu beaucoup de temps pour que les tribunaux soient dirigés vers des agences, le tribunal acceptera que, neuf mois plus tard, mon mari et moi-même ne recevions encore aucun conseil en matière de santé mentale. Nous avons toutefois été condamnés à verser 200 $ par mois chacun en pension alimentaire à la belle-famille qui devait s'occuper de nos enfants.

Nous sommes l'exemple type d'une famille lésée par une intervention trop zélée de la protection de l'enfance. Si les recherches de Schwartz sont exactes, ce n’est peut-être pas l’utilisation de l’IA qui a causé le préjudice, mais bien sa mauvaise application. Quoi qu’il en soit, il est évident qu’avant qu’un gouvernement puisse appliquer en toute sécurité ces puissants algorithmes, il doit tout d’abord remédier aux défaillances du système sous-jacent afin que les pauvres, les personnes de couleur et les personnes handicapées ne continuent pas à être les victimes involontaires d’une IA mal dirigée.

Show More

SupportIvy

SupportIvy.com : Un lieu pour partager le savoir et mieux comprendre le monde. Meilleure plate-forme de support gratuit pour vous, Documentation &Tutoriels par les experts.

Related Articles

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Close
Close