Intelligence artificielle

Une proposition de règle d’administration de Trump pourrait laisser les prêteurs discriminer par le biais de A.I.

Une proposition de règle d’administration de Trump pourrait laisser les prêteurs discriminer par le biais de A.I.


La Fair Housing Act pourrait être paralysée par une nouvelle interprétation qui permettrait aux entreprises de technologie de vendre des algorithmes biaisés - et de s'en tirer

Illustration photo de Tessa Modi, photo: site Web HUD

- Une proposition de règle d’administration de Trump pourrait laisser les prêteurs discriminer par le biais de A.I.UNE La nouvelle interprétation par Trump d’une loi sur le logement vieille de plus de 50 ans pourrait encourager l’utilisation d’algorithmes biaisés dans l’industrie du logement, tout en protégeant les banques et les sociétés immobilières des poursuites qui pourraient en résulter.

Selon des documents publiés la semaine dernière par le groupe de travail d'investigation Révéler, le ministère du Logement et du Développement urbain (HUD) envisage une nouvelle règle qui modifierait son interprétation de la Fair Housing Act, une loi de 1968 introduite par le Congrès au milieu du mouvement des droits civiques qui protège les classes protégées de la discrimination. La proposition, qui n'a pas été mise à la disposition du public, comprendrait un langage qui protégerait les entreprises qui utilisent des algorithmes tiers pour traiter les demandes de logement ou de prêt en fournissant un cadre spécifique sur la manière dont elles peuvent “vaincre” les demandes partiales.

Un porte-parole de HUD a déclaré que la proposition avait été soumise au Congrès pour un examen préalable à la publication.

«À l’issue de cette période d’examen (très bientôt), nous publierons cette règle dans le Federal Register», a déclaré le porte-parole. "Jusque-là, nous sommes limités dans ce que nous pouvons dire publiquement alors que le Congrès poursuit son examen."

Pendant ce temps, les experts qui ont parlé à OneZero La proposition comprend mal que l'intelligence artificielle puisse discriminer les personnes sur le marché de l'habitation et que cette décision dissuaderait les entreprises de vérifier si leurs algorithmes sont biaisés.

Actuellement, la Loi sur le logement équitable protège contre les "effets disparates" de ce que l’on appelle les classes protégées - ce qui signifie qu’on ne peut vous refuser un prêt ou une demande en raison de votre race, de votre sexe, de votre religion ou de tout autre statut protégé. La mise à jour proposée rendrait plus difficile pour les gens de prouver l'impact hétérogène résultant de programmes automatisés, par opposition au jugement humain. Les demandeurs alléguant un parti pris algorithmique dans une action en justice devraient prouver cinq éléments distincts pour plaider avec succès contre une entreprise qui utilise des outils algorithmiques.

La proposition fournit également un cadre permettant aux entreprises d’éviter toute responsabilité pour les algorithmes qu’elles utilisent.

Par exemple, un élément à prouver est que l’algorithme ne fait pas de discrimination pour une raison légitime. Cela signifie que si un algorithme était utilisé pour prédire la solvabilité à long terme, mais qu'il était également extrêmement biaisé contre une race spécifique, il pourrait ne pas satisfaire aux critères de succès du procès. Cela pourrait être interprété comme signifiant que certains niveaux de discrimination seront tolérés par le HUD tant que l'algorithme fonctionne bien sur le plan financier.

Des poursuites seraient également nécessaires pour prouver que les classes protégées sont spécifiquement visées - le plaignant devrait être en mesure de démontrer qu'un algorithme refuse systématiquement les prêts aux femmes sur la base de leur sexe, par exemple, mais pas qu'il refuse les prêts aux femmes pour d'autres raisons financièrement acceptables.

La proposition fournit également un cadre permettant aux entreprises d’éviter toute responsabilité pour les algorithmes qu’elles utilisent. L'une de ces méthodes consiste à demander à un «expert qualifié» de dire que son système n'est pas défectueux. Un autre moyen de défense énuméré dans la proposition de HUD consiste à «identifier les entrées utilisées dans le modèle et à montrer que ces entrées ne remplacent pas une caractéristique protégée». ProPublica L'enquête a révélé que certains codes postaux avec des populations minoritaires importantes étaient davantage facturés pour l'assurance auto que les quartiers blancs présentant le même niveau de risque. Dans ce cas, les codes postaux étaient essentiellement utilisés comme substituts de la race: bien que le programme ne soit pas explicitement conçu pour gâcher les minorités, il aurait tout aussi bien pu l’être.

Toutefois, il ne suffit pas de supprimer une entrée telle que les codes postaux, comme des codes postaux, pour mettre fin à la discrimination exercée par la nouvelle technologie algorithmique. Les algorithmes basés sur l'apprentissage en profondeur prennent des décisions en découvrant les tendances des choix que les humains ont faits dans le passé. L'algorithme crée son propre ensemble de règles à appliquer aux exemples futurs, stockées sous la forme d'un réseau complexe de longues chaînes de nombres, non interprétables par les humains, même ceux qui ont créé l'algorithme.

Le danger est que, tout en apprenant à déterminer qui est digne de louer un appartement ou de bénéficier d'un prêt au logement en analysant les décisions existantes, ces réseaux neuronaux profonds trouveront des indicateurs cachés de la race, de la classe sociale, du sexe, de l'âge ou de la religion, puis commenceront à bien discriminer dans ce sens.

"La puissance de nombreux systèmes d'apprentissage en profondeur réside dans le fait qu'ils trouvent des corrélations invisibles à l'œil nu", déclare R. David Edelman, conseiller principal en technologie et en politique économique auprès du président Barack Obama. Projet sur la technologie, l'économie et la sécurité nationale. "Ils trouvent des liens que nous ne verrions pas en tant que personnes, puis ils les utilisent de concert les uns avec les autres."

«La raison pour laquelle cela crée une norme de preuve potentiellement impossible est que le simple fait de regarder les données d'entrée ne suffit pas», ajoute Edelman. «Au lieu de cela, le seul moyen d’être confiant est d’interroger le modèle lui-même: ses données d’apprentissage, son fonctionnement et ses résultats.»

La proposition HUD propose une autre défense pour les banques, les assureurs ou les autres sociétés immobilières qui utiliseraient des algorithmes: transférer la responsabilité au tiers qui a construit l'algorithme. Si une banque achetait un algorithme de calcul du risque auprès d’une entreprise de technologie, elle ne serait pas responsable des décisions de l’algorithme, car elle ne l’avait pas créé ni maintenu. Mais la proposition ne dit pas que la société de technologie est responsable, mais que la banque ne l’est pas.

«C’est écrit d’une manière qui confère au secteur de l’assurance une large immunité, [so] il n’ya aucune raison pour eux d’essayer de se démener pour élaborer des normes concrètes ».

La proposition mentionne également que, dans ce scénario, la banque ne serait pas responsable si l'algorithme était un «standard de l'industrie». Il ajoute ensuite que «dans ces situations, le défendeur peut ne pas avoir accès aux raisons pour lesquelles ces facteurs sont utilisés ou peuvent même ne pas avoir accès aux facteurs eux-mêmes, et donc ne pas être en mesure de défendre le modèle lui-même. "

Le problème est qu’aucune norme de ce type n’existe actuellement, selon Rashida Richardson, directrice de la recherche sur les politiques chez A.I. tenue de recherche AI ​​maintenant.

«Il n’existe pas de normes de gros pour le développement de modèles, ni pour les modèles algorithmiques vendus dans le commerce», déclare Richardson. OneZero. "Et comme cela est écrit d'une manière qui confère une grande immunité à l'industrie des assurances, il n'y a aucune raison pour elle d'essayer de se démener pour élaborer des normes concrètes." En d'autres termes, les entreprises bénéficient de normes molles, tandis que les demandeurs et les clients de prêts perdre.

Il est important de noter que cette proposition n’a pas encore été publiée pour consultation publique, ce qui constitue la prochaine étape dans l’adoption de l’interprétation des règles. On ne sait pas si cela a été renvoyé au Bureau de l’information et des affaires réglementaires, ou à quel point il est proche de cette observation publique.

Mais si cette règle entrait en vigueur, cela aurait de lourdes conséquences pour le secteur de l'habitation. Elle constitue une protection quasi totale de toute responsabilité en vertu de la Loi sur le logement équitable, car le fardeau de la preuve serait si lourd pour les victimes de discrimination et les stratégies mises en place par les banques et autres entreprises pour se défendre clair.

Le principe fondamental de la règle est que cela profite à ceux qui utilisent des algorithmes en limitant leur responsabilité pour les actes de ces algorithmes, et rend plus difficile pour ceux qui sont potentiellement discriminés de contrecarrer ces décisions.

Cette série de règles complique encore la décision de moderniser et d’adopter l’intelligence artificielle à laquelle est confrontée une grande partie du secteur privé. Dans de nombreux cas, l’intelligence artificielle ne peut tirer que des enseignements des décisions prises par l’homme dans le passé, mais son jugement est empreint de partialité et d’artéfacts culturels discriminatoires.

C’est une règle qui dégage les opérateurs d’algorithmes de toute responsabilité pour les décisions de la machine - un écho de la philosophie de la Silicon Valley consistant à «aller vite et casser des choses». Et si les entreprises essaient d’utiliser ce jugement artificiel pour remplacer le jugement humain, il tout à fait possible qu'ils vont.

Afficher plus

SupportIvy

SupportIvy.com : Un lieu pour partager le savoir et mieux comprendre le monde. Meilleure plate-forme de support gratuit pour vous, Documentation &Tutoriels par les experts.

Articles similaires

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Bouton retour en haut de la page
Fermer