Comment Westworld a imaginé un futur du totalitarisme numérique

Bien que le blockbuster de science-fiction Westworld se déroule en 2058, il n’est pas facile au début de distinguer la différence entre les villes futuristes représentées à l’écran et la nôtre. La saison 3 de l’émission dépeint une société collée à leurs smartphones, essayant de gravir les échelons de l’entreprise et d’éclater des pilules quand tout devient trop. La plus grande différence semble être que les voitures sans conducteur sont vues sur les routes réelles, pas seulement déserts vides.

Mais tout n’est pas comme il semble. Dans le premier épisode de la saison, nous voyons Caleb (le nouveau meneur masculin de Westworld) informé par robo-call que sa candidature avait été refusée – son «score» n’était pas assez élevé. Plus tard, l’ancien soldat est averti de ne pas abandonner les conseils obligatoires, ce qui réduirait son score. Il se trouve que le score de Caleb dicte tout dans sa vie: sa profession, où il peut vivre, même avec qui il peut sortir et s’il peut avoir des enfants. Ceci est un degré de contrôle même la Chine ne peut que rêver.

Westworld dépeint une société entière façonnée dans l’ordre par ces couches superposées d’incitations basées sur les applications. Juste un seul superintelligent L’IA et des masses de données sont responsables de la création de ce nouvel ordre social, gouvernant non pas par la force des armes mais par des effets de réseau écrasants. Westworld pose une sombre question: qu’est-ce qui empêche la société actuelle de sombrer dans une dystopie technologique, régie par des algorithmes?

Je vais en poser une de plus – et si nous y sommes déjà?

Bien avant l’avènement de délicieuses inventions modernes comme Facebook (décrit par un initié «cocaïne comportementale») et Tinder (dont l’utilisation est ironiquement lié à la solitude croissante), certains philosophes se tournaient déjà vers ce à quoi ressemblerait la fin de la société libre.

La philosophe Hannah Arendt a écrit dans «Les origines du totalitarisme» que:

La dernière étape de la société laborieuse, la société des travailleurs, exige de ses membres une fonctionnement automatique, comme si la vie individuelle avait été submergé dans le processus de vie global de l’espèce…

Dans Westworld, l’IA superintelligente nommée Rehoboam est obsédée par l’ordre. La société de Westworld est si inévitablement prise au piège sous le joug des incitations basées sur les applications de Roboam que le libre arbitre a effectivement cessé d’exister. Même si personne ne tient techniquement un pistolet sur la tête de Caleb pour lui faire augmenter son score, quel choix a-t-il vraiment? S’il ne suit pas les caprices des algorithmes de Roboam, il n’a aucune perspective de carrière, de relation ou d’endroit où vivre. Ce n’est pas un vrai choix.

Roboam, comme tout autocrate qui se respecte, pense que le plus grand bien de l’humanité justifie sa manipulation et son contrôle. Mais Westworld indique très clairement que Roboam représente un type de menace fondamentalement différent pour les dictateurs les plus pervers de l’histoire comme Hitler et Staline. Roboam crée la plate-forme basée sur les scores, mais la dépendance aveugle de l’humanité à cette plate-forme est le produit de ses propres instincts sociaux. Roboam n’a pas besoin d’une Gestapo ou d’un service secret pour maintenir sa population en ligne. Arendt a bien compris: nous, les humains, sommes heureux d’automatiser notre propre libre arbitre.

Pensez à quel point la prise de décision de base à l’ère moderne a été déléguée (souvent à grands frais) aux algorithmes. Les algorithmes fonctionnent déjà Marchés financiers, systèmes de protection sociale et des morceaux de la système de justice pénale. Mais ils touchent également d’innombrables aspects de notre vie personnelle, y compris les domaines que nous considérons comme sacrés. Par exemple, les algorithmes de Tinder aident à décider avec qui vous sortez et tombez amoureux; Les algorithmes de Facebook influencent qui sont vos amis et comment vous restez en contact avec eux. Au nom de rendre nos vies plus faciles et plus connectées, nous avons tous adopté la prise de décision algorithmique même si nous n’y pensons pas en ces termes.

Comme les développeurs de plates-formes technologiques le savent beaucoup mieux que nous, les humains sont des créatures sociales qui suivront le troupeau si on leur donne une demi-chance. Nous utilisons Tinder parce que c’est addictif et simple, mais aussi parce que tout le monde l’est. Comme un ami l’a malheureusement remarqué (après une nouvelle déception de Tinder), « vous devez être sur les applications de rencontres, car toutes les autres personnes célibataires le sont ». Ces effets de réseau donnent à une plate-forme comme Tinder une attraction gravitationnelle difficile à échapper. Si tous vos amis y sont, vous voulez aussi y être – c’est la même dynamique qui nous voit si nombreux sur Facebook, Instagram et WhatsApp.

Un gros problème avec cette tendance moderne à gérer nos vies via des applications est qu’une énorme quantité d’énergie est donnée à quelques ingénieurs qui conçoivent les algorithmes qui alimentent ces applications. L’IA d’Instagram décide des publications à afficher à tout moment. L’IA de Tinder décide de vos options pour balayer un soir donné. Est-ce vraiment si différent de Rehoboam de Westworld, une IA qui décide si Caleb obtient un emploi ou s’il reçoit une séance de conseil?

Bien sûr, en partie parce que cela rend la télévision meilleure, l’exemple de Westworld est exagéré. Nous avons un choix bien plus réel que Caleb, et aucune plate-forme ne contrôle tous les éléments de la vie quotidienne comme Rehoboam (bien que Google fait de son mieux). Cependant, la volonté effrayante de la société de Westworld de s’intégrer dans le système basé sur les scores de Roboam n’est qu’une extension logique du monde réel, où nous nous sommes révélés heureux de déléguer nos décisions à l’IA.

N’oubliez pas non plus que l’ère de l’intelligence artificielle ne fait que commencer. Chaque année, les algorithmes deviennent plus précis, plus prédictifs et plus populaires. Nous continuerons probablement tous de transférer davantage de décisions dans nos vies vers les nouvelles plates-formes et l’IA qui les gère, que ce soit pour des raisons de commodité, de plaisir ou parce que nous voulons suivre les Jones. Le sombre avertissement de Westworld est que cette tendance peut avoir des conséquences. Comme le note un personnage à propos de Roboam:

« Les gens qui ont bâti notre monde partageaient une hypothèse: les êtres humains n’ont pas le libre arbitre. »

Si l’année est 2058 et que les humains ont eu 50 ans à déléguer de plus en plus de leur vie à des algorithmes, qui peut dire que l’hypothèse de Roboam est fausse? À quel moment abandonnons-nous notre libre arbitre et nous effondrons-nous dans le «fonctionnement automatique pur» d’Arendt?

Il est tout à fait concevable que l’ère moderne, qui a commencé avec une explosion d’activité humaine sans précédent et prometteuse, puisse se le plus mortel, passivité la plus stérile l’histoire n’a jamais connu…

Si l’on met de côté la question du libre arbitre, les dynamiques de pouvoir en jeu dans une technocratie basée sur des algorithmes sont simples. Plus les décisions sont déléguées à l’IA, plus le pouvoir est transféré aux ingénieurs responsables de cette IA. Si un petit groupe de personnes contrôle la plupart des algorithmes, et que ces algorithmes dictent et régissent une grande partie de nos vies, la comparaison avec un système totalitaire devient floue.

Nous devons être conscients du risque des autocrates numériques et du pouvoir qu’ils détiennent grâce à des technologies qui nous sont rapidement devenues indispensables. Ces dangers, découlant du contrôle de l’influence algorithmique, sont presque invisibles dans le monde d’aujourd’hui. Les plates-formes technologiques existent dans un environnement essentiellement non réglementé, les gouvernements s’efforçant de comprendre même les contours de ce nouveau monde numérique. Ils doivent se bousculer plus vite.

Au 21e siècle, les totalitaires n’ont plus à monter sur des chars pour établir le contrôle. Comme le démontre Westworld, il sera beaucoup plus efficace de donner à la population un outil de prise de décision auquel elle ne peut tout simplement pas résister.