L'intelligence artificielle est-elle objective ?

« En moins de 16 heures, un robot de Twitter est devenu raciste et misogyne ! »

« Le cofondateur d’Apple Steve Wozniak constate qu’il a plus de possibilité de crédit que sa femme, bien que leurs comptes et leurs biens soient joints. »

Il y a deux façons de programmer les ordinateurs. La première, comme pour une recette, on lui donne une série d’instructions : c’est comme ça qu’on a programmé les ordinateurs depuis le début. L’autre façon, c’est d’alimenter l’ordinateur avec beaucoup de données pour qu’il apprenne en les classifiant. Cette méthode n’a été adoptée que très récemment avec l’arrivée des smartphones et les milliards de gens en ligne : Google et Facebook ont amassé une myriade d’informations. Tout à coup, on a pu fournir beaucoup de données à ces algorithmes d’apprentissage automatique. Ça fonctionne mais on ne comprend pas vraiment comment. Ils commettent des erreurs qu’on ne comprend pas tout à fait. L’apprentissage automatique est une boîte noire y compris pour les programmeur.se.s.

L’IA, une science objective ?

C’est en 1956, à l’université de Dartmouth, que l’IA a débuté par une réunion au département de mathématiques. Les hommes qui composaient ce département en 1956 ont défini ce que serait le domaine. Ils ont décidé que l’intelligence pouvait être démontrée par la capacité à jouer à des jeux, en particulier aux échecs. Leur stratégie culmine avec l’ultime partie d’échec entre l’être humain et la machine : le champion du monde Kasparov est vaincu, en moins d’une heure, par le superordinateur Deep Blue d’IBM. L’intelligence dépasse bien sûr cette définition. Il y a de nombreuses formes d’intelligence. Nos idées concernant la technologie et la société que nous considérons normales sont en fait issues d’un groupe très réduit et homogène de penseurs.

De nombreuses idées qu’on se fait de l’IA sont issues de la science-fiction, l’idée de robot·e·s qui pensent comme des humain·e·s et prennent le contrôle du monde. Tout cela est complètement fictif. On a conféré aux ordinateurs cette pensée magique mais en réalité l’IA est étroite, ce ne sont finalement que des mathématiques et pourtant on donne aux algorithmes de plus en plus d’influence. Ils sont tous présentés comme des vérités mathématiques, donc objectives et pourtant…

Une intelligence artificielle qui prédit l’avenir…

Cathy O’Neil, une chercheuse américaine décrit l’impact de l’IA sur nos vies. Pour elle, les algorithmes utilisent les informations historiques pour prédire le futur. L’apprentissage automatique est un système d’évaluation qui évalue des probabilités de ce que l’on va faire :

• Rembourserez-vous votre prêt ?
• Serez-vous licencié·e ?
• Quelle décision prendre dans cette situation ?
• Serez-vous admis à l’université ? etc.

Ce qui l’inquiète le plus dans l’IA ou dans les algorithmes, c’est leur pouvoir. En effet le pouvoir est uniquement dans les mains de qui détient le code. Des personnes ont un algorithme et le déploient sur d’autres. C’est inéquitable. Celles·eux qui se sont vu refuser un crédit ne peuvent pas se dire : « Je vais utiliser mon IA contre la banque. C’est impossible. Les gens souffrent des effets des algorithmes sans savoir ce qui leur arrive. Il n’y a aucun recours, ni aucune responsabilité. »

En 1983 Stanislav Petrov, un militaire russe chargé d’enclencher la riposte en cas d’attaque nucléaire, reçoit l’information que les États-Unis vont lancer des armes nucléaires vers l’Union Soviétique. Le délai pour réagir est très restreint. Il ne fait rien. Il ne dit rien à personne. L’Union Soviétique est son pays, sa famille, tout ce qu’il a est sur le point de disparaître et il se dit : « Au moins, on ne va pas tou·te·s les tuer aussi ». Si elle avait été automatisée, la riposte aurait été déclenchée. Être totalement efficace, toujours suivre le programme, n’est pas humain. Parfois il faut désobéir, il faut refuser de faire quelque chose. Si on automatise tout pour que les ordres soient respectés cela peut mener au pire. Notre confiance aveugle dans le Big Data est très inquiétante.

…en s’appuyant de nos erreurs du passé

En examinant des ensembles de données, Joy Buolamwini, une jeune étudiante noire du MIT découvre que les apprentissages des IA de reconnaissance faciale contiennent en majorité des hommes et des personnes à la peau claire. Les systèmes étaient moins habitués aux visages comme le sien et pour se rendre compte du phénomène elle a décidé de tester d’autres outils. Ces algorithmes ont donné de meilleurs résultats sur les visages masculins que les féminins et pour les visages plus clairs que les visages plus foncés.

Amazon a décidé d’utiliser l’IA pour trier les CV de candidat·e et a appris une dure leçon sur l’intelligence artificielle et a fini par abandonner l’outil de recrutement. En effet le programme défavorisait les femmes, il rejetait tous leur CV. Quiconque avait fréquenté une université réservée aux femmes ou un sport tel que le waterpolo féminin était rejeté·e par le modèle. Comme partout, il y a très peu de femmes à des postes supérieurs de la Tech chez Amazon, la machine ne faisait que répliquer le monde tel qu’il est. Les machines ne prennent pas de décisions éthiques mais des décisions mathématiques. Microsoft a lancé un Chatbot sur Twitter. Cette technologie, nommée Tay.AI, présentait des failles dans son code, en quelques heures seulement Tay a appris de son écosystème à être raciste et misogyne. Il a vite encensé Hitler et conspuer les féministes !

La structure mathématique de l’algorithme n’est pas raciste ou sexiste en soi mais nos préjugés inconscients s’inscrivent dans la technologie. Les données renferment le passé et notamment le passé sombre de l’humanité. Si l’on utilise des ensembles de données biaisés pour former ces systèmes les résultats seront biaisés. Certes, l’IA on est tourné vers l’avenir mais elle est basée sur des données qui reflètent notre histoire. Ces données nous montrent les inégalités déjà présentes. Plus on utilisera des modèles d’apprentissage automatique plus cela va répliquer le monde tel qu’il est et la société ne pourra plus progresser.

« Même si les technologies de surveillance étaient parfaites, on n’en voudrait pas »

Londres, une fourgonnette verte est équipée de caméras de reconnaissance faciale. Si vous passez à proximité, votre visage est scanné et comparé à une liste de surveillance et le système alerte la police en cas de correspondance. L’association de lutte pour la liberté, Big Brother Watch a découvert que 98% de ces correspondances identifient à tort une personne. Aux États-Unis c’est plus de 117 millions de personnes qui ont leur visage dans un réseau de reconnaissance faciale consultable par la police sans mandat grâce à des algorithmes dont la fiabilité n’a pas été vérifiée.

Les gens ont des Alexas chez elles.eux, nos téléphones nous enregistrent, ce qu’on lit sur Internet est l’accès à la connaissance pour la plupart d’entre nous… Tout cela est enregistré et comme nous sommes conscient·e·s d’être observé·e.s, cela affecte la façon dont on réfléchit et on se développe. L’idée est qu’une entreprise puisse anticiper ce qu’on pense, les États tentent depuis des années d’avoir ce niveau de surveillance des populations et de nos jours les gens l’offrent gratuitement à des entreprises privées. On ne comprend pas encore parfaitement ce que ces données permettent de prédire, mais il y a des machines qui en savent tellement sur nous qu’elles ont un moyen de nous manipuler. Dans l’univers en ligne, il est facile pour la machine de trouver un moment précis où l’on est vulnérable et de nous inciter à faire ce sur quoi on est vulnérable, montrer une promo pour aller à Las Vegas à une personne qui a une addiction au jeu par exemple. De plus, ce qui marche pour vendre des gadgets, du maquillage, des t-shirts ou autre, marche aussi pour vendre des idées.

Il y a une vieille maxime en science-fiction : le futur est déjà là, mais il n’est pas réparti équitablement. Les outils les plus punitifs, invasifs et de surveillance sont d’abord utilisés sur les communautés pauvres. Puis, s’ils fonctionnent dans ce milieu où les gens s’attendent moins à ce qu’on respecte leurs droits, on les applique à d’autres communautés. On punit les pauvres et on favorise les riches dans nos sociétés, c’est sa nature mais la science des données automatise cela. Nos pratiques sur Internet accentuent les inégalités et elles les normalisent. On offre des informations concernant tous les aspects de notre vie à une poignée d’entreprises. Quand on assemble ces informations partielles on comprend les gens de manière intime. Probablement mieux qu’elle·il·s ne se comprennent elles.eux-mêmes.

Les gens voient ce qui se passe en Chine et s’inquiètent de la surveillance d’État. Elle·il·s ont raison, mais on ne doit pas oublier la surveillance commerciale menée par les grandes entreprises de la technologie. Il y a actuellement neuf entreprises qui construisent le futur de l’intelligence artificielle : six aux États-Unis, trois en Chine. L’IA se développe selon deux axes différents. La Chine a un accès libre aux données de tou·te·s : si un·e citoyen·ne veut avoir accès à Internet, elle·il doit se soumettre à la reconnaissance faciale et cela lui permet ou non de faire certaines choses en ligne. Créer des systèmes automatiques qui identifient et catégorisent toute la population chinoise est une façon efficace de maintenir l’ordre. À l’inverse aux États-Unis on n’a pas de point de vue détaillé sur l’IA. C, ce qu’on observe c’est que l’IA n’est pas développée dans l’intérêt public mais plutôt à des fins commerciales, pour faire du profit. Comment nos idéaux occidentaux et démocratiques pourraient être intégrés aux systèmes d’IA du futur ?

Vers une légifération ?

Pour l’instant, ces technologies sont rapidement adoptées sans aucune mesure de protection. C’est la loi de la jungle. L’IA influence une grande variété de prises de décisions automatisées (ce qu’on voit sur nos fils d’actualité, les publicités qu’on nous montre, certains recrutements, des décisions politiques, etc). Notre vision du monde est donc influencée par l’intelligence artificielle. On ne peut pas juste faire confiance aux entreprises, il faut avoir des structures solides en place pour s’assurer que notre monde soit sûr et juste pour tou·te·s. Si la police a notre photo biométrique dans sa base de données, c’est comme si elle avait nos empreintes ou notre ADN, or il y a des lois spécifiques à ce sujet, mais elle·il·s peuvent prendre la photo biométrique de n’importe qui et l’enregistrer dans des fichiers sans qu’il y ait aucune transparence.

C’est insensé. On ne peut pas expérimenter avec les droits humains, cela entache la démocratie. Mais sachant que les entreprises même ignorent comment fonctionnent leurs algorithmes, qu’elles en connaissent le but mais pas leurs processus, comment établir la justice dans un système dont on ignore le fonctionnement ?

Garantir une supervision à l’ère de l’automatisation est une préoccupation essentielle dans la lutte pour les droits civiques. Il faut une réglementation des algorithmes. Pour les algorithmes qui peuvent ruiner la vie des gens ou limiter drastiquement leurs options en termes de liberté de travail Il nous faut une réglementation qui dise : « Prouvez-moi que ça fonctionne, pas seulement pour vous enrichir, mais pour la société. Que c’est équitable, que ce n’est ni raciste, ni sexiste, ni validiste.

Le 25 juin 2020 les législateur.trice.s américain·e·s ont interdit l’usage fédéral de la reconnaissance faciale, mais il n’y a toujours pas de réglementation fédérale des algorithmes aux États-Unis. La lutte entre les machines et les humain·e·s au sujet des prises de décisions dans les années 2020 se poursuit…

Pour aller plus loin :

• « Coded Bias », documentaire de Shalini Kantayya, 2020, disponible sur Netflix
• “Algorithmes : La bombe à retardement”, Livre de Cathy O’Neil de 2018, traduit par Sebastien Marty, édition Les Arenes Eds
• « L’intelligence artificielle, pas sans elles ! », livre de Aude Bernheim et Flora Vincent, 2019, éditions Belin