Ce que nous apprend l’IA procureure chinoise sur nos attitudes envers les algorithmes

---

A l’heure où les plus grands producteurs d’IA s’interrogent sur la manière dont les sociétés et gouvernements doivent gérer ces technologies en s’appuyant sur des comparaisons à des guerres nucléaires ou des virus, prenons quelques minutes pour regarder les choses et étudier quelques cas emblématiques. Si l’on parle beaucoup de chatbots et autres algorithmes, l’une des approches sociétales de l’IA les plus intéressantes est celle de l’IA procureure chinoise et des réactions que l’on a pu observer. Ce cas est une allégorie illustrant parfaitement les contradictions de nos approches critiques et les tâches aveugles qui structurent nos représentations des algorithmes et leur utilisation.

Décembre 2021, des chercheurs en intelligence artificielle de Shangaï annoncent le déploiement d’une IA procureure¹ capable d’émettre des plaintes envers des citoyens chinois avec une fiabilité de 97%. Le système 206, de son nom, évalue la fiabilité des preuves, les conditions d’arrestation et le niveau de danger d’un suspect pour la société. Cet algorithme est testé depuis 2016 et a été entraîné sur la base de 17000 cas produits entre 2015 et 2020. A l’heure actuelle, l’algorithme est employé sur les 8 délits et crimes les plus fréquents dans la région. Ils comprennent la fraude par carte de crédit, les opérations de jeu illégales, la conduite imprudente, les attaques aux personnes, l’entrave aux fonctions officielles, le vol et la fraude. Pour chaque suspect, l’algorithme se baserait sur 1000 « caractéristiques » prédictives, dont la description n’est pas accessible à notre connaissance.

Commençons par une expérience de pensée : « Aujourd’hui, accepteriez-vous de confier à un algorithme la charge des activités d’un procureur de la république ? ».

S’il semble que la réponse tende majoritairement par la négative dans nos pays occidentaux, elle interroge notre rapport aux algorithmes et nos limites d’acceptabilité de ces derniers. Bien que l’introduction d’IA juridique interpelle lorsqu’il s’agit de la Chine, il ne faut pas oublier qu’elle n’est pas la première. En effet, d’autres pays comme l’Autriche, l’Angleterre, la France, la Lettonie, les Etats-Unis, ou les Pays-Bas s’intéressent, dans un cadre plus restreint, à l’IA dans le domaine juridique². Alors pourquoi ce mouvement de recul face à cette IA procureure ?

Là où l’aspect technique est souvent discuté, il apparaît, paradoxalement comme très faible pour expliquer les freins à l’acceptation de certains outils basés sur des techniques d’IA. En effet, il semble pertinent de s’interroger sur la crainte que nous avons en tant que société envers les décisions algorithmiques non pas seulement pour leur technique mais pour leur influence sur notre contrat social.

Continuons notre expérience de pensée : « Accepteriez-vous l’IA shanghaienne comme procureure si vous étiez assuré qu’elle propose des solutions optimales et dont la transparence serait totale ? ».

• Des biais dans les décisions ? Les données représentent la base de tout algorithme. Si ceux-ci sont biaisés alors les algorithmes produiront des résultats en conséquence. COMPAS, développé dans le Wisconsin aux Etats-Unis, en est un exemple. L’état a en effet développé un algorithme pour évaluer les probabilités de récidives des personnes sur la base de 137 questions. Comme résultat, les personnes à la couleur de peau noire ont été qualifiées à risque bien plus souvent que leurs homologues à la couleur de peau blanche, malgré des probabilités comparables.

Ces problèmes proviennent des systèmes sociocognitifs humains à l’origine des données sur lesquelles l’algorithme a été entraîné. En effet, nos esprits fonctionnent au travers d’optimisations de ressources cognitives que l’on rattache au concept de « biais »³. Par exemple, nous utilisons des stéréotypes pour faciliter la compréhension de notre monde en réduisant le nombre d‘information à traiter. C‘est un outil d‘adaptation dont la conséquence peut être, parfois, la formation de préjugés, et le fait d’agir ou juger sur la base de ces représentations subjectives. Cependant, sans cet outil cognitif, nous serions incapables de nous adapter à notre environnement et au nombre d’informations qui nous parviennent.

Aussi, nous valorisons les informations qui nous donnent raison et diminuons l’attention dévolue aux informations qui nous contredisent. Nos ressources cognitives sont limitées, et très rapidement nous ne sommes plus capables de traiter l’information de manière optimale. Dès lors, si l’indication de l’existant de biais dans les décisions des algorithmes est légitime, il est a minima aussi pertinent à noter pour des décisionnaires humains. En d’autres termes, s’inquiéter des biais des algorithmes est nécessaire, mais cela ne peut disqualifier l’utilisation des IA à proprement parler, sans supposer également la disqualification des décisions humaines.

• Un problème de compréhension de la décision ? Notre cerveau déteste l’incertitude et ne pas comprendre son environnement⁴. Les IA sont des objets mathématiques et numériques qui peuvent être complexes à apprécier, que ce soit pour les non-scientifiques comme pour les scientifiques. La question de l’interprétabilité est une question cruciale, et plus les algorithmes sont complexes, plus celle-ci est problématique (cf. concept de boîte noire).

Cependant, sommes-nous en mesure de comprendre aussi bien pourquoi nous prenons toutes nos décisions ? Est-on capable d’expliquer en permanence pourquoi les personnes en face de nous prennent l’ensemble de leurs décisions ? Le fait est que non. L’autre représente un ensemble d’incertitudes qui se réduit à mesure que la proximité, sociale principalement, augmente. Pourtant, nous ne pouvons pas être proches avec chaque personne que nous croisons, et chacune de ces personnes représente dans une certaine mesure une boîte noire. Cette boîte noire peut avoir un impact significatif sur nos vies et, de manière générale, bien plus qu’un algorithme. En somme, considérer l’incertitude, au travers de l’interprétabilité, comme un frein à l’acceptation des algorithmes est un fait, mais il n’est pas spécifique aux IA. Ce processus est relatif à l’ensemble de notre environnement et l’hypothèse d’un impact plus systémique des algorithmes reste à démontrer.

• Un problème de contradiction ? Si une décision est générée par un algorithme, la composante sociale disparaît. Des recherches montrent que les individus réagissent très différemment aux décisions prises par des algorithmes comparativement à des humains⁵. Cela s’applique à des décisions positives qui seront accueillies plus positivement si elles sont formulées par un humain que par un algorithme avec des conséquences socialement positives (ex. confiance, empathie). Pour les décisions négatives, l’acceptabilité est négativement corrélée à la sensation de ne pas pouvoir discuter la décision. En d’autres termes, une décision négative est mieux accueillie si elle peut être discutée avec l’annonciateur de la décision.

Dans le cadre de notre IA procureure, ce point peut avoir un impact fort en cela qu’il désocialise le processus intrinsèquement social qu’est la justice avec, par exemple, une crainte de produire un paradigme d’autorité. Ce paradigme procède de la supériorité en termes de traitement de l’information d’un algorithme qui ne pourrait être contredit par un humain. « Désolé mais êtes-vous capable d’analyser 1000 caractéristiques à la fois pour soutenir votre argument ? Non… alors chut ». Ici, la problématique en réfère à une interférence dans des processus sociaux que nous avons établis pour faire société. On pourrait dire que l’interférence opère au niveau du contrat social. Mettre en exergue le contrat social peut être une piste pour expliquer pourquoi dans une société où le contrat social ne sous-tend pas la valorisation et la justification de la contradiction, il est plus aisé de voir un algorithme procureur se développer et être accepté.

• Mais peut-être pouvons-nous produire une vision encore plus systémique. Et si la crainte ne venait pas majoritairement de l’outil mais de l’utilisateur ? De manière générale, peu de personnes craignent les décisions algorithmiques (ex. vous ne remettez pas en question votre GPS). On peut évidemment mettre en avant la différence d’impact entre un GPS et une IA procureur.

Reprenons notre expérience de pensée. Si demain une IA était développée sous la gouvernance de l’ONU pour assurer une gestion des flux de nourriture pour que la population mondiale soit satisfaite, ou pour recommander des comportements visant à assurer un avenir écologique à nos sociétés, il serait objectivement difficile de qualifier cette IA de « dangereuse ». Certains pourraient être en désaccord sur la primauté de ces objectifs, mais ce serait une question politique et non de confiance. On peut faire deux remarques ici : premièrement, des recommandations algorithmiques de ce type existent déjà mais cela ne veut pas dire que nous les suivons pour diverses raisons (ex. contradiction du statu quo). Deuxièmement, les algorithmes ayant le plus d’impact sur nos vies ne sont que faiblement développés dans ces buts. Et c’est peut-être là une illustration de l’inquiétude primaire envers les IA. Ce que nous interrogeons dans l’IA juridique Chinoise n’est pas seulement l’IA mais la Chine et l’organisation sociale qu’elle représente au travers des objectifs sous-jacents que nous attribuons à cet évènement. Ce qui nous inquiète est que l’on puisse avoir une utilisation politique, potentiellement liberticide − et impactant notre contrat social −, de ces technologies. En somme, l’inquiétude vient moins de l’outil que de celui qui le tient et de ce qu’il pourrait en faire. Remplaçons, toutes choses égales par ailleurs, la gouvernance de notre IA hypothétique onusienne luttant contre la faim dans le monde par une gouvernance chinoise et nous changeons le niveau d’acceptation générale de l’IA.

Pour conclure, suivant le Hollywood Syndrome⁶ (c.à.d. les attitudes envers les IA résultent et influencent les œuvres culturelles sur ces dernières dans une boucle de renforcement) , ce cas nous montre que les inquiétudes envers l’IA se focalisent plus souvent sur leurs problèmes techniques, plus visibles et donc plus discutés, que sur leurs impacts systémiques sociaux ou les différences culturelles associées. On peut cependant relativiser cette observation dans le cas de la Chine. Les décisions algorithmiques inquiètent en premier lieu par leur contexte d’application, la perte de contrôle qu’elles représentent, la remise en cause de nos contrats sociaux et les objectifs de leur utilisation. Un algorithme, même ”parfait“, continuerait à nourrir les inquiétudes si l’on doute de celui qui l’utilise, et ce, même en dehors de la Chine. En contrepoint, il est intéressant de noter que des algorithmes sont plus facilement acceptés dans des positions hiérarchiques décisionnaires élevées, lorsqu’ils sont présentés comme alternative à des humains jugés négativement dans leurs actions ou dans leurs comportements. Autrement dit, les algorithmes sont plus facilement acceptés lorsque l’humain failli au contrat social. Cela montre une nouvelle fois que l’on ne peut dissocier les réflexions sur les algorithmes des réflexions sur nos sociétés⁷.

Si vous ne devez retenir qu’une chose de cet article c’est que la question de l’acceptabilité et de l’intégration des IA à fort impact sur la société ne peut être posée sans la définition de sa potentielle interférence⁸ avec ce qui fait de nous une société, une question qui s’ancre moins dans les sciences techniques que les sciences humaines.

---

---

Références

1.           Theresa, D. Chinese Scientists Created an AI “Prosecutor” That Can Press Charges. 2021.

2.           Practical examples of AI implemented in other countries.

3.           Acciarini, C., Brunetta, F. & Boccardelli, P. Cognitive biases and decision-making strategies in times of change: a systematic literature review. Management Decision 59, 638–652 (2020).

4.           Burger, J. Desire for control: Personality, social and clinical perspectives. Springer Science & Business Media, 2013.

5.           Dietvorst, B. J., Simmons, J. P. & Massey, C. Overcoming Algorithm Aversion: People will Use Imperfect Algorithms If They Can (Even Slightly) Modify Them. Management Science 64, 1155 (2016).

6.           Sundar, S., Waddell, T. & Jung, E. The Hollywood robot syndrome media effects on older adults’ attitudes toward robots and adoption intentions. in 2016 11th ACM/IEEE International Conference on Human-Robot Interaction (HRI) 343–350 (2016).

7.           Spatola, N. & Macdorman, K. F. Why Real Citizens Would Turn to Artificial Leaders. Digital Government: Research and Practice 2, 1–24 (2021).

8.           Tribunal Administratif de Paris. L’Affaire du Siècle : l’Etat devra réparer le préjudice écologique dont il est responsable.

---