Vous avez présenté récemment à la promotion 2021 d’élèves magistrats le résultat de vos expérimentations sur l’impact des algorithmes sur la décision de justice, qui font partie des travaux de recherche que l’ENM finance dans le cadre d’une convention signée en 2018. En quoi consiste ce projet ?

« La conférence que vous évoquez était le résultat d’un travail de recherche que nous menons en collaboration et à la demande de l’ENM depuis 2019. L’originalité de ce programme est que nous proposons une expérimentation à des publics de l’École, que nous transformons ensuite en formation à destination de ces publics en exploitant les données récoltées et les enseignements qui en résultent.

Cette expérimentation a d’abord été proposée à des magistrats formateurs de l’ENM, puis à des juges qui suivent la formation continue, et enfin, à des auditeurs de justice en formation initiale. En tout, de 2019 à 2022, près de 250 personnes ont participé à l’expérience. En pratique, deux dossiers leur ont été soumis : un dossier pénal (violences volontaires) où se posait la question de la culpabilité de la personne poursuivie, et un dossier civil de divorce pour lequel les participants devaient décider de l’attribution ou non d’une prestation compensatoire et en estimer le montant. À chaque fois, nous avons créé plusieurs groupes, qui devaient travailler sur des versions différentes du dossier.

Pour le dossier civil, l’un des groupes disposait d’un dossier traditionnel avec toutes les pièces justificatives liées aux revenus etc., l’autre groupe disposait du même dossier auquel on avait ajouté une expertise algorithmique du montant moyen de la prestation compensatoire attribuée dans ce type de dossier. L’idée était de mesurer l’influence du résultat algorithmique chiffré sur la décision des magistrats. Avec les auditeurs de justice, nous avons pu créer un troisième groupe qui avait accès à un outil d’intelligence artificielle leur permettant d’évaluer la prestation compensatoire à l’aide d’une modélisation mathématique (il s’agissait d’un logiciel accessible en ligne avec un code).

Le principe était le même pour le dossier pénal, mais la question portait sur la culpabilité de la personne poursuivie. Dans cette affaire, un père était accusé d’avoir secoué son bébé et provoqué des lésions. Le dossier était à charge contre le père, mais il restait une question essentielle : les traumatismes subis par l’enfant provenaient-ils du secouement ? Si le bébé avait été secoué, le dossier basculait en faveur de la culpabilité, mais s’il ne l’avait pas été, les violences n’étaient pas établies et le dossier demeurait en faveur de l’innocence. Et c’est là qu’intervenait l’algorithme.

Au départ, l’expertise médicale énumérait des symptômes qui rendaient “probable” le secouement. Le médecin a alors demandé à un statisticien de calculer la probabilité que l’enfant ait été secoué aux vues des lésions et des données épidémiologiques (les pourcentages d’enfants secoués qui présentent ces symptômes, les pourcentages d’enfants non secoués qui les présentent aussi...). Au moyen d’un calcul algorithmique, l’expertise statistique a conclu que la probabilité d’un secouement était de 57% et qu’à l’inverse, la probabilité qu’il n’y ait eu aucun secouement était de 43%. En d’autres termes, cette preuve algorithmique pouvait introduire un doute suffisant dans le dossier. L’objectif était de savoir comment les juges et les auditeurs de justice allaient réagir face à une telle probabilité, dont les modalités de calcul étaient obscures (une équation mathématique complexe). Là encore, nous avons séparé les participants en deux groupes. Le premier disposait d’un dossier contenant l’expertise statistique, alors que l’autre groupe était privé de cette preuve algorithmique. »

Qu’ont permis d’observer ces expérimentations ?

« Dans le dossier sur le divorce, l’algorithme a eu une influence significative sur la prise de décision pour le montant de la prestation compensatoire. Ceux qui avaient accès à l’algorithme (soit l’expertise, soit l’outil informatique lui-même), se sont majoritairement conformés à ses indications.
En matière pénale, le résultat est inverse. Le fait d’introduire une preuve algorithmique n’a pas produit d’effet global sur les décisions relatives à la culpabilité. Ce résultat s’est avéré très constant : on l’a observé de la même manière chez les magistrats et chez les auditeurs de justice.

L’autre élément mesuré était la perception de l’algorithme : les magistrats et les auditeurs de justice étaient-ils favorables à cet outil ? En matière civile, sur des questions quantitatives, chiffrées (comme c’est le cas pour un montant de prestation compensatoire), la perception de l’algorithme a été très positive : plus de 90% ont estimé qu’un tel outil leur serait utile. Mais sur des questions qualitatives comme c’est le cas pour la culpabilité au pénal, il y avait beaucoup plus de réticence face à la possibilité de disposer d’un chiffrage probabiliste. Les participants ont mis en avant leur intime conviction, leur libre arbitre, leur indépendance, ou encore leur impartialité.

C’est une partie de nos conclusions, il y en a beaucoup d’autres. Les résultats de ces 3 ans de recherche seront ainsi publiés dans l’année. »

C’est un travail de recherche que vous souhaitez poursuivre ?

« C’est en effet un travail qui est destiné à se poursuivre car les algorithmes vont faire partie du quotidien des magistrats. En matière civile, les expertises algorithmiques figurent déjà dans certains dossiers. Se confronter à ces expertises, voir ce qu’on peut en faire, comment il faut les manipuler, les interpréter, etc., sont des questions importantes pour les magistrats aujourd’hui. Cela mériterait d’être encore creusé dans le cadre de leur formation et nous pourrions évidemment mener d’autres expériences.

On sait qu’en matière civile l’algorithme est bien perçu pour les questions quantitatives, chiffrées. Il serait par exemple intéressant de mener le même type d’expérimentation au civil sur des questions qualitatives, par exemple quand se pose la question de la résidence habituelle de l’enfant chez le père ou chez la mère dans le cadre d’un divorce ou d’une séparation. L’algorithme pourrait-il aider à prendre ce type de décision ? Les magistrats y seraient-ils favorables ? »

Comment cela s’inscrit-il dans votre projet plus global de recherche ? Avez-vous d’autres travaux en cours ?

« Nous collaborons avec l’ENM pour mener des recherches sur les pratiques des magistrats sur l’office du juge. Comme nous sommes spécialisés dans le domaine de la preuve, nous nous intéressons aux raisonnements à partir des preuves. On appelle cela le “raisonnement probatoire” qui est préalable au “syllogisme juridictionnel”. Il s’agit de comprendre comment les juges sélectionnent les preuves, comment ils les combinent pour établir les faits du litige et se forger une conviction. Nous essayons “d’entrer dans la tête des juges” pour analyser le mécanisme de l’appréciation souveraines des faits et des preuves.

Nous avons publié, avec Olivier Leclerc, directeur de recherche au CNRS, les résultats d’un travail de 3 années, mené avec l’ENM. Nous avons étudié des méthodes académiques de raisonnement probatoire. Depuis plus d’un siècle, des chercheurs ont développé des méthodes graphiques pour représenter des grandes masses de preuves d’un dossier, en particulier en matière pénale. La plus connue de ces méthodes est la chart méthod, inventée par John Henry Wigmore. Nous avons voulu adapter ces travaux américains et anglais en créant une nouvelle méthode accessible pour des magistrats français : la méthode ordonnée d’analyse des preuves. Nous l’avons testée avec des magistrats à partir de dossiers réels. Cela nous a permis de comprendre les raisons pour lesquelles ces méthodes sont essentiellement des outils d’apprentissage, académiques, très intéressants, mais qui ne correspondent pas à la pratique juridictionnelle. Ainsi, le résultat de cette recherche explique non seulement comment la méthode ordonnée d’analyse des preuves peut être mise en œuvre en pratique, mais aussi quels sont les obstacles qui ont été rencontrés par les magistrats qui ont tenté de l’appliquer. Cette étude est parue dans une revue internationale : The International Journal of Evidence & Proof (2022).

Nous avons par ailleurs débuté d’autres travaux.
Nous avons notamment conçu avec l’ENM une nouvelle formation-expérimentation relative à l’appréciation des preuves à destination des élèves magistrats (depuis 2021). Nous leur soumettons un dossier délicat à juger sur lequel ils doivent se prononcer et nous analysons ensuite le raisonnement probatoire qu’ils ont dû réaliser pour trancher le litige qui leur était soumis. Le but est de leur montrer les ressorts de la conviction dans l’acte de juger. Nous décomposons les différentes étapes du raisonnement probatoire, nous leur montrons que l’appréciation des preuves varie d’un individu à l’autre. Nous expliquons comment le raisonnement à partir des preuves repose sur des inférences implicites que l’on appelle “généralisations”. Nous voyons, à partir de leurs réponses, comment l’esprit construit spontanément un récit à partir du dossier et comment ce récit détermine leur conviction. Nous relions ces notions théoriques avec les outils qui vont leur permettre de motiver leur décision et de faire en sorte qu’elle soit juridiquement solide (les présomptions graves précises et concordantes, la charge de la preuve, les motifs dubitatifs, etc.).

Parallèlement, nous faisons d’autres travaux sur la manière dont on peut raisonner ou aider à raisonner avec des systèmes informatiques, des systèmes d’intelligence artificielle... Ce sont toujours des travaux que nous menons avec le soutien de l’ENM, mais cette fois-ci nous collaborons avec des informaticiens. Il s’agit de recherches au long court. Nous espérons utiliser ces travaux pour proposer de futures formations, car l’ENM est en demande sur toutes les questions qui concernent l’impact des technologies numériques sur l’office du juge. »

Consulter le portail documentaire de l’ENM

L'article sur les méthodes graphiques : “Turning a graphical method of evidential reasoning into an operational tool for judges ?”
L’article "Les modèles de raisonnement probatoire : les inférences mathématiques face à la mise en récit" publié dans Les cahiers de la justice (accessible sur abonnement ou dans les bibliothèques de l’ENM)
Vidéo : Qu’appelle-t-on « justice à l’ère numérique » ?
Vidéo : Comment définir simplement un algorithme ?
Vidéo : Le numérique et la justice, est-ce si nouveau ?

Algorithmes et justice : les travaux de recherche soutenus par l’ENM