Organiser les travaux d’évaluation de l’IA juridique
Le chantier d’évaluation relie des travaux juridiques sur les cas et les critères à la préparation d’une expérience de comparaison. Cette fiche présente les objectifs et les étapes de travail. La page consacrée à l’évaluation explique ce que chaque observation permet de comprendre.
État au 20 novembre 2026 : travaux engagés ; première version de l’Arène préparée pour présentation.
Partir des travaux de Legal AI Eval
L’appel initial portait sur la construction et les tests d’une méthode d’évaluation de systèmes d’IA sur des tâches juridiques. Les travaux conduits en 2026 fournissent une base pour préparer des questions, décrire les attentes et discuter les critères de relecture.
Le suivi doit distinguer les matériaux de travail, les documents validés et les versions diffusables. L’existence d’un travail ou d’un mandat ne signifie pas que l’ensemble des cas ou des méthodes peut être publié.
Préparer l’expérience de l’Arène
La première version de l’Arène juridique s’appuie sur le socle ouvert de compar:IA. La préparation des essais porte sur les questions, les configurations techniques et la manière de recueillir les appréciations.
L’expérience doit permettre d’expliquer une préférence et de signaler une égalité, une insuffisance commune ou une difficulté à conclure. Ces observations sont ensuite distinguées de la vérification documentaire et de l’examen juridique.
Documenter chaque campagne
Une campagne utile doit identifier les systèmes testés, leurs versions, les outils disponibles, les matières et les critères. Le suivi décrit les cas utilisés et les conditions dans lesquelles ils ont été relus.
Les résultats doivent conserver leurs limites : couverture des questions, taille de l’échantillon, désaccords et dépendance aux configurations. Un résultat obtenu sur un périmètre précis ne vaut pas validation de tous les usages d’un produit.
Produire des livrables distincts
Le chantier vise une expérience de comparaison utilisable, un protocole compréhensible et des restitutions documentées. Le logiciel, les données de contribution, les cas juridiques et les résultats ne sont pas un livrable unique : leurs auteurs, leurs droits et leurs conditions d’accès peuvent différer.
La publication de chaque élément demande une version identifiée et une information adaptée aux personnes qui contribueront ou réutiliseront les données. Le calendrier annoncé sera celui des étapes confirmées.
Participer à une étape de travail
Vous pouvez proposer un cas, relire une méthode, contrôler une référence ou aider aux essais techniques. Précisez l’objet, la matière et votre disponibilité. Les éditeurs peuvent décrire les conditions techniques d’une participation sans présumer de leur intégration à une campagne.
Proposer une contribution Lire la fiche des cas d’évaluation Suivre les actualités
Mis à jour le 20 novembre 2026