Organiser les travaux d’évaluation de l’IA juridique

Le chantier d’évaluation relie des travaux juridiques sur les cas et les critères à la préparation d’une expérience de comparaison. Cette fiche présente les objectifs et les étapes de travail. La page consacrée à l’évaluation explique ce que chaque observation permet de comprendre.

État au 20 novembre 2026 : travaux engagés ; première version de l’Arène préparée pour présentation.

Préparer l’expérience de l’Arène

La première version de l’Arène juridique s’appuie sur le socle ouvert de compar:IA. La préparation des essais porte sur les questions, les configurations techniques et la manière de recueillir les appréciations.

L’expérience doit permettre d’expliquer une préférence et de signaler une égalité, une insuffisance commune ou une difficulté à conclure. Ces observations sont ensuite distinguées de la vérification documentaire et de l’examen juridique.

Documenter chaque campagne

Une campagne utile doit identifier les systèmes testés, leurs versions, les outils disponibles, les matières et les critères. Le suivi décrit les cas utilisés et les conditions dans lesquelles ils ont été relus.

Les résultats doivent conserver leurs limites : couverture des questions, taille de l’échantillon, désaccords et dépendance aux configurations. Un résultat obtenu sur un périmètre précis ne vaut pas validation de tous les usages d’un produit.

Produire des livrables distincts

Le chantier vise une expérience de comparaison utilisable, un protocole compréhensible et des restitutions documentées. Le logiciel, les données de contribution, les cas juridiques et les résultats ne sont pas un livrable unique : leurs auteurs, leurs droits et leurs conditions d’accès peuvent différer.

La publication de chaque élément demande une version identifiée et une information adaptée aux personnes qui contribueront ou réutiliseront les données. Le calendrier annoncé sera celui des étapes confirmées.

Participer à une étape de travail

Vous pouvez proposer un cas, relire une méthode, contrôler une référence ou aider aux essais techniques. Précisez l’objet, la matière et votre disponibilité. Les éditeurs peuvent décrire les conditions techniques d’une participation sans présumer de leur intégration à une campagne.

Proposer une contribution Lire la fiche des cas d’évaluation Suivre les actualités

Mis à jour le 20 novembre 2026