Documentation · Proposition de travail

Cas et méthodes d’évaluation juridique

Évaluer une IA sur une tâche juridique demande de préciser la question, les sources disponibles et les critères de jugement. Droit.org propose de développer une documentation commune pour décrire ces essais et permettre d’en comprendre les résultats.

Disponibilité
Projet proposé
Origine du commun
Proposition de travail
Usage
Évaluation de l’IA
Type
Documentation
Fiche
Mis à jour le 20 novembre 2026

État : projet de documentation. Cette fiche présente la méthode proposée et les contributions recherchées.

Cette fiche porte sur la documentation publique proposée pour décrire les cas et les méthodes. Les travaux engagés dans le cadre de Legal AI Eval sont présentés dans la fiche de mission et dans la démarche d’évaluation. Les matériaux de travail, les documents validés et les versions diffusables sont des éléments distincts.

Décrire précisément la tâche

Vérifier une citation, analyser une clause et expliquer une règle ne sollicitent pas les mêmes compétences. Un cas doit présenter la question posée, la matière, la juridiction ou le droit applicable, la date pertinente et les documents fournis.

Il doit aussi préciser les moyens dont dispose le système : réponse à partir de ses connaissances, recherche dans un corpus, accès au web ou utilisation d’outils. Ces conditions déterminent ce que la comparaison permet de conclure.

Séparer les critères de jugement

Dimension Question examinée
Préférence d’usage Quelle réponse l’utilisateur trouve-t-il la plus claire ou la plus utile ?
Exactitude juridique L’analyse est-elle correcte au regard des faits, des sources et de la date, selon une relecture compétente ?
Fiabilité des références Les sources existent-elles, sont-elles pertinentes et correctement utilisées ?
Usage des outils Le système recherche-t-il et exploite-t-il correctement les informations avec les moyens autorisés ?

Une préférence recueillie dans une arène renseigne sur l’appréciation de l’utilisateur. L’exactitude juridique exige un examen distinct des faits, des règles et du raisonnement. Les résultats obtenus avec des outils ou des documents supplémentaires doivent également être identifiés comme tels.

Rendre les appréciations vérifiables

La méthode proposée consiste à associer les jugements à une explication et à des références. Une grille doit indiquer les erreurs recherchées, la manière de les noter et le traitement des réponses partiellement correctes.

Lorsque des relecteurs compétents ne partagent pas la même analyse, le désaccord doit être documenté. Il peut révéler une question discutée, un contexte insuffisant ou une faiblesse de la grille. La comparaison devient plus utile lorsque ces limites sont explicites.

Définir ce qui peut être diffusé

Chaque cas doit disposer de droits compatibles avec son usage et sa diffusion. Les exemples publics ou fictifs permettent de présenter la méthode sans exposer un dossier confidentiel. Les cas conservés pour une campagne d’évaluation peuvent suivre d’autres modalités d’accès, précisées avant leur utilisation.

Un résultat doit rester associé à la version du système, à la date et aux conditions d’essai. Sa portée dépend des tâches retenues ; il ne constitue pas une certification générale de fiabilité.

Contribuer à la méthode

Vous pouvez proposer une tâche représentative, expliquer une erreur récurrente, relire un cas ou tester une grille. Indiquez votre domaine, la contribution envisagée et les sources publiques qui permettent de l’examiner. Utilisez uniquement des exemples publics ou fictifs exempts de données confidentielles.

Préparer une proposition Voir le chantier d’évaluation Découvrir les références datées

Repères

Élément Information
Nature Projet de documentation et de cas d’évaluation
Publics Juristes, chercheurs, enseignants, développeurs et utilisateurs d’IA
Diffusion et droits À déterminer pour chaque cas et chaque campagne avant leur diffusion
Mise à jour de cette fiche 20 novembre 2026

Signaler une erreur sur cette fiche Tous les communs

Signaler une correction

Cette fiche ne propose pas de fichier à télécharger. Elle décrit le travail et les possibilités de contribution.