Documentation · Proposition de travail
Cas et méthodes d’évaluation juridique
Évaluer une IA sur une tâche juridique demande de préciser la question, les sources disponibles et les critères de jugement. Droit.org propose de développer une documentation commune pour décrire ces essais et permettre d’en comprendre les résultats.
- Disponibilité
- Projet proposé
- Origine du commun
- Proposition de travail
- Usage
- Évaluation de l’IA
- Type
- Documentation
- Fiche
- Mis à jour le 20 novembre 2026
État : projet de documentation. Cette fiche présente la méthode proposée et les contributions recherchées.
Cette fiche porte sur la documentation publique proposée pour décrire les cas et les méthodes. Les travaux engagés dans le cadre de Legal AI Eval sont présentés dans la fiche de mission et dans la démarche d’évaluation. Les matériaux de travail, les documents validés et les versions diffusables sont des éléments distincts.
Décrire précisément la tâche
Vérifier une citation, analyser une clause et expliquer une règle ne sollicitent pas les mêmes compétences. Un cas doit présenter la question posée, la matière, la juridiction ou le droit applicable, la date pertinente et les documents fournis.
Il doit aussi préciser les moyens dont dispose le système : réponse à partir de ses connaissances, recherche dans un corpus, accès au web ou utilisation d’outils. Ces conditions déterminent ce que la comparaison permet de conclure.
Séparer les critères de jugement
| Dimension | Question examinée |
|---|---|
| Préférence d’usage | Quelle réponse l’utilisateur trouve-t-il la plus claire ou la plus utile ? |
| Exactitude juridique | L’analyse est-elle correcte au regard des faits, des sources et de la date, selon une relecture compétente ? |
| Fiabilité des références | Les sources existent-elles, sont-elles pertinentes et correctement utilisées ? |
| Usage des outils | Le système recherche-t-il et exploite-t-il correctement les informations avec les moyens autorisés ? |
Une préférence recueillie dans une arène renseigne sur l’appréciation de l’utilisateur. L’exactitude juridique exige un examen distinct des faits, des règles et du raisonnement. Les résultats obtenus avec des outils ou des documents supplémentaires doivent également être identifiés comme tels.
Rendre les appréciations vérifiables
La méthode proposée consiste à associer les jugements à une explication et à des références. Une grille doit indiquer les erreurs recherchées, la manière de les noter et le traitement des réponses partiellement correctes.
Lorsque des relecteurs compétents ne partagent pas la même analyse, le désaccord doit être documenté. Il peut révéler une question discutée, un contexte insuffisant ou une faiblesse de la grille. La comparaison devient plus utile lorsque ces limites sont explicites.
Définir ce qui peut être diffusé
Chaque cas doit disposer de droits compatibles avec son usage et sa diffusion. Les exemples publics ou fictifs permettent de présenter la méthode sans exposer un dossier confidentiel. Les cas conservés pour une campagne d’évaluation peuvent suivre d’autres modalités d’accès, précisées avant leur utilisation.
Un résultat doit rester associé à la version du système, à la date et aux conditions d’essai. Sa portée dépend des tâches retenues ; il ne constitue pas une certification générale de fiabilité.
Contribuer à la méthode
Vous pouvez proposer une tâche représentative, expliquer une erreur récurrente, relire un cas ou tester une grille. Indiquez votre domaine, la contribution envisagée et les sources publiques qui permettent de l’examiner. Utilisez uniquement des exemples publics ou fictifs exempts de données confidentielles.
Préparer une proposition Voir le chantier d’évaluation Découvrir les références datées
Repères
| Élément | Information |
|---|---|
| Nature | Projet de documentation et de cas d’évaluation |
| Publics | Juristes, chercheurs, enseignants, développeurs et utilisateurs d’IA |
| Diffusion et droits | À déterminer pour chaque cas et chaque campagne avant leur diffusion |
| Mise à jour de cette fiche | 20 novembre 2026 |
Signaler une correction
Cette fiche ne propose pas de fichier à télécharger. Elle décrit le travail et les possibilités de contribution.