Juridische verwijzingen op rechtspraak.nl opsporen

Thom van der Ent en Jason Zonjee hebben de volgende taak op zich genomen voor hun Master scriptie Data Science: vind helemaal automatisch in gerechtelijke uitspraken op rechtspraak.nl alle juridische verwijzingen naar eerdere uitspraken, wetten of wetsartikelen, Europese regelingen of parlementaire stukken, en vind ook nog eens het juiste document waarnaar verwezen wordt.

Dit lijkt eenvoudig, maar in de praktijk blijkt dat nog best lastig te zijn. Op dit moment wordt dit gedaan door de LIDO Link Extractor ontwikkeld door Marc van Opijnen van Logius/KOOP. Dit is ook te zien door op rechtspraak.nl op het knopje verrijkte uitspraak te klikken. De studenten kregen als opdracht om te kijken in hoeverre deze taak ook met AI gedreven technieken kon worden uitgevoerd, en allicht zelfs wel beter dan het op regels gebaseerde LIDO systeem.

De verwachting was dat een geleerd systeem méér verwijzingen zou vinden, maar ook wat meer foutjes zou maken. Het eerste kwam uit, maar de prijs in termen van foutjes bleek minder hoog dan verwacht, en niet slechter dan het LIDO systeem. De studenten hebben 3 manieren getest, waarbij de laatste het beste werkte.

  • een systeem geleerd op de door LIDO gevonden referenties.
  • Een LLM die alleen een paar voorbeelden in een verder heel algemene prompt kreeg.
  • Een LLM met een heel uitgebreide prompt gebaseerd op de 2 standaard juridische leidraden voor verwijzingen.

Meer ogen zien meer

Een niet meteen verwacht resultaat van het onderzoek was dat de LIDO en de twee AI systemen allemaal hun eigen plus- en min-punten hadden. Door te vergelijken wat de één oppikte en de ander niet konden we een flink aantal systematische fouten in de regels van LIDO ontdekken. Dat waren zowel gemiste als verkeerde referenties. Een mogelijke toepassing van de twee AI systemen is dan ook precies op deze manier: niet direct als link extractor, maar als effectief en goedkoop hulpmiddel voor kwaliteitscontrole en verbetering.

Presentatie

Hieronder de presentatie van Thom en jason zoals gehouden op de jaarlijkse UvA/OpenGov lab Woorkshop.

Plaats een reactie