Vignetten om de interbeoordelaarsbetrouwbaarheid bij het gebruik van een risicotaxatie-instrument te onderzoeken: Ervaringen en tips

Medewerkers van het Coördinatieorgaan voor de dreigingsanalyse (OCAD) maken op dagelijkse basis inschattingen over de waarschijnlijkheid dat personen opgenomen in de Gemeenschappelijke Gegevensbank (bv. potentieel gewelddadige extremisten) in de toekomst zullen overgaan tot het plegen van extremistisch geïnspireerd geweld. Ze gebruiken daarvoor de RooT37, een door het OCAD ontwikkeld, gestructureerd risicotaxatie-instrument (Van Hoey, 2020). Bij het gebruik van dit soort instrumenten is het belangrijk dat beoordelingen consistent zijn over beoordelaars heen. Als onderdeel van een groter onderzoeksproject bestudeerden we daarom de interbeoordelaarsbetrouwbaarheid (d.w.z. de mate van overeenkomst tussen beoordelaars) van de RooT37 (Breuls et al., 2022). We maakten daarvoor gebruik van vignetten, die aan de hand van de RooT37 beoordeeld werden door de medewerkers van het OCAD die aan het betrouwbaarheidsonderzoek participeerden. Deze bijdrage beschrijft de belangrijkste methodologische uitdagingen hierbij.