De validiteit en betrouwbaarheid van de Brussels Clinical Evaluation

D03.1 / Van der Mandele Zaal De validiteit en betrouwbaarheid van de Brussels Clinical Evaluation Bruneel E, Pouliart N Vrije Universiteit Brussel Probleemstelling/achtergrond Sinds 2011 wordt de online versie van de Brussel Clinical Evaluation (BruCe) gebruikt in de Faculteit Geneeskunde en Farmacie van de Vrije Universiteit Brussel (VUB). BruCe is een enquête die het opleidingsklimaat meet en wordt door de Master studenten Geneeskunde ingevuld na elke maand stage. BruCe meet zowel de kwaliteit van de klinische afdeling waarop stage wordt gelopen, als de kwaliteit van de begeleiding door klinische begeleiders. Tussen juli 2011 en juni 2014 vulden 265 studenten samen 3305 enquêtes in. Gebruik makend van deze data wordt de validiteit en de betrouwbaarheid van BruCe geëvalueerd. Methode/opzet In de conceptuele visie op validiteit wordt validiteit gezien als een hypothese waarvoor bewijs kan verzameld worden. Cook (2006) vermeldt verschillende factoren die de validiteitshypothese kunnen ondersteunen: de inhoud van de enquête, het antwoordproces, de interne structuur, verbanden met externe variabelen en de gevolgen van de enquête. In dit onderzoek wordt getracht de validiteitshypothese met betrekking tot BruCe te toetsen aan de hand van verschillende van de voorgenoemde factoren. Resultaten/Ervaringen De ontwikkeling van BruCe gebeurde aan de hand van een cyclisch proces. Dit om maximaal gebruik te kunnen maken van de zich continue ontwikkelende literatuur en van de input van de gebruikers/studenten. Geanonimiseerde resultaten van de enquête worden jaarlijks aan zowel de studenten als de betrokken begeleiders gecommuniceerd met het oog op continue kwaliteitsverbetering. De interne structuur van BruCe werd geanalyseerd op basis van de gegevens van academiejaar 2013-2014 (juli 2013 tot juni 2014). 1035 enquêtes werden toen ingevuld door 136 studenten. 24 variabelen (kwaliteit van de afdeling) werden geanalyseerd. Cronbach´s alpha is 0,96. Uit de principal component analysis (varimax rotation, eigenvalues>1, scree plot) komen 3 factoren naar voren. Deze factoren kunnen benoemd worden als Doelstellingen/vaardigheden/verantwoordelijkheden – Sfeer – Evaluatie. Discussie/implicaties voor de praktijk De resultaten staven de validiteitshypothese van BruCe. Er zijn echter zaken die nog verder onderzocht moeten worden. Een doorgedreven interscorer betrouwbaarheidsanalyse is nodig om eventuele subgroepen binnen de gebruikers op te sporen. Daarnaast moet worden nagegaan welke verschillen bestaan tussen de verschillende diensten waarop stage werd gelopen. Op het vlak van de interne structuur kan de vraag gesteld worden of de gevonden factoren kunnen gekoppeld worden aan in de literatuur vermelde factoren. Tot slot kan worden nagegaan hoe de scores evolueren doorheen de jaren en of de publicatie van de resultaten hierbij een effect speelt. Referentie 1 Cook, D.A. & Beckman, T. J. (2006). Current concepts in Validity and Reliability for Psychometric Instruments: Theory and Application. Am J Med., 119, 166.e7-166 Trefwoord: Curriculum: Education environment, Education management: Quality Assurance, Assessment: Psychometrics Wijze van presentatie: Poster Correspondentieadres: E. Bruneel Vrije Universiteit Brussel Faculteit Geneeskunde en Farmacie Laarbeeklaan 103 1090 BRUSSEL België E-mail: [email protected]