De test getest: Over de onbruikbaarheid van psychologische testen voor uitspraken over het individu

Abstract

In dit artikel analyseren we het probleem dat ontstaat wanneer de scientist-practitioner bij het interpreteren van een testscore op een psychologische test een betrouwbare uitspraak wil doen over een individu, maar zich hierbij laat informeren door groepsdata. In de testpraktijk beoogt men de betrouwbaarheid van een testscore te achterhalen door de bijbehorende meetfout te schatten onder gebruikmaking van een kans- en foutentheorie die oorspronkelijk in de astronomie en natuurkunde werden ontwikkeld. Deze theorieën vereisen onafhankelijke en oneindig vaak herhaalde metingen van hetzelfde subject (homogeniteit) onder gelijkblijvende omstandigheden (stationariteit). Dit levert idealiter een scoreverdeling (privéverdeling) op, waarvan het gemiddelde gezien wordt als de meest betrouwbare meetwaarde. Binnen de testpraktijk is dit ideaal echter vrijwel onhaalbaar. Men beroept zich daarom op een gedachte-experiment, waarin een testpersoon in een tijdsvacuüm blootgesteld wordt aan oneindig veel testafnames met hersenspoeling (wissen van het geheugen) na iedere afname. Uitsluitend op basis van dit gedachte-experiment kan men in de klassieke testtheorie uitgaan van de gewenste, doch niet-bestaande, privéverdeling. Het gemiddelde hiervan wordt gelijkgesteld aan de betrouwbare score en de standaardafwijking vormt de meetfout. Aangezien dit experiment fictief is, blijven de betrouwbare score en de meetfout van een individu onbekend. Bij wijze van oplossing meet men een (grote) steekproef van verschillende personen eenmalig en gebruikt men deze data als schatter voor de privéverdeling van een enkel individu. Kortom, interindividuele data worden gelijkgesteld aan intra-individuele data. Ongeacht de praktische noodzaak is een dergelijke uitruil theoretisch alleen te rechtvaardigen onder strikte voorwaarden, die gevat zijn in het zogeheten ergodisch theorema. Een van deze voorwaarden is dat alle privéverdelingen van alle personen in de steekproef identiek moeten zijn om een uitspraak over een individu te mogen doen. Het is onrealistisch te veronderstellen dat in de testpraktijk aan deze voorwaarde voldaan wordt. Het gevolg hiervan is dat er onverifieerbare uitspraken worden gedaan over het individu en onbekende risico’s worden genomen voor diens welzijn. Dit geeft aanleiding tot een korte verkenning van mogelijke alternatieven voor testgebruik.