Als iets is gemeten, is het dus objectief vastgesteld, zo denken veel mensen. Felienne Hermans zet er haar vraagtekens bij. 'Ook de zuivere bètawetenschappen zijn niet vrij van bias.'

Meten is weten, wat is dat toch een mooie uitdrukking! Geen speld tussen te krijgen. Als je iets meet, dan weet je er iets over. Maar klopt dat wel altijd? Weten is ook het begin van het woord wetenschap, dus is wetenschap dan ook metenschap? 

Veel mensen denken van wel, en vooral ingenieurs natuurlijk. Veel mensen vinden natuurkunde en wiskunde de real deal en andere vakgebieden maar een beetje een slap aftreksel.

Je kunt niet opmeten hoe gelukkig iemand is tot drie cijfers achter de komma

Dat zie je in veel dingen terug, en zeker ook in onderzoeksmethodes: een bewijs is de beste overtuiging, en dan kom je toch wel terecht bij de natuurkundigen. Soms zijn die het een beetje met elkaar oneens over deeltjes en golven en zo, maar over het algemeen heb je duidelijke, vaststaande resultaten. Het elektron gaat in 27,4 microwobbels om zijn as; niet meer en niet minder.

Aan de andere kant van het spectrum, bij sociologie, psychologie of pedagogiek, komen heel andere methodes aan bod. Je kunt niet opmeten hoe gelukkig iemand is tot drie cijfers achter de komma, of hoe ze (en nu komen we dichterbij mijn vakgebied: programmeren) een bepaalde user interface ervaren.

Als je dat wilt weten, moet je toch vaak je heil zoeken in meer kwalitatieve vormen van onderzoek doen. Dan krijg je te maken met vragenlijsten en open interviews. Of je moet het gedrag van mensen interpreteren, bijvoorbeeld in een think-aloud-studie waarbij ze hun gedachten hardop weergeven.

Wat je niet kunt zien, kan je ook niet helpen bij het begrijpen en verbeteren van user interfaces

Ik geef een vak over onder andere onderzoeksmethodes aan vierdejaars informaticastudenten. Daarbij valt me op dat zij dit soort methoden vaak ‘subjectief’ noemen, maar experimenten met mensen niet. Denk bijvoorbeeld aan een A/B-test waarbij de helft van de mensen de ene en de andere helft de andere versie van een website te zien krijgt. Het is zo wetenschappelijk, want het is metenschappelijk! 

Maar juist experimenten met mensen lijden vaak aan allerlei soorten bias, bijvoorbeeld bij het selecteren van deelnemers. Uit recent onderzoek blijkt dat maar 60 % van papers over user interfaces rapporteerde over het geslacht van deelnemers en maar 13 % over het ras. En wat je niet kunt zien, kan je ook niet helpen bij het begrijpen en verbeteren van user interfaces.

Wie nu handenwrijvend denkt dat de zuivere bètawetenschappen vrij zijn van bias komt bedrogen uit. Niet alleen ‘zachtere’ studies lijden hieraan, ook het puurdere meten heeft er last van. Wist u bijvoorbeeld dat pas in 2010 (!) voor het eerst vrouwelijke crashtestdummy’s werden gebruikt? Eerder had niemand eraan gedacht dat vrouwen vaak korter en lichter zijn en dus andere verwondingen overhouden aan een ongeluk. 

Meten is dus weten, maar niet weten is niet (goed) ­meten. Ook in bètavakken!

Dr.ir. Felienne Hermans leidt aan het Leiden Institute of Advanced Computer Science een onderzoeksgroep gericht op programmeeronderwijs.