paul van grieken . nl | blog

Ik las deze tekst^[1]:

Mijn eerste, onmiddellijke bedenking is: waarom is dit een relatief hoge respons? Relatief aan wat? Aan soortgelijk onderzoek? Of aan de verwachtingen? Die verwachtingen worden niet geëxpliciteerd, maar het woordje ‘hoge’ wekt de suggestie dat onderzoek met goed resultaat is uitgevoerd.

Maar mijn belangrijker bedenking – of zeg maar gewoon ergernis – gaat over het tweede deel van de (door mij) geel gemarkeerde zin. “… en ruim voldoende om representatieve uitspraken te kunnen doen”. Hier wordt een grote – en veelvuldig waar te nemen – misvatting gepresenteerd over representativiteit. Namelijk dat mate representativiteit kan worden afgeleid van het aantal respondenten (of waarnemingen). Afhankelijk van wat je wil weten en meten kan je volstaan met een (aselecte!) steekproef van, zeg, enkele tientallen exemplaren uit een populatie van miljoenen. Bijvoorbeeld als je wil weten of de spanwijdte van een vrouwtjesbuizerd groter is dan die van een mannetjesbuizerd. Maar, hoe meer eigenschappen van de populatie je van belang vindt om te onderzoeken, hoe groter je respons zal moeten zijn. Want de representativiteit is afhankelijk van de mate waarin de groep respondenten overeenkomt met de populatie. Hoe diverser je populatie, hoe diverser de respons zal moeten zijn.

Bij survey-onderzoek (onderzoek met vragenlijsten) doet zich vaak het probleem voor van non-respons, die vaak wel 80% tot 90% is. In dat geval mis je de informatie uit een groot deel van je steekproef. Dat is een probleem wanneer de non-respons selectief is: bepaalde eigenschappen van de populatie raken daarmee ondervertegenwoordigd, lastig als je niet weet welke eigenschappen dat zijn. Als laaggeletterden bijvoorbeeld veel weigerachtiger zijn een vragenlijst over de kwaliteit van overheidscommunicatie in te vullen, weet je dan wel hoe je burgers oordelen over die communicatie? Of als mensen die niet willen verhuizen vaker de vragenlijst ongemoeid laten dan mensen die wel willen verhuizen (en die wellicht zelfs belang hebben bij de resultaten uit het onderzoek), leidt dit dan niet te een overschatting van de ‘verhuisgeneigdheid’ onder de bevolking? Wees alert bij survey-onderzoek op de mogelijkheid van selecte non-respons (eerder regel dan uitzondering, denk ik), want je trekt gemakkelijk verkeerde conclusies.

Aan de respons waarnaar bovenstaand citaat verwijst, lag trouwens geen aselecte steekproef ten grondslag, maar een oproep in de krant en social media. Hoe je dan kan beweren dat die respons representatief is, is mij raadsel. En enigszins cynisch denk ik dat de onderzoeker helemaal niet geïnteresseerd was in representativiteit. Waarschijnlijk sprak de onderzoeker er alleen maar over om te imponeren om de resultaten aanvaardbaar te doen lijken. En vermoedelijk is hij/zij daarin geslaagd. Dat is bluffen met resultaat.

[1] http://www.steenwijkerland.nl/Bestuur/burgemeester_en_wethouders/Benaderbare_burgemeester_met_visie_op_de_toekomst