21–
Pauw en Witteman, maandag 12 september 2011. Da’s al een hele tijd geleden, 617 dagen om precies te zijn, 88 weken en 1 dag of 1 jaar en 251 dagen. Ik maak veel en vaak aantekeningen maar kom aan zorgvuldig uitwerken te weinig toe.
Nu dan maar wel. Als tegenwicht bij Begrijpend lezen, of eerder als zijdelings artikel omdat dat me aan mijn oude aantekeningen deed denken.
Het gaat over uitspraken van Roos Vonk die me zorgen baarden.
Het programma is hier terug te zien. Het ging over een onderzoek naar asociaal gedrag van mensen nadat ze afbeeldingen van vlees hadden gezien. De data kwam van Diederik Stapel, die later in opspraak was geraakt omdat hij gegevens verzonnen bleek te hebben.
Eerst wat stukken letterlijk uitgetikte tekst uit de uitzending.
Roos Vonk vanaf 5m32s:
“Dus ik heb dat artikel geschreven in de Volkskrant, dat was eigenlijk een pleidooi om met z’n allen minder [...] en toen heb ik gemerkt dat mensen daar heel heftig op reageren, hè, dus sommigen zeggen “schitterend artikel”, maar er zijn ook best heel veel mensen die ontzettend kwaad worden. Hè, dus alsof je ze iets probeert af te pakken.”
Op tijdstip 6m31s:
“Nou, die high meat identifiers, dat zijn dus, is de verwachting, de mensen die zo fel reageren als je daar iets negatiefs over zegt.”
Op tijdstip 7m09s:
“En toen hebben wij met z’n drieën dat onderzoek bedacht” [op grond hiervan denk ik dat die drie waren: Diederik Stapel, Roos Vonk en Marcel Zeelenberg; RH] “en korte tijd later kreeg ik opeens, ploep, een mailtje van Diederik, met “nou, we hebben dat onderzoek uitgevoerd, we hebben vier experimenten [...] het is niet allemaal gelukt” zei-die, hè zo gaat het vaak in het echt ook, het lukt niet allemaal.”
Jeroen Pauw, 7m29s:
“Maar met lukken is dat de hypothese die je hebt ook wordt, eh, wordt bevestigd door het onderzoek?”
Roos Vonk verder, 7m33s:
“Ja, dat de hypothese wordt bevestigd, ja. En, dus het is niet allemaal gelukt, maar we hebben vier experimenten die gelukt zijn, en eh, dit zijn de resultaten. Nou en dat waren prachtige resultaten.”
Paul Witteman, 7m43s:
“Althans als je die uitslag leuk vindt.[...]”
Roos Vonk vanaf 8m18s:
“Dit was precies wat we hadden verwacht! Want er is al eerder onderzoek, waaruit ook blijkt dat high meat identifiers [...] dat die meer in termen van dominantie denken over mensen, ‘wie is de baas’.”
Ik hoop dat ik het verkeerd begrijp, maar zo niet, dan is dit toch buitengewoon zorgelijk. Ik krijg namelijk de indruk dat gegevens uit het ene onderzoek geselecteerd zijn op geschiktheid om de hypothese van een ander onderzoek te ondersteunen. De “prachtige resultaten” van de “vier experimenten die gelukt zijn” zijn gebruikt voor dat tweede onderzoek.
Maar wat is er gebeurd met die andere, niet gelukte experimenten? De experimenten die dus niet de hypothese bevestigden? Die zijn weggegooid, niet meegenomen, genegeerd?
Dat lijkt mij een ernstige vorm van confirmation bias. Confirmation bias is een onbewuste neiging tot verkeerd denken en interpreteren, tot het wegduwen of over het hoofd zien van gegevens die niet passen. Het is een denkfout waar wetenschappers zich voortdurend tegen zouden moeten wapenen, door zich te dwingen die bias, die bevooroordeeldheid, opzij te zetten.
Maar wat ik hier waarneem is een wetenschapper die niet de bias bewust vermijdt, maar die die juist tot onderdeel van haar ‘wetenschappelijke’ methode lijkt te hebben gemaakt!
De niet-passende gegevens worden hier niet alleen veronachtzaamd door evolutionair bepaalde tekortkomingen in het menselijk denken, maar er worden bewust en opzettelijk passende gegevens geselecteerd en gebruikt met een vooropgezet doel: het bevestigen van de hypothese.
In dat geval onderkende Roos Vonk achteraf uiteraard wel dat wat Stapel deed, gegevens verzinnen, niet deugt. Maar ze zag niet dat ze zelf – ook met wel echt uit onderzoek verkregen gegevens – helemaal verkeerd, want onwetenschappelijk te werk ging, door gunstige gegevens te selecteren.
Nogmaals: misschien interpreteer ik wat ik hoorde niet goed, en ik hoop dat dat de verklaring is. Alleen, het vervolg van de uitzending wijst daar helaas niet op, dus ik blijf me zorgen maken.
Roos Vonk 8m35s:
“[...] terwijl vegetariërs, weten we uit onderzoek, dat zijn wat empathischer mensen, meer mensen van de verbinding, zijn allemaal gelijk, dus ….”
Paul Witteman, 8m43s:
“Dat is ook wel een beetje wat u verwachtte toch?”
[...]
Paul Witteman, 8m49s:
“Maar stel nou dat uit dat onderzoek, althans uit de gegevens die u had gekregen van uw collega, was gebleken dat juist vegetariërs veel agressiever en hufterig gedrag vertonen?”
Roos Vonk, 8m59s:
“Dan zou ik heel verbaasd zijn geweest [...]. Dan zou ik zeggen “Joh, Diederik, heb je dat wel goed aangepakt?” ”
Paul Witteman, 9m05s:
“Had u het even gecheckt. Heeft u nu niet gedaan.”
Roos Vonk, 9m08s:
“Nee, dat klopt, en dat is natuurlijk ook heel erg stom geweest, blijkt nu, ik heb inderdaad die, die resultaten waren zo precies in lijn met wat we hadden verwacht, dat ik daar geen vragen bij heb gesteld. En dat is wel vaker zo hoor.”
Jeroen Pauw, 9m22s:
“Is dat de kern van de sociale psychologie, dat je een verwachting hebt, en dat je eigenlijk hoopt dat je een onderzoek kunt vinden dat die verwachting ook bevestigt?”
Roos Vonk, 9m30s:
“Ja, tuurlijk. Dat is altijd zo. Je hebt een hypothese, die heb je ook onderbouwd op basis van eerder onderzoek …”
Jeroen Pauw, 9m35s:
“Dus het zal wel ongeveer zo en zo zijn, en ja hoor, nu is het ook zo en zo, dus dan zal het wel zo zijn.”
Roos Vonk, 9m40s:
“Ja, maar zo werkt het. En je zorgt ervoor dat je het onderzoek heel goed opzet, waardoor je zeker weet, hè, bijvoorbeeld in dit geval, dat het niet ergens anders aan kan liggen, dat het een goed … en ik kreeg van Diederik de [niet verstaan;RH]-materialen en ik dacht, nou, dat zit wel goed in mekaar, en doordat je een goed onderzoek hebt gedaan, en dat het klopt met een lijn van denken en eerder onderzoek wat door anderen is gedaan [...] [video wil niet verder] [...] ”
Volgens mij is dit helemaal fout. Confirmation bias in optima forma. Naar een resultaat toe werken. De conclusie staat vooraf vast, nu nog de passende data erbij zoeken om het te bewijzen. Alles wat niet past: niet naar kijken, niet op letten, want dat klopt niet, weten we immers op basis van eerder onderzoek.
Confirmation bias die niet zorgvuldig vermeden wordt, maar die juist tot wezenlijk onderdeel van methode en werkhouding is gemaakt.
Ik ben zelf geen wetenschapper, heb zelfs nooit wetenschappelijk onderwijs genoten, maar volgens mij is dit geen wetenschap. Hier is niet op een wetenschappelijk verantwoorde manier gewerkt.
Ik kan me best voorstellen dat sommige experimenten mislukken (maar niet in de zin van ‘ze bevestigen niet de hypothese!’), dat enkele datasets niet bruikbaar zijn. Maar dan moet wel heel nauwkeurig worden aangegeven hoe dat gekomen is, wat er misging, waarom die data niet meegenomen zijn. Zo maar spoorloos laten verdwijnen, door het selecteren van wel passende resultaten, zoals naar mijn indruk hier gedaan is, dat maakt het onderzoek wetenschappelijk gezien waardeloos.
En dat zou ook al gelden als de gegevens niet ook nog verzonnen waren geweest, zoals later bleek.
Extra merkwaardig: confirmation bias is toch een psychologisch verschijnsel? Dus het zou bekend moeten zijn, juist bij beoefenaars van de sociale psychologie. Er zit ook een sociale component aan, gezien de stupidity of crowds (zie ook Psychology Today), wat je als een soort collectieve, onderlinge, sociale confirmation bias zou kunnen opvatten.
Nogmaals: ik hoop dat ik het allemaal verkeerd geïnterpreteerd heb en dat mijn zorgen onterecht zijn.
Een bijdrage in nl.taal, en nog een.
Rapporten van de Commissie Levelt: Nederlands, Engels.
Ik heb lang niet alles gelezen. Toevallig zag ik in 5.3 mijn twijfels bevestigd.
Een citaat uit 5.6:
“De Commissies kunnen niet anders concluderen dan dat er van laag tot hoog sprake was van een algemene veronachtzaming van fundamentele wetenschappelijke standaarden en methodologische eisen.”