Leesfragment: Ruis

18 mei verschijnt Ruis. Waarom we zo vaak verkeerde beslissingen nemen en hoe we dat kunnen voorkomen, door Daniel Kahneman, Olivier Sibony, Cass R. Sunstein, vertaald door Lidwien Biekmann en Koos Mebius. Wij publiceren voor!

Een baanbrekend boek dat onze denkwijze zal veranderen, van de experts in strategisch denken en auteurs van de megabestsellers Thinking, Fast and Slow (Ons feilbare denken) en Nudge.

Overal waar mensen beslissingen nemen, is sprake van ruis: verschil in oordelen die identiek zouden moeten zijn. Artsen stellen verschillende diagnoses bij dezelfde patiënt, rechters geven verschillende straffen voor hetzelfde delict, twee collega's beoordelen vergelijkbare sollicitanten verschillend. Iemand neemt 's ochtends andere beslissingen dan 's middags. Zulke voorbeelden van ruis zijn overal te vinden, maar mensen en organisaties zijn zich gewoonlijk niet bewust van de rol van ruis bij hun beoordelingen en hun handelen.

Met een aanstekelijk enthousiasme bespreken Nobelprijswinnaar Daniel Kahneman, Olivier Sibony en Cass Sunstein op basis van de nieuwste bevindingen in de psychologie en gedragseconomie hoe en waarom wij zo vatbaar zijn voor ruis bij het nemen van beslissingen, en wat we eraan kunnen doen.

N.B. Eerder publiceerden we voor uit Ons feilbare denken, en Jacob Zwaan besprak het.

Inleiding

Twee soorten fouten

Stel je voor: een groep vrienden gaat naar een speelhal om een schietspelletje te doen. Er zijn vier teams. Elk team bestaat uit vijf mensen en maakt van hetzelfde geweer gebruik; elk teamlid schiet één keer. Figuur 1 laat zien hoe de teams het ervan hebben afgebracht.
In een ideale wereld zou elk schot in de roos zijn.

Figuur 1: Vier teams

Voor team A is dat bijna het geval. De schoten van het team zitten allemaal rond de roos in een bijna perfect patroon.
In het resultaat van team B zit bias: de inslagen zitten op een systematische manier allemaal een stuk van de roos af. Zoals de figuur suggereert, kunnen we op basis van de consistentie van deze bias een voorspelling doen. Als een van de teamleden nog een keer zou schieten, komt het schot vast in hetzelfde gebied terecht als de eerste vijf schoten. De consistentie van de bias doet ook een causaal verband vermoeden: misschien was het vizier van het geweer niet goed afgesteld.
In het resultaat van team C zit ruis: de schoten zijn over een groot gebied terechtgekomen. Er is geen duidelijke bias aanwezig, want de inslagen zijn min of meer gelijkmatig rond de roos verspreid. Als een van de teamleden nog een keer zou schieten, is nauwelijks te voorspellen waar de kogel inslaat. Daarnaast komt er geen interessante hypothese bij ons op om het resultaat van team C te verklaren. Het enige wat we weten is dat de teamleden het niet zo goed hebben gedaan. Waar deze ruis vandaan komt weten we niet.
Team D heeft zowel last van bias als van ruis. Net als bij team B zijn de schoten systematisch een stuk van de roos af terechtgekomen en net als bij team C kennen ze een grote spreiding.
Maar dit boek gaat niet over schietspelletjes. Wij richten ons op menselijke fouten. Bias en ruis – systematische afwijking en willekeurige spreiding – zijn verschillende componenten van fouten. De schietschijven laten de verschillen hiertussen zien.
Dit schietspelletje is een metafoor voor wat er in het menselijke beoordelingsproces mis kan gaan, vooral bij de uiteenlopende beslissingen die mensen namens organisaties nemen. In dat soort situaties vinden we ook de twee soorten fouten uit figuur 1. Sommige oordelen kennen bias: ze zitten er systematisch naast. Andere oordelen kennen ruis: mensen van wie wordt verwacht dat ze het met elkaar eens zijn komen op verschillende plekken rond de ‘roos’ terecht. Helaas hebben veel organisaties last van zowel bias als ruis.
Figuur 2 illustreert een belangrijk verschil tussen bias en ruis. Er wordt in getoond wat u zou zien als u alleen maar de achterkant van de schietschijven te zien kreeg, dus zonder dat duidelijk was waar de roos precies zat.
Hieruit kunt u niet opmaken of team A dichter bij de roos zit of team B. Maar u ziet wel in één oogopslag dat er bij teams C en D sprake is van ruis, en bij teams A en B niet.
De algemene eigenschap van dit soort ruis is essentieel voor het doel van dit boek, want veel van onze conclusies baseren we op oordelen waarbij we niet weten hoe het werkelijke antwoord luidt of waar helemaal geen werkelijk antwoord voor bestaat. Als artsen bij een en dezelfde patiënt verschillende diagnoses stellen, kunnen we dit gebrek aan overeenstemming bestuderen zonder dat we weten wat de patiënt werkelijk mankeert. Als filmproducenten proberen in te schatten of een bepaalde film het goed zal doen, kunnen we de variabiliteit in hun antwoorden bestuderen zonder dat we weten hoeveel de film uiteindelijk heeft opgebracht of zelfs of hij daadwerkelijk is gemaakt. We hoeven niet te weten wie er gelijk heeft om te kunnen meten in welke mate de oordelen in een bepaald geval uiteenlopen. Voor het meten van ruis hoeven we alleen maar naar de achterkant van de schietschijf te kijken.
Als we inzicht willen krijgen in fouten bij beoordelingen, moeten we inzicht krijgen in zowel bias als ruis. Soms is, zoals we zullen zien, ruis het grootste probleem. Maar in wat er publiekelijk wordt gezegd over menselijke fouten en over fouten in organisaties over de hele wereld, wordt er zelden over ruis gesproken. De hoofdrol is weggelegd voor bias. Ruis is een figurant, die zich meestal in de coulissen ophoudt. Het onderwerp bias is in duizenden wetenschappelijke artikelen en tientallen populaire boeken aan de orde gekomen, waarbij ruis zelden werd genoemd. In dit boek proberen we deze balans te herstellen.

Figuur 2: Dit zien we op de achterkant van de schietschijven

Bij beslissingen die in de praktijk van het dagelijks leven worden genomen is de hoeveelheid ruis vaak schandalig hoog. We geven een paar voorbeelden van gebieden waarop en omstandigheden waarin schokkende hoeveelheden ruis voorkomen terwijl accuratesse er van het grootste belang is.

• De geneeskunde is onderhevig aan ruis. Verschillende artsen komen bij één en dezelfde patiënt tot verschillende oordelen over het al dan niet aanwezig zijn van huidkanker, borstkanker, een hartkwaal, tuberculose, longontsteking, depressie, en allerlei andere ziekten en kwalen. Vooral in de psychiatrie, waarin subjectieve oordelen uiteraard een grote rol spelen, komt veel ruis voor. Maar dat geldt opvallend genoeg ook voor gebieden waarin men het niet zou verwachten, zoals bij het beoordelen van röntgenfoto’s.
• De jeugdzorg is onderhevig aan ruis. Casemanagers bij instanties voor kinderbescherming moeten zien in te schatten of kinderen gevaar lopen te worden mishandeld, en zo ja, of ze uit huis moeten worden geplaatst. Dat systeem is onderhevig aan ruis, want sommige managers zijn sneller tot uithuisplaatsing geneigd dan andere. Jaren later blijken veel kinderen die de pech hadden zo’n doortastende manager te treffen er slechter voor te staan dan anderen: ze zijn vaker met justitie in aanraking gekomen, zijn vaker tienermoeder geworden en hebben lagere salarissen.
• (Trend)voorspellingen zijn onderhevig aan ruis. Professionele analisten leveren uiterst uiteenlopende prognoses over de verwachte verkoopcijfers van een nieuw product, de verwachte groei van de werkloosheidscijfers, de kans op faillissement van in zwaar weer verkerende bedrijven, ja eigenlijk over alles waar ze iets over te melden hebben. Ze spreken niet alleen elkaar tegen, maar ook zichzelf. Toen dezelfde softwareontwikkelaars bijvoorbeeld op twee verschillende dagen werd gevraagd hoeveel tijd ze nodig dachten te hebben voor een en dezelfde taak, was het gemiddelde verschil tussen het aantal geschatte uren 71%.
• Beslissingen in asielzaken zijn onderhevig aan ruis. Of een asielzoeker in de Verenigde Staten als zodanig wordt erkend hangt af van een soort loterij. Een onderzoek waarin asielzaken willekeurig aan verschillende rechters werden toegewezen liet zien dat de ene rechter 5% van de aanvragen toewees en de andere 88%. De titel van het onderzoek was dan ook veelzeggend: ‘De Vluchtelingenroulette’.4 (We zullen nog heel wat roulettes tegenkomen.)
• Beslissingen over het personeelsbeleid zijn onderhevig aan ruis. Mensen die met sollicitanten spreken beoordelen dezelfde mensen totaal verschillend. Prestatiebeoordelingen van dezelfde werknemers zijn ook zeer variabel en hangen meer af van degene die de beoordeling uitvoert dan van de te beoordelen prestatie.
• Beslissingen over borgtocht zijn onderhevig aan ruis. Of Amerikaanse verdachten op borgtocht vrijkomen of in afwachting van hun berechting vast blijven zitten, hangt grotendeels af van de rechter die de zaak toevallig behandelt. Sommige rechters zijn veel milder dan andere. Rechters verschillen ook aanzienlijk wat betreft hun inschatting van welke verdachten al dan niet vluchtgevaarlijk zijn of een grote kans op recidive hebben.
• De forensische wetenschap is onderhevig aan ruis. Het is er bij ons ingestampt dat identificatie aan de hand van vingerafdrukken onfeilbaar is. Maar experts die vingerafdrukken vergelijken zijn het er soms niet over eens of een vingerafdruk van een plaats delict te koppelen is aan een bepaalde verdachte. Ze zijn het niet alleen met elkaar oneens, maar ook met zichzelf: dezelfde expert neemt soms een andere beslissing als dezelfde afdruk bij een andere gelegenheid nogmaals moet worden beoordeeld. Een vergelijkbare variabiliteit is in andere wetenschappelijke disciplines waargenomen, zelfs bij dna-analyses.
• Besluiten over patentaanvragen zijn onderhevig aan ruis. De auteurs van een toonaangevend onderzoek naar patentaanvragen constateren op dat terrein ook ruis: ‘Of het patentbureau een patent al dan niet goedkeurt hangt in significante mate af van welke beoordelaar de aanvraag toevallig heeft toegewezen gekregen.’ Het moge duidelijk zijn dat deze variabiliteit uit het oogpunt van gelijke behandeling ongewenst is.

Al deze voorbeelden zijn nog maar het topje van de ijsberg. Overal waar mensen tot een oordeel moeten komen is de kans op ruis aanzienlijk. Om de kwaliteit van onze beoordeling te verbeteren moeten we zowel ruis als bias weg zien te werken.

[...]

© 2021 Daniel Kahneman, Olivier Sibony en Cass R. Sunstein
© 2021 Nederlandse vertaling Lidwien Biekmann en Koos Mebius / Uitgeverij Nieuw Amsterdam