Vijf misverstanden over ‘lerende evaluaties’

Sinds een jaar of tien is het helemaal hip: ‘lerende evaluaties’. Pioniers waren de WRR en het PBL, maar inmiddels maken ook ministeries er driftig gebruik van. Zelfs het meestal strenge Financiën is voor. De afgelopen jaren vonden er in het kader van de operatie ‘Inzicht in kwaliteit’ dan ook verschillende experimenten met lerende evaluaties plaats. De evaluaties daarvan – niets gaat ons in dit mooie land te ver – zijn, een uitzondering daargelaten, positief.
De stijgende populariteit van lerende evaluaties is niet vreemd. Leren, kennis opdoen, beter worden – wie wil dat nu niet? En bovendien: wie aangeeft te willen ­leren, die mag op krediet rekenen.
Tegelijkertijd bestaan er ook nogal wat vooropgezette ideeën over deze innovatieve vorm van evalueren. Er zou vooral gebruik worden gemaakt van innovatieve kwalitatieve methoden en technieken, zoals tekenen en ‘storytelling’. Ook zou het minder over effecten en doelmatigheid hoeven gaan en daarmee niet zo’n vervelende verantwoordingssmaak meebrengen. Maar door dat alles zouden lerende evaluaties ook minder goed kunnen zijn, minder betrouwbaar vooral. Ik zet de vijf grootste misverstanden op een rij.

• Misverstand 1: een lerende evaluatie is een theekransje

  Er hangt een zweem van vrijblijvendheid rond de interactieve aanpak van lerende evaluaties. Beleidsmakers, uitvoerders en onderzoekers zouden te gezellig bij elkaar op schoot kruipen. En het moet vooral gezellig blíjven, dus er is geen ruimte voor kritische vragen of objectieve oordelen. ‘Een lerende evaluatie? Wie zit er nu te wachten op zo’n theekransje?!’
  Dit imago komt misschien door het ‘gevoel van saamhorigheid en onderling vertrouwen’ dat lerende evaluaties volgens de vroege adepten bij het PBL hebben opgeleverd. Of door het ‘gevoel van geruststelling’ waarover zij ook schreven: ‘Je bent niet de enige die ergens mee worstelt.’ Het kan ook komen door het eerdergenoemde krediet: wie aan het leren is, mag immers fouten maken. Niet alles wat misgaat, moet meteen worden afgestraft. Een andere mogelijkheid is dat lerende evaluaties als vriendelijk alternatief worden gezien en gepresenteerd voor die vermaledijde verantwoordingsevaluaties.
  Toch is die vrijblijvendheid een misverstand. Leren is nooit vrijblijvend en dat geldt dubbel en dwars voor een lerende evaluatie. Op de eerste plaats zijn de lessen die eruit volgen, relevant voor hoe het met het beleid en de uitvoering ervan verder moet. Het bepaalt de manier waarop en de middelen waarmee beleid wordt voortgezet. En dan zijn evaluatie-uitkomsten allesbehalve betekenisloos. Tenzij je er natuurlijk niets mee doet (maar ook dat is niet vrijblijvend – zie misverstand 3).

• Misverstand 2: de methoden van lerende evaluaties zijn inferieur

  Het tweede misverstand is dat lerende evaluaties de deur wijd openzetten naar inferieure, onbetrouwbare onderzoeksmethoden. Onderzoekers zouden ongeremd gebruik kunnen maken van een grabbelton aan vriendelijke want kwalitatieve methoden en technieken. En het is waar: praatsessies over door ‘klanten’ of hulp­verleners genomen foto’s, samen muurschilderingen maken of met behulp van ‘storytelling’ gericht zoeken naar successen, het is allemaal toegepast onder het mom van lerende evaluaties.
  Wat echter níét waar is, is dat kwalitatief evaluatieonderzoek per definitie minder goed of betrouwbaar is. Zoals een recent leerboek stelt: hóé je een evaluatie moet uitvoeren, hangt af van de vragen die je stelt. Wie op zoek is naar het antwoord op de vraag of een interventie het gewenste effect sorteert, kan putten uit een arsenaal aan kwantitatieve methoden en technieken. Maar die zijn niet altijd supe­rieur: de evaluator die tegenvallende resultaten – of juist succes – wil verklaren en begrijpen, of in kaart wil brengen hoe je resultaten vanuit verschillende perspectieven kunt waarderen, die kan beter gebruik maken van kwalitatief onderzoek.
  Dat is vooral van belang bij complexe vraagstukken of nieuwe waarden en waarderingen. Het hoeft niet met muurschilderingen: naast interviews en document­analyse zijn er anno 2022 gelukkig tal van innovatieve manieren om dat op een zorgvuldige en verantwoorde manier te doen. Slaat u uw Toolkit Beleidsevaluatie er maar op na.

• Misverstand 3: effecten of doelmatigheid zijn niet relevant voor een lerende evaluatie

  De ruimte die voor lerende evaluaties is ontstaan, vloeit voor een deel voort uit de frustratie die veel mensen ervaren door de nadruk die in wet- en regelgeving op doelmatigheids- en effectevaluaties wordt gelegd. Dat zou leiden tot veel nutteloze evaluaties zonder bruikbare lessen. Het (begrijpelijke) idee daarachter is dat het bij nieuw beleid voor nieuwe problemen vaak nog geen zin heeft om effecten te meten. In plaats daarvan zou een beter begrip van probleemoorzaken of de mogelijke werking van maatregelen voorop moeten staan.
  Maar ook bij deze logica geldt: worden in een lerende evaluatie wel écht de goede vragen gesteld? Relevante lessen voor beleid en uitvoering zullen volgens mij snel sneuvelen als het enthousiasme overheerst om toch maar vooral niets te hoeven zeggen over effecten of doelmatigheid.
  En daar schuilt het misverstand: beleidsgericht leren kan vaak wél heel goed samengaan met inzicht in effecten en kosten, ook of zelfs júíst als dat in een vroeg stadium beschikbaar is. Met het willens en wetens vermijden van vragen naar effecten en doelmatigheid in lerende evaluaties doe je leerprocessen tekort. Voor beleidsmakers die goed voorbereid aan projecten of programma’s zijn begonnen, vormen zicht op en inzicht in gebrek aan resultaten niet te missen lessen. Hetzelfde geldt voor hoge kosten, ongeacht of die nu voor rekening van de overheid, maatschappij of natuur komen.

• Misverstand 4: een lerende evaluatie is altijd een goed alternatief voor een verantwoordende evaluatie

  Leren en verantwoorden: het zijn van oudsher dé twee centrale functies van be­leidsevaluatie. Zoals ik hierboven aangaf, worden lerende evaluaties gezien – en ook wel gepropageerd – als het vriendelijke alternatief voor verantwoordingsevaluaties. En dat is misschien nog wel het grootste misverstand, want in het openbaar bestuur gaan leren en verantwoorden altijd samen. Dat begint al bij de ethische opdracht om met beleid ‘geen kwaad’ te doen: je moet monitoren en evalueren wat de effecten zijn van je beleid en, indien nodig, snel ingrijpen. Over hoe je dat hebt gedaan, past het afleggen van verantwoording: linksom of rechtsom, ongevraagd of juist gedwongen.
  Wie in een kennisdemocratie het monopolie over belastingheffing en geweld heeft, is daarmee verantwoordelijk voor beleid, uitvoering en goed ingerichte leerprocessen. Elliot Stern verwoordde dat goed: ‘Governments are accountable for learning.’ Wie als bestuurder geen antwoord kan geven op de vraag ‘Hoe weet je of je de goede dingen doet?’, die heeft ten eerste zijn leren niet goed georganiseerd, maar is ten tweede onverantwoord bezig.
  Daarnaast geldt dat verantwoording afleggen over effecten en doelmatigheid ook op zichzelf een legitieme eis van goed bestuur is. Wie denkt dat bij het achteraf evalueren van belangrijk beleid een op ‘procesoptimalisatie’ of ‘netwerksturing’ ingestoken lerende evaluatie kan volstaan, heeft het mis. Burgers en hun volksvertegenwoordigers hebben recht op inzicht in de bereikte resultaten en daarvoor gemaakte kosten.

• Misverstand 5: een lerende evaluatie is niets bijzonders

  Oké: lerende evaluaties zijn dus geen theekransjes maar serieus werk, waarbij onderzoekers consciëntieus te werk kunnen gaan en de resultaten niet vrijblijvend mogen zijn. Waarbij inzicht in effecten en doelmatigheid heel goed kan samengaan met leren. En waarbij het organiseren van leerprocessen gewoon een onderdeel is van verantwoord en zich verantwoordend bestuur. Je zou bijna denken dat lerende evaluaties niets bijzonders zijn: beleid maken, uitvoeren en verantwoorden horen immers altijd samen te gaan met leren. En ook in de ‘lerende organisatie’ die de rijksoverheid volgens de ABD wil zijn, hoort het er gewoon bij.
  Mits de lerende evaluaties worden ingezet zoals ze bedoeld zijn, voeg ik daaraan toe. De werkgroep van evaluatie-deskundigen die onlangs de lerende evaluaties van het ministerie van VWS tegen het licht hield, stelde vast dat dit niet altijd het geval is. De hierboven beschreven misverstanden waren daar deels debet aan.
  En dat maakt dat een goede ‘lerende evaluatie’ wel degelijk iets bijzonders is. Zowel evalueren als leren zijn zo oud als de weg naar Kralingen, maar een bewuste combinatie ervan tijdens beleidsprocessen en de insteek en methoden zijn om te beginnen nog relatief nieuw. Bijzonder is het vroeg in beleidsprocessen gericht investeren in meer kennis en het oogmerk die direct toe te passen. Bijzonder is het streven naar minder afstand en meer responsiviteit: meer oor en oog voor de uitvoerders, de doelgroepen en andere belanghebbenden van het beleid. Bijzonder zijn ook de energie en het enthousiasme die lerende evaluaties losmaken.

  Ik hoop dat deze column ertoe bijdraagt dat we deze positieve elementen van lerende evaluaties meer gaan koesteren. En dat het tegengaan van misverstanden daar een beetje bij helpt. Want die misverstanden zijn groot en kunnen leiden tot hardnekkige beeldvorming.
  Dat van het ‘theekransje’ hoorde ik laatst zelfs letterlijk iemand zeggen. Hardop en in het openbaar, namelijk tijdens de bijeenkomst waarop het rapport ‘Durf te leren, ga door met meten’ werd gepresenteerd. Volgens de auteurs moet je van evaluaties willen leren en daarbij fouten durven toegeven. Maar de titel bevat ook de oproep om met kwantitatief onderzoek uitspraken te blijven doen over effecten en doelmatigheid. Een beetje een haat-liefdeverhouding dus.
  Ik herken dat gevoel. Het plakken van het etiket ‘lerende evaluatie’ mag geen open deur zijn naar inferieure vraagstelling en kwaliteit. Bij de start van een lerende evaluatie moet er daarom een indringende discussie plaatsvinden over de vraag: ‘Wát moeten we eigenlijk willen leren, wat is de leeropgave?’ Dat is van wezenlijk belang voor de oprechtheid van zowel het evalueren als het leren.

  De auteur is directeur van IOB. Hij was lid van de stuurgroep die advies uitbracht over de lerende evaluaties van het ministerie van VWS en lid van de expertcommissie van het ministerie van EZK die meedacht over het rapport ‘Durf te leren, ga door met meten’.