Dansen op de vulkaan. We deden het in de jaren tachtig, op klanken van De Dijk. ‘Het kan elk moment gebeurd zijn, maar ze gaan nog even door: nog dichter bij de afgrond, nog dichter op het vuur …’ Destijds was het vooral de dreiging van een nucleair armageddon die de toon zette. Maar ook de beroerde economie met zijn massale werkloosheid en het verpeste milieu met zijn zure regen en gaten in de ozonlaag droegen bij aan het gevoel van onafwendbare rampspoed.
We zijn veertig jaar verder, maar ook in de jaren twintig dansen we – na een pauze van anderhalf jaar thuiszitten – weer boven op de vulkaan. Nu is het vooral de klimaatcrisis die de toon zet. Maar de coronapandemie, de stikstofcrisis en de verslechterende internationale veiligheidssituatie helpen bepaald niet mee. Tel daar post-truth politics, een te ver terugtrekkende overheid en de onzekerheden rond massamigratie bij op en het beeld van maatschappelijke ontevredenheid is compleet.
Ondanks al het in diezelfde periode uitgevoerde evaluatie- en beleidsonderzoek, denk ik er dan als vakidioot onwillekeurig achteraan. En ook dat maakt niet vrolijk. Hadden ‘wij’, beleidsonderzoekers en evaluatoren, niet meer kunnen doen? Had dat een deel van die ontevredenheid kunnen voorkomen? Aan de andere kant: er is ook goed nieuws. Onze koopkracht is de afgelopen veertig jaar bijvoorbeeld enorm gegroeid. Zure regen is iets van het verleden, er werken meer mensen dan ooit en ook op andere gebieden scoort ons land ronduit goed. We hebben zelfs de gelukkigste kinderen van de hele wereld: als dat geen wapenfeit is, ook voor het evaluatieonderzoek in Nederland, dan weet ik het niet.
En ons land scoort op wel meer indexen goed. Alleen de Scandinavische landen doen het vergelijkbaar en soms zelfs nóg beter. Dat is in elk geval de conclusie van de VN, die de Zweden, Denen en Noren hoog in hun Human Development Report zetten. In die rangschikking van landen met de meeste welvaart en welzijn wordt gekeken naar koopkracht, het niveau van onderwijs, levensverwachting, maar ook zaken als mensenrechten en cultuur.
Kortom, wie op zoek is naar veiligheid, geluk of persvrijheid, die moet naar het noorden, waarbij geldt dat Nederland volgens sommige mensen een soort extra Scandinavisch land is. In evaluatiekringen gelden we bijvoorbeeld onverkort als ‘Nordic’. Ik heb het niet onderzocht, nog niet, maar het is waarschijnlijk geen toeval dat de hoge scores juist in deze landen vallen: behalve het klimaat delen ze ook een goed ontwikkelde evaluatiecultuur. Dat hangt overigens weer samen met culturele aspecten en de noodzaak om in een koud, waterrijk land samen te werken … Sla uw internationale evaluatieatlas er maar op na.
Naast een goede organisatie van ‘de evaluatiefunctie’ is ook innovatie een kenmerk van de ‘Nordic’ benadering. Auteurs als Peter Dahler-Larsen maar ook onze eigen Tineke Abma hebben bijvoorbeeld baanbrekend werk geleverd voor meer responsief evaluatieonderzoek. Naast ‘meten’ is vooral ‘begrijpen’ van belang. Wat dat betreft, is het treffend dat er binnen drie jaar maar liefst twee – zeer Scandinavische – Nobelprijzen zijn uitgereikt voor tamelijk traditioneel effectonderzoek. In 2019 ging de Nobelprijs voor Economie naar Esther Duflo (en twee anderen) voor hun experimentele evaluaties van maatregelen om de armoede in ontwikkelingslanden te verlichten. En dit jaar ging de prijs naar EUR-alumnus Guido Imbens (en weer twee anderen – succes is immers samenspel) voor het benutten van natuurlijke experimenten om het effect van beleidsmaatregelen vast te stellen.
Ik vind het eerlijk gezegd wel mooi: voor mij kan de lat niet hoog genoeg gelegd worden als het gaat om het evalueren van de effecten van beleid. En zoals u als lezer van dit virtuele blad weet, geldt experimenteel en natuurlijk experimenteel evaluatieonderzoek, samen met daarop gebaseerde systematische reviews, als de top van de bewijspiramide. Waar het om gaat, is dat effectonderzoek zo overtuigend mogelijk moet zijn. Wie iets wil doen aan de vele grote problemen waar de wereld zich anno 2021 mee geconfronteerd weet, die heeft de best mogelijke antwoorden nodig op de vraag of een bepaalde interventie werkt of niet.
Daarmee is niet gezegd dat experimenteel onderzoek altijd mogelijk is of op alle vragen antwoorden biedt (stel de effecten van een diplomatieke inzet in de EU maar eens met een RCT vast …). Voor een goed inzicht in beweegredenen van mensen zijn responsieve methoden geschikter, terwijl realist evaluation onmisbare kennis oplevert over de rol van context. Wat in een bepaald geval dus de beste evaluatiebenadering is, hangt af van wat je evalueert en welke kennisvraag daarbij leidend is. Beleidsevaluatie is maatwerk, zo lezen we in een recent boek over beleidsevaluatie: hoe je beleid evalueert, hangt af van wat voor beleid je evalueert en met welk doel. Bij beleid dat al goed is uitgewerkt, past een rationeel-analytische insteek met ‘meten’ en ‘toetsen’ als trefwoorden beter dan bij problemen en (dus) maatregelen die nog nieuw zijn.
In beide gevallen zijn de ervaringen en zienswijzen van belanghebbenden goud waard om te leren hoe beleid en uitvoering beter kunnen. Juist hier biedt het werk van Dahler-Larsen en Abma perspectief voor lerende evaluaties. Maar: de recente Nobelprijzen zijn wel een flinke aansporing om de lat zo hoog mogelijk te leggen bij het bewijzen van effectiviteit. Zeker als het gaat om klimaatbeleid, stikstofmaatregelen of het tegengaan van pandemieën. Zo’n hoge lat biedt perspectieven voor tegenwicht in dit post truth-tijdperk van hernieuwde dansen op de vulkaan.
En dat is maar goed ook: effectief beleid is harder nodig dan ooit.