Van toezicht naar inzicht

Zolang als ik werkzaam ben in het beleidsgerichte onderzoek, vervult de Algemene Rekenkamer altijd heel consequent en vasthoudend haar rol als toezichthouder. Zo krijgen politici er jaarlijks van langs op ‘woensdag gehaktdag’, wanneer de Rekenkamer beziet wat er van geïnitieerde beleidsplannen van het kabinet terecht is gekomen. Ik kan me ook niet heugen dat er ooit een rapport is verschenen van de Rekenkamer dat beleid niet ‘kraakt’. Sinds het begin van deze eeuw is aan dat kraken nog een nieuwe dimensie toegevoegd: overheidsinstanties zouden hun uitgaven niet altijd kunnen verantwoorden, maar daar bovenop ook geen zicht hebben op de effectiviteit ervan (‘Van Begrotingsvoorbereiding tot Beleidsverantwoording’). Sindsdien rapporteert de Rekenkamer regelmatig over beleidsdoorlichtingen die wel of niet op uitkomsten zijn getoetst. Ook dat levert meestal een beschamend beeld op, keer op keer wordt beleid als ‘te licht’ bevonden, dat wil zeggen: met te weinig aandacht voor de effectiviteit van beleid.
Natuurlijk, ik kan weinig anders doen dan de constatering delen dat de overheid te weinig deugdelijke evaluaties uitvoert. Maar tegelijkertijd heb ik het idee dat er nu iets duidelijk mis is met de wijze waarop het Rijk en de Rekenkamer zich tot elkaar verhouden. Veel van de rapporten die verschijnen en de reacties van bewindspersonen, hebben iets van een rituele dans waarin alle pasjes inmiddels wel bekend zijn: een kritische, verontwaardigde Rekenkamer, beleidsmakers die zich hullen in vage argumenten over wat wel en niet te evalueren is en beterschap beloven, en journalisten die in de pen klimmen om eventuele misstanden er nog eens uit te lichten. Ik kan moeilijk inschatten hoe anderen hierover denken, maar ik heb het stellige idee dat we zo te langzaam echte stappen maken. Het komt dan ook maar weinig voor dat partijen om de tafel gaan zitten om te overleggen wat nu precies de opzet is van evaluaties, wat daarvoor nodig is, wat haalbaar is en wat dat (nog) niet is. Beleidsmakers valt hierbij zeker het nodige te verwijten. Maar tegelijkertijd speelt de Rekenkamer naar mijn idee te veel de rol van beste stuurman die aan wal blijft staan: wel veel oordelen, maar weinig constructief helpen.
Laat ik met drie voorbeelden mijn stelling proberen te onderbouwen. Ik begin daarbij met de rol van ‘nulmetingen’ als referentiepunt om effecten van nieuw beleid vast te stellen, een term die de laatste jaren overal opduikt. De Rekenkamer hamert op het gebruik van nulmetingen, wat grosso modo wel te begrijpen is. Maar is dat altijd even zinvol? Tussen de aankondiging en start van nieuw beleid zit – in dit tijdsgewricht waarin kabinetten meer risico voelen om te vallen – vaak niet zo heel veel tijd. Bovendien kan sprake zijn van anticipatie-effecten, bijvoorbeeld een run op een regeling die versoberd gaat worden. Wat is dan het nut van een nulmeting? En om het nog veel ingewikkelder te maken: welke variabelen zouden moeten worden opgenomen, wat is daarvoor nodig bij partijen? Discussies met de Rekenkamer over dit soort praktische vragen kom ik nauwelijks tegen, de Rekenkamer legt de uitwerking gewoonweg neer bij de ministeries. Gevolg is dat onderzoekscoördinatoren op ministeries hoge druk voelen om maar ‘iets’ te gaan meten vlak voor de start van nieuw beleid, zonder stil te staan bij nut en noodzaak en zonder precies te doorgronden hoe je ermee zou moeten werken. Alsof een vergelijking van ‘voor’ en ‘na’ ons altijd veel verder brengt; in veel gevallen zullen conjuncturele en andere beleidseffecten de toegevoegde waarde van het te onderzoeken beleid sterk vertekenen.
Dit brengt me op het tweede voorbeeld: het zoeken naar een onderzoeksdesign om tot evaluatie te komen. Het laatste decennium zijn, gedreven door het vrijkomen van longitudinale microbestanden, veel nieuwe methoden ontwikkeld om beleidseffecten te kunnen vaststellen. Te denken valt daarbij aan Difference-in-Differences, Regression Discontinuities en Timing-of-Events methoden. Maar ook lijkt het taboe op veldexperimenten langzaam te verdwijnen en doen onderzoekers inmiddels ervaring hiermee op. Dit zijn allemaal methoden waar wetenschappers gebruik van maken, maar dan wel in een omgeving waarin de academische vrijheid bestaat om op zoek te gaan naar een goede dataset en een passend probleem om aan effectmeting te doen (data driven research). Vanuit beleidsperspectief is het echter toch vooral zoeken naar een onderzoeksmethode die volstaat om tot verplichte evaluatie van een beleidsinstrument te komen. Dat maakt de positie van onderzoekscoördinatoren van ministeries er dan ook lastig op.
Juist in die zoektocht naar een geschikte onderzoeksmethode zou de Algemene Rekenkamer voor de beleidsministeries het nodige kunnen betekenen, terwijl hun onafhankelijkheid daar niet onder te lijden hoeft te hebben. De Rekenkamer zou over meer medewerkers moeten beschikken die deze technieken in de vingers hebben, er graag mee blijven werken en als zodanig de ministeries de helpende hand bieden. Ik weet niet of mijn indrukken algemeen geldend zijn, maar in het sociale domein waarin ik zelf werk, zie ik dat het CPB en SCP wel zo’n rol als sparring partner proberen te vervullen. Dat begint met gezamenlijk nadenken over geschikte databestanden en onderzoeksmethoden en eindigt met gezaghebbend onderzoek. Momenteel neemt de Rekenkamer meestal een andere positie in: het controleert achteraf of er een deugdelijke evaluatie heeft plaatsgevonden, maar bemoeit zich weinig met de vraag hoe je dat zou kunnen bereiken.
Tot slot richt het derde voorbeeld zich op de doelstelling van de Rekenkamer: ‘De Rekenkamer controleert of het Rijk geld uitgeeft en of het beleid uitvoert zoals het de bedoeling is.’ Er is natuurlijk discussie mogelijk over hoe we het tweede deel van die doelstelling kunnen interpreteren, maar op zijn minst straalt deze weinig ambitie en een nogal eenzijdige blik uit. Beleidsmakers zijn al niet zo goed in het ‘smart’ formuleren van beleidsmechanismen – als dat al mogelijk is – en ook niet in het expliciteren van een beleidstheorie. Vandaar dat hen alleen en volledig vastpinnen op ieder onderdeel van de beoogde werking een vrijwel vruchteloze bezigheid is. Immers: dat iets niet werkt zoals beoogd, wil nog niet zeggen dat het zinloos is. En andersom kan net zo goed gelden dat goed uitgevoerd beleid niet leidt tot welvaartsverbeteringen. Zo kunnen uitvoerders zich wel aan regels houden, maar kan het succes van beleid juist afhangen van zaken die niet verifieerbaar zijn of controleerbaar door de overheid. Juist bij dit soort zaken is het van belang te leren van evaluaties en er niet alleen als boekhouder naar te kijken. Nu wil ik medewerkers van de Rekenkamer niet als karikatuur neerzetten, als zou het hier alleen maar gaan om kille boekhouders. Wel durf ik de stelling aan dat de Rekenkamer momenteel een opdracht heeft – of deze in ieder geval zo invult – die haar beknot in de reikwijdte van haar rapporten. Evalueren vraagt om flexibele geest, niet om het afvinken van lijstjes.
Kortom: het zou mij wat waard zijn als de Rekenkamer actiever meedenkt over en meewerkt aan beleidsevaluaties. Wat mij betreft, gaat dat verder dan het aanbieden van handwijzers of aanmoedigingen aan de zijlijn – het gaat om het bewerkstelligen van meer wederzijds begrip en een cultuur waarin men leert van evaluaties. En waarin men zich ervan bewust is dat evalueren wezenlijk andere vaardigheden vergt dan die van toezicht houden.