Volgens de Marylandschaal is rct het best mogelijke type beleidsonderzoek. Rct is dan ook het boegbeeld van het evidence-based onderzoek. De kritiek op rct’s is echter in de loop van de jaren alleen maar groter geworden. Bovendien blijkt uit een recente meta-evaluatie dat de non-experimentele onderzoeken niet tot andere uitkomsten leidden dan de rct’s. Al met al wordt te veel geloof gehecht aan de evidence-based benadering in het algemeen en rct’s in het bijzonder. Vandaar de vraag: wordt het misschien tijd voor een Maryland Scientific Methods Scale 2.0?

Een lerende evaluatie combineert leren en verantwoorden. Deze methode past bij complexe beleidsopgaven, waar meerdere actoren en overheden bij betrokken zijn die een behoefte hebben om te leren van elkaars ervaringen. In de evaluatie van het Natuurpact is deze methode op nationale schaal voor het gedecentraliseerde natuurbeleid toegepast. Uit deze casus blijkt dat een succesvolle toepassing vraagt om een voortdurende en zorgvuldige aansluiting van het onderzoek op de beleidspraktijk. Dit is nodig voor het betrekken van en interactie met stakeholders, het combineren van leren en verantwoorden, de wetenschappelijke onafhankelijkheid, het bestuurlijk mandaat en de beheersbaarheid van het onderzoek.

Het ontwikkelen van succesvol overheidsbeleid vraagt om een systematische benutting van kennis uit wetenschap én praktijk. In dit artikel wordt beschreven op welke manier die systematische benutting kan worden bewerkstelligd. Als de afstand tussen kennis en beleidsontwikkeling kan worden verkleind en tevens wordt gekozen voor een proces van open beleidsontwikkeling, zal de benutting van kennis tijdens het beleidsproces beter verlopen. Daarbij dienen tegelijkertijd diverse voorwaarden te worden gesteld aan een adequate programmering van het corresponderende beleidsonderzoek.

Het is nog een twistpunt of rekenkamercommissies met raadsleden in de wet mogelijk blijven. Deze bewijzen evenwel continu hun effectiviteit en toegevoegde waarde in het lokale bestuurlijke bestel. Ook, en misschien juist, in politiek gevoelige situaties. Dat wordt in dit artikel aangetoond aan de hand van de casus van het zogenoemde gronddossier Palmen in Brunssum. De ophef over een integriteitskwestie rond de wethoudersbenoeming van Palmen in oktober 2017 reikte tot ver buiten de gemeentegrenzen, tot in Den Haag aan toe. Op verzoek van de raad heeft de rekenkamercommissie Brunssum de feiten van het dossier gereconstrueerd met stukken en gebeurtenissen die gerelateerd waren aan een grondtransactie uit 1976. Door een vooronderzoek uit te voeren, scherp te blijven op de grenzen van de taak van de rekenkamercommissie en de opdracht, en waarborgen in het onderzoeksproces in te bouwen kon de rekenkamercommissie het onderzoek adequaat uitvoeren. Daarmee werd de raad in staat gesteld eigenstandig zijn mening te vormen over een complex dossier en daarmee indirect over de betreffende integriteitskwestie.

In 2015 is de Regeling Periodiek Evaluatieonderzoek (RPE) ingevoerd, met vier methodologische kwaliteitscriteria waaraan beleidsdoorlichtingen moeten voldoen en waarop een onafhankelijk deskundige toetst. Uit een verkennende analyse van 164 beleidsdoorlichtingen van 2006 tot en met 2017 blijkt een kwart hieraan te voldoen. Sinds 2015 is de kwaliteit van beleidsdoorlichtingen niet verbeterd, noch is er meer inzicht in doelmatigheid en doeltreffendheid. De invoering van kwaliteitscriteria en de onafhankelijke toetsing daarop resulteren mogelijk, maar niet gegarandeerd in betere beleidsdoorlichtingen. De RPE blijkt geen werkbaar instrument om beleid door te lichten. Het beantwoorden van doorlichtingsvragen is onmogelijk bij gebrek aan onderliggend evaluatiemateriaal en resulteert in antwoorden die weinig inzicht geven in het beleid. Verruiming is nodig: de RPE moet stimuleren om via diverse wegen en soorten informatie te komen tot een gefundeerde onderbouwing van beleidseffecten. Richtinggevend, niet dwingend. Syntheseonderzoek volstaat niet, aanvullend onderzoek is nodig. De onafhankelijk deskundige moet vooral methodologisch expert zijn en vroegtijdiger worden betrokken bij de beleidsdoorlichting.

Alhoewel het gebruik van beleidsevaluaties (of het gebrek eraan) een van de meest besproken thema’s is in de evaluatieliteratuur, berust veel onderzoek over het thema enkel op anekdotisch bewijs, en zijn er nauwelijks studies beschikbaar die aandacht hebben voor de samenhang tussen verschillende factoren die impact kunnen hebben op het gebruik. In voorliggend artikel presenteren we de resultaten van een studie waarin we hebben getracht om op een systematische wijze inzicht te bieden in de combinaties van factoren die instrumenteel gebruik van beleidsevaluaties bevorderen of verhinderen. We onderzochten in dit verband alle evaluaties die in de periode 2013-2016 werden uitgevoerd bij de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie. Via Qualitative Comparative Analysis (QCA) bekeken we welke combinaties van de volgende factoren als noodzakelijk en/of voldoende bleken voor evaluatiegebruik: (1) politiek gehalte van het onderwerp, (2) interesse van de beleidsmakers, (3) aanwezigheid van nieuwe kennis in de evaluatie, en (4) de timing van de evaluatie.
Voor de praktijk van beleidsmakers en evaluatoren benadrukken we het belang van tijdigheid en interesse voor een evaluatie. Onze analyse laat zien dat professionals die op deze factoren inzetten, een gunstig klimaat creëren voor het gebruik van evaluaties. Wat betreft tijdigheid lijkt het van belang de evaluatie te laten sporen met het schrijfwerk van een beleidsafdeling aan nieuw beleid of grote beleidsveranderingen. Goede anticipatie en een sterke institutionalisering van het evaluatieproces zijn hiertoe cruciaal. Of het thema van de evaluatie een sterke politieke gevoeligheid kent, is minder belangrijk. Mits sprake is van de juiste omgevingscondities, kunnen ook dergelijke evaluaties sterk instrumenteel worden benut.

De digitalisering van de samenleving heeft verschillende gevolgen voor de overheid en overheidsbeleid. Eén daarvan heeft betrekking op de manier waarop beleidsanalyse kan worden gebruikt. In deze bijdrage worden de mogelijkheden van meer adaptieve vormen van beleidsanalyse verkend, waarbij beleidsvoerders stap voor stap en op basis van informatie uit het beleidsproces proberen meer over de beleidsuitvoering te leren. Die vorm van beleidsanalyse, die op een aantal punten afwijkt van eerdere vormen, heeft gevolgen voor de organisatie van de overheid maar ook voor de wijze waarop het toezicht moet worden ingericht. Dat levert interessante vragen en spanningen op voor de ‘digitale’ overheid.

De Operatie Inzicht in Kwaliteit van het kabinet-Rutte III moet leiden tot beter overheidsbeleid door de kennis over de doeltreffendheid en doelmatigheid te vergroten en het evaluatiestelsel te verbeteren. De Operatie moet een cultuuromslag realiseren, niet via verplichte voorschriften maar via intrinsieke betrokkenheid. Zo’n Operatie kost veel tijd en geld en kent een politiek risico. Zolang het uitgangspunt blijft dat effectiever overheidsbeleid te realiseren is door meer aandacht voor doelmatigheid en doeltreffendheid, is de kans op verbetering klein. De uitvoerbaarheid en aanvaardbaarheid van beleid in de praktijk blijven dan te veel uit het zicht, en daarmee ook de werkelijke effectiviteit van beleid. Het institutionaliseren van ook deze twee criteria via een vernieuwde Regeling Periodiek Evaluatieonderzoek (RPE) zal resulteren in beter beleid en politieke verantwoording. De cultuuromslag ontstaat vanzelf wanneer de vernieuwde RPE een vanzelfsprekende manier van werken wordt. Een cultuuromslag is wel degelijk te realiseren met een voorschrift. Eenvoudiger, sneller, goedkoper en met minder politiek risico.

De preoccupatie met evidence based beleid miskent de exploratieve waarde van wetenschap voor beleid. In veel en de meest uitdagende beleidsprocessen, zoals de grote transities aangaande energie, zorg, landbouw en circulaire economie, moet de overheid beslissingen in onzekerheid nemen. Het beleidsonderzoek zou zich minder moeten bezighouden met wat zeker is en meer met wijs handelen in onzekerheid. Wetenschappers kunnen de besluitruimte voor politici duiden, en kunnen aangeven wat mogelijk effectieve maatregelen zijn. Dit bescheiden, voorzichtig aftasten van de werkelijkheid vereist arena’s waar wetenschap, bestuurders en volksvertegenwoordigers in gesprek zijn over de toepassing van wetenschappelijke inzichten in de praktijk van het hier en nu. Op diverse plekken in Nederland wordt geëxperimenteerd met dergelijke arena’s.

In deze column reageert de auteur op de WODC-affaire: de conclusies van een onderzoek van het Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC) van het ministerie van (toen nog) Veiligheid en Justitie naar de overlast van coffeeshops zouden op verzoek van beleidsambtenaren in de politiek gewenste richting zijn omgebogen. Dekker gaat na wat de aandacht voor dit voorval kan betekenen voor de relatie tussen opdrachtgever en opdrachtnemer.

Er is de laatste tijd veel aandacht voor het omgaan met onzekerheid en dynamiek in beleid. Zo is er recent de roep om leren door doen, door een overheid die samen met de samenleving het experiment aan durft te gaan. Zo’n benadering van beleid als gezamenlijk experiment is veelbelovend, maar vergt ook passende methoden voor beleidsevaluaties. Adaptief beleid speelt hierop in. De laatste jaren is een belangrijke stap gezet in de ontwikkeling van methoden waarmee adaptief beleid ontwikkeld kan worden. Voor de evaluatie en de rol van evaluaties heeft dit belangrijke implicaties. In dit artikel wordt hierop verder ingegaan, op basis van ervaringen met adaptief beleid en beleidsevaluatie binnen het Nederlandse Deltaprogramma.

Dit essay is een reactie vanuit het ministerie van Sociale Zaken en Werkgelegenheid op de column ‘Beleidsevaluatie als ritueel’ van Peter van Hoesel (BO januari 2017).

In dit essay biedt de auteur een handreiking voor creatieve samenwerking, niet als oplossing of regel, maar als creatief proces dat steeds per geval en situatie in elke fase van beleidsonderzoek kan worden ingericht. De auteur doet dit aan de hand van een aantal door de auteurs van Kennis voor beleid (2015) geformuleerde criteria.

In deze bijdrage reageert de auteur op het essay van Frans de Haan en Jan-Maarten van Sonsbeek: Beleidsevaluaties: meer dan een ritueel! (BO september 2017).

Over eenzelfde beleid circuleren meerdere waarheden. Hoe valt dit te begrijpen? We gaan op verkenning rond ‘frame’ en ‘framing’ als veelgebruikte concepten in beleidsonderzoek. Na scherpstelling leert ons literatuuroverzicht dat een beleidskader idealiter gemarkeerd wordt als stabiel (naar basiselementen van structuur) maar in de praktijk geldt als inherent volatiel (naar voorkomen en effect). Iteratieve en vaak interactieve processen van framing kunnen dit verklaren zoals we aantonen met een case rond de Lokale Integrale VeiligheidsCellen (LIVC’s) in Brussel. Die case illustreert ook dat overheidsactoren zelf framen én met wisselend succes. Dat succes is te wijten aan factoren op individueel en institutioneel niveau en is cruciaal om vandaag te doorgronden. Want weten hoe een (on)waarheid over beleid te maken, is een eerste stap om framing (mogelijk) te kraken of meer te hanteren als tool om diverse frames, en dus finaal ook burgers, beter aan elkaar te haken. De voorbeelden van beleid en onderzoek in deze bijdrage zijn gekozen rond ‘wicked issues’ op diverse niveaus en terreinen van overheidsoptreden in België en elders.

Een gedegen beleidsvoorbereiding kan beleidsfalen voorkomen. Hoewel deze thematiek al jaren aandacht krijgt in de politiek, lukt het de rijksoverheid nog niet hieraan structureel succesvol invulling te geven. In het licht van de recente Tweede Kamer verkiezingen is er hernieuwde aandacht voor samenspraak bij beleid en beleidsexperimenten om te komen tot beter beleid. Het rendement daarvan is naar verwachting beperkt. Ten eerste omdat samenspraak vaak zodanig ingeperkt is, dat de invloed van kennis voor beleid beperkt blijft. Ten tweede omdat wetenschappelijke kennis prevaleert boven de voor beleidseffectiviteit noodzakelijke tacit knowledge. De rijksoverheid kan meer rendement halen uit investeringen in een betere beleidsvoorbereiding, door de structurele afweging tot de inzet van samenspraak en beleidsexperimenten bij nieuw of gewijzigd beleid; verantwoording van deze afweging, alsmede onafhankelijke toetsing van de te verwachten beleidseffectiviteit. Investeringen in handreikingen zijn weinig zinvol. De gemeente Rotterdam geeft een goed voorbeeld.

De bundel Kennis voor beleid (2015), onder redactie van Peter van Hoesel, Jos Mevissen en Bart Dekker, is een boek voor iedereen die werkzaam is op het snijvlak van onderzoek en beleid. De uitgave is vooral opgezet als leerboek of overzichtswerk voor studenten, beleidsonderzoekers en beleidsmedewerkers die in hun dagelijkse praktijk te maken hebben met beleidsonderzoek.

De positieve benadering van evaluatie in relatie tot het bereiken van succes is een frisse wind. Het wordt inderdaad tijd dat evaluatoren gebruikers meer helpen en stimuleren om van (beleids)ervaringen te leren. En: dat geëvalueerden zich daarvoor vanaf het begin openstellen. Aandachtspunt is wel dat de evaluator daarbij zijn of haar waardevolle kritische (kennis)blik niet verliest.

Nationaal en internationaal staat onderzoek dat maatschappelijk relevant is, wetenschappelijk gezien hoge kwaliteit heeft, en zowel integer als efficiënt wordt uitgevoerd in de schijnwerpers. Het achterliggende idee is dat alleen zo de gewenste maatschappelijke impact kan worden bereikt. Door het bevorderen van verantwoorde onderzoekspraktijken, waarbij er onder andere expliciet aandacht is voor aspecten als stakeholderparticipatie, interdisciplinaire samenwerking, replicatie en systematische reviews, kunnen financiers of programmeurs van onderzoek hieraan bijdragen. In dit artikel wordt een overzicht gegeven van de wijze waarop ZonMw dat doet als kennisprogrammeur op het gebied van het gezondheidsonderzoek. Hiertoe is een toetsingskader ontwikkeld en toegepast op zestien lopende onderzoeksprogramma’s, dat ook voor andere domeinen en actoren betekenis heeft. Een belangrijke aanbeveling is dat ‘verantwoord programmeren’ een eigen kennisbasis behoeft om de toegevoegde waarde ervan te kunnen bepalen. Naast investeringen in metaonderzoek vraagt dat om een goede monitoring en informatievoorziening bij de kennisprogrammeur.