Deze beschouwing staat stil bij praktische belemmeringen en belangen waarmee een onderzoeker te maken kan krijgen in beleidsevaluaties. Het eerste deel reflecteert (niet uitputtend) op enkele praktische uitdagingen en hoe een onderzoeker daarmee in de praktijk om kan gaan. Een eerste uitdaging is dat evaluaties wat betreft aantallen, scope en timing niet altijd aansluiten bij de informatiebehoeften van beleidsmakers. Evaluatoren zullen voorts bij het uitwerken van een onderzoeksopzet (niet geheel onverwacht) ervaren dat beleidsmakers doorgaans geen of weinig rekening houden met een (latere) evaluatie. De laatste uitdaging in dit deel betreft toenemende verwachtingen van beleidsmakers (als opdrachtgever van evaluaties) ten aanzien van kwantificering in en digitalisering van evaluaties. Het tweede deel van deze beschouwing behandelt meer politieke belangen die de keuzeruimte voor een evaluator beperken. Het omgaan met deze belangen in beleidsevaluaties vereist de vaardigheid om partijen te kunnen overtuigen van de juistheid van de keuzes die een evaluator in zijn (of haar) onderzoek maakt. Het negeren van deze belangen kan de doorwerking van een onderzoek beperken. Het tweede deel staat daarom apart stil bij doorwerking. |
Artikel |
Beleidsevaluatie in de praktijk: omgaan met uitdagingen en belangen |
Auteurs | Frank Bongers |
SamenvattingAuteursinformatie |
Artikel |
Barbara van Mierlo: Reflexieve Monitoring in Actie: maatwerk voor leren en bijsturen in systeemveranderingThemareeks Methoden en benaderingen in de beleidsevaluatie, Dick Hanemaayer, Jos Mevissen, Valérie Pattyn (red.) |
Trefwoorden | Themareeks Methoden en benaderingen in de beleidsevaluatie |
Auteurs | Barbara van Mierlo |
SamenvattingAuteursinformatie |
Reflexieve Monitoring in Actie (RMA) is een flexibele methodologie die start in de praktijk van een transitie-initiatief van vernieuwers die samenwerken om systeemverandering te realiseren. De methodologie verbindt het hier en nu met verleden en toekomst om het veranderingsproces te versterken door te stimuleren dat de vernieuwers reflecteren op hun activiteiten in het licht van een bestaand systeem en de ambitie van systeemverandering. De reflectie kan aanleiding zijn om activiteiten, prioriteiten en de gekozen richting van het initiatief aan te passen. Zo draagt RMA bij aan leren en bijsturen in de eigen transitiecontext. Op basis van recente inzichten presenteert dit artikel de essentiële kenmerken van RMA met de onderliggende theorie enerzijds en de vele mogelijkheden voor de praktijk van uitvoering anderzijds. De vier voorbeelden schetsen hoe reflexief monitoren steeds weer gaat over het kiezen, met overtuiging, voor wat belangrijk is op dát moment, en dus maatwerk is. |
Artikel |
For Whom the Bell TollsZorgen over en voor deugdelijk integriteitsonderzoek |
Auteurs | Bart Dekker |
SamenvattingAuteursinformatie |
Begin juli 2024 rondde de commissie Sorgdrager het klokkenluidersonderzoek naar een mogelijke misstand bij het College voor de Rechten van de Mens af. Er is in toenemende mate kritiek op dit soort onderzoek, hier kortheidshalve aangeduid als integriteitsonderzoek. Eerder schreef Lennart de Ruig in dit tijdschrift een kritisch artikel over de onderzoeken naar de zogenoemde ‘WODC-affaire’, en hoogleraar Michiel de Vries publiceerde in 2023 een vernietigend boek over een groot aantal andere integriteitsonderzoeken. |
Column |
Goed beleid: tijd voor ‘regels beleidsdiscipline’ |
Auteurs | Peter van der Knaap |
SamenvattingAuteursinformatie |
Je kon erop wachten: na jaren royaal spenderen uit de rijksbegroting klinkt nu overal in Den Haag weer de roep om meer zicht op doelmatigheid. En terecht: anders dan vaak wordt gedacht, is het snel uitgeven van meer geld niet hetzelfde als het voeren van goed beleid. In aanvulling op de regels budgetdiscipline hebben we daarom regels beleidsdiscipline nodig. Dat scheelt nog geld ook. In deze column legt de auteur dat ‘tongue in cheek’ uit. |
Artikel |
Frans L. Leeuw: Contributie-analyse: achtergronden, methode, toepassingen en problemen/beperkingenThemareeks Methoden en benaderingen in de beleidsevaluatie, Dick Hanemaayer, Jos Mevissen, Valérie Pattyn (red.) |
Trefwoorden | Themareeks Methoden en benaderingen in de beleidsevaluatie |
Auteurs | Frans L. Leeuw |
SamenvattingAuteursinformatie |
Dit artikel beschrijft achtergronden, stappenplan, voorbeelden, uitdagingen en vraagtekens bij contributie-analyse (CA) in beleids- en evaluatieonderzoek. De kern van de aanpak wordt in enkele punten gepresenteerd, er is oog voor methodologische en kennistheoretische aspecten ervan, alsook voor de vraag hoe CA zich verhoudt tot aanpalende benaderingen en methoden (zoals ‘realist evaluation’ en ‘process tracing’). Daarnaast wordt een aantal toepassingen genoemd, alsmede een lijstje met literatuursuggesties. |
Artikel |
Tineke Abma: Responsieve beleidsevaluatie: theorie en praktijk van een participatieve methode met impactThemareeks Methoden en benaderingen in de beleidsevaluatie, Dick Hanemaayer, Jos Mevissen, Valérie Pattyn (red.) |
Trefwoorden | Themareeks Methoden en benaderingen in de beleidsevaluatie |
Auteurs | Tineke Abma |
SamenvattingAuteursinformatie |
Responsieve evaluatie is een visie op beleidsevaluatie waarin de dialoog tussen diverse stakeholders centraal staat. Deze dialoog vormt een middel om de stem en issues van stakeholders eerst te articuleren in de kring van convergerende belangen, om die vervolgens in onderhandeling te brengen met anderen, zodat wederzijds begrip kan ontstaan over de (beleids)praktijk. Belanghebbenden worden actief betrokken in alle fasen van de evaluatie. De methode is participatief en genereert impact tijdens de evaluatie. Responsieve evaluatie is bruikbaar voor beleidsterreinen met een grote mate van ambiguïteit en divergerende belangen en perspectieven. |
Beleidsonderzoek Benut |
Mobiele telefoons in de klas in het voortgezet onderwijs |
Trefwoorden | Beleidsonderzoek Benut |
Auteurs | Louise Kos en Ton Klein |
SamenvattingAuteursinformatie |
In de rubriek Beleidsonderzoek Benut besteden we dit keer aandacht aan een reviewstudie naar de effecten van het gebruik van mobiele telefoons in de klas. |
Beleidsonderzoek Benut |
Opleidingen voor data scientists |
Trefwoorden | Beleidsonderzoek Benut |
Auteurs | Douwe Grijpstra |
SamenvattingAuteursinformatie |
In de rubriek Beleidsonderzoek Benut besteden we dit keer aandacht aan de haalbaarheidsstudie voor een opleiding voor data scientists. |
Beleidsonderzoek Benut |
Doeltreffendheid en doelmatigheid van het uniform subsidiekader (USK) |
Trefwoorden | Beleidsonderzoek Benut |
Auteurs | Carolien Klein Haarhuis |
SamenvattingAuteursinformatie |
In de rubriek Beleidsonderzoek Benut besteden we dit keer aandacht aan de evaluatie van het uniform subsidiekader (USK). |
Beleidsonderzoek Benut |
Gedeelde belangen, wederzijds profijt? |
Trefwoorden | Beleidsonderzoek Benut |
Auteurs | Alexander Otgaar |
SamenvattingAuteursinformatie |
In de rubriek Beleidsonderzoek Benut besteden we dit keer aandacht aan de beleidsdoorlichting van artikel 1 (‘duurzame economische ontwikkeling, handel en investeringen’) van de begroting van Buitenlandse Handel en Ontwikkelingssamenwerking (BHOS). |
Beleidsonderzoek Benut |
Doeltreffendheid van de wezenuitkering |
Trefwoorden | Beleidsonderzoek Benut |
Auteurs | Mirjam Engelen |
SamenvattingAuteursinformatie |
In de rubriek Beleidsonderzoek Benut besteden we dit keer aandacht aan het onderzoek naar de doeltreffendheid en doelmatigheid van de wezenuitkering. |
Beleidsonderzoek Benut |
Dodelijke verkeersongevallen op rijkswegen |
Trefwoorden | Beleidsonderzoek Benut |
Auteurs | Ragnhild Davidse |
SamenvattingAuteursinformatie |
In de rubriek Beleidsonderzoek Benut besteden we dit keer aandacht aan het onderzoek naar dodelijke verkeersongevallen op rijkswegen. |
Beleidsonderzoek Benut |
Verantwoordingsonderzoek 2020 |
Trefwoorden | Beleidsonderzoek Benut |
Auteurs | Ruud de Smit en Robin Borg |
SamenvattingAuteursinformatie |
In de rubriek Beleidsonderzoek Benut besteden we dit keer aandacht aan het onderzoek naar de mate waarin fiscale regelingen voldoen aan het toetsingskader uit de Rijksbegrotingsvoorschriften. |
Interview |
Interview met Martine van Engen en William Maassen, Rekenkamer AmersfoortWinnaar Goudvink 2023 voor het rapport Investeren en regisseren |
Auteurs | Joost Fledderus |
SamenvattingAuteursinformatie |
Jaarlijks reikt de Nederlandse Vereniging van Rekenkamers & Rekenkamercommissies (NVRR) de Goudvink uit als prijs voor het beste rekenkamerrapport. Het winnende onderzoek van de Rekenkamer Amersfoort werd uitgevoerd door onderzoeksbureau Pro Facto en richtte zich op het ondermijningsbeleid van de gemeente. De hoofdvraag luidde: ‘In hoeverre hanteert de gemeente zowel qua beleid als qua uitvoering een adequate aanpak in de bestrijding van ondermijning?’ Beleidsonderzoek Online sprak met ambtelijk secretaris Martine van Engen en rekenkamerlid William Maassen van de Rekenkamer Amersfoort: over de Goudvink, hun ervaring met het begeleiden van het onderzoek en de doorwerking van het rapport. |
De begrippen ‘ontwikkeling’ en ‘hulp’ hebben voor velen een ongemakkelijke klank: er klinken superioriteit en ongelijke verhoudingen uit op. Die laatste worden nog eens versterkt door het uitvoeren van ‘top-down’ evaluaties. In plaats van hulp zouden we moeten spreken over ‘internationale samenwerking’, responsief moeten evalueren en vooral hard moeten werken aan het eerlijker maken van handel en financiën. ‘Dekoloniseren’ betekent volgens Peter van der Knaap daarbij niet zozeer dat je vertrekt, maar dat je als onderzoeker je perspectief kantelt. |
Artikel |
Bregje de Vries en Ditte Lockhorst: Kristallisatie: de kunst van het belichten van complexe vraagstukken door onderzoekThemareeks Methoden en benaderingen in de beleidsevaluatie, Dick Hanemaayer, Jos Mevissen, Valérie Pattyn (red.) |
Trefwoorden | Themareeks Methoden en benaderingen in de beleidsevaluatie |
Auteurs | Bregje de Vries en Ditte Lockhorst |
SamenvattingAuteursinformatie |
Om een beleidsvraagstuk ‘in volle omvang’ te kunnen adresseren, is het nodig het vanuit meerdere invalshoeken te belichten. Kristallisatie is een onderzoeksbenadering die dit doet. De benadering vindt haar oorsprong in de gedragswetenschappen en stelt zich een beleidsvraagstuk voor als een kristal met veel vlakjes. We beschrijven de twee uitgangspunten van kristallisatie – multiperspectiviteit en dialoog – en vertalen deze naar richtlijnen voor (beleids)onderzoek. We illustreren vervolgens de toepassing van de benadering met een onderzoek naar toekomstbestendig leraarschap, waarin we door de inzet van zeven onderzoeksbouwstenen en het betrekken van diverse groepen belanghebbenden in dialoog zowel theoretische als praktische inzichten over het vraagstuk ontwikkelden. We besteden in onze aanpak specifiek aandacht aan de combinatie van wetenschap en kunst die kristallisatie nastreeft als een effectieve manier om multiperspectiviteit in beeld te brengen en professionele dialoog te voeden. We laten in illustraties van de toepassing van kristallisatie zien dat de benadering met name van waarde kan zijn voor beleidsonderzoekers die ernaar streven doelgroepen bij de ontwikkeling en implementatie van nieuw beleid te betrekken of die in de fasen van ex durante of ex post evaluatie op zoek zijn naar belevingsgerichte aspecten van beleid. |
Boekbespreking |
Boekbespreking: Handbook of Public Policy Evaluation, Edward Elgar Publishing, 2023 |
Auteurs | Ellen Wayenberg en Pieter Zwaan |
SamenvattingAuteursinformatie |
Eind 2023 verscheen het omvangrijke Handbook of Public Policy Evaluation. Dit handboek, geredigeerd door Varone, Jacob en Bundi, bevat 26 bijdragen over het evalueren van beleid. In deze boekbespreking richten de auteurs zich op het handboek als geheel en komen tot de conclusie dat het boek als thematisch gefocust handboek tekortschiet. Veel meer dient dit boek te worden gezien als naslagwerk dat zich richt op verschillende doelgroepen. |
Column |
De kloof overbruggenOnderzoeker als deel van de oplossing, maar ook van het probleem |
Auteurs | Fenna van Marle |
SamenvattingAuteursinformatie |
Maatschappelijke kloven worden groter en dieper. Verwijdering tussen verschillende groepen in de samenleving neemt toe en door sommige groepen wordt ‘de wetenschap’ in toenemende mate gewantrouwd. Om het tij te keren is het van belang dat wij kritisch naar ons eigen aandeel hierin gaan kijken. Hiervoor moeten we de ideologische, politieke en/of culturele normen en waarden die onderzoek, en onszelf, beïnvloeden erkennen, expliciteren en bevragen. Op die manier kunnen we maatschappelijke kloven overbruggen, in plaats van deze te vergroten. |