22133550_omslag108px
Rss

Beleidsonderzoek Online


Over dit tijdschrift  
Gevonden artikelen Alle samenvattingen uitklappen

    Beleidsevaluatie richt zich steeds naar informatiebehoeften en technische mogelijkheden. Hierdoor is het gebruik van cijfermatige informatie toegenomen. Met name bestaande data worden, met steeds betere analysetechnieken, ingezet omdat ze beschikbaar zijn en relatief goedkoop. Dit gaat echter ten koste van de validiteit en diepgang van onderzoek. Dat is in zekere zin een regressie, een achteruitgang. We zien echter ook progressie in het beleidsonderzoek. In de eerste plaats komt er steeds meer belangstelling voor de zogenoemde mixed methods-benadering. Ten tweede is er een groeiende belangstelling voor participerende, interactieve en responsieve vormen van onderzoek. Er ontstaat weer meer oog voor de wereld achter de cijfers, het hoe en waarom van beleid, en vooral voor de mensen in die wereld.


Jos Mevissen
Jos Mevissen is partner bij Regioplan Beleidsonderzoek te Amsterdam en voorzitter van de redactie van Beleidsonderzoek Online.
Artikel

Access_open De kwaliteit van beleidsdoorlichtingen

Auteurs Nard Koeman en Carl Koopmans
SamenvattingAuteursinformatie

    Voor doeltreffend en doelmatig beleid is het essentieel om verantwoording af te leggen over de gemaakte keuzes en te leren van de lessen uit het verleden. Om dit te stimuleren verplicht de Regeling Periodiek Evaluatieonderzoek (RPE) de rijksoverheid om periodiek beleidsdoorlichtingen te (laten) verrichten. Een beleidsdoorlichting bundelt alle beschikbare kennis over de doeltreffendheid en doelmatigheid van een volledig beleidsterrein over een bepaalde periode. Daartoe worden alle tussentijds uitgevoerde beleidsevaluaties bestudeerd.
    Dit artikel beschrijft de kwaliteit van beleidsdoorlichtingen. Het artikel is gebaseerd op onderzoek van SEO Economisch Onderzoek in opdracht van het Ministerie van Financiën. Het gebruik van beleidsdoorlichtingen valt buiten de scope van dit artikel.
    Uit een steekproef van 49 beleidsdoorlichtingen blijkt dat de doeltreffendheid en doelmatigheid van het gevoerd beleid vaak niet goed in beeld komen. Dit komt onder meer omdat er te weinig goed evaluatieonderzoek wordt uitgevoerd en omdat beleidsdoelstellingen met enige regelmaat worden aangepast. Het gevolg hiervan is dat uitspraken over de doeltreffendheid van beleid meestal niet stevig onderbouwd zijn en de doelmatigheid van beleid onderbelicht blijft. Dit maakt het minder goed mogelijk om lessen uit het verleden te trekken.
    Er is ruimte voor verbetering. Zo kan (1) het lerend vermogen van ministeries intern versterkt worden, (2) kunnen departementen hun beleidsevaluaties systematischer uitvoeren om volledigheid te waarborgen, (3) dient er ex ante te worden vastgesteld hoe de doeltreffendheid en doelmatigheid van beleidsmaatregelen ex post (causaal) kunnen worden geëvalueerd, (4) kan de onafhankelijk deskundige die bij beleidsdoorlichtingen wordt ingezet tevens de kwaliteit van het beschikbare evaluatiemateriaal vaststellen, en (5) kan worden overwogen om beleidsdoorlichtingen strategisch te plannen aan het eind van een kabinetsperiode. Op deze manier neemt de toegevoegde waarde van de beleidsdoorlichting toe.


Nard Koeman
Nard Koeman is werkzaam bij SEO Economisch Onderzoek.

Carl Koopmans
Carl Koopmans is werkzaam bij SEO Economisch Onderzoek.

    Overheidsbeleid heeft steeds meer te maken met digitalisering en data-ificering van de samenleving en het menselijk gedrag. Dat betekent uitdagingen voor beleidsevaluatoren. In dit artikel gaat het om éen van de daarmee gepaard gaande verschijnselen: Big Data en Artificiële Intelligentie (BD/AI). Het artikel stelt, na erop gewezen te hebben dat de evaluatieprofessie langere tijd niet erg actief op digitaal gebied is geweest, ten eerste de vraag wat BD/AI te bieden hebben aan evaluatieonderzoek van (digitaal) beleid. Vijf toepassingsmogelijkheden worden besproken die de kwaliteit, bruikbaarheid en relevantie van evaluatieonderzoek kunnen bevorderen. De tweede vraag is wat evaluatieonderzoek te bieden heeft, als het gaat om het analyseren/onderzoeken van de betrouwbaarheid, validiteit en enkele andere aspecten van Big Data en AI. Ook daar worden verschillende mogelijkheden (en moeilijkheden) geschetst. Naar het oordeel van de schrijver is het enerzijds dienstig (meer) gebruik te maken van BD/AI in evaluatieonderzoek, maar doen onderzoekers er ook goed aan (meer) aandacht uit te laten gaan naar: de assumpties die aan BD/AI ten grondslag liggen (inclusief het ‘black box’-probleem); de validiteit, veiligheid en geloofwaardigheid van algoritmes; de bedoelde en onbedoelde consequenties van het gebruik ervan; én de vraag of de claims dat digitale interventies die mede gebaseerd zijn op BD/AI effectief (of effectiever zijn dan andere), onderbouwd en valide zijn.


Frans L. Leeuw
Frans L. Leeuw (socioloog) is hoogleraar Recht, Openbaar Bestuur en Sociaalwetenschappelijk onderzoek aan Maastricht University. Eerder was hij o.a. directeur WODC, Hoofdinspecteur Hoger Onderwijs Onderwijsinspectie, hoogleraar evaluatieonderzoek Universiteit Utrecht, directeur doelmatigheidsonderzoek Algemene Rekenkamer en decaan Humanities Open Universiteit. Hij bereidt een boekje voor over 125 jaar empirisch-juridisch onderzoek, inclusief de nieuwste loot: digitaal empirisch-juridisch onderzoek. Eerdere publicaties handelden over diverse onderwerpen met als rode draden evaluatieonderzoek, theorieën, gedragsmechanismen, benutting van onderzoek en juridische thema’s.

    De manier waarop vraag naar en aanbod van arbeid bij elkaar komen, is met de komst van het internet en sociale media drastisch veranderd. Dit brengt kansen met zich mee: werkgevers kunnen zich bij de werving veel directer op potentiële werknemers richten en zijn niet meer gebonden aan de doelgroep van bijvoorbeeld een dagblad. Het geeft echter ook risico’s, omdat het tot uitsluiting van groepen kan leiden. De positieve keerzijde van deze technologische medaille is dat algoritmes en big data weliswaar nieuwe manieren van discriminatie in de hand werken, maar dat ze tevens kunnen worden ingezet om deze discriminatie te traceren en te bestrijden. In dit artikel worden beide zijden van de medaille toegelicht.


Claartje Thijs
Claartje Thijs werkt als programma-manager arbeidsmarktdiscriminatie bij het College voor de Rechten van de Mens. Daar houdt zij zich onder andere bezig met de vraag hoe digitalisering het wervings- en selectieproces beïnvloedt, met eerlijk beloningsbeleid en met trainingen voor een objectieve wervings- en selectieprocedure.

    Maar liefst drie onderzoekscommissies brachten een rapport uit over de vermeende politieke beïnvloeding en sturing van onderzoek op het WODC van het ministerie van Justitie en Veiligheid. Maar uit het rapport van de commissie-Hertogh, die de kwestie in een breder perspectief moest plaatsen, komt geen eenduidig beeld naar voren van de ernst, omvang en oorzaken van de problematiek. Deze commissie verzuimt om een grondige analyse te maken van de achtergronden van de kwestie. Ook de methodologie van het onderzoek van de commissie-Hertogh rammelt, op zijn zachtst gezegd. En de aanbevelingen van deze commissie gaan voorbij aan het belang van interactie tussen beleidsmakers en onderzoekers. Het rapport voldoet niet aan de kwaliteitseisen die je aan beleidsonderzoek kunt stellen. Dat is spijtig: de WODC-affaire had beter onderzoek verdiend.


Lennart de Ruig
Lennart de Ruig is mede-eigenaar en onderzoeker bij bureau De Beleidsonderzoekers. Hij voert beleidsgericht onderzoek uit naar sociaaleconomische vraagstukken.
Artikel

Access_open Netwerksturing

Auteurs Karen IJssels en Suzan Mathijssen
SamenvattingAuteursinformatie

    In dit artikel gaan we in op de aanleiding voor het onderzoek dat wij in 2016 uitvoerden naar het programma Stad en Regio van de provincie Gelderland en de uitkomsten van het onderzoek. Daarnaast laten we zien hoe we hebben ingezet op de doorwerking van het onderzoek, ook buiten het provinciehuis. Die doorwerking leidde uiteindelijk tot het winnen van de Goudvink, de prijs voor het beste rekenkamerrapport.


Karen IJssels
Karen IJssels is werkzaam als senior onderzoeker bij de Rekenkamer Oost-Nederland.

Suzan Mathijssen
Suzan Mathijssen is werkzaam als secretaris-directeur bij de Rekenkamer Oost-Nederland.

    In Nederland komen tal van wicked problems (WP) voor. Ze worden ook wel aangeduid als weerbarstige problemen. Kenmerkend is het unieke karakter, het feit dat kennis over probleemaspecten beperkt is en verschillende perspectieven op een probleem en meerdere waardenoriëntaties een rol spelen. Naast cognitieve en normatieve complexiteit bestaat er ook nog sociale complexiteit. WPs zoals voetbalvandalisme spelen zich af in een beleidsnetwerk met tal van elkaar afhankelijke actoren. Kennis, preferenties, handelingsvermogen en middelen blijken gespreid en niet in de hand van één actor. Om toch tot een bevredigend resultaat te komen moeten de actoren gezamenlijk optrekken. Daarom is interorganisationeel netwerkmanagement en deliberatie met burgers een wenselijke responsestrategie. Bij WPs zijn actoren dus tot elkaar veroordeeld. Centralistische besluitvorming werkt niet. Een centrale actor kan overigens nog wel een rol vervullen als initiator, facilitator of regisseur van overleg en discussie; als arbiter bij botsende perspectieven; of beslisser na netwerkberaad en inbreng van burgers.


Arno Korsten
Arno Korsten is emeritus hoogleraar Bestuurskunde aan de Open Universiteit en aan de Universiteit Maastricht.

    Gemeenten ondersteunen, onder andere met subsidies, maatschappelijke initiatieven. Met die subsidies zijn landelijk miljoenen euro’s gemoeid. De maatschappelijke effecten van initiatieven worden niet of slechts globaal onderzocht. Een van de argumenten om dit te rechtvaardigen luidt: als er genoeg draagvlak in een wijk of dorp is, moet een initiatief wel maatschappelijke meerwaarde hebben.
    Een besluit om subsidie te verstrekken resulteert in een transactie tussen gemeente en initiatiefnemers. Met behulp van de transactiekostentheorie en de welvaartstheorie worden in deze bijdrage subsidievoorwaarden geanalyseerd. Hieruit blijkt dat de subsidievoorwaarden in de bestudeerde subsidieregelingen de transactiekosten voor partijen beperken, maar dat zelfs bij voldoende draagvlak een initiatief nog niet een maatschappelijke meerwaarde hoeft te hebben.


Willem Bokkes
Willem Bokkes heeft Algemene Economie gestudeerd aan de Erasmus Universiteit en is gepromoveerd aan de Universiteit Twente. Hij is docent-onderzoeker bij de Academie Economics & Logistics en de onderzoeksgroep Vitale Economie i.o. van NHL Stenden Hogeschool. Zijn onderzoek heeft betrekking op ex ante beleidsevaluaties.