Een reflexieve kijk op beleidsonderzoek gaat uit van continue dynamiek tussen kennisontwikkeling en beleids- en uitvoeringspraktijken. Beleidsonderzoekers zoeken naar houvast om gedegen en relevant onderzoek te blijven doen, onderwijl inspelend op onzekerheden, onvoorspelbaarheid en kritische geluiden die kenmerkend zijn voor de huidige kennissamenleving. Via omgevingsbewust werken kunnen zij hun onderzoeksaanpak leren afstemmen op de kenmerken en maatschappelijke context van beleidsdossiers. Via kwaliteitsbewust werken kunnen zij leren inspelen op de verwachtingen rondom een bepaalde expertrol en onderzoeksaanpak binnen de eigen contexten van onafhankelijkheid en wetenschappelijke verantwoording.
Aan de hand van een casus – de lerende evaluatie van het Natuurpact, een innovatieve evaluatiestudie bij het Planbureau voor de Leefomgeving – laten we zien hoe een reflexieve aanpak helpt om onderzoek in de nabijheid van de dynamische beleidspraktijk uit te voeren. Doordat deze aanpak buiten de comfortzone van onderzoekers ligt, is omgevingsbewust en kwaliteitsbewust werken voor onderzoekers geen vanzelfsprekendheid. We roepen beleidsonderzoekers zelf, de organisaties waar ze werkzaam zijn en beleidsmedewerkers op om hun reflexieve vaardigheden verder te ontwikkelen via het inrichten van lerende processen, effectieve kennisdeling via Communities of Practice en leerwerktrajecten, en open en adaptieve kennis-beleidsarrangementen.

Participatory and responsive approaches to research strive to be democratic, inclusive and impactful. Participatory researchers share a commitment to epistemic justice and actively engage citizens and users as well as other stakeholders in the co-creation of knowledge for social change. While more and more researchers and policymakers feel attracted to these approaches in practice, the normative ideals of social inclusion and justice are sometimes hard to realize, because of established interests, power relations and system requirements. In this article I argue that participatory researchers and evaluators have a moral responsibility to do ‘ethics work’. This is more than just following ethical principles and codes of conduct. ‘Ethics work’ entails the labour and effort one puts into recognizing ethically salient aspects of situations, developing oneself as a reflexive practitioner, paying attention to emotions and relationships, collaboratively working out the right course of action and reflecting in the company of critical friends. In this article I present the theory and ethics of participatory approaches, illustrate ethical issues and ethics work related to collaboration, politics and power, and share lessons based on ten years of practice in the field of health and social well-being.

Q-methodologie is een nog relatief onbekende onderzoeksmethode, met veel potentieel voor beleidsonderzoek en -analyse. De benaderingen, doelen en onderzoeksvragen in verschillende toepassingen lopen uiteen, maar vertonen ook duidelijke overeenkomsten. In dit artikel beschrijven we de belangrijkste theoretische en analytische bouwstenen van de methode, en een praktijkgericht 10-stappenplan waarmee men snel zelf aan de slag kan met Q-methodologie. Op basis van een aantal toepassingen van Q-methodologie in Nederland en Vlaanderen laat dit artikel op inzichtelijke wijze zien wat Q-methodologie toevoegt aan de toolbox van beleidsonderzoekers. Naast de theoretische achtergrond van de methode biedt deze bijdrage een praktisch stappenplan voor het gebruik van de methode in de praktijk.

In Nederland komen tal van wicked problems (WP) voor. Ze worden ook wel aangeduid als weerbarstige problemen. Kenmerkend is het unieke karakter, het feit dat kennis over probleemaspecten beperkt is en verschillende perspectieven op een probleem en meerdere waardenoriëntaties een rol spelen. Naast cognitieve en normatieve complexiteit bestaat er ook nog sociale complexiteit. WPs zoals voetbalvandalisme spelen zich af in een beleidsnetwerk met tal van elkaar afhankelijke actoren. Kennis, preferenties, handelingsvermogen en middelen blijken gespreid en niet in de hand van één actor. Om toch tot een bevredigend resultaat te komen moeten de actoren gezamenlijk optrekken. Daarom is interorganisationeel netwerkmanagement en deliberatie met burgers een wenselijke responsestrategie. Bij WPs zijn actoren dus tot elkaar veroordeeld. Centralistische besluitvorming werkt niet. Een centrale actor kan overigens nog wel een rol vervullen als initiator, facilitator of regisseur van overleg en discussie; als arbiter bij botsende perspectieven; of beslisser na netwerkberaad en inbreng van burgers.

Een lerende evaluatie combineert leren en verantwoorden. Deze methode past bij complexe beleidsopgaven, waar meerdere actoren en overheden bij betrokken zijn die een behoefte hebben om te leren van elkaars ervaringen. In de evaluatie van het Natuurpact is deze methode op nationale schaal voor het gedecentraliseerde natuurbeleid toegepast. Uit deze casus blijkt dat een succesvolle toepassing vraagt om een voortdurende en zorgvuldige aansluiting van het onderzoek op de beleidspraktijk. Dit is nodig voor het betrekken van en interactie met stakeholders, het combineren van leren en verantwoorden, de wetenschappelijke onafhankelijkheid, het bestuurlijk mandaat en de beheersbaarheid van het onderzoek.

Er is de laatste tijd veel aandacht voor het omgaan met onzekerheid en dynamiek in beleid. Zo is er recent de roep om leren door doen, door een overheid die samen met de samenleving het experiment aan durft te gaan. Zo’n benadering van beleid als gezamenlijk experiment is veelbelovend, maar vergt ook passende methoden voor beleidsevaluaties. Adaptief beleid speelt hierop in. De laatste jaren is een belangrijke stap gezet in de ontwikkeling van methoden waarmee adaptief beleid ontwikkeld kan worden. Voor de evaluatie en de rol van evaluaties heeft dit belangrijke implicaties. In dit artikel wordt hierop verder ingegaan, op basis van ervaringen met adaptief beleid en beleidsevaluatie binnen het Nederlandse Deltaprogramma.

Bedrijven en andere organisaties ontvangen vaak veel enquêtes en klagen over de lastendruk hiervan. Tevens dalen responsaantallen en zijn er zorgen over de kwaliteit van de respons. In dit artikel wordt beschreven wat er gedaan kan worden om de motivatie van bedrijven en organisaties, en hun respondenten, te verhogen om daarmee bij organisatie- en bedrijfsenquêtes de responsaantallen en de responskwaliteit te verbeteren.

Een lerende overheid heeft behoefte aan beleidsevaluaties die niet alleen van betekenis zijn voor het onderwerp waarop deze primair gericht zijn, maar ook bijdragen aan bredere, systematische opbouw van kennis en ervaring. Het interdepartementaal verbinden van expertise verruimt daarbij het zicht op factoren die het leren bevorderen of belemmeren.
Een centrale vraag is of de door het beleid beoogde publieke belangen inderdaad bevorderd worden. Beleidsevaluatie moet dan niet alleen gericht zijn op effectiviteit en doelmatigheid ten aanzien van relatief gemakkelijk meetbare indicatoren, maar ook op lastig te kwantificeren essentiële waarden zoals subjectief welzijn, rechtvaardigheid en maatschappelijke aanvaardbaarheid. Het verdient aanbeveling kostbare evaluatie-energie te concentreren op belangrijke kwesties waarover vooraf discussie of onzekerheid bestaat.
Uit een oogpunt van doelmatige beleidsvoorbereiding, en omdat de uitwerking van wetgeving en beleid ex post niet altijd eenvoudig is vast te stellen, is veel aandacht nodig voor ex ante evaluatie. Van onderzoek naar werkingsmechanismen van beleidsmaatregelen wordt in dit verband terecht veel verwacht.
Er is sprake van een paradoxaal spanningsveld tussen verwetenschappelijking en politisering van beleid. Daarom is stevig verankerde, onafhankelijke en onpartijdige beleidsevaluatie onmisbaar. Hoge methodologische kwaliteit biedt extra houvast om deze functie geloofwaardig te kunnen vervullen.
In het streven naar systematische opbouw van kennis en ervaring naast dossier-specifieke doelbereiking kan het helpen als evaluaties zowel een specifiek als een breder geldend algemeen deel bevatten. Belangrijk is ook te sturen op een evenwichtige evaluatieportfolio per beleidsterrein, met aandacht voor ex ante en ex post methoden, uiteenlopende waarden, en verschillende informatiebronnen. Naast best practices moet daarbij ook minder geslaagd beleid in beeld worden gebracht. Voor de bruikbaarheid van evaluaties voor de praktijk is goede vertegenwoordiging van het bottom-up perspectief noodzakelijk.
Evaluatie van beleid vereist gedegen inbedding binnen de nationale kennisinfrastructuur, effectieve samenwerking met kennisinstellingen en het up-to-date houden van het evalueren zelf. Dat is cruciaal voor het evaluatievermogen van de lerende overheid.

In de praktijk is het niet altijd haalbaar om effectonderzoek uit te voeren met behulp van een experimentele trial. Het N=1 design is een alternatieve opzet voor effectonderzoek bij interventies met kleine aantallen. Centraal bij de N=1 aanpak staat dat bij een kleine groep deelnemers via verschillende observanten op meerdere tijdstippen informatie wordt verzameld over de ontwikkeling van deelnemers. Daarbij kan zowel gebruik worden gemaakt van kwantitatieve als kwalitatieve onderzoeksmethoden. Dit artikel beschrijft de toepassing van het N=1 design in een onderzoek naar de doeltreffendheid van de justitiële gedragsinterventie Multidimensional Treatment Foster Care (MTFC). Deze interventie is ontwikkeld voor jeugdigen tussen de 12 en 18 jaar met ernstig antisociaal gedrag. In het onderzoek is de ontwikkeling van acht MTFC-deelnemers in kaart gebracht via vragenlijstonderzoek en interviews. Naast de toepassingsmogelijkheden worden in dit artikel tevens de beperkingen en risico’s van het N=1 design beschreven.

De Nederlandse rijksoverheid maakt steeds meer gebruik van DBFM(O)-contracten om grootschalige bouw- en infraprojecten te ontwikkelen en te realiseren (DBFM(O) staat voor Design, Build, Finance, Maintain en eventueel Operate). De organisatie en inrichting van deze contracten en projecten zijn ‘als vanzelfsprekend’ gegroeid en gestandaardiseerd, veelal gebaseerd op de internationale praktijk en buitenlandse voorbeelden. Dit artikel zet uiteen hoe DBFM(O)-projecten georganiseerd en gestructureerd worden door publieke en private partijen. Uit internationaal onderzoek blijkt dat de resultaten wisselend zijn, maar de potentiële voordelen van DBFM(O) zijn groot. Deze potentie blijkt uit de eerste praktijkervaringen in Nederland, maar we kennen inmiddels ook de eerste negatieve gevolgen voor betrokken risicodragende partijen. We onderscheiden bij DBFM(O) zes ‘conventies’ met onderliggende spanningen waar praktijk en wetenschap, in de Nederlandse verhoudingen, kritisch op zullen moeten reflecteren.

Integraal gezondheidsbeleid (IGB) kent in de lokale praktijk diverse verschijningsvormen en kenmerken waardoor het lastig is dit beleid te monitoren en evalueren. In een kennissynthese van Nederlandse kernpublicaties over IGB is gekeken wat op basis van ervaringen in de IGB-praktijk tot nu toe gezegd kan worden over monitoring en evaluatie. Bij deze practice-based verkenning naar IGB-kenmerken en bijbehorende praktische instrumenten is een indeling in drie categorieën gebruikt: context, processen en impact. Voorbeelden van relevante kenmerken zijn: type IGB en setting (context), verbinden beleid en activiteiten (proces), samenwerking sectoren (proces), draagvlak en verankering in organisatie (proces), en effecten op gezondheid of determinanten (impact). Op basis van de huidige IGB-praktijk lijkt het vooral haalbaar kennis te genereren over context en procesmaten, en minder over impactmaten. Uiteindelijk is een set kenmerken die meetbaar zijn met gevalideerde instrumenten wenselijk om grip te krijgen op de voortgang van IGB. Meer theoretische onderbouwing is dan wel noodzakelijk.

Na het aantreden van Rutte II heeft de bestuurlijke opschaling van gemeenten en provincies twintig maanden lang op de agenda gestaan. Zoals bekend hebben de plannen van het kabinet de eindstreep niet gehaald. Vooral bij de meest betrokken provincies bestond er kritiek op het ontbreken van een visie en onderbouwing. In dit artikel wordt onderzocht in hoeverre een netwerkanalyse van het verplaatsingsgedrag daarin zou kunnen voorzien. Voor een volgende ronde, die zich mogelijk al snel weer aandient. De uitkomsten van verschillende algoritmes voor netwerkanalyse worden vergeleken. Het begrip daily urban system, gekoppeld aan welvaartstheoretische inzichten (Tordoir), dient als inhoudelijke leidraad. Netwerkanalyse blijkt zakelijke argumenten op te leveren die behulpzaam kunnen zijn bij het trekken van (nieuwe) bestuurlijke grenzen, ook al zullen deze om verschillende redenen nooit alleenzaligmakend zijn.

Internationaal stijgt de aandacht voor evidence-based policy (EBP); de term duikt steeds vaker op in het beleidsdiscours. Het empirisch onderzoek naar kennisgebruik en doorwerking van wetenschappelijk onderzoek is evenwel eerder gelimiteerd, al bestaat er consensus dat de doorwerking van sociaalwetenschappelijk onderzoek beperkt is. De vraag stelt zich of het recente EBP-discours hierin verandering kan brengen. Kan EBP leiden tot meer doorwerking van sociaalwetenschappelijk onderzoek, gelet op de inherente kenmerken van beleid en wetenschappelijk onderzoek die belangrijke obstakels blijken te vormen voor kennisgebruik en doorwerking? Kunnen we in Vlaanderen reeds spreken over een EBP? Wat verstaan beleidsmakers onder ‘evidence-based’? Is een EBP überhaupt mogelijk? Wat zijn de belangrijkste obstakels voor kennisgebruik volgens beleidsmakers en wat zijn de belangrijkste gebruiksverhogende factoren? In dit artikel wordt aan de hand van een literatuurstudie, een bevraging van (Vlaamse) beleidsmakers en een citaats- en inhoudsanalyse van Vlaamse parlementaire bronnen gepoogd een antwoord te bieden op deze vragen.

Onderzoek van Bureau Onderzoek en Statistiek van de gemeente Amsterdam en het Verwey-Jonker Instituut wijst uit dat het ervaren van overlast door kinderen en jongeren een van de belangrijkste oorzaken van spanningen tussen bevolkingsgroepen in buurten is. De mate van publieke familiariteit is bepalend voor de mate waarin deze overlast voor spanningen zorgt. In buurten met weinig publieke familiariteit (her)kennen bewoners elkaar niet en voelen ze zich niet vertrouwd. Ze durven jongeren en hun ouders niet aan te spreken, waardoor het ervaren van jeugdoverlast kan leiden tot opgekropte irritaties en spanningen. Hetzelfde geldt voor buurten waar bewoners weinig ruggensteun ervaren van instanties. Bewoners hebben het gevoel dat hun meldingen van overlast niet serieus genomen worden en dat ze er alleen voor staan, wat leidt tot frustraties en spanningen.

Nalevingsgedrag wordt door een aantal factoren beïnvloed. Deze factoren zijn door het ministerie van Justitie samengevat in de Tafel van Elf, die zowel spontane nalevings- als handhavingsdimensies bevat. Elk individu gaat verschillend om met deze dimensies. Om overall iets te kunnen zeggen over het nalevingsgedrag van een doelgroep dienen de verschillende individuen/bedrijven en hun interacties beschreven te worden. Dit is mogelijk door gebruik te maken van Agent-Based Modeling (ABM). ABM is in het hier beschreven onderzoek toegepast in een casestudie naar correct gebruik van antibiotica door varkenshouders. Simulaties lieten zien dat een hoog nalevingsniveau bereikt kan worden door een hoge mate van acceptatie van de wetgeving, waarbij enige mate van inspectie nodig zal blijven. Verder bleek dat het gedrag van varkenshouders beïnvloed wordt door het nalevingsgedrag van varkenshouders in de omgeving. Voor zover ons bekend is dit de eerste toepassing van ABM op het gebied van naleving en toezicht.

Het aandeel van de industrie in de Nederlandse economie neemt structureel af. Deze ontwikkeling wordt versterkt door een tekort aan binnenlands aanbod van technici: de belangstelling voor technische opleidingen is sterk teruggelopen. In de toekomst dreigt het tekort aan technici verder op te lopen, waardoor de positie van de Nederlandse industrie verder onder druk komt te staan. Voor een open economie als die van Nederland is de industrie, die het overgrote deel van de export voor zijn rekening neemt, echter van grote betekenis. Ook biedt de industrie relatief goed betaalde banen voor werknemers die anders aangewezen zouden zijn op laag betaalde arbeid of geen baan zouden kunnen krijgen. Om de dalende trend te keren moeten meer jongeren geïnteresseerd worden in een technische opleiding. In het artikel komt uitvoerig aan de orde hoe dat kan.

In deze bijdrage plaatsen we de gezagscrisis van de hedendaagse wetenschap in cultuur en politiek in een breder, cultuursociologisch perspectief.