Bespreking van: B.G. Peters & G. Fontaine (Eds.), Handbook of research methods and applications in comparative policy analysis, Cheltenham: Edward Elgar Publishing 2020
Bamberger, M., Vaessen, J., & Raimondo, E. (Eds.). (2017). Dealing with complexity in development evaluation: A practical approach. San Francisco: Sage.
Büttemeyer, W. (2005). Popper on definitions: To Michael Sukale. Journal for General Philosophy of Science, 36, 15-28.
Coleman, J. (1990). Foundations of social theory. New York: Bellnap Press.
Leeuw, F. (2020). Van legal realism naar legal big data. Den Haag: Boom juridisch.
Livermore, M., & Rockmore, D. (Eds.). (2019). Law as data: Computation, text & the future of legal analysis. Santa Fe: Santa Fe Press.
Oostrom, E. (2010). Beyond markets and states: Polycentric governance of complex economic systems. American Economic Review, 100, 641-672.
Pawson, R. (2013). The science of evaluation. London: Sage.
Pawson, R., & Tilley, N. (1997). Realistic evaluation. London: Sage.
Raub, W., Buskens, V., & Van Assen, M.A.L.M. (2011). Micro-macro links and microfoundations in sociology. The Journal of Mathematical Sociology, 35, 1-25.
Comparatieve beleidsanalyse (CPA, comparative policy analysis) is, zo stellen de redacteuren van dit ruim 400 pagina’s dikke boek, in belangrijkheid snel aan het toenemen. Met als peildatum december 2018 vonden zij bijna 250 verwijzingen naar peer-reviewed publicaties over CPA, waarvan het merendeel van na 2015 is. Alhoewel dit aantal geringer is dan de ruim 700 publicaties over ‘comparative politics’, is het aanzienlijk groter is dan de hooguit 40 referenties naar ‘comparative public administration’, die zij aantroffen in het Web of Science. Aan de vraag waarom dit zo is, wordt kort aandacht besteed; het overgrote deel van het boek gaat over methodische, theoretische, statistische en epistemologische aspecten van CPA.
Maar wat ‘is’ CPA eigenlijk? Dat is in dit boek nergens gedefinieerd. Vanaf de eerste pagina is het echter duidelijk dat het maken van vergelijkingen tussen sociale, politieke, bestuurlijke systemen ‘across time, space and areas’ de centrale aandacht heeft in deze ‘vorm’ van beleidsonderzoek. Je kunt je daarbij afvragen waarom het ‘vergelijkende’ zo centraal staat. Immers, wetenschappelijk onderzoek is toch altijd in meer of minder (expliciete) zin vergelijkend? In het boek wordt het zo geduid: ‘We doen dit om effectiever en efficiënter te zijn, om herhaling van mislukkingen te vermijden, om ons gebruik van middelen te maximaliseren, om tijd te besparen en om geïnspireerd te worden door die overeenkomsten die het mogelijk maken om lessen te trekken. Vergelijkende beleidsanalyse en beleidsanalyses dragen zowel bij aan het principe van op feiten gebaseerde beleidsvorming als aan dat van efficiëntie en effectiviteit, namelijk het besparen van kostbare tijd en middelen in een tijd waarin uitdagingen met optimale snelheid en met optimaal niveau moeten worden aangepakt.’ Is het desondanks jammer dat er geen sectie is die gewijd is aan de definitie van CPA? Naar mijn mening niet, en dat niet alleen vanwege Poppers kritiek op wetenschappers die vooral bezig zijn met het beantwoorden van ‘wat is’-vragen. Dat zou alleen maar tot essentialistische beschouwingen leiden waar de groei van kennis niet mee gediend is (Büttemeyer, 2005). Definities zijn doorgaans niet nodig omdat er een common understanding is, een praktijk gevestigd is die laat zien waar ‘het’ over gaat. Daar komt bij dat veel aandacht voor definities en typologieën, iets wat bestuurskundigen niet vreemd is, ook het risico in zich draagt van silo-denken.
Waarom dit handboek? Een overweging is de groei in de belangstelling voor CPA. Een andere overweging is dat door het multidisciplinaire karakter van beleid (ontwerpen en invoeren) ‘de methodologische uitdagingen bij CPA aantoonbaar complexer zijn dan bij andere onderzoeksgebieden in de sociale wetenschappen’ en er ook daarom behoefte is aan een overzicht van beschikbare (nieuwe) methoden, inclusief hun sterke en zwakke kanten. Een derde overweging is dat het handboek beoogt bij te dragen ‘to overcome the limits of quantitative techniques (especially standard linear regression and econometric models)’. Die hebben soms wel de naam de meest relevante methoden te zijn, maar zijn dat naar het oordeel van de redacteuren Peters en Fontaine lang niet altijd.
In het inleidende hoofdstuk van Peters komen niet alleen deze overwegingen aan de orde maar wordt ook duidelijk gemaakt dat dit handboek een bijdrage wil leveren aan kennis over de diverse methoden van vergelijkend beleidsonderzoek in relatie tot ‘theoretical issues like policy change, time and context’. Ook stelt Peters de vraag ‘how structure (= institutionele processen en factoren) and agency (= rol van individuen die besluiten nemen) are related in explaining outcomes’ binnen het vergelijkend beleidsonderzoek. Dit is een klassiek vraagstuk dat door Coleman (1990) en Raub et al. (2011) voor de sociologie is geanalyseerd in zijn Boot-model, door Ostrom (2010) voor de economie, en in de wereld van het evaluatieonderzoek door Pawson en Tilley (1997) en Pawson (2013).
Het inleidende hoofdstuk behandelt ook de verschillende onderliggende (ontologische en epistemologische) perspectieven van waaruit beleidsonderzoek verricht wordt, en onderscheidt een viertal methodologieën, waaronder het ‘kritisch realisme’, het ‘neopositivisme’ en het ‘analyticisme’. Methodologieën omschrijft Peters niet in termen van concrete methoden en technieken, maar als ‘the product of a philosophical ontology (the relationship between the mind and the world) and a scientific ontology (the relationship between the status of empirical data and our knowledge about the world)’. Het is niet vaak het geval dat in publicaties over beleidsonderzoek op een dergelijke diepgravende manier naar dit werkterrein gekeken wordt en dat is zonder meer een van de positieve punten van dit boek. De aandacht voor deze meer fundamentele thema’s is niet beperkt tot het inleidende hoofdstuk, maar is ook terug te zien in een hoofdstuk over de relatie tussen het toetsen van theorieën met behulp van casestudies (om een voorbeeld te noemen).
Het boek kent zes delen.
Deel I gaat over ‘the methodological debate’, waarin de huidige stand van CPA geschetst wordt en de vraag aan de orde komt wat comparatief onderzoek eigenlijk inhoudt. Ook komen verschillende benaderingen, inclusief methoden aan de orde, zoals (soorten) casestudies en Small-N-onderzoek. Verder komen het klassieke artikel van Lijphart uit 1971 naar de vergelijkende methode in de politicologie en J.M. Mills ‘principle of difference’ van ruim een eeuw eerder aan bod. Beide zijn nog steeds verhelderende beschouwingen. Fascinerend is het hoofdstuk over onderzoek waarin ‘the most similar and the most different system designs’ naast elkaar worden gezet en wat daaruit te leren is. Dowding behandelt in een volgend hoofdstuk de vraag of je in of met behulp van een casestudy een theorie kunt toetsen. Over dat vraagstuk is veel te doen en niet alleen in vergelijkend beleidsonderzoek. Evaluatoren, auditoren, en andere ‘-oren’ die zich bedienen van casestudies, kunnen baat hebben van dit – spannende – hoofdstuk.
Deel II gaat over ‘theoretical challenges’ en had ook het hoofdstuk van Dowding kunnen bevatten. Het lijkt er echter op dat ‘theoretical’ in dit handboek wat meer betekent dan het denken over, toetsen van of (re)construeren van (verklarende of beleids)theorieën. Wat onder de term ‘theoretisch’ valt, zijn namelijk vooral ook beschouwingen over agenda-setting-modellen, comparatief historisch onderzoek en het bespreken van een onderzoeksprogramma dat werkt vanuit het ‘advocacy coalition framework’.
Deel III gaat over ‘measurement and experimental methods’. Alhoewel de titel van dit deel een enkele wenkbrauw doet fronsen (meten is immers nodig bij experimentele én bij niet-experimentele designs en methoden), doet dat niet af aan de relevantie van de hoofdstukken. Eén hoofdstuk gaat over experimenteel evaluatieonderzoek, een ander over de rol van indexen en indicatoren(stelsels) en een derde over het thema hoe ‘texts as data’ te zien is. In het hoofdstuk over experimenten wordt verslag gedaan van de recente geschiedenis van (quasi-)experimenten in evaluatieonderzoek (vanaf het begin van de twintigste eeuw) en wordt duidelijk gemaakt dat de belangstelling voor deze grondvorm(en) van onderzoek in de wereld van de politieke wetenschap van veel recentere datum is dan in het evaluatieonderzoek. Wat experimenten eigenlijk zijn, komt ook aan de orde. De openingszin van de conclusieparagraaf uit dit hoofdstuk spreekt boekdelen: ‘Experiments have been useful for policy evaluation, but until recently scholars of the policy process could be excused for thinking that they do not have much relevance for studies of the policy process, mainly because the complexity of public policy does not offer neat tests, such as whether an intervention works or not’ (p. 162). Tegelijkertijd is er met de komst van wat als ‘elite-experimenten’ onder bestuurders, politici, wetgevers enzovoort wordt genoemd, een nieuwe weg ingeslagen. De objecten van onderzoek zijn (gedragingen van) wat elites genoemd worden.
Het ‘texts as data’-hoofdstuk sluit aan bij de groeiende belangstelling voor het langs kwantitatieve weg analyseren van teksten in de sociale én geesteswetenschappen, waaronder het juridisch onderzoek (zie bijv. Livermore & Rockmore, 2019; Leeuw, 2020). Gilardi en Wuëst (auteurs van dit hoofdstuk) situeren de oorsprong van text-as-data-methoden in benaderingen zoals de klassieke inhoudsanalyse en informatica-literatuur over natuurlijke taalverwerking. In de politieke wetenschappen behoren gebeurtenisdetectiesystemen voor conflictstudies tot de eerste toepassingen. Oorspronkelijk maakten deze benaderingen gebruik van het matchen van trefwoorden om gebeurtenissen zoals bomaanslagen te coderen, zo valt te lezen. Later werden deze benaderingen verbeterd met meer geavanceerde tools zoals syntaxis-parsing en lexicale databases terwijl het categoriseren van politieke teksten ook gepraktiseerd wordt. Het hoofdstuk waarschuwt de lezer dat ‘texts-as-data approaches can be highly complex’. De diverse voordelen van het op deze manier analyseren van teksten worden beknopt en overtuigend op een rij gezet. Mijn eigen ervaringen met ‘legal big data’, resp. ‘law as data’ (Leeuw, 2020) bevestigen dit beeld.
Deel IV gaat in zijn geheel over mixed-methods en multi-methods, waarbij ook aan ‘[critical] multiplism’ gerefereerd wordt (= het doen van onderzoek vanuit diverse perspectieven, en met behulp van diverse methoden, bronnen en communicatiemodaliteiten). Essentieel is dat de auteurs vertrekken vanuit de visie dat alle methoden als in principe feilbaar moeten worden gezien en geen enkele methode als ‘unequivocally superior’ kan worden gezien ten opzichte van andere. Het hoofdstuk van Dunn en Peters (‘Critical multiplism for comparative policy analysis’) ordent en analyseert diverse methoden: causal case studies (‘the in-depth assessment of how policy processes play out within cases’), Qualitative Comparative Analysis (QCA) en process tracing (met uitgebreide passages over de rol van ‘mechanismen’).
Deel V omvat ruim 60 pagina’s die over kwalitatieve methoden gaan. Ook hier interessante behandelingen over het gebruik van respectievelijk focusgroepen, etnografie, Q-methodologie en het ‘narrative policy framework’ in het vergelijkend beleidsonderzoek.
Tot slot, deel VI, dat de ‘issues for further research’ behandelt en twee bijdragen bevat. Een waarin trends in CPA beschreven worden en waarbij vooral gebruikgemaakt wordt van een inhoudsanalyse van het Journal of Comparative Policy Analysis: Research and Practice. Het andere (en laatste) hoofdstuk gaat over de rol van evolutionaire theorieën in vergelijkend beleidsonderzoek, waarin achtergronden van dit denken geschetst worden, maar ook de potentie die dit denken heeft voor het onderzoek van complexe processen in en rondom beleid (inclusief obstakels die de onderzoeker dan kan tegenkomen). Het geeft een beknopt maar spannend zicht op deze (interdisciplinaire) benadering.
Het boek vormt een belangrijke bijdrage aan het doen van en denken over vergelijkend beleidsonderzoek. Het graaft dieper dan reguliere kookboek-achtige publicaties; het stelt vragen aan de orde die veel verder reiken dan alleen de technische kanten van CPA en het presenteert inzichten uit redelijk innovatieve terreinen van onderzoek zoals ‘texts as data’- en evolutionaire theorieën. Wat die theorieën betreft: die komen redelijk uitgebreid aan bod.
Wat had (beter) gekund? Dit is een open-deur-vraag, maar desondanks twee antwoorden.
Het eerste is dat een slotverhaal waarin teruggegrepen zou zijn op de hoofdvragen die in het openingshoofdstuk van Peters gesteld zijn en waarin geprobeerd wordt de kennis(groei) te systematiseren, aantrekkelijk was geweest.
En twee: de verhouding tussen multi-method benaderingen en kwalitatieve methoden (onderdeel van het multiplicisme) had grondiger kunnen worden uitgediept. Een voorbeeld: triangulatie als term komt regelmatig terug (iets wat mij bekend is uit het evaluatieonderzoek) maar hoe het trianguleren precies in zijn werk gaat, wordt maar beperkt belicht.
Tot slot nog even terug naar het begin: waarom is er een apart handboek over ‘comparatief beleidsonderzoek’ verschenen? Die vraag komt omdat diverse onderwerpen die in dit handboek aan de orde komen, ook door beleidsanalisten/-onderzoekers die niet het kenmerk ‘comparatief’ dragen, aan de orde gesteld (kunnen) worden. Ik heb er geen goed antwoord op. Redenen die in het handboek aangedragen worden, zijn dat CPA bij uitstek geschikt is om kennis te verkrijgen en om bij te dragen aan ‘evolutionaire’ perspectieven over beleid, bestuur en politiek. Ook wordt aangegeven dat CPA goed overweg kan met dynamieken in en rondom beleid, met het bestuderen van de contexten waarin beleid tot stand komt, met complexity-vraagstukken én met het gebruiken van pluriforme methoden. Dat is allemaal vermoedelijk waar en relevant, maar dat geldt ook voor diverse andere takken van sport, zoals evaluatieonderzoek (zie bijv. Bamberger et al., 2017). Mijn antwoord op deze vraag is simpeler. Redacteur B. Guy Peters is al decennialang actief op (dit) gebied en het publiceren van handboeken blijft naar meer smaken. Er is een uitgever die hoge waarde hecht aan handboeken. En er is een speciale eindredacteur van de serie Handbook of Research Methods and Applications, die vaststelde dat het in deze serie ontbrak aan het onderwerp ‘[comparatieve] beleidsanalyse/beleidsonderzoek’. Na jaren noeste arbeid ligt er dan een kloek boek. Soms is het zo simpel, maar misschien ook niet. Ik laat het aan de lezer van deze boekbespreking. Maar dat weerhoudt me er niet van om dit boek een ‘aanrader’ te noemen.
Literatuur