Responsieve beleidsevaluatie: theorie en praktijk van een participatieve methode met impact

• Methode in hoofdlijnen

  Responsieve evaluatie is ontwikkeld in de context van onderwijsevaluatie in de Verenigde Staten. Robert Stake (1975, 2004) meende dat een standaardevaluatie onvoldoende recht deed aan de waardenpluraliteit van de diverse stakeholders. In de jaren zeventig van de vorige eeuw muntte hij daarom het begrip ‘responsieve evaluatie’ als alternatief voor de standaardevaluatie. Doel van responsieve evaluatie was om een diepgaand inzicht te krijgen in een beleidsprogramma met het oog op verbetering ervan. Dit inzicht werd verkregen door een betrokkenheid en het kennisnemen van de alledaagse praktijk. Responsieve evaluatie, zoals Stake beoogde, nam de ‘issues’ (in plaats van slechts de beleidsdoelen en standaarden van beleidsmakers) van zoveel mogelijk stakeholders als vertrekpunt om de kwaliteit en waarde van een programma of praktijk te bepalen. Stake meende dat deze ‘issues’ niet a priori zijn vast te stellen, maar geleidelijk naar voren komen tijdens gesprekken met stakeholders. Issues verwijzen naar de aandachtspunten van stakeholders en kunnen zowel positieve als negatieve gevolgen van beleid omvatten. In zijn omschrijving van responsieve evaluatie gaf Stake de voorkeur aan persoonlijke ervaringen en de natuurlijke manier waarop mensen kwaliteit percipiëren en waarderen. Hij keek vooral naar de alledaagse acties en context waarin programma’s worden uitgevoerd en was minder gericht op plannen en doelen. Stake (2004) meende daarom dat een responsieve evaluator vooral ook een goede sociaal antropoloog zou moeten zijn. Naast kwantitatieve methoden zal deze vooral ook kwalitatieve methoden zoals interviews en observaties inzetten.

  Het werk van Robert Stake werd vervolgens gefundeerd en verder doorontwikkeld door Ego Guba en Yyonna Lincoln, ook in de context van het onderwijs in de Verenigde Staten. In hun belangrijkste werk, Fourth Generation Evaluation, uit 1989 stellen zij de onderhandeling (‘negotiation’) tussen stakeholders centraal. Zij omschrijven deze onderhandeling als een proces waarbij zoveel mogelijk stakeholders hun issues en perspectieven naar voren kunnen brengen om dan in deliberatie met elkaar vast te stellen wat er nodig is om het beleid te verbeteren. Niet langer ging het alleen om de diverse issues van stakeholders; Guba en Lincoln pleitten voor het op gang brengen van een interactief proces met stakeholders om te komen tot een waardering van programma’s. Guba en Lincoln streefden hierbij uitdrukkelijk naar het stem geven aan de ‘victims’, de groepen belanghebbenden waarop het beleid zich richt, maar die vaak niet gerepresenteerd zijn in de beleidsvorming of de evaluatie ervan. Zij beoogden met hun interactieve benadering het persoonlijke en wederzijdse begrip tussen stakeholders te vergroten als basis voor programma- en praktijkverbetering.

  Oftewel: responsieve evaluatie is niet alleen voor vele belanghebbenden bedoeld, maar komt in interactie met vele anderen tot stand. Dialoog vormt een middel om de issues van belanghebbenden eerst te articuleren in eigen kring met convergerende belangen, en vervolgens om die in te brengen voor een gesprek met andere partijen, zodat wederzijds begrip kan ontstaan. Verderop ga in nader in op de vraag hoe de selectie van respondenten geschiedt in responsieve evaluatie. De evaluatieonderzoeker treedt hierbij op als een facilitator die condities creëert voor de dialoog. Er is een mix aan methoden die kan worden ingezet, maar het belangrijkste is het creëren van een zogenoemde communicatieve ruimte voor dialoog. Het design wordt niet vooraf vastgelegd maar ontstaat geleidelijk (emergent design) en de werkwijze is daarbij iteratief en ontwikkelend; dat wil zeggen dat het design geleidelijk ontstaat in conversatie met partijen, en dat dataverzameling en analyse elkaar steeds afwisselen en sturen. In de analyse zal de onderzoeker samen met partijen de verzamelde data analyseren en interpreteren met het oog op verbeteracties. In dialoog kunnen ‘horizonnen’ zich verruimen en nieuwe perspectieven ontstaan op de gegevens over de praktijk (Abma & Widdershoven, 2005; Abma et al., 2009a en 2009b; Abma et al., 2020).

  Responsieve beleidsevaluatie is in de context van het onderwijs ontwikkeld, maar wordt inmiddels ook op vele andere beleidsterreinen toegepast, waaronder de gezondheidszorg en public health (Van Heijster et al., 2022; Woelders, 2019), ontwikkelingssamenwerking, landbouw en visserij (Kouévi et al., 2013). Vergelijkbare benaderingen waarin de interactie en dialoog en het verbeteren van praktijken met het oog op sociale inclusie en rechtvaardigheid vooropstaan, zijn: participatory en empowerment evaluation (Fetterman et al., 2018), democratic evaluation (Greene, 2006, 2010; Simons & Greene, 2018; Hanberger, 2018) en feminist evaluation (Bustelo, 2017; Macpherson et al., 2024). Tevens zijn er parallellen met participatief actieonderzoek in de normatieve oriëntatie op sociale inclusie en transformatie, collectieve actie en lokale impact (Abma et al., 2017, 2019; Cook, 2020).

• Situering in evaluatiestromingen

  Responsieve beleidsevaluatie is een benadering die is gegrond in een sociaal-­constructivistische kentheorie (Van der Knaap et al., 2023). Deze kentheorie gaat uit van de volgende basisassumpties:

  • De aard van de werkelijkheid. Mensen zijn actieve betekenisgevers. Zij construeren hun werkelijkheid in interactie met elkaar en brengen daarbij uiteenlopende achtergronden en referentiekaders in het spel. Gegeven deze diversiteit is ‘de’ werkelijkheid meervoudig. Beleid is altijd voor velerlei uitleg vatbaar en kan uiteenlopende en soms conflicterende betekenissen hebben voor diverse groepen.

  • Het kennen van de werkelijkheid. Om inzicht te krijgen in uiteenlopende werkelijkheidsconstructies moeten onderzoekers betrokkenheid tonen in plaats van afstand nemen. Objectiviteit is niet mogelijk en niet wenselijk. Onmogelijk, omdat er een interactie plaatsvindt tussen het kennend subject en object en onderlinge beïnvloeding onvermijdelijk is. Onwenselijk, omdat kennis van geleefde ervaringen alleen verworven kan worden door het inbrengen van eigen verwachtingen en vooroordelen (Schwandt, 2001). Het zich openstellen voor de ander is daarin eveneens een belangrijke voorwaarde.

  • De aard van verklaringen. Wanneer het gaat om het geven van inzicht in bepaalde gebeurtenissen, bijvoorbeeld het niet uitvoeren van bepaalde beleidsmaatregelen, dan zullen deze verklaringen een holistisch of complex karakter hebben. Dat wil zeggen dat gebeurtenissen alleen begrijpelijk zijn vanuit een set van vele elkaar wederzijds beïnvloedende factoren en perspectieven; ze laten zich niet herleiden tot eenvoudige oorzaak-en-gevolgrelaties.

  • De aard van generalisaties. Kennis is tijd- en plaatsgebonden, veralgemenisering van particuliere kennis is problematisch. Wel is kennisoverdracht van de bestudeerde naar een andere, specifieke context mogelijk. Niet de onderzoeker, maar lezers kunnen via rijkgeschakeerde gevalsbeschrijvingen plaatsvervangende ervaringen opdoen en op grond van hun ervaringen bepalen in hoeverre inzichten overdraagbaar zijn naar hun eigen setting.

  • De plaats van waarden. Onderzoek wordt onvermijdelijk beïnvloed door waarden. Elke vraagstelling is waardengeladen. De keuze voor een bepaalde methodologie weerspiegelt bepaalde waarden. Dat geldt ook ten aanzien van het gebruik van een bepaalde substantiële theorie. Een onderzoek wordt verder beïnvloed door de waarden geldend in de context. Een onderzoek dat plaatsvindt in een meer democratische organisatiecultuur, zal leiden tot een ander proces en andere bevindingen dan een onderzoek dat plaatsvindt in een autoritaire organisatiecultuur. De persoonlijke waarden van de onderzoeker zullen het onderzoek ook beïnvloeden. De persoonlijke waarden werken als een filter; zij kleuren de interpretatie van de data. De waardengeladenheid van onderzoek is echter niet alleen problematisch; waarden maken het immers mogelijk om onderscheid en keuzes te maken.

• Toepassing

  Responsieve evaluatie concentreert zich op (programma-)activiteiten (versus doelen); past zich aan op de informatiebehoeften van verschillende stakeholders en publieksgroepen; en respecteert verschillende waarden en belangen van stakeholders. Responsieve evaluatie is relevant, omdat:

  • onze samenleving steeds diverser is geworden, dat wil zeggen: er is meer verscheidenheid, onder andere door het wegvallen van de Grote Verhalen en alomvattende ideologische kaders (God, Marx etc.), en meerdere culturele waarden bestaan naast elkaar. Daarom hebben we een evaluatiebenadering nodig die met deze pluraliteit van waarden en belangen kan omgaan;

  • in het vacuüm van alomvattende kaders de markt en systeemwaarden steeds dominanter zijn geworden, denk aan efficiency, productiviteit, veiligheid, transparantie. Deze waarden en normen zijn goed voor de economie, maar sprenkelen zand in onze moraliteit, zoals Zygmunt Bauman (in Abma et al., 2020) het mooi zegt. We hebben evaluatiebenaderingen nodig die zich bevinden in de interferentiezone tussen systeem- en leefwereld en weerstand bieden aan de dominantie van het systeem (denk aan de gezondheidszorg als een markt), en die Bildung, dat wil zeggen morele ontwikkeling en ambitie, mogelijk maken;

  • mensen steeds minder geneigd zijn om de expertise van deskundigen te accepteren, onder meer omdat mensen steeds hoger zijn opgeleid, verschillende experts tegenstrijdige meningen hebben en er door het internet meer toegang is tot informatie. Zonder reflectie en het bevragen van de eigen kaders en meningen leidt dat tot een meningen-democratie. Dus, we hebben evaluatiebenaderingen nodig die de wijsheid, stemmen en ervarings- en praktijkkennis van verschillende stakeholders incorporeren en deze via dialoog en deliberatie integreren als we willen dat evaluatieonderzoek bijdraagt aan de verbeteringen van praktijken, in de zin van bijdragen aan goede zorg en goed onderwijs. Verderop ga ik onder het kopje ‘dialoog’ dieper in op de vraag hoe responsieve evaluatie kan vermijden dat deze louter de meningen-democratie dient;

  • de kwaliteit en de betekenis van programma’s niet slechts kan worden begrepen en gereduceerd tot een set van simpele indicatoren, onder meer omdat de huidige samenleving zo complex is geworden. Simpele oplossingen werken niet meer. Bij de meeste programma’s zijn vele stakeholders betrokken, en is het krachtenveld dynamisch en onvoorspelbaar. We moeten de onzekerheid, complexiteit en de meervoudige realiteiten van mensen en het belang van context benadrukken om een goed inzicht te krijgen in programma’s en praktijken.

  Responsief onderzoek is bij uitstek bruikbaar voor complexe situaties met vele actoren en grote verschillen in opvattingen. Dikwijls wordt responsieve evaluatie ingezet parallel aan de beleidsimplementatie om tijdens het proces van implementatie de stakeholders te informeren, zodat tussentijdse aanpassingen mogelijk zijn. Responsieve evaluatie leent zich naast ex durante evaluatie, ook voor ex-post en ex ante evaluatie.

• Uitgebreide beschrijving van de methode

  Guba en Lincoln (1989) hebben de ontwikkeling van evaluatief onderzoek in vier historische generaties ingedeeld: ‘meten’, ‘beschrijven’, ‘oordelen’ en ‘onderhandelen’. ‘Meten’ gaat over het verzamelen van gegevens, zoals het meten van leerlingresultaten als indicator voor onderwijssucces. ‘Beschrijven’ houdt in dat de kenmerken van een onderwijsbeleid of -programma overzichtelijk in kaart worden gebracht. In het geval van een onderwijsprogramma betekent dit het beschrijven van de activiteiten van docenten, studenten en de interacties binnen de klas. Deze informatie kan worden ondersteund door beschrijvende statistieken. ‘Oordelen’ leidt tot een definitief oordeel over de kwaliteit, bijvoorbeeld door de feitelijke effecten van een onderwijsprogramma te vergelijken met de gevormde doelen en normen. Er wordt gebruik gemaakt van een vaste set standaarden en criteria, bepaald door één stakeholdergroep (beleidsmakers). De beoordeling concentreert zich op de gerealiseerde uitkomsten (en minder of niet op het implementatie­proces). Dit type evaluatie – door Stake (2004) ‘standard-based evaluation’ genoemd – is wijdverspreid in de hedendaagse samenleving. Het is beleidsgericht en staat in contrast met het pluralistische, interactieve en dialogische karakter van evaluatie van de vierde generatie.

  Binnen de vierde generatie evaluatie komt het ontwerp emergent tot stand op basis van een gesprek met en tussen stakeholders en hun aandachtspunten. De deliberatieve dialogen tussen stakeholders stimuleren een gezamenlijk leerproces en versterken het persoonlijke en wederzijdse begrip. Dit staat in contrast met het idee van leren binnen een op standaarden gebaseerde evaluatiebenadering, waarbij het leren begint na de evaluatie op basis van de toepassing van evaluatiebevindingen; dit leren is meer cognitief van aard. Binnen responsieve evaluatie is leren een ­sociaal en actiegericht proces waarbij stakeholders van en met elkaar leren door in dialoog te gaan en kritisch te reflecteren op de eigen aannames, acties en consequenties met het oog op verbeteringen in de praktijk en empowerment. Empowerment omvat het verkrijgen van meer greep en controle op de eigen situatie als gevolg van het leerproces dat op gang is gebracht. Tevens gaat het hier om een groeiend kritisch bewustzijn; dat wil zeggen veranderingen in het bewustzijn, percepties en ideeën, inclusief machtsverhoudingen, de marginalisering van stemmen, en contextuele factoren die participatie belemmeren. Kritisch bewustzijn kan helpen om schaamte en negativiteit ten opzichte van iemands sociale positie te overwinnen.

  In tabel 1 heb ik de belangrijkste verschillen tussen responsieve en standaard-­gebaseerde evaluatie samengevat.

  Tabel 1 Verschillen tussen standaard-gebaseerd en responsieve evaluatie

  	Standaard-gebaseerd	Responsieve evaluatie
  Evaluatie­criteria en standaarden	Vooraf vastgesteld door een stakeholdergroep Beleid-gecentreerd Effecten en uitkomsten	Emergent design in dialoog met alle stakeholders Pluralistisch: de waarden en belangen van alle stakeholders Effecten, implementatie en context
  Evaluatie­proces	Vaststaand hypothetisch-deductief design Stakeholders zijn informatie­verstrekkers Monologisch Evaluator als expert	Emergent design gebaseerd op stakeholderissues Stakeholders zijn partners in het proces Interactief en dialogisch Evaluator als facilitator
  Leren	Individueel/cognitief fenomeen Begint na de toepassing van evaluatie van de data Meer kennis ‘over’ een beleids­programma	Collectief/sociaal fenomeen Begint tijdens proces van evaluatie Persoonlijk en wederzijds begrip bij stakeholders ten behoeve van collectieve actie

  Kernconcepten

  Responsieve evaluatie is te omschrijven als een proces van oordeelsvorming tussen stakeholdergroepen wier belangen worden geraakt door de evaluatie. Het begrip stakeholders is lastig te vertalen, en verwijst naar hen die van belang zijn voor en hen die belang hebben bij de evaluatie. Het doel van responsieve evaluatie is om bij te dragen aan de transformatie van een praktijk. Met het begrip transformatie bedoelen we dat de praktijk zich ontwikkelt in de richting van meer sociale rechtvaardigheid, en ruimte biedt aan de emancipatie van groepen (Greene & Abma, 2001). Het proces van een responsieve evaluatie is om die reden net zo belangrijk – als leerproces tussen partijen – als het uiteindelijke product. Het oordeel dat volgt uit een responsieve evaluatie, zal het karakter hebben van verbeteracties die partijen voorstellen om de praktijk te transformeren. Om het leerproces dat responsieve evaluatie beoogt op gang te brengen te verduidelijken, behandelen we hieronder enkele kernconcepten.

  Maar eerst een kort voorbeeld van de identificatie van stakeholders. In een evaluatie van een dagbestedingsprogramma voor mensen met dementie gaat het bijvoorbeeld om gemeenten, zorg- en welzijnsorganisaties, mensen met dementie en hun mantelzorgers. Deze stakeholders hebben uiteenlopende belangen en waarden. Gemeenten moeten uitvoering geven aan de Wet maatschappelijke ondersteuning (Wmo) en willen voorzieningen die toegankelijk, efficiënt en effectief zijn voor burgers met dementie. Dit geldt in zeker zin ook voor zorg- en welzijnsorganisaties; zij moeten een effectief aanbod bieden waar financiële vergoeding tegenover staat. Mensen met dementie willen vooral een voorziening dicht bij huis en op maat. Mantelzorgers zoeken vooral respijt om even ontlast te worden van zorg voor hun naaste. Responsieve evaluatie wil recht doen aan al deze stakeholderperspectieven om te komen tot dagbesteding die aansluit bij behoeften en verlangens van mensen met dementie. Hoewel de stakeholdergroepen op het eerste gezicht intern homogeen lijken in hun belangen, kan in de praktijk blijken dat er interne verschillen binnen stakeholdergroepen zijn. Een responsieve evaluatie probeert recht te doen aan deze diversiteit binnen stakeholdergroepen door zowel de gedeelde issues als de issues die specifiek zijn voor subgroepen in kaart te brengen. Verderop onder het kopje ‘stakeholders’ leg ik uit hoe.

  Issues. In een responsieve evaluatie worden de evaluatiecriteria ontleend aan de ‘issues’ van diverse belanghebbenden. Hieronder vallen verwachtingen ten aanzien van het beleid, zorgen en discussiepunten. Deze issues zijn niet vooraf kenbaar, en moeten gaandeweg het onderzoek worden verkend. Naast het identificeren en beschrijven van de issues moet de evaluator achterliggende motiveringen en waardensystemen verhelderen met het oog op de onderhandeling en het doel van de evaluatie. Daarbij gaat het niet alleen om opinies, maar ook om ervaringen. Ervaringen verwijzen niet alleen naar gevoelens en emoties, maar ook naar wat mensen hebben geleerd in hun praktijk. Speciale aandacht moet uitgaan naar uiteenlopende ervaringen en controversen. Zorgen van mensen worden dikwijls niet op een presenteerblaadje aangedragen, zeker niet als het leken betreft. Ze zijn vaak verpakt in verhalen. In verhalen geven mensen betekenis aan hun ervaringen en gebeurtenissen. Verhalen vertolken altijd een persoonlijk standpunt. De verteller onthult via het verhaal diens verhouding tot de wereld, diens plek daarin en ook de verwachtingen die hij of zij heeft van anderen. Verhalen hebben bovendien altijd een actieve, motiverende betekenis; zij dragen uit wat de verteller meent dat er nodig is om een praktijk te verbeteren, aan te passen. De onderzoeker dient na te gaan hoe de verhalen van stakeholders het beste tot uitdrukking kunnen komen, zeker voor groepen die minder verbaal zijn. Soms moet eerst vertrouwen worden opgebouwd. Expressie kan ook plaatsvinden in het verband van een groep, eventueel met creatieve middelen.

  Stakeholders. Dit zijn degenen wier belangen op het spel staan en wier inbreng van belang is voor de evaluatie. Zij nemen actief deel aan de evaluatie en zijn bij voorkeur betrokken bij de formulering van de vraag- en doelstelling, de selectie van participanten en de interpretatie van bevindingen. In dat opzicht zijn het niet louter informatieverstrekkers, maar worden zij als actieve partners in de evaluatie betrokken (Greene, 1988). Stakeholderparticipatie wordt niet zozeer ingegeven door het argument van bruikbaarheid (verhoging acceptatie van bevindingen en draagvlak voor verandering), maar is een waardengebonden kwestie van democratie: ­actief stem geven aan degenen wier belangen worden geraakt door de evaluatie (Greene, 1997). De evaluator dient zich bij de selectie van betrokkenen niet te laten leiden door hun machtspositie of formele deskundigheid. Speciale aandacht dient uit te gaan naar de identificatie van ‘victims’, omdat zij moeilijk zijn op te sporen. Benadeelden blijven soms liever anoniem, bijvoorbeeld omdat zij sancties vrezen. Groepen die traditioneel buitengesloten en gemarginaliseerd worden in onze samenleving, zoals psychiatrische patiënten, ouderen en mensen met een verstandelijke beperking, zijn onzichtbaar en voelen zich vaak niet veilig om het woord te nemen. Het spreken over groepen in de derde persoon (‘zij’) is vaak een indicatie van sociale uitsluiting. Inclusie van deze groepen is mogelijk, maar vereist extra tijd en aandacht, onder meer omdat de stem van deze groepen vaak nog ongearticuleerd is (Abma et al., 2009a en 2009b; Baur et al., 2010a en 2010b).
  De selectie van respondenten uit de stakeholdergroepen volgt vaak de sneeuwbalmethode: nadat de evaluator iemand heeft gesproken wordt de vraag gesteld om iemand aan te wijzen die heel anders naar het beleid/programma kijkt. Door dit proces keer op keer te herhalen krijgt de evaluator een steeds meer geïnformeerd beeld van de uiteenlopende stakeholderperspectieven. Deze manier van selectie helpt ook om recht te doen aan de diversiteit tussen en binnen stakeholdergroepen.

  Emergent design. Het uitgaan van pluraliteit en streven naar eigenaarschap betekent in methodologisch opzicht dat het onderzoeksontwerp zich geleidelijk ontwikkelt in samenspraak met belanghebbenden. Hun perspectieven en kwesties zijn vooraf immers niet volledig bekend. Vooraf kan in het onderzoeksplan wel globaal worden aangegeven welke partijen en onderzoeksactiviteiten gepland worden. Echter, de variabelen worden nog niet a priori benoemd. Het betrekken van belanghebbenden impliceert een open en inductieve in plaats van een hypothetisch-­deductieve werkwijze. Door deze ontwikkelende werkwijze kan flexibel worden ingespeeld op de kwesties die ter tafel komen en is er ruimte om daadwerkelijk gezamenlijk vorm te geven aan het onderzoek. Dit vraagt van de onderzoeker dat deze tijdens het onderzoeksproces steeds momenten inbouwt waarin er met partijen wordt gesproken over het verloop van het onderzoek en volgende te nemen stappen. Methodologische beslissingen worden niet op eigen kracht door de onderzoeker genomen, maar gedeeld met belanghebbende groepen. Om het zich ontwikkelende design achteraf te kunnen toetsen worden alle stappen, en zeker de meer ingrijpende, in de tijd nauwkeurig vastgelegd. Op deze wijze kan worden nagegaan of de beslissingen verdedigbaar zijn en welke consequenties deze hebben gehad.

  Dialoog. Naast het opsporen en interpreteren van de zorgen en kwesties van stakeholders staat de onderzoeker voor de opgave om voorwaarden te creëren voor een interactie tussen betrokkenen. Evaluatie is een kwestie van inzicht verkrijgen door duiding van ervaringen en opvattingen, en niet een zaak van demonstratie en onthulling van feiten. Dit is niet een proces van de onderzoeker alleen; de interpretatie krijgt vorm in de interactie en dialoog met en tussen betrokkenen. Zij nemen elkaars opvattingen niet zomaar voor waar aan, maar zullen deze willen verkennen. Het gaat hier eerder om luisteren, doorvragen en het uitwisselen van ervaringen en argumenten, dan om stemmen, confronteren, aanvallen en verdedigen. Centrale kenmerken van dit dialogische proces zijn de dialogische noties van openheid en betrokkenheid (Widdershoven, 2001), maar inclusie en zorgzaamheid zijn minstens zo belangrijk om een gelijkwaardige uitwisseling te creëren (Abma et al., 2001; Greene, 2001; Groot et al., 2019, 2020; Woelders, 2019).

  Juist door een dialogisch proces wordt voorkomen dat responsieve evaluatie uitmondt in een meningen-democratie. Immers, meningen ventileren is feitelijk niets meer dan een monoloog waarbij de persoon in kwestie uit is op strategische communicatie en niet op het leren van anderen. Een dialoog is juist uit op het luisteren naar en leren van elkaar. Hierbij is opmerkzaamheid geboden om te voorkomen dat rationalistische normen voor interactieve uitwisseling en argumentatie andere groepen uitsluiten (Abma & Groot, 2023). Concreet betekent dit dat de evaluator niet bij voorkeur kiest voor praat-tafels en methoden gestoeld op cognitie en verbaliteit, maar ruimte laat voor het inzetten van creatieve methoden die de participatie bevorderen en meer gericht zijn op het voelen en expressie, denk aan visuele methoden als photovoice.
  Expressie van zorgen kan soms beter andere vormen aannemen. Fotoverhalen vormen vaak een goede ingang, omdat zij door hun gelaagdheid en toegankelijkheid minder aanzetten tot oppositie en meer tot zoeken naar betekenis. Een foto zegt vaak meer dan 1000 woorden, en biedt de mogelijkheid om in gesprek te gaan en open vragen te stellen aan de maker.

  Een dialoog kan uitmonden in consensus, maar is ook geslaagd wanneer het persoonlijk inzicht en wederzijds begrip zijn toegenomen of wanneer er meer inzicht is ontstaan in de aanwezige verschillen van inzicht. Het geforceerd streven naar consensus moet in ieder geval worden vermeden, omdat dit het risico in zich draagt dat de aanwezige diversiteit en daarmee uiteenlopende ervaringen worden genegeerd (Abma et al., 2001). Consensus is fragmentarisch van aard. Er is altijd het gevaar van het uit elkaar vallen van consensus. Afwezigheid van begrip is niet problematisch; juist verschillen kunnen het leerproces stimuleren (Abma & Widdershoven, 2011). De onderzoeker zorgt ervoor dat er ruimte is voor kritische ­reflectie van partijen op hun functioneren. Hoe meer perspectieven zijn vertegenwoordigd, hoe minder de kans op blinde vlekken.

  Empowerment. Om recht te doen aan machtsverschillen hanteert responsieve evaluatie een werkwijze waarbij eerst in de kring van homogeen (gelijkgerichte belangen) samengestelde groepen issues worden verkend, om pas na de articulatie van de eigen stem en agenda de dialoog te vervolgen in heterogeen samengestelde groepen. Deze stapsgewijze aanpak is met name van belang indien men te maken heeft met groepen wier stem nog niet eerder systematisch is onderzocht. In feite moet dan eerst met deze groep een proces van empowerment worden doorgemaakt, alvorens zij op gelijkwaardige basis met andere, meer gevestigde groepen de dialoog kunnen aangaan. Het werken met research-partners in een onderzoeksteam vervult hierin een belangrijke rol, omdat zij vaak meer vertrouwen wekken dan een academisch onderzoeker (Abma et al., 2009b). In de praktijk blijkt het vanwege asymmetrische verhoudingen soms lastig om gemengde groepen samen te stellen; de scheve machtsverhoudingen kunnen het proces verstoren, bijvoorbeeld omdat kwetsbare groepen sancties vrezen. Toch zal de evaluator altijd proberen om een ontmoetingsmoment te creëren, al is dat indirect; zonder kennismaking met de frustraties en ervaringen van anderen kan er geen leerproces op gang komen.

  Agenda voor onderhandeling. De evaluator is bij de verkenning van verschillende perspectieven gespitst op controversen en zal de evaluatie afronden in de vorm van een agenda waarin deze punten staan. Er worden geen conclusies getrokken en aanbevelingen gedaan, omdat dit voorbijgaat aan de inbreng en betekenisgeving door belanghebbenden zelf. Het evaluatierapport is een vehikel voor dialoog (Abma, 1998). Benadrukt moet worden dat dit ‘werkdocument’ recht moet doen aan de diversiteit en meerstemmigheid en dat het geen grootste gemene deler mag zijn. Het gaat er meer om de verschillende perspectieven op de onderzochte praktijk in kaart te brengen, dan om een eensluidend oordeel over die praktijk uit te spreken. De onderzoeker kan daarin (theoretische) inzichten inbrengen, mits dat gebeurt op een niet-autoritaire wijze, en deze inzichten helpen bij de verdieping van issues.

  Nieuwe onderzoeksrollen. In een responsieve evaluatie verschuiven de rollen en verantwoordelijkheden van de evaluator van technicus (meten), descriptor (beschrijven) en rechter (beoordelen) naar die van leerling, interpretator, educator, facilitator van het proces en socratische gids. De leerling stelt zich open en nieuwsgierig op om issues te achterhalen. De rol van interpretator geeft aan dat een responsieve evaluator niet uit is op het onthullen en demonstreren van feiten, maar dat de evaluator betekenis moet geven aan ervaringen. Deze betekenis is immers niet gegeven. De rol van educator verwijst naar het creëren van begrip door het uitleggen van diverse ervaringen aan betrokken groepen. Bij die uitleg hoort ook het aangeven van achtergronden, zodat anderen die ervaringen beter kunnen plaatsen. Facilitator verwijst naar het organiseren van een dialoog en het creëren van de vereiste randvoorwaarden voor dat proces. In de rol van socratische gids zal de evaluator vooral doorvragen en vanzelfsprekende antwoorden, definitieve waarheden en zekerheden ter discussie stellen en nieuwe betekenislagen en invalshoeken inbrengen (Schwandt, 2001). Maar zoals Socrates zal de evaluator tegelijkertijd het zoeken naar overeenstemming en raakvlakken stimuleren.

  Randvoorwaarden

  Het dialogische proces dat ons voor ogen staat, kan alleen functioneren onder bepaalde randvoorwaarden. We sommen de belangrijkste op:

  • Bereidheid tot deelname. Participatie van belanghebbenden impliceert bereidheid tot deelname. Deze kan gering zijn bij groepen die superieure of inferieure gevoelens koesteren. Hier speelt ook de paradox dat deelname aan een dialoog uit haar aard niet kan worden afgedwongen. Uitnodigen tot gesprek is de enige weg die openstaat. Gebrek aan bereidheid kan ook verband houden met de dreiging die uitgaat van de dialoog: angst voor sancties, kritiek, marginalisering en coöptatie. Het opbouwen van vertrouwen en creëren van een veilige omgeving is daarom cruciaal.

  • Bereidheid om te veranderen. Een dialoog kan resulteren in een bewustwording van de specificiteit van de eigen overtuigingen en leiden tot een relativering daarvan of zelfs verandering van standpunten. Dit is echter alleen mogelijk indien betrokkenen bereid zijn om open te staan voor anderen en hun stemmen serieus nemen.

  • Bereidheid om macht te delen. Een evaluatie waarin zoveel mogelijk belanghebbenden een stem krijgen, impliceert in veel gevallen een verschuiving van politieke krachtsverhoudingen. Dit gaat soms gepaard met strijd. Een responsieve evaluator moet de belangen van diverse groepen behartigen en moet actief streven naar een machtsbalans om een eerlijk proces mogelijk te maken. Soms echter dwingt de situatie de evaluator ertoe om zich op te stellen als een advocaat om verslechtering te voorkomen (Stake, 1995). Anderen gaan een stap verder door te stellen dat een evaluator zich actief moet inzetten voor de bijzondere belangen van ‘silenced voices’ door hun stemmen heel nadrukkelijk in het proces te betrekken en te benutten (Lincoln, 1993; Greene, 1997; Mabry, 1997). Hierbij dient de responsieve onderzoeker ervoor te waken louter als belangenbehartiger te worden gezien; immers, dan is deze niet langer acceptabel voor andere partijen. Over- en onderidentificatie van stakeholders dient te worden voorkomen. De notie van meervoudige partijdigheid is hierbij nuttig (Abma, 2005). Ook de aristotelische deugd van het vinden van een goede balans kan hierbij een behulpzaam richtsnoer zijn.

  Kwaliteitscriteria

  Het moge inmiddels duidelijk zijn dat traditioneel wetenschappelijke criteria ongeschikt zijn om de kwaliteit van een responsieve evaluatie te beoordelen. Dit betekent niet dat de evaluator willekeurig kan opereren. Deze dient gedisciplineerd en navolgbaar te werk te gaan door de bronnen en data waarin interpretaties zijn gegrond te vermelden. Dan kunnen lezers of een daarvoor aangestelde auditor teruggaan naar het oorspronkelijke materiaal om na te gaan of de interpretaties en conclusies van de onderzoeker geloofwaardig zijn. Guba en Lincoln (1989) hebben in dit verband een alternatieve set van criteria ontwikkeld.

  • Geloofwaardigheidscriteria. Met het wegvallen van de werkelijkheid als referentiekader zijn waarheid en validiteit niet langer op te vatten als een correspondentie tussen bevindingen en werkelijkheid. Geloofwaardigheid van interpretaties in de ogen van betrokkenen vormt een alternatief criterium; respon­denten krijgen interpretaties voorgelegd met de vraag of zij zich erin kunnen herkennen (‘member check’). De onderzoeker dient openlijk en kritisch te reflecteren op de eigen filters die het onderzoek kleuren. Kennis is overdraagbaar door het maken van ‘thick descriptions’ van de bestudeerde context.

  • Fairness en authenticiteitscriteria. De kwaliteit van het proces is mede afhankelijk van de gecreëerde machtsbalans; alle belanghebbenden moeten in staat zijn gesteld om hun stem ten gehore te brengen. Authenticiteit heeft betrekking op het toegenomen persoonlijke inzicht, op het toegenomen wederzijdse inzicht, op verschuivingen in het denken en op de toegenomen mogelijkheid om actie te ondernemen.

  • Het hermeneutisch-dialectische proces. Door het actief betrekken van zoveel mogelijk belanghebbenden en onderlinge deliberatie is de kans gering dat er vertekening in de richting van één partij optreedt.

• Praktijkvoorbeelden

  In Nederland is op ruime schaal ervaring opgedaan met responsieve evaluatie binnen diverse beleidsterreinen, waaronder de gezondheidszorg. De responsieve benadering is gebruikt bij de evaluatie van rehabilitatieprogramma’s en het formuleren en implementeren van kwaliteitscriteria voor de toepassing van dwang en drang in de psychiatrie en de inzet van patiënten-vertrouwenspersonen (Abma et al., 2009a). In de ouderenzorg zijn het functioneren van cliëntenraden en de participatie van bewoners responsief onderzocht (Abma, 2010). In de palliatieve zorg is responsief onderzoek gedaan naar het functioneren van consultatie teams (Abma & Widdershoven, 2005). In de chronische zorg is bijvoorbeeld de maatschappelijke participatie van mensen met hersenletsel responsief onderzocht (Woelders, 2019). In de zorg voor mensen met verstandelijke beperkingen werden supported employment programma’s onderzocht (Widdershoven & Sohl, 1999), is het omgekeerde integratiebeleid responsief geëvalueerd (Bos & Abma, 2022) en zijn kwaliteitscriteria voor vrijheidsbeperkingen gedefinieerd na een evaluatie van vrijheidsbeperkende maatregelen in de praktijk (Abma et al., 2008). In het Centrum voor Cliëntervaringen is samengewerkt met vele soorten cliënten en stakeholders vanuit de missie om samen de kwaliteit van leven van burgers te verbeteren (Abma & Groot, 2023).

  Casus

  Hieronder presenteer ik een praktijkvoorbeeld. Het betreft een responsief evaluatieonderzoek naar de spoedeisende zorg voor psychiatrische patiënten in Amsterdam, uitgevoerd door een gemengd team van evaluatoren en ervaringsdeskundigen die gezamenlijk beslissingen namen en samenwerkten in alle fasen van de evaluatie. Gedurende dit evaluatieonderzoek vanuit het perspectief van gebruikers kwam de stem van de mensen om wie het hier gaat, meerdere keren onder druk te staan. Hieronder schets ik de aanleiding voor de opdracht voor deze evaluatie en ga ik dieper in op ervaren kritieke momenten (zie Groot et al., 2019, 2020).

  ‘Heb je het aan de cliënten gevraagd?’ Deze vraag werd gesteld door de voormalige directeur van de cliëntbelangenorganisatie in Amsterdam, Ad Warnar, een simpele vraag die leidde tot een lange, ongemakkelijke stilte in de zaal vol afgevaardigden in het stadhuis. Ze bespraken de kwaliteit van de psychiatrische spoedeisende hulp in de stad. Allen vonden de introductie van de Psycholance een belangrijke stap voorwaarts. Dit werd bevestigd door een intern evaluatieonderzoek dat werd uitgevoerd door onderzoekers uit de betrokken ggz-instellingen in de stad, die daartoe ook de opdracht verleenden. De perspectieven van de gebruikers werden niet meegenomen. Dit was een eyeopener voor de twee bestuurders van deze zorgorganisaties. De vraag maakte hen attent op de ontbrekende stem van cliënten die gebruik maakten van de zorg.

  Vervolgens kreeg ik van de beide bestuurders de uitnodiging om vanuit het perspectief van de zorggebruikers een evaluatie naar de spoedeisende zorg waaronder de Psycholance op te zetten als aanvulling op het voorgenoemde onderzoek. Dit leidde tot de samenwerking met vier ervaringsdeskundigen om een ​​onderzoeksvoorstel te ontwikkelen om hun stem echt mee te nemen in alle fasen van het onderzoek. Daarom investeerden we in het opbouwen van een hecht onderzoeksteam bestaande uit onderzoekers met en zonder ervaringskennis. Drie van hen waren in het verleden zorggebruiker geweest, een ander was een familielid van een cliënt. Een van hen was in het verleden tegen haar wil met geweld naar de spoedeisende hulp vervoerd.

  De eerste negen maanden van het onderzoeksproces ervoeren we allen als vruchtbaar. We werkten samen aan het onderzoeksontwerp, namen samen strategische beslissingen en werkten samen in de uitvoering. Dit omvatte overleg over wie baat heeft gehad bij de huidige situatie of negatieve gevolgen ondervond, onderliggende mechanismen, wie we zouden betrekken bij het evaluatieonderzoek en hoe, wat we van het onderzoek verwachtten en de veranderingen en verbeteringen die we in de praktijk wilden realiseren, en wie we wilden informeren over onze onderzoeks­bevindingen.

  Na zeven maanden naderden we de deadline van het onderzoeksrapport en een geplande dialoogbijeenkomst met alle belanghebbenden: professionals van de psychiatrische spoedeisende hulp, politieagenten, ambulancepersoneel, ervarings­deskundigen, gebruikers en familieleden. Nog een week te gaan. Als onderzoeksteam wilden we een volledig, duidelijk rapport inclusief conclusie opleveren. We vonden het belangrijk om het volledige rapport naar alle genodigden van een dialoogsessie te sturen zodat zij zich konden voorbereiden. Alleen de ‘bevindingen’ werden destijds gezamenlijk in het team besproken. We waren er nog niet aan toe gekomen om de conclusies samen te bespreken; een van de onderzoekers had hierin het voortouw genomen zonder afstemming met de rest van het team. Het leek een efficiënte werkwijze. Alle teamleden voelden de druk om te presteren en de juiste woorden te vinden gezien de politieke en strategische implicaties ervan. Een teamlid met ervaringskennis uitte tijdens een telefoongesprek (mei 2016) haar onvrede over deze druk en versnelling:

  ‘Ik zie dat een paar zinnen zijn geschreven door iemand die zich niet kon inleven in de positie van de cliënt. Ik voel me onteigend. Dit is niet de conclusie die ik zou trekken uit dit onderzoek. Wie is de eigenaar van de definitieve versie? Wie beslist? Wie heeft de macht om de inhoud van dit meest gelezen en belangrijkste deel van het rapport [de conclusie] te bepalen?’

  Een andere ervaringsdeskundige wees op haar dyslexie, waardoor zij volgens haar uitgesloten was van het schrijfproces. Ze was afhankelijk van haar spraak om feedback te geven op het rapport. Maar we hadden in ons contract een schriftelijk rapport afgesproken. De ervaringsdeskundige was niet bij deze onderhandelingen aanwezig geweest en wij hadden onvoldoende rekening gehouden met deze beperkingen. Ze voerde aan:

  ‘Ik kon het niet duidelijk maken … Mijn argumenten werden niet begrepen en ik kon ze niet opschrijven, net als de anderen. Anderen kregen meer invloed door deze werkwijze. Een deel van mijn kennis is verloren gegaan omdat ik spreek en niet nauwkeurig schrijf. Sommige gebruikers zijn dus wel betrokken, maar ze worden niet allemaal gehoord of begrepen.’

  We erkenden deze argumenten en vonden samen een oplossing om hun stem erbij te betrekken. Allereerst namen we de tijd en maakten we pas op de plaats door te luisteren naar wat de teamleden dwarszat. We besloten de conclusies samen te herschrijven en daar de tijd voor te nemen. In dat gesprek kwam naar boven dat de ervaringsdeskundigen erg opzagen tegen de dialoogbijeenkomst, omdat deze gehouden zou worden met professionals en op een plek waaraan sommigen pijnlijke herinneringen hadden. We bespraken hoe we de situatie veilig konden maken, en wat de ervaringsdeskundigen comfort zou geven. We besloten om met muziek en poëzie te beginnen, gekozen door de ervaringsdeskundigen. Dit symboliseerde dat zij als eerste het woord kregen. De situatie confronteerde ons met onszelf; hoe bepalend wij waren in het al dan niet creëren van ruimte voor de stem van mensen die het betrof.

  Enkele maanden later ontdekten we echter dat het rapport niet was wat de beide opdrachtgevers hadden verwacht. De gebruikers hadden duidelijk een andere kijk op de spoedeisende hulp in de stad dan de meeste professionals. Hoewel sommige professionals en managers het rapport en de bevindingen ervan omarmden, beschouwden anderen het als ‘slechts’ een kwalitatief onderzoek. Ze stellen ook vraagtekens bij de betrouwbaarheid van de verhalen van cliënten, en bij wat ze beschouwden als louter ‘subjectieve’ meningen. Ook de visuele afbeeldingen, collages en tekeningen die door de gebruikers werden gemaakt als onderdeel van het onderzoek, bleken te provocerend te zijn. Deze beelden hadden we bewust opgenomen omdat ze emotionele ervaringen kunnen uitdrukken die niet gemakkelijk in woorden zijn te vatten. Ons werd nu gevraagd ze te verwijderen en het rapport een positievere toon te geven voordat het kon worden verspreid; bij bestuurders was duidelijk de vrees dat deze evaluatie zou kunnen leiden tot sancties door de toezichthouder. Het leidde tot nieuwe gesprekken in de organisaties en na enige aanpassingen werd het rapport gepubliceerd.

  Terugkijkend startte de echte dialoog op het moment dat de perspectieven bij elkaar kwamen en botsten. Een meer diepgaande reflectie in het onderzoeksteam kwam op gang toen we na afloop van het project de samenwerking onderzochten met elkaar.

• Aandachtspunten bij het toepassen van de methode

  Het naar voren brengen van het belang van goede participatie in responsief onderzoek impliceert ethiekwerk. Dit is ook al uit het praktijkvoorbeeld naar voren gekomen. Ik heb ‘ethiekwerk’ in navolging van collega Sarah Banks (Banks, 2016; Banks & Brydon-Miller, 2019) volgt omschreven:

  ‘Ethiekwerk omvat de inspanning die men doet om ethisch in het oog springende aspecten van situaties te zien, zich te ontwikkelen als reflexieve onderzoeker, aandacht te schenken aan emoties, samen de juiste koers uit te werken en participatieve reflectie te beoefenen in het gezelschap van kritische vrienden.’ (Abma et al., 2020)

  Met de praktijkcasus heb ik laten zien dat ethiekwerk nodig is in responsieve evaluatie, omdat anders de stem van cliënten en zorggebruikers verloren kan gaan, wat leidt tot het tot zwijgen brengen van kennis. Dit vereist reflectie op de academische en organisatorische context en bijbehorende regels en routines die kunnen leiden tot uitsluiting van de stem van de burger, patiënt of partijen die gemarginaliseerd zijn. Is de evaluatieonderzoeker bereid deze regels om te buigen om ruimte te creëren voor de stem en kennis van gebruikers? Neemt de onderzoeker de tijd en moeite om opnieuw te onderhandelen over een contract met een opdrachtgever als er meer tijd nodig is voor het betrekken van gebruikers? Heeft iemand de moed om op te staan ​​en een standpunt in te nemen voor het opnemen van de stem van de gebruikers?

  Ervaringskennis van cliënten wordt gemakkelijk het zwijgen opgelegd, zoals het voorbeeld illustreert, wat kan leiden tot een situatie van epistemic injustice: ‘In all such injustices the subject is wronged in her capacity as a knower. To be wronged in one’s capacity as a knower is to be wronged in a capacity essential to human value’ (Fricker, 2007, p. 5). Daarom worden in responsieve evaluatie gebruikers betrokken als ‘legitieme kenners’. Miranda Fricker (2007) heeft dit beschreven als een commitment aan epistemic justice: actief de stemmen betrekken van degenen wier problemen ​​op het spel staan en die voorheen onrecht zijn aangedaan in hun vermogen om te weten (bijvoorbeeld patiënten, vrouwen, mensen van kleur enz.), en wier stem in een bepaalde context niet als relevant werd beschouwd.

  Deze toewijding aan epistemic justice vereist ethiekwerk dat intens is, vaak uitputtend en dikwijls zonder gemakkelijke antwoorden. Het behelst de persoonlijke en morele ontwikkeling van de evaluatie-onderzoeker. Barbara Groot (Groot et al., 2020) en Susan Woelders (Woelders, 2019) reflecteren in hun proefschrift op de ontwikkeling van hun identiteit als responsief onderzoeker. Ze onthullen dat het leren zien van de ethische meest opvallende situaties niet iets is dat een onderzoeker alleen doet en leert volgens het boekje. Door te oefenen, door met patiënten en burgers te werken, werden ze zich bewust van de morele complexiteit van responsief onderzoek, en het was in het gezelschap van bevriende onderzoekers dat ze gevoeliger werden voor deze kwesties. De responsieve onderzoeker is hierin niet neutraal, en zal met het oog op participatie en het commitment aan epistemic jus­tice zich vrijmoedig uitspreken (parrhesia) indien er sprake is van sociale onrechtvaardigheid (Abma & Woelders, 2023).

  Ethiekwerk heeft soms te maken met het innemen van een standpunt, zoals de directeur van de belangenorganisatie, die tijdens de meeting in het stadhuis vroeg naar het perspectief van cliënten. Als onderzoekers moesten we ook een standpunt innemen in het proces op het moment dat de ervaringsdeskundigen zich niet gehoord voelden of wanneer stemmen het zwijgen werden opgelegd. Het morele appèl van de co-onderzoekers confronteerde ons dat we als onderzoekers mede bepalen of participatie van zorggebruikers al dan niet de ruimte krijgt. Dit impliceert dat participatief onderzoekers niet neutraal kunnen zijn, en dat zij een morele verantwoordelijkheid hebben om de onderliggende waarden van participatief onderzoek te realiseren.

  Ethiekwerk omvat ook het investeren in het opbouwen van een hecht onderzoeksteam en goede samenwerking door samen beslissingen te nemen. Denk aan het zorgvuldig voorbereiden van een dialoogbijeenkomst met alle belanghebbenden en het beantwoorden van de oproep van ervaringsdeskundigen om bij het schrijven van het rapport te worden betrokken. Ik heb beschreven hoe belangrijk het creëren van een veilige omgeving was voor de co-onderzoekers en zorggebruikers. Het hele onderzoek maakte bij hen veel los, omdat er herinneringen aan (dwang)opnames naar boven kwamen. Het aandacht hebben voor de impact van het onderzoek op de gevoelswereld en het zorg dragen voor de co-onderzoekers en zorggebruikers deden een groot beroep op de onderzoekers, maar ook andersom ervoeren de onderzoekers de support van de co-onderzoekers (Groot et al., 2019).

  We leerden zo dat participeren geen kwestie is van het volgen van protocollen en richtlijnen; het is veel meer een kwestie van zich openstellen voor een andere persoon, zich emotioneel laten raken door het verhaal van deze persoon en de morele verantwoordelijkheid accepteren die uit deze relatie kan voortvloeien (Woelders, 2019). Dit is zeker niet gemakkelijk in de huidige organisaties die zich richten op rationele kennis en beheersing, en een professionele, afstandelijke houding. Bovendien, gebruikers zijn niet altijd aardig voor onderzoekers, voor elkaar en andere stakeholders. Ze kunnen veel pijn en wanhoop met zich meedragen; professionals kunnen zich ook uitgebuit en gebruikt voelen. In dergelijke omstandigheden kan het moeilijk zijn om elkaar te respecteren en te begrijpen. Omgaan met de emoties van cliënten en professionals die zich niet erkend voelen, die zich irrelevant voelen, is ook een confrontatie met hun lijden, de verliezen in hun leven en verdriet.

  Ethiekwerk is gebaseerd op het idee dat goede zorg vraagt om het omarmen in plaats van het ‘wegwerken’ van emoties en gevoelens. Gevoelens negeren impliceert een oppervlakkige betrokkenheid bij de emotionele complexiteit van zorgzaamheid en verantwoordelijkheid; wat nodig is, is een veel diepere en emotionele betrokkenheid in relatie met anderen (Abma et al., 2020). Velen van ons hebben gevoelens en emoties ervaren als intelligente bronnen van kennis die doordacht emotioneel werk vereisten, wat hielp om te begrijpen wat andere mensen nodig hebben en om een ​​vertrouwensrelatie op te bouwen.

• Voor- en nadelen van de methode

  Responsieve evaluatie is vooral geschikt als er sprake is van een grote mate van ambiguïteit en dynamiek als gevolg van een groot aantal stakeholders, omdat verschillende belangen, waarden en interpretaties dan worden opgehelderd en met elkaar in gesprek worden gebracht (Abma & Noordegraaf, 2003). Naast de context speelt ook de identiteit van de evaluator een rol in de keuze voor deze benadering. Responsieve evaluatie is namelijk niet louter een techniek of methode voor een meer democratische vorm van evaluatie, het is eerder een manier van (samen) werken (Schwandt, 2001). In de praktijk blijkt dat onderzoekers die goed kunnen omgaan met mensen, enthousiast worden om creatieve leerprocessen op gang te ­brengen en gedreven zijn om maatschappelijke impact te maken met hun onderzoekswerk, heel geschikt zijn voor dit werk. Degenen die hechten aan hun expert-status en aan een geordend en redelijk voorspelbaar proces, hebben vaak wat meer moeite met de nieuwe rol en het delen van de controle over het proces.

  Responsieve evaluatie heeft een meerwaarde ten opzichte van andere evaluatie­benaderingen, in die zin dat deze benadering recht doet aan de ervaringen en stem van vele belanghebbenden en daarmee ook aan degenen die gewoonlijk geen stem hebben in het beleidsproces. Responsieve evaluatie kan situaties van epistemic ­injustice doorbreken door ruimte te maken voor de stem van degenen die onder­gerepresenteerd zijn in beleid of onderzoek. Door belanghebbenden actief in het evaluatieproces te betrekken zal de acceptatie van bevindingen verbeteren, omdat zij zich persoonlijk betrokken voelen, politiek gevoelige onderwerpen reeds zijn besproken en bevindingen herkenbaar zijn. De maatschappelijke impact van responsieve evaluatie en daaraan gerelateerde participatieve actieonderzoeksbenaderingen is daardoor groot; deze impact en verandering worden niet aan het toeval overgelaten, maar worden vanaf het begin bewust nagestreefd en doordacht. Bovendien wordt de impact al tijdens het evaluatieproces gerealiseerd, en niet pas achteraf zoals bij meer standaardbenaderingen (Abma et al., 2017). Deze impact doet zich voor op de korte termijn doordat er nieuwe interacties en relaties ontstaan, op de middellange termijn voor nieuwe acties en interventies, en op de lange termijn werkt dit positief door in de levens en het werk van mensen.

  Het streven naar maximale participatie van zoveel mogelijk stakeholders en de belofte om mensen zeggenschap te geven over het proces en controle te delen kennen uitdagingen, zoals het risico van pseudo-participatie en vormen van uitsluiting en ervaringen van disempowerment als gevolg van het feit dat nieuwe stakeholders worden uitgenodigd in het evaluatieproces (Baur et al., 2010b). Er is soms te weinig tijd om de perspectieven van mensen met een beperkte taalvaardigheid of cognitie te articuleren. Een gemarginaliseerde positie, zelfcensuur en gebrekkige bewustwording kunnen het proces compliceren. Ten slotte rijst de vraag hoe men mensen in een gemarginaliseerde positie in de samenleving kan ondersteunen in hun empowerment. Dit is niet zozeer een kwestie van mensen in hun kracht zetten en stem geven, omdat daarmee de macht bij anderen blijft liggen, maar veeleer een kwestie van ruimte maken voor niet-gehoorde stemmen. Empowerment bereikt men niet zelf noch door anderen; het is in de gemeenschappelijke dialoog dat mensen elkaar bekrachtigen (Abma et al., 2019).

  Andere uitdagingen en nadelen zijn erin gelegen dat responsieve evaluatie afhankelijk is van de bereidheid van partijen om betrokken te zijn en macht te delen. Deze voorwaarde voor dialoog is lang niet altijd aanwezig en kan moeilijk worden afgedwongen gezien de aard van dialoog. Echter, juist in afwezigheid van dergelijke voorwaarden is dialoog vaak juist wenselijk. De evaluatie-onderzoeker zal in een dergelijke situatie vooral moeten werken aan het creëren van condities voor dialoog. Dit geldt ook voor de opdrachtgevers en verantwoordelijken. In het voorbeeld dat ik gaf, zagen we al dat de opdrachtgever aanvankelijk graag een evaluatie wilde waarin het perspectief van cliënten werd meegenomen, maar naderhand de bevindingen betwistte en druk uitoefende om deze aan te passen uit vrees voor sancties van de toezichthouder. Deze externe druk is niet specifiek voor responsieve evaluatie, maar de hiërarchie en het strategisch gebruik van macht in het voorbeeld botsen natuurlijk wel met de democratische en participatieve benadering van responsieve evaluatie. De responsieve evaluator zal niet mee willen gaan in dit machtsspel en zal vanuit een morele betrokkenheid zoeken naar wegen om alsnog weer in gesprek te komen met het oog op de situatie van patiënten en hun zorgen.

  Een nadeel is voorts dat deze benadering soms als onwetenschappelijk wordt beschouwd omdat de onderzoeker niet de rol inneemt van afstandelijke expert die op eigen kracht tot oordelen komt. De responsieve evaluator stelt zich niet op als een expert die boven de partijen staat, maar zal wel als een spin in het web alle stakeholderperspectieven in diens evaluatie meenemen. In dat opzicht is de responsieve evaluatie juist een methode die recht doet aan alle stemmen en vormen van kennis (Abma & Groot, 2023). De responsieve evaluator levert niet van buitenaf kritiek, maar zal de kritiek wel intern organiseren door de verschillende perspectieven en stemmen in gesprek te brengen. Dit hermeneutisch-dialectische proces voorkomt juist bias, en mobiliseert juist de kritiek. Dat zien we ook in het voorbeeld waarbij de kritiek van psychiatrische cliënten op de crisisopvang naar voren komt en leidt tot nieuwe gezichtspunten die complementair zijn aan die van professionals. De uitdaging is dus om duidelijk te maken dat expertise en kritiek wel een rol hebben in dit type benadering, maar dat die expertise en kritiek niet worden geleverd van buiten door een almachtige expert, maar intern worden georganiseerd door verschillende partijen en perspectieven in dialoog te brengen. De responsieve evaluator is hierin niet neutraal, maar zal vanuit een commitment voor epistemic justice zich vrijmoedig uitspreken op het moment dat er sprake is van sociale onrechtvaardigheid (Abma & Woelders, 2023).

  Ten slotte moge het moge duidelijk zijn dat deze benadering zich niet leent om de effectiviteit of doelmatigheid van beleid te meten. Wel kan inzicht worden gegeven in de perceptie van effecten zoals waargenomen door verschillende partijen. Bevindingen uit responsieve evaluaties kunnen voorts een bijdrage leveren aan het opvullen van kennisleemtes over het menselijk gedrag en sociale processen vanuit het perspectief van cliënten en andere belanghebbenden (Abma & Groot, 2023). Ze verhogen het inzicht in de ervaringen en de kwaliteit van leven van burgers, en in de dilemma’s waarmee professionals worstelen. Op die manier kan responsieve evaluatie een tegenwicht bieden aan de tendens om praktijken verder te rationaliseren.

  Implementatie van responsieve evaluatie vergt dat opdrachtgevers en evaluatie­onderzoekers bereid zijn om een deel van hun controle op het verloop van de evaluatie op te geven en vereist tolerantie voor ambiguïteit; onder meer het onderscheid tussen onderzochten en onderzoeker vervaagt. Voorts zal de evaluator bereid moeten zijn om de rol van expert in te ruilen voor die van leerling, interpretator, facilitator, educator en socratische gids. De voordelen die hiertegenover staan, zijn groot: impact, zeggenschap en nieuwe, positieve energie in relaties tussen mensen en partijen die elkaar niet of nauwelijks ontmoeten en begrijpen in het alledaagse maatschappelijke leven.

Leestips

• Abma, T. A. (2006). The practice and politics of responsive evaluation. American Journal of Evaluation, 27(1), 31-43.

• Abma, T. A., & Groot, B. (2023). Participatory governance of healthcare: Centring dialogue and interrupting epistemic injustice. Journal for Dialogue & Society, special issue 11, 119-140.

• Abma, T. A., & Stake, R. E. (2001). Stake’s responsive evaluation: Core ideas and evolution. New Directions for Evaluation, 92, 7-22.

• Abma, T. A., Visse, M., Hanberger, A., Simons, H., & Greene, J. C. (2020). Enriching evaluation practice through care ethics. Evaluation, 26(2), 131-146. https://doi.org/10.1177/1356389019893402

• Abma, T. A., & Widdershoven, G. A. M. (2006). Responsieve methodologie: Interactief onderzoek in de praktijk. Lemma.

• Guba, E. G., & Lincoln, Y. S. (1989). Fourth generation evaluation. Sage.

• Schwandt, T. A. (2002). Evaluation practice reconsidered. Peter Lang.

• Stake, R. E. (1975). To evaluate an arts program. In R. E. Stake, Evaluating the arts in education: A responsive approach (pp. 13-31). Merrill.

• Stake, R. E. (2004). Standards-based and responsive evaluation. Sage.

Literatuur

• Abma, T. A. (1998). Writing for dialogue: Text in an evaluation context. Evaluation, 4(4), 434-454.

• Abma, T. A. (2005). The practice and politics of responsive evaluation. The American Journal of Evaluation, 27(1), 31-43.

• Abma, T. A. (2010). Herinneringen en dromen van zeggenschap: Cliëntenparticipatie in de ouderenzorg. Boom Lemma.

• Abma, T. A., & Groot, B. (2023). Participatory governance of healthcare: Centring dialogue and interrupting epistemic injustice. Journal for Dialogue & Society, special issue 11, 119-140.

• Abma, T. A., & Noordegraaf, M. (2003). Managers amidst ambiguity: Towards a typology of evaluative practices in management settings. Evaluation, 9(3), 285-306.

• Abma, T. A., & Widdershoven, G. A. M. (2005). Sharing stories: Narrative and dialogue in responsive nursing evaluation. Evaluation and the Health Professions, 28(1), 90-109.

• Abma, T. A., & Widdershoven, G. A. M. (2006). Responsieve methodologie: Interactief onderzoek in de praktijk. Lemma.

• Abma, T. A., & Widdershoven, G. A. M. (2011). Evaluation as relational practice. In ­N. Denzin & Y. S. Lincoln (Eds.), Qualitative research (pp. 669-680). Sage Handbook.

• Abma, T. A. & Woelders, S. (2023). Evaluator’s commitment to epistemic justice and the need of ethics work. In J. N. Hall, A. Boyce, & R. Hopson (Eds.), Disrupting program evaluation and mixed methods research for a more just society: The contributions of Jennifer C. Greene (pp. 107-123). IAP Press.

• Abma, T. A., Greene, J., Karlsson, O., Ryan, K., Schwandt, T. S., & Widdershoven, G. A. M. (2001). Dialogue on dialogue. Evaluation, 7(2), 164-180.

• Abma, T. A., Widdershoven, G. A. M., Frederiks, B. J. M., Van Hooren, R. H., Van Wijmen, F., & Curfs, P. L. M. G. (2008). Dialogical nursing ethics: The quality of freedom restrictions. Nursing Ethics, 15(6), 789-802.

• Abma, T. A., Molewijk, B., & Widdershoven, G. A. M. (2009a). Good care in ongoing dialogues Responsive evaluation and moral deliberation. Health Care Analysis, 17(3), 217-35.

• Abma, T. A., Nierse, C., & Widdershoven, G. A. M. (2009b). Patients as research partners in responsive research: Methodological notions for collaborations in research agenda setting. Qualitative Health Research, 19(3), 401-415.

• Abma, T. A., Cook, T., Rämgård, M., Kleba, E., Harris, J., & Wallerstein, N. (2017). Social impact of participatory health research: Collaborative non-linear processes of knowledge mobilization. Educational Action Research, 25(4), 489-505. https://doi.org/10.1080/09650792.2017.1329092

• Abma, T. A., Banks, S., Cook, T., Dias, S., Madsen, W., Springett, J., & Wright, M. (2019). Participatory research for health and social well-being. Springer Nature. https://link.springer.com/content/pdf/10.1007/978-3-319-93191-3.pdf

• Abma, T. A., Visse, M., Hanberger, A., Simons, H., & Greene, J. C. (2020). Enriching evaluation practice through care ethics. Evaluation, 26(2), 131-146. https://doi.org/10.1177/1356389019893402

• Banks, S. (2016). Everyday ethics in professional life: Social work as ethics work. Ethics and Social Welfare, 10(1), 35-52. DOI: 10.1080/17496535.2015.1126623

• Banks, S., & Brydon-Miller, M. (2019). Ethics in participatory research for health and social well-being: Cases and commentaries. Routledge.

• Baur, V. E., Abma, T. A., & Widdershoven, G. A. M. (2010a). Participation of older people in evaluation: Mission impossible? Evaluation and Program Planning, 33(3), 238-245.

• Baur, V. E., Van Elteren, A. H. G., Nierse, C. J., & Abma, T. A. (2010b). Dealing with distrust and power dynamics: Asymmetric relations among stakeholders in responsive evaluation. Evaluation, 16(3), 233-248.

• Bos, G., & Abma, T. (2022). Putting down verbal and cognitive weaponry: The need for ‘experimental-relational spaces of encounter’ between people with and without severe intellectual disabilities. Disability & Society, 37(10), 1703-1727. https://doi.org/10.1080/09687599.2021.1899896

• Bustelo, M. (2017). Evaluation from a gender+ perspective as a key element for (re)gendering the policymaking process. Journal of Women, Politics & Policy, 38(1), 84-101. https://doi.org/10.1080/1554477X.2016.1198211

• Cook, T. (2020). Participatory research: Its meaning and messiness. Keynote lecture, Responsive, Participatory Research: Past, Present and Future Perspectives. Vrije Universiteit, Auditorium, Amsterdam, 20 January.

• Fetterman, D. M., Rodriguez-Campos, L., & Zukoski, A. P. (2018). Collaborative, participatory, and empowerment evaluation: Stakeholder involvement approaches. The Guilford Press.

• Fricker, M. (2007). Epistemic injustice: Power & the ethics of knowing. Oxford University Press.

• Greene, J. C. (1988). Stakeholder participation and utilization program evaluation. Evaluation Review, 12(2), 91-116.

• Greene, J. C. (1997). Participatory evaluation. In L. Mabry (Eds.), Evaluation and the post-modern dilemma: Advances in program evaluation (pp. 171-189). JAI Press.

• Greene, J. (2001). Dialogue in evaluation: A relational perspective. Evaluation, 7(2), 181-203.

• Greene, J. C. (2006). Evaluation, democracy and social change. In I. F. Shaw, J. C. Greene, & M. M. Mark (Eds.), The Sage handbook of evaluation (pp. 118-140). Sage.

• Greene, J. C. (2010). Serving the public good. Evaluation and Program Planning, 33(2), 197-200.

• Greene, J. C., & Abma T. A. (2001). Editor’s notes (special issue Responsive Evaluation). New Directions for Evaluation, (92), 1-6.

• Groot, B. C., Vink, M., Haveman, A., Huberts, M., Schout, G., & Abma, T. A. (2019). Ethics of care in participatory health research: Mutual responsibility in collaboration with co-researchers. Educational Action Research, 27(2), 286-302. https://doi.org/10.1080/09650792.2018.1450771

• Groot, B. C., Haveman, A., & Abma, T. (2020). Relational, ethically sound co-production in mental health care research: Epistemic injustice and the need for an ethics of care. Critical Public Health, 32(2), 230-240.

• Guba, E. G., & Lincoln, Y. S. (1989). Fourth generation evaluation. Sage.

• Hanberger, A. (2018). Rethinking democratic evaluation for a polarised and mediatised society. Evaluation, 24(4), 382-399. https://doi.org/10.1177/1356389018802133

• Kouévi, T. A., Van Mierlo, B., & Leeuwis, C. (2013). Learning about fishery management: Evaluation of a contextualized responsive evaluation approach. Evaluation and Program Planning, 41, 1-11. https://doi.org/10.1016/j.evalprogplan.2013.06.004

• Lincoln, Y. S. (1993). Tracks toward a postmodern politics of evaluation. Earlier version of paper prepared for delivery at the Fifth Annual Conference of the Southeast Evalua­tion Association, Tallahasee, Florida, January 27-28.

• Mabry, L. (1997). Implicit and explicit advocacy in postmodern evaluation. In L. Mabry (Eds.), Evaluation and the post-modern dilemma: Advances in program evaluation (pp. 191-203). JAI Press.

• Macpherson, E., Masselot, A., Jefferson, D., & Gunn, J. (2024). A critical feminist evalua­tion of climate adaptation law and policy: The case of Aotearoa New Zealand. Climate Law, 14(1), 1-35. https://doi.org/10.1163/18786561-bja10050

• Schwandt, T. S. (2001). A postscript on thinking about dialogue. Evaluation, 7(2), 264-276.

• Simons, H., & Greene, J. (2018). Democratic evaluation and care ethics. In M. Visse & ­T. Abma (Eds.), Evaluation for a caring society (pp. 83-104). IAP Publishers.

• Stake, R. E. (1975). To evaluate an arts program. In R. E. Stake, Evaluating the arts in education: A responsive approach (pp. 13-31). Merrill.

• Stake, R. E. (1995). Advocacy in evaluation: A necessary evil? In E. Chelimsky & W. R. Shadish (Eds.), Evaluation for the 21st century: A handbook (pp. 470-477). Sage.

• Stake, R. E. (2004). Standards-Based and Responsive Evaluation. Sage.

• Van der Knaap, P., Pattyn, V., & Hanemaayer, D. (Red.). (2023). Beleidsevaluatie in theorie en praktijk. Het ontwerpen en uitvoeren van evaluatie- en rekenkameronderzoek. Boom bestuurskunde.

• Van Heijster, H., Van Berkel, J., Boot, C. R. L. et al. (2022). Stakeholder dialogue on dilemmas at work as a workplace health promotion intervention including employees with a low SEP: A responsive evaluation. BMC Public Health, 22, 407. https://doi.org/10.1186/s12889-022-12802-z

• Widdershoven, G. A. M., & Sohl, C. (1999). Interpretation, action and communication: Four stories about a supported employment program. In T. A. Abma (Ed.), Telling tales: On narrative and evaluation (Advances in Program Evaluation, 6) (pp. 109-130). JAI Press.

• Woelders, S. (2019). Power-full patient participation: Opening spaces for silenced knowledge (PhD Thesis Amsterdam UMC). Ridderprint.