Evaluatie van maatschappelijke relevantie aan de hand van een praktijkvoorbeeld: ZonMw-onderzoeksprogramma Suïcidepreventie
-
1 Inleiding
Maatschappelijke vraagstukken vormen vaak de basis van wetenschappelijk onderzoek (Reijmerink, 2018). Het is dan ook niet verrassend dat vanuit de overheid wordt geadviseerd dat wetenschappelijk onderzoek ook maatschappelijke relevantie zou moeten hebben (Ministerie van OCW, 2014). De vertaling en implementatie van wetenschappelijke kennis naar de maatschappij blijven een ingewikkeld proces (Graham et al., 2005; Tetroe et al., 2008). Vaak blijkt achteraf dat er niet genoeg is nagedacht over hoe onderzoeksbevindingen in de praktijk zouden moeten worden ingezet of worden projecten uitgevoerd onder omstandigheden die niet overeenkomen met de praktijk (Wensing & Grol, 2019; Bosch et al., 2007). Daarnaast duurt het soms wel jaren totdat onderzoeksbevindingen worden overgenomen door de praktijk (Morris et al., 2011; Munro & Savel, 2016). Het is dus van belang om al gedurende de looptijd van een onderzoeksproject te evalueren hoe maatschappelijke relevantie wordt gecreëerd. De roep om maatschappelijke relevantie te evalueren als aanvulling op de effectevaluatie van wetenschappelijk onderzoek wordt dan ook steeds groter.
Het is echter nog niet vanzelfsprekend dat wetenschappelijk onderzoek deze maatschappelijke relevantie evalueert (Niederkrotenthaler et al., 2011). Belangrijke beperkingen van het evalueren van de maatschappelijke relevantie zijn dat dit niet altijd heel specifiek terug te voeren is naar het onderzoek en het vaak een tijdrovend, langdurig proces is (Reijmerink, 2018). Dit maakt het voor onderzoekers niet heel aantrekkelijk om naast de effectevaluatie ook nog de evaluatie van maatschappelijke relevantie uit te voeren (Holbrook & Frodeman, 2011; De Jong et al., 2015). Daarom is het van belang dat er richtlijnen worden gebruikt als basis voor het evalueren van maatschappelijke relevantie. Tegelijkertijd is het van belang dat deze evaluatie kan worden aangepast aan de specifieke focus van de onderzoeksinstelling en/of subsidieverstrekker, culturele context en de nationale normen (Göransson et al., 2009; Molas-Gallart et al., 2002; Rymer, 2011; Van der Meulen & Rip, 2000).
Er zijn meerdere nationale evaluatierichtlijnen voor het meten van maatschappelijke relevantie. De Nederlandse situatie wordt gezien als een van de meest ontwikkelde voorbeelden voor het evalueren van maatschappelijke evaluatie (Bornmann, 2013; Donovan, 2008; Van der Meulen & Rip, 2000). In 2010 zijn de ERiC-richtlijnen opgesteld (ERiC, 2010). Deze richtlijnen zijn gebaseerd op de internationale standaard ‘Social Impact Assessment Methods for research and funding instruments through the study of Productive Interaction’ (SIAMPI; Spaapen & Van Drooge, 2011) voor het concreet maken van methoden voor het meten van maatschappelijke relevantie. In de ERiC-richtlijnen staan de interacties met stakeholders (belanghebbenden) centraal (ERiC, 2010). Het is dus van belang om niet alleen te kijken naar de eindproducten/implementatie van de eindresultaten bij de afsluiting van een project, maar om ook te kijken naar wat er tijdens de looptijd van een project kan worden gedaan om bij te dragen aan maatschappelijke relevantie. Een belangrijke gedachte is dat hoe meer interactie er is tussen onderzoekers en belangrijke stakeholders, hoe groter de kans is dat er uiteindelijk maatschappelijke relevantie gegenereerd kan worden (ERiC, 2010). Dit betekent dat het zinvol is om tijdens de looptijd van een onderzoeksprogramma te evalueren in hoeverre er binnen de gehonoreerde projecten interacties zijn geweest met relevante stakeholders.
Naast richtlijnen is ook financiering nodig voor het meten van maatschappelijke relevantie. Subsidieverstrekkers hebben daardoor een belangrijke facilitatorrol. Maatschappelijke evaluaties zijn tijdsintensief en hebben daarom voor onderzoekers minder voorrang dan de wetenschappelijke evaluatie van onderzoeksprojecten (De Jong et al., 2016). Een mogelijke oplossing hiervoor zou kunnen zijn dat er binnen een onderzoeksprogramma specifieke projecten worden opgesteld om de maatschappelijke relevantie te evalueren. Daarbij is het van belang dat de primaire wetenschappers van onderzoeken worden gevraagd om mee te denken (De Jong et al., 2016).
De Nederlandse organisatie voor gezondheidsonderzoek en zorginnovatie (ZonMw) hecht als subsidieverstrekker belang aan het bereiken van maatschappelijke relevantie. Dit is dan ook een van haar beleidsspeerpunten (ZonMw, z.d.). ZonMw toetst daarom bij het toekennen van subsidies voor projecten ook op maatschappelijke relevantie. Daarbij onderschrijft ZonMw de volgende onderdelen van relevantie: kennisuitwisseling, cofinanciering, ontwikkeling van kennisproducten en gerichte spreidingsactiviteiten door de onderzoekers. Het is verder van belang dat relevantie vanuit zowel kwantitatief als kwalitatief oogpunt wordt geanalyseerd (Reijmerink, 2018). Interacties met stakeholders worden daarin gezien als de belangrijkste facilitator voor het bereiken van relevantie, wat in overeenstemming is met de ERiC-richtlijnen (Reijmerink, 2018).
De Onderzoeksagenda ‘Suïcidepreventie 2016-2020’ van ZonMw is opgesteld om de kennishiaten en kennisvragen met betrekking tot suïcidepreventie te beschrijven (Kerkhof, 2015). ZonMw ontwikkelde op basis van deze onderzoeksagenda de Programmatekst Suïcidepreventie. Deze agenda diende als uitgangspunt voor de selectie van onderzoeksprojecten in een subsidieronde. Behalve dat ZonMw belang hecht aan het realiseren en aantonen van maatschappelijke relevantie en dit ook toetst, is er tevens een nauwe verbinding tussen suïcidepreventie en maatschappelijke ontwikkelingen (ZonMw, 2015). Binnen het programma Suïcidepreventie is dan ook een project toegekend aan het Trimbos-instituut om de maatschappelijke relevantie van de gehonoreerde projecten binnen het onderzoeksprogramma te evalueren. Meestal vindt de evaluatie van maatschappelijke relevantie achteraf plaats, nadat de hoofdvraag van een onderzoek is beantwoord (Reale et al., 2018). Of, onderzoekers nemen aan dat hun onderzoek maatschappelijke relevantie zal hebben of heeft gehad terwijl de maatschappelijke relevantie niet daadwerkelijk wordt of is gemeten (Reale et al., 2018; Niederkrotenthaler et al., 2011). Juist bij maatschappelijke relevantie is het echter van belang dat dit ook gedurende de looptijd van een onderzoek wordt geëvalueerd (Penfield et al., 2014). Maatschappelijke ontwikkelingen tijdens de onderzoeken kunnen een belangrijke rol spelen ten aanzien van aanpassingen, verbeterpunten en het verbeteren van het implementatieplan. Een goed voorbeeld hiervan is de huidige stand van zaken, de coronapandemie. Daarnaast voorkomt een evaluatie tijdens het onderzoek informatiebias die mogelijk kan ontstaan wanneer achteraf wordt gevraagd welke aspecten van maatschappelijke relevantie aanwezig waren (Althubaiti, 2016). In dit artikel gaan we dieper in op de opzet en bevindingen van deze maatschappelijke evaluatie en reflecteren we op welke uitdagingen gepaard gaan met het evalueren van maatschappelijke relevantie. De aanbevelingen die hieruit voortkomen, kunnen toekomstige onderzoekers helpen bij het evalueren van maatschappelijke relevantie. -
2 Opzet van het onderzoek
De evaluatie van maatschappelijke relevantie van de gehonoreerde projecten binnen het onderzoeksprogramma vindt plaats tijdens de looptijd van deze projecten. De nadruk ligt dan ook op het monitoren en evalueren van processen en niet op uitkomsten van de individuele projecten.
Focus op processen
Het proces van alle afzonderlijke projecten wordt geëvalueerd aan de hand van de richtlijn ‘Evaluatie van maatschappelijke relevantie van wetenschappelijk onderzoek’ (ERiC, 2010). De richtlijn ‘Evaluatie van maatschappelijke relevantie van wetenschappelijk onderzoek’ wordt gebruikt om de maatschappelijke relevantie van de projecten en het onderzoeksprogramma te evalueren (ERiC, 2010). ERiC is een samenwerkingsverband van de Koninklijke Nederlandse Akademie van Wetenschappen (KNAW), de Nederlandse Organisatie van Wetenschappelijk Onderzoek (NWO), de Vereniging van Universiteiten (VSNU) en het Rathenau Instituut (ERiC, 2010).
Maatschappelijke relevantie wordt binnen deze richtlijn gedefinieerd als de mate waarin de projecten een bijdrage leveren aan of inzicht geven in de ontwikkeling van maatschappelijke sectoren en de beroepspraktijk (zoals opleiding, beleid of de gezondheidszorg) en de daar beoogde doelen, en aan het oplossen van problemen en vraagstukken. Daarnaast wordt maatschappelijke relevantie gedefinieerd als de gefundeerde verwachting dat de projecten deze bijdrage leveren op de korte of langere termijn. Effecten zijn volgens deze richtlijn niet altijd gelijk zichtbaar, maar kunnen bijvoorbeeld zichtbaar zijn in de interactie tussen de onderzoeksgroep en stakeholders.
De evaluatie van maatschappelijke relevantie van onderzoek is volgens de ERiC-richtlijn opgedeeld in vier stappen; (1) bepalen van de missie en doelstelling van het onderzoek, (2) bepalen van de maatschappelijke bijdrage van het onderzoek, (3) opstellen van indicatoren van maatschappelijke relevantie, en (4) beoordelen van de maatschappelijke relevantie van het onderzoek (ERiC, 2010). Met deze richtlijn zal de verspreiding van kennis, de interesse van belanghebbenden, productieve interacties en het gebruik van resulterende producten worden gemeten met indicatoren die de maatschappelijke relevantie van de projecten binnen het programma weerspiegelen.
Ook was er binnen deze maatschappelijke evaluatie aandacht voor de synergie (gevoel van uitwisseling) tussen de projecten: dit werd niet alleen geëvalueerd, maar werd ook gestimuleerd gedurende de evaluatie door het organiseren van jaarlijkse werkconferenties.Dataverzameling
Voor de evaluatie zijn kwantitatieve (vragenlijsten en projectdocumenten) en kwalitatieve (semigestructureerde interviews) onderzoeksmethoden ingezet. De combinatie van deze methoden draagt bij tot het verkrijgen van een overzicht van de wijze waarop de projecten binnen het suïcidepreventieprogramma zich verhouden tot de directe eindgebruikers en tot de onderzoeksgemeenschap (impactgebieden), hoe potentiële gebruikers en begunstigden van projectactiviteiten de effecten van het project percipiëren, en hoe projectconsortia de relevantie van hun werk zien en welke acties zij ondernemen om de maatschappelijke relevantie te maximaliseren.
De projectleiders hebben voorafgaand aan de vragenlijsten en semigestructureerde interviews een informatiebrief ontvangen, waarin passieve toestemming is gevraagd om de verzamelde data te mogen gebruiken voor het publiceren van de resultaten van de evaluatie. De projectleiders konden te allen tijde hun toestemming weer intrekken.Aspecten van maatschappelijke relevantie
De aspecten van de evaluatie zijn gebaseerd op de ZonMw-programmadoelstellingen en de ERiC-richtlijn. Ook heeft deze maatschappelijke evaluatie het expliciete doel om synergie (gevoel van uitwisseling) tussen de projecten te faciliteren door middel van de bijeenkomsten.
Type kennis: in hoeverre komen de aspecten vastgesteld in de programmatekst Suïcidepreventie van ZonMw aan bod binnen de projecten en welke typen producten beogen projecten op te leveren?
Disseminatie van kennis: welke methoden hebben onderzoekers ingezet om ervoor te zorgen dat de kennis vanuit hun onderzoek ook terecht komt bij de relevante stakeholders?
Interesse vanuit stakeholders: hoeveel aandacht is er voor de projecten vanuit stakeholders?
Gebruik van kennis: op welke manier werd kennis verkregen vanuit de projecten of onderzoekers daadwerkelijk toegepast?
Synergie tussen projecten: ervaarden de projecten onderling een gevoel van uitwisseling?
Voor elk van deze aspecten zijn er indicatoren voorgesteld. Bij het bepalen van de indicatoren is ook rekening gehouden met het toetsingskader dat door ZonMw zelf ontwikkeld is voor het evalueren van de programmeerpraktijken. Een eerste conceptlijst met indicatoren is ter beoordeling rondgestuurd aan de projectleiders, ZonMw en een klankbordgroep met praktijkmedewerkers werkzaam binnen suïcidepreventie bij de huidige evaluatie van maatschappelijke relevantie. Naar aanleiding van hun feedback zijn er drie indicatoren toegevoegd aan de indicatorenlijst (zie bijlage 1).
Kwantitatieve dataverzameling
Voor een overzicht met betrekking tot ‘Type kennis’ zijn de onderzoeksvoorstellen van de deelnemende projecten bestudeerd. Hiermee konden wij vaststellen of projecten die waren gesubsidieerd door ZonMw, ook pasten binnen de programmatekst Suïcidepreventie. Daarnaast werden voor de overige aspecten van maatschappelijke relevantie data verzameld met behulp van online vragenlijsten. Projectleiders ontvingen gedurende de evaluatie viermaal een online vragenlijst per e-mail. Het doel van deze vragenlijsten was om per project de vooraf opgestelde indicatoren van maatschappelijke relevantie uit te vragen. Projectleiders hadden na ontvangst twee weken om de vragenlijst in te vullen. Na de eerste online vragenlijst is er aanvullend een telefonisch interview uitgevoerd om de toegevoegde indicatoren uit te vragen.
Inhoud interview
Aan het einde van het programma is voor elk project een interview uitgevoerd. Hiervoor werden de vertegenwoordigers van de projecten per mail uitgenodigd. In sommige gevallen was dit de projectleider of anders een medewerker van het project. In totaal zijn er tien interviews afgenomen. Het doel van het eindinterview was om inzicht te krijgen in de productieve interacties, ervaringen, (on)mogelijkheden, en tips en tricks om de maatschappelijke relevantie al tijdens de looptijd van het project te vergroten. De bestaande documenten, zoals de onderzoeksvoorstellen en eerder verzamelde rapporten, waren het startpunt voor het interview.
Het interview vond plaats via een online videogesprek en duurde 30-60 minuten. Voorafgaand aan de interviews is een interviewguide opgesteld met behulp van de vijf aspecten en indicatoren voor maatschappelijke relevantie (zie bijlage 2). De semigestructureerde interviews zijn uitgevoerd door één persoon. Ieder interview is opgenomen en getranscribeerd.Analyse van gegevens
Kwantitatieve analyse
Voor de kwantitatieve analyse zijn de data van de vragenlijsten geëxporteerd naar Excel. De data zijn geanalyseerd door het uitrekenen van frequenties en gemiddelden.
Kwalitatieve analyse
Voor het analyseren van de interviews is zowel van een deductieve analyse als inductieve analyse gebruikgemaakt. Voorafgaand aan de interviews is een lijst opgesteld van relevante codes voor het analyseren van de interviews. Een van de onderzoekers heeft eerst twee interviews gecodeerd en op basis daarvan een aantal relevante codes toegevoegd, samengevoegd of verwijderd van de lijst. De onderzoekers hebben deze codes toegevoegd aan het overzicht en ook gebruikt voor het verder analyseren van de interviews (zie bijlage 3). De transcripten zijn afzonderlijk gecodeerd door twee onderzoekers om te voorkomen dat de persoonlijke en professionele achtergrond van de onderzoekers het coderen beïnvloedt. De interviews zijn gecodeerd met behulp van het programma MAXQDA versie 20.0.1 (VERBI Software, 2019). Nadat alle interviews waren gecodeerd, zijn de bestanden van beide onderzoekers samengevoegd. De onderzoekers hebben samen alle interviews bekeken en de verschillen in het coderen besproken en aangepast. Per code zijn thema’s gevormd die naar voren komen uit de segmenten tekst met de desbetreffende code. Deze thema’s vormen de basis voor het kwalitatieve gedeelte van de resultatensectie.
-
3 Resultaten
Vanuit het ZonMw-onderzoeksprogramma Suïcidepreventie zijn er twaalf projecten die subsidie hebben ontvangen:
The peer specialist: possibilities for the recovery of suicidal care consumers;
Prevention of Suicide Mortality in Noord Brabant: The Effect of Implementation of a Regional Suicide Prevention system. A staggered implementation stepped wedge trial;
Targeting repetitive intrusive suicidal images and thoughts: towards a new suicide prevention strategy in recurrently depressed patients;
Intranasal ketamine & Acute suicidality Efficacy and Mechanism of Action KETA (Ketamine Trial Amsterdam);
Neural predictors of suicide attempts and effects of treatment: towards clinically relevant brain data;
The effect of multifaceted feedback in mental healthcare on the prevention of suicide using a clinical registry in the national suicide prevention action network of collaborating mental health care institutions (SUPRANET care), an implementation study;
Continuous Assessment for Suicide Prevention and Research (CASPAR) – Smartphone-Enabled Safety Planning and Self-Monitoring for Suicidal Patients with Recurrent Depression in Mental Health Care;
The importance of significant others and of peer specialists in the prevention of suicidality;
Suicide Prevention Through Mass Media: Stimulating Help-Seeking Behavior;
Depression and Suicide Prevention in Higher Vocational Education;
Preventing suicidality among Dutch Lesbian, Gay, Bisexual and Transgender (LGBT) youth through a web-based intervention addressing suicidality in relation to sexual and gender identity issues;
Societal evaluation of processes, synergy and impacts of the projects to be granted in the ZonMw Suicide Prevention program 2016-2020.
Kwantitatieve analyse
Indicatoren voor maatschappelijke relevantie
De meeste projecten behelzen toegepast onderzoek (n = 7), de overige projecten doen onderzoek naar de fundamentele processen die tot suïcide leiden (n = 4). Verder bleek dat de huidige projecten de meeste prioritaire thema’s van het onderzoeksprogramma omvatten. Daarnaast zagen we dat de risicogroep ‘Mannen tussen de 40-60 jaar’ slechts in één project specifiek werd genoemd. De meeste projecten (n = 9) hadden als doel de doelgroep ‘Patiënten in de GGZ’ te bereiken. Verder zagen we ook dat de huidige projecten als doel hadden de overige risicogroepen te bereiken met de huidige projecten, zoals ‘adolescenten en jongeren’ en ‘LHBTI-jongeren’. Deze komen wel naar voren als belangrijke risicogroepen in de Onderzoeksagenda Suïcidepreventie 2016-2020 van ZonMw ondanks dat zij geen prioritaire risicogroep waren in de Programmatekst Suïcidepreventie.
In tabel 1 is weergegeven in hoeveel projecten een bepaalde indicator aanwezig was voor de volgende aspecten van maatschappelijke relevantie: (1) disseminatie, (2) interesse vanuit stakeholders, (3) gebruik kennis. Uit de resultaten komt naar voren dat presentaties tijdens bijeenkomsten, symposia en congressen de meest voorkomende methode voor disseminatie van kennis zijn binnen dit programma. De presentaties werden veelal aan het begin van de projecten gegeven. In 2020 nam het aantal presentaties flink af. Hierbij dient rekening te worden gehouden met de maatregelen die betrekking hadden op de coronapandemie. De meeste nieuwsberichten bleken in het eerste jaar te zijn verspreid. De nieuwsberichten over de projecten binnen het programma kwamen voor een groot deel tot stand op initiatief van anderen. De aandacht vanuit massamedia (tv en radio) was een stuk minder dan het aantal verspreide nieuwsberichten. Daarnaast bleek dat de meeste presentaties weliswaar op eigen initiatief waren, maar dat ook een groot gedeelte (44%) op uitnodiging was. Verder bleek uit de vragenlijsten dat tot op heden artikelen gemiddeld vijf keer werden geciteerd en dat een meerderheid van de projecten ook de data open access beschikbaar wil stellen na afloop van het project (n = 8). De kennis vanuit de projecten werd voornamelijk toegepast in opleidingsactiviteiten. Hierbij werd niet specifiek uitgevraagd of deze opleidingsactiviteiten uitsluitend betrekking hadden op het eigen onderwijs of dat deze inzichten ook zijn vertaald naar onderwijsmateriaal dat anderen ook kunnen gebruiken. Wel bleek uit de beschrijving van de opleidingsactiviteiten dat er bijvoorbeeld een training voor een specifieke opleiding voor studenten in het mbo en hbo is ontwikkeld door een onderzoeksproject en beschreef een ander project dat webinars en e-booklets voor GGZ-medewerkers zijn ontwikkeld en ingezet. Daarentegen werd de kennis op dit moment nog niet veel toegepast in richtlijnen of beleidsstukken.Tabel 1 Disseminatie, interesse vanuit stakeholders en gebruik van kennisThema Indicatoren 2017 N 2018 N 2019 N 2020 N Disseminatie Presentaties tijdens bijeenkomsten, symposia, congressen etc. 45 (9) 42 (10) 25 (9) 7 (6) Het geven van trainingen 1 (1) 7 (4) 2 (2) 7 (3) (Inter)nationale publicaties in peer-reviewed journals 3 (3) 1 (1) 5 (4) 2 (2) Publicaties in vaktijdschriften 1 (1) 1 (1) 5 (4) 1 (1) Open access publicaties 4 (3) 4 (3) 2 (2) 2 (1) Nieuwsberichten over het onderzoek op eigen initiatief NM 6 (5) 1 (1) 7 (4) Protocollen (voor behandeling of anderszins) die verspreid en beschikbaar gesteld zijn aan de praktijk 0 1 (1) 1 (1) 3 (2) Andere typen kennisverspreiding, zoals contributies aan boekhoofdstukken of e-learnings NM (4) 7 (4) 13 (5) 3 (2) Interesse vanuit stakeholders Nieuwsberichten/artikelen over het project door anderen 23 (8) 7 (7) 3 (2) 4 (4) Social media posts over het project NM 10 (5) 5 (4) 8 (2) Deelname aan adviescommissies of beleidscommissies vanwege het project door projectmedewerkers 2 (1) 2 (2) 5 (4) 3 (3) Aandacht vanuit (massa)media voor project NM (4) 3 (3) 4 (3) 3 (3) Gebruik kennis Citaties wetenschappelijke publicaties 25 27 39 5* Bij welke opleidingsactiviteiten wordt kennis toegepast (ook e-learning)? 6 (4) 4 (4) 2 (2) 4 (3) Online producten ontwikkeld 1 (1) 5 (5) 3 (3) 4 (2) Wordt verkregen kennis genoemd in relevante richtlijnen? 1 (1) 1 (1) 0 1 (1) Wordt kennis genoemd in beleidsstukken? 0 0 0 1 (1) Notitie: N staat voor het totale aantal over alle projecten. NM staat voor niet gemeten.
* Een artikel betreft een Nederlandstalig artikel. Daarbij is onbekend hoeveel mensen dit artikel hebben geciteerd. Het weergegeven getal heeft nu alleen betrekking op één artikel.De onderzoekers is daarnaast gevraagd hoe zij de synergie (onderling gevoel van uitwisseling) ervaren tussen de projecten in het programma en dit een cijfer te geven tussen de 0 (helemaal niet) en 10 (helemaal wel). Zij gaven de synergie tussen de projecten gemiddeld een cijfer van 5,5 verspreid over de vier meetmomenten. De synergie was het hoogste aan de start van de evaluatie. De gemiddelde cijfers voor ervaren synergie per jaar waren respectievelijk 7, 4,6, 5 en 5,4.
Meest belangrijke stakeholders
Per indicator is daarnaast uitgevraagd welke doelgroepen en stakeholders erbij betrokken waren. Een aantal stakeholders kwam bij alle projecten naar voren, namelijk GGZ-professionals en wetenschappers. Slechts één project benoemde het algemene publiek als stakeholder. Cofinanciering, naast de subsidie door ZonMw, vond met name plaats vanuit zorginstellingen of het bedrijfsleven, maar de meeste projecten werden volledig door ZonMw gefinancierd. Daarnaast bleek dat veel stakeholders wel meegenomen werden in de projectteams, maar dat zij daarmee niet per se werden meegenomen als coauteurs.
Kwalitatieve analyse
Hieronder presenteren we de thema’s gerelateerd aan de aspecten van maatschappelijke relevantie die naar voren kwamen uit de analyse van de interviews en codes. Bij ieder thema zijn enkele illustratieve citaten van de onderzoekers toegevoegd.
Implementatie en borging in de praktijk
Veel projectleiders zien maatschappelijke relevantie in de context van borging in de praktijk. Het is met name belangrijk dat inzichten uiteindelijk worden toegepast in de praktijk op de lange termijn. Daarbij is het belangrijk dat er ook borging is, namelijk dat de kennis/interventie blijft bestaan zodra de onderzoekers zelf uit beeld zijn.
‘Maatschappelijke relevantie hebben wij denk ik meer gezien, of zie ik nog steeds, meer vanuit dat wij producten opleveren voor de praktijk. Waar de praktijk iets mee kan.’ (Respondent 8)
Samenwerking en betrokkenheid met eindgebruikers
Voor een groot deel van de projecten geldt dat de eindgebruikers betrokken waren bij het project. De samenwerking vond op verschillende manieren plaats, bijvoorbeeld via feedback, via een klankbordgroep of in co-creatie.
‘We hebben ook een klankbordgroep met wie we de inhoud van de interventie en de opzet daarvan ook hebben besproken. Maar met hen hebben we ook heel erg besproken van hoe kunnen we dit nou zo maken dat het ook echt goed afgestemd is op de doelgroep.’ (Respondent 3)
De mate van betrokkenheid vanuit de eindgebruikers was per project verschillend. Een lage mate van betrokkenheid van eindgebruikers was voor sommige projecten een belemmerende factor voor het realiseren van het project.
Interactie en betrokkenheid met andere stakeholders
Naast de betrokkenheid en interacties met de eindgebruikers gedurende het project om een betere relevantie te bereiken, gaven de deelnemers ook aan dat het belangrijk is om in contact te komen met belanghebbenden in bredere zin, met name degenen die betrokken zouden zijn bij (potentiële) toekomstige implementatie van de interventie. Zo werd het betrekken van regionale partijen of het hebben van een regionaal netwerk genoemd als een bevorderende factor bij de uitvoering van het project.
‘Wij hadden natuurlijk de regionale GGZ als partner van het onderzoeksproject, dus op die manier hadden wij natuurlijk ook direct goede voelsprieten uitstaan in de regio. Dus het (nauw) betrekken of spreken van regionale partijen is daar denk ik belangrijk voor.’ (Respondent 9)
Daarbij gaven de onderzoekers aan dat het niet alleen gaat om de hoeveelheid interacties, maar ook om de inhoud van die interacties.
‘Je kan heel veel contact en interacties hebben met stakeholders maar ik denk dat het product wat je aflevert, of de inhoud van die interacties, net zo belangrijk zijn.’ (Respondent 8)
De mate van de samenwerking met andere stakeholders verschilde per project. Enkele onderzoekers benoemden hoe waardevol de samenwerking en interactie met stakeholders was, terwijl er ook sprake was van onderzoekers die in verhouding weinig input ontvingen van stakeholders en juist een behoefte aan meer input hadden.
‘Er is wel altijd nauw contact geweest tijdens de uitvoering van het project met de vertegenwoordigers van de scholen. Dus voor elke school was het toch weer maatwerk hoe we het project op die school zouden gaan organiseren.’ (Respondent 9)
‘We hebben relatief weinig input gehad van mensen die uiteindelijk zo’n interventie gaan uitvoeren of willen implementeren in de organisatie bijvoorbeeld.’ (Respondent 3)
Overwegingen voor disseminatiestrategieën
De meeste onderzoekers zien het verspreiden van de kennis van een project als een behulpzame actie voor het vergroten van de maatschappelijke relevantie van het project.
‘Je kan natuurlijk al wel lopende het project door allerlei publicaties, interviews of congressen wel al de aandacht en interesse in het project vergroten en zou je het op die manier kunnen bespoedigen’ (Respondent 9)
Verspreiding van kennis kan volgens de onderzoekers niet zonder meer plaatsvinden. Er zijn twee overwegingen die naar voren kwamen in de huidige projecten. Ten eerste was de sensitiviteit van het onderwerp ‘suïcide’ een overweging die werd meegenomen in het wel of niet delen van kennis. Er zijn risico’s die samenhangen met de manier waarop dit onderwerp wordt besproken. Uit onderzoek naar het bespreken van suïcidaliteit in de media blijkt dat het benoemen van methodes van suïcides kan leiden tot imitaties (Niederkrotenthaler & Till, 2019). Zo bleek recentelijk dat na de suïcide van Robin Williams in de Verenigde Staten, wat daar sensationeel werd gerapporteerd, het aantal suïcides in de VS steeg met 10% in de vijf maanden na zijn overlijden (Fink et al., 2018). Ten tweede vond men het belangrijk dat er geen kennis werd gedeeld zolang de resultaten van het onderzoek nog niet geanalyseerd waren.
‘We gaan nu helemaal niet op zoek naar media-aandacht, dat komt echt naar ons toe en we moeten daar goede keuzes in maken wat we wel en wat we niet doen. (…) We willen er een beetje onder de radar nu mee blijven omdat het anders kan dat er verkeerde dingen over geschreven worden. We zitten gewoon echt nog in een vroege fase.’ (Respondent 10)
Hoe bereidheid en haalbaarheid tegen elkaar opwegen bij het creëren van synergie
Veel projecten benoemen dat ze het belang zien van synergie tussen de projecten binnen het programma maar dat de projecten te veel van elkaar verschillen om synergie te kunnen creëren.
‘Je bent allemaal hetzelfde onderzoek aan het doen naar hetzelfde onderwerp en zo, dus als je dan heel erg die kleine eilandjes houdt, dat is zonde. Het is mooier als je het dan samen kan brengen tot iets. Want je hebt uiteindelijk allemaal hetzelfde doel.’ (Respondent 5)
‘Ik heb het gevoel dat wat wij onderzoeken toch wel anders is dan wat de andere projecten doen. Dus je bent toch echt wel een stuk verder weg van de maatschappij.’ (Respondent 2)
Onderzoekers gaven top 3 tips voor toekomstige onderzoekers in het veld
Tijdens de interviews is aan de onderzoekers gevraagd om een top 3 aan tips te benoemen voor onderzoekers die een soortgelijk onderzoek gaan uitvoeren. Er kwamen drie grote thema’s terug in het overzicht van tips.
1. Betrekken van het veld
Het betrekken van het veld is erg belangrijk voor de maatschappelijke relevantie van het project. De onderzoekers geven het advies om de eindgebruikers vanaf het begin van het project te betrekken bij het project. Op deze manier kan worden gerealiseerd dat het onderzoeksdesign ook haalbaar is in de praktijk en dat het project uiteindelijk zelfstandig kan draaien in het veld. Een voorbeeld van het betrekken van het veld is het gebruik van een co-creatie om ervoor te zorgen dat de interventie aansluit bij de eindgebruikers. Het bereiken van de doelgroep is vooral haalbaar door een reputatie op te bouwen onder deze doelgroep. Dit kan op onderzoekersniveau of projectteamniveau.
2. Netwerken
Het actief netwerken met alle stakeholders is belangrijk om het onderzoek zoveel mogelijk te verspreiden. De onderzoekers adviseren om een duidelijk en concreet doel te hebben hoe je het project wil verspreiden. Het netwerken kan worden gedaan door communicatie met alle betrokkenen, disseminatie en het blijven evalueren van het project. Door het netwerk rondom het project goed in kaart te brengen wordt snel inzichtelijk bij wie je terecht kunt met vragen/informatie of voor verdere verspreiding van het project.
3. Haalbaarheid
De onderzoekers adviseren ook om goed na te denken over de haalbaarheid van het project. Het is belangrijk om hier goede afspraken over te maken met de betrokken partners. In het uitvoeren van het onderzoek gaat uiteindelijk vaak meer tijd zitten dan vooraf gedacht. Vertraging van het onderzoek, of zelfs stoppen met het onderzoek, heeft invloed op de boodschap van de maatschappelijke relevantie van het project. Het laagdrempelig bereikbaar zijn als onderzoeker voor betrokkenen van het project speelt ook een rol in de haalbaarheid van het project.
-
4 Slotbeschouwing
Het doel van dit project was om de maatschappelijke relevantie van de projecten in het kader van het ZonMw-programma Suïcidepreventie te beoordelen. In tegenstelling tot de meeste evaluaties van maatschappelijke relevantie, waarbij de evaluatie wordt gedaan na afronding van een onderzoeksproject, vond de huidige evaluatie plaats gedurende de looptijd van de projecten. Tijdens de evaluatie zijn de thema’s type kennis, disseminatie van kennis, interesse van stakeholders, gebruik van kennis en synergie tussen projecten gemeten met indicatoren die de maatschappelijke relevantie van de projecten binnen het programma weerspiegelen.
De gesubsidieerde projecten behelsden grotendeels het onderzoeksprogramma van ZonMw. Uit de evaluatie blijkt dat de disseminatie van kennis voornamelijk plaats vond op academische bijeenkomsten en conferenties. Sommige onderzoekers gaven aan terughoudend te zijn in het verspreiden van kennis voor het einde van het project ondanks dat er wel interesse was in de kennis van de onderzoekers vanuit de praktijk en maatschappij. Daarnaast kwam naar voren dat het een uitdaging was om stakeholders in een vroege fase van het project te betrekken. De samenwerking met de eindgebruikers was bij veel projecten binnen het onderzoeksprogramma minimaal. Sommige projecten zagen dit als een belemmerende factor voor de uitvoering of implementatie van het project. De bijdrage van eindgebruikers en stakeholders was vaak nog passief. Zo werden zij vaak niet gevraagd om actief een bijdrage te leveren gedurende de hele looptijd van een project. Interacties met (maatschappelijke) stakeholders worden echter als essentieel gezien voor het bereiken van maatschappelijke relevantie (ERiC, 2010). Een belangrijke aanbeveling is dan ook om de eindgebruikers en andere maatschappelijke stakeholders actief te betrekken gedurende het gehele onderzoeksproces. Dit kan bijvoorbeeld door input te vragen van de stakeholders bij het schrijven van het onderzoeksvoorstel of hen actief te betrekken bij het ontwikkelen van een interventie (co-creatie) (Muhonen et al., 2020).
Daarnaast bleek er een versnippering van projecten te zijn binnen het onderzoeksprogramma. Het programma bestaat in totaal uit twaalf van elkaar losstaande projecten. De projecten hebben een erg verschillend onderzoeksdesign, waardoor samenwerking en een onderling gevoel van uitwisseling lastig te realiseren waren. Ook was het hierdoor lastig om de verbinding te leggen tussen de projecten. De ervaren synergie tussen de projecten werd dan ook niet als heel hoog beoordeeld, terwijl de meeste onderzoekers wel erkenden dat samenwerking en onderlinge uitwisseling tussen onderzoeksprojecten waardevol kunnen zijn. Synergie houdt meer in dan alleen een onderling gevoel van uitwisseling tussen de projecten (Weiss et al., 2002). Uit de feedback van projectleiders bleek echter dat zij ervaren synergie en specifiek onderlinge uitwisseling van kennis en samenwerking als belangrijke indicatoren van maatschappelijke relevantie zagen. Veel gezondheidssystemen zijn gefragmenteerd en multidisciplinaire samenwerking is belangrijk voor het verbeteren van patiëntresultaten, het verhogen van patiënttevredenheid en de samenhang van de geleverde zorg (WHO, 2010; Hansen et al., 2010). Voor het vergroten van de maatschappelijke relevantie wordt dan ook aanbevolen om grotere minder losstaande projecten te financieren binnen een onderzoeksprogramma, zoals een overkoepelend project voor de verschillende pijlers binnen de nationale agenda suïcidepreventie. Deze verbinding van projecten kan ook voordelig zijn om de maatschappelijke relevantie van een compleet onderzoeksprogramma te evalueren. Een alternatieve mogelijkheid is om de projecten binnen één programma op een zodanige manier af te stemmen dat het eenvoudiger gezamenlijk te beoordelen is, bijvoorbeeld op uitkomsten, interventietypen of populatie/doelgroepen.
Aan de hand van de huidige evaluatie is daarnaast gebleken dat het evalueren van de maatschappelijke relevantie gedurende de looptijd van de projecten een ingewikkeld proces is. Zo is er geen eenduidige definitie van maatschappelijke relevantie en zijn er veel factoren die maatschappelijke evaluatie bepalen. Daarnaast is maatschappelijke relevantie iets dat vaak pas op de lange termijn aangetoond kan worden (De Jong et al., 2014). In de huidige evaluatie zijn vijf aspecten van maatschappelijke relevantie beoordeeld. Deze vijf aspecten zijn gebaseerd op de ERiC-richtlijnen en zijn bepaald in overleg met de onderzoekers. Er is echter geen methodiek voor het evalueren van deze aspecten. Daarnaast bleek dat de projecten qua onderzoeksdesign, doelgroep en hoofddoel erg veel van elkaar verschilden. De beoogde maatschappelijke relevantie van een project is afhankelijk van het onderzoeksgebied en onderzoeksprogramma, waardoor indicatoren voor maatschappelijke relevantie per project kunnen verschillen (ERiC, 2010). Dit maakt het lastig om de maatschappelijke relevantie van de projecten binnen het programma als één geheel te evalueren.
Bovendien is het een uitdaging dat het evalueren van maatschappelijke relevantie een subjectief veld is, terwijl men maatschappelijke relevantie met objectieve maten wil meten (Wilbertz, 2013). Ter illustratie, productieve interacties worden vaak genoemd als belangrijke indicator van maatschappelijke relevantie. Het is echter niet altijd duidelijk wanneer een interactie als productief wordt ervaren, dat bleek ook uit de interviews met onderzoekers. Daarnaast zijn traditioneel objectieve maten, zoals publicaties of citaties, vaak geen goede reflectie van maatschappelijke relevantie. Het is algemeen bekend dat studies met positieve en significante bevindingen sneller worden geaccepteerd in wetenschappelijke journals dan nulbevindingen (Fanelli, 2010). Daardoor zijn publicaties of citaties geen goede objectieve maat voor maatschappelijke relevantie (Wilbertz, 2013).
Een manier om deze uitdagingen van het evalueren van maatschappelijke relevantie te verminderen is het beter specificeren van de indicatoren die onderzoekers kunnen gebruiken om maatschappelijke relevantie te evalueren. Daarnaast is het nodig om onderzoekers te voorzien van concretere definities van deze indicatoren en hoe ze deze op een meer gestandaardiseerde manier kunnen beoordelen. Dit project heeft de verschillende indicatoren voor maatschappelijke relevantie in kaart kunnen brengen, maar er kan nog geen duidelijk antwoord worden gegeven op de vraag of het project hierdoor ook maatschappelijk relevant is. Dit kwam onder andere door het subjectieve karakter van de evaluatie en het missen van duidelijke afspraken over wanneer een bepaalde indicator maatschappelijk relevant is. Een gestandaardiseerde tool kan bijdragen aan het concreet maken van de maatschappelijke relevantie. Daarnaast helpt een gestandaardiseerde tool met de vergelijkbaarheid en objectiviteit van het meten van de maatschappelijke relevantie. Veel projecten waren erg verschillend van elkaar en hadden een ander idee over en andere definitie van maatschappelijke relevantie. Een ander voordeel van een gestandaardiseerde tool is dat dit het evalueren van de maatschappelijke relevantie efficiënter maakt. Zoals eerder aangegeven vinden onderzoekers het belangrijk dat hun onderzoek maatschappelijk relevant is, maar het evalueren hiervan kost veel tijd (Reijmerink, 2018). Een gestandaardiseerde tool zou het aantrekkelijker maken voor onderzoekers om maatschappelijke relevantie te evalueren gedurende de looptijd van hun projecten.
Samenvattend, uit deze evaluatie blijkt dat er nog meerdere uitdagingen zijn in het evalueren van maatschappelijke relevantie. Daardoor is verder onderzoek nodig om te helpen bij het beantwoorden van belangrijke maatschappelijke vraagstukken. Tegelijkertijd zijn evaluatie- en monitoringsmechanismen en instrumenten van belang, waarmee onderzoekers en financiers kunnen peilen of een bepaalde onderzoeksgroep of projecten relevant zijn voor het beantwoorden van maatschappelijke vraagstukken. Voor multisectoriële en multifactoriële onderwerpen, zoals suïcidepreventie, kan het een uitdaging zijn om de maatschappelijke relevantie beknopt en nauwkeurig te beoordelen. Een belangrijke actie voor toekomstige financiers en onderzoeksprojecten is dan ook een verdere verkenning van zowel de indicatoren die de maatschappelijke relevantie binnen dit specifieke domein beoordelen als de tools die onderzoekers kunnen ondersteunen om aan financiers te rapporteren hoe hun onderzoek bijdraagt aan maatschappelijke vraagstukken. Althubaiti, A. (2016). Information bias in health research: Definition, pitfalls, and adjustment methods. Journal of Multidisciplinary Healthcare, 9, 211-217. https://doi.org/10.2147/JMDH.S104807
Bornmann, L. (2013). What is societal impact of research and how can it be assessed? A literature survey. Journal of the American Society for Information Science and Technology, 64(2), 217-233. https://doi.org/10.1002/asi.22803
Bosch, M., Van der Weijden, T., Wensing, M., & Grol, R. (2007). Tailoring quality improvement interventions to identified barriers: A multiple case analysis. Journal of Evaluation in Clinical Practice, 13(2), 161-168. https://doi.org/10.1111/j.1365-2753.2006.00660.x
De Jong, S., Barker, K., Cox, D., Sveinsdottir, T., & Van den Besselaar, P. (2014). Understanding societal impact through productive interactions: ICT research as a case. Research Evaluation, 23(2), 89-102. https://doi.org/10.1093/reseval/rvu001
De Jong, S.P., Smit, J., & Van Drooge, L. (2015). Scientists’ response to societal impact policies: A policy paradox. Science and Public Policy, 43(1), 102-114. https://doi.org/10.1093/scipol/scv023
De Jong, S.P., Wardenaar, T., & Horlings, E. (2016). Exploring the promises of transdisciplinary research: A quantitative study of two climate research programmes. Research Policy, 45(7), 1397-1409. https://doi.org/10.1016/j.respol.2016.04.008
Donovan, C. (2008). The Australian Research Quality Framework: A live experiment in capturing the social, economic, environmental, and cultural returns of publicly funded research. New Directions for Evaluation, 2008(118), 47-60. https://doi.org/10.1002/ev.260
ERiC. (2010). Evaluating the societal relevance of academic research: A guide. Den Haag: Rathenau Instituut.
Fanelli, D. (2010). Do pressures to publish increase scientists’ bias? An empirical support from US States Data. PloS one, 5(4), e10271. https://doi.org/10.1371/journal.pone.0010271
Fink, D.S., Santaella-Tenorio, J., & Keyes, K.M. (2018). Increase in suicides the months after the death of Robin Williams in the US. PLoS ONE, 13, e0191405. https://doi.org/10.1371/journal.pone.0191405
Göransson, B., Maharajh, R., & Schmoch, U. (2009). New activities of universities in transfer and extension: Multiple requirements and manifold solutions. Science and Public Policy, 36(2), 157-164. https://doi.org/10.3152/030234209X406863
Graham, I.D., Grimshaw, J.M., Tetroe, J.M., & Robinson, N.J. (2005). KT challenges for researchers: How are Canadian health researchers promoting the uptake of their findings? Ottawa: Ottawa Health Research Institute.
Hansen, J., Van Greuningen, M., & Batenburg, R.S. (2010). Monitor multidisciplinaire samenwerking binnen de eerste lijn: Achtergronden en resultaten van een trend- en verdiepingsstudie. Op 2 juli 2021 ontleend van http://www.nivel.nl/sites/default/files/bestanden/Rapport-Monitor-multidisciplinaire-samenwerking-eerste-lijn.pd
Holbrook, J.B., & Frodeman, R. (2011). Peer review and the ex ante assessment of societal impacts. Research Evaluation, 20(3), 239-246. https://doi.org/10.3152/095820211X12941371876788
Kerkhof, A.J.F.M. (2015). Onderzoeksagenda suïcidepreventie 2016-2020. Den Haag: ZonMw.
Ministerie van Onderwijs, Cultuur en Wetenschap. (2014). Wetenschapsvisie 2025: keuzes voor de toekomst.
Molas-Gallart, J., Salter, A., Patel, P., Scott, A., & Duran, X. (2002). Measuring third stream activities: Final report to the Russell Group of Universities. Brighton: SPRU, University of Sussex.
Morris, Z.S., Wooding, S., & Grant, J. (2011). The answer is 17 years, what is the question: Understanding time lags in translational research. Journal of the Royal Society of Medicine, 104(12), 510-520. https://doi.org/10.1258%2Fjrsm.2011.110180
Muhonen, R., Benneworth, P., & Olmos-Peñuela, J. (2020). From productive interactions to impact pathways: Understanding the key dimensions in developing SSH research societal impact. Research Evaluation, 29(1), 34-47. https://doi.org/10.1093/reseval/rvz003
Munro, C.L., & Savel, R.H. (2016). Narrowing the 17-year research to practice gap. American Journal of Critical Care, 25(3), 194-196. https://doi.org/10.4037/ajcc2016449
Niederkrotenthaler, T., & Till, B. (2019). Suicide and the media: From Werther to Papageno effects –A selective literature review. Suicidologi, 24(2). https://doi.org/10.5617/suicidologi.7398
Niederkrotenthaler, T., Dorner, T.E., & Maier, M. (2011). Development of a practical tool to measure the impact of publications on the society based on focus group discussions with scientists. BMC Public Health, 11, 588. https://doi.org/10.1186/1471-2458-11-588
Penfield, T., Baker, M.J., Scoble, R., & Wykes, M.C. (2014). Assessment, evaluations, and definitions of research impact: A review. Research Evaluation, 23(1), 21-32. https://doi.org/10.1093/reseval/rvt021
Reale, E., Avramov, D., Canhial, K., Donovan, C., Flecha, R., Holm, P & Van Horik, R. (2018). A review of literature on evaluating the scientific, social and political impact of social sciences and humanities research. Research Evaluation, 27(4), 298-308. https://doi.org/10.1093/reseval/rvx025
Reijmerink, W. (2018). De impact van publieke kennisprogrammering. Tijdschrift voor gezondheidswetenschappen, 96(3), 124-127. https://doi.org/10.1007/s12508-018-0134-1
Rymer, L. (2011). Measuring the impact of research – The context for metric development. Go8 Backgrounder 23. Group of Eight (NJ1).
Spaapen, J., & Van Drooge, L. (2011). Introducing ‘productive interactions’ in social impact assessment. Research Evaluation, 20(3), 211-218. https://doi.org/10.3152/095820211X12941371876742
Tetroe, J.M., Graham, I.D., Foy, R., Robinson, N., Eccles, M.P., Wensing, M., & Grimshaw, J.M. (2008). Health research funding agencies’ support and promotion of knowledge translation: An international study. The Milbank Quarterly, 86(1), 125-155. https://doi.org/10.1111/j.1468-0009.2007.00515.x
Van der Meulen, B., & Rip, A. (2000). Evaluation of societal quality of public sector research in the Netherlands. Research Evaluation, 9(1), 11-25. https://doi.org/10.3152/147154400781777449
VERBI Software. (2019). MAXQDA 2020 [computer software]. Berlin: VERBI Software. Available from maxqda.com.
Weiss, E.S., Anderson, R.M., & Lasker, R.D. (2002). Making the most of collaboration: Exploring the relationship between partnership synergy and partnership functioning. Health Education & Behavior, 29(6), 683-698. https://doi.org/10.1177%2F109019802237938
Wensing, M., & Grol, R. (2019). Knowledge translation in health: How implementation science could contribute more. BMC Medicine, 17(1), 88. https://doi.org/10.1186/s12916-019-1322-9
WHO. (2010). Framework for action on interprofessional education & collaborative practice. Geneva: World Health Organization. Op 2 juli 2021 ontleend van http://apps.who.int/iris/bitstream/10665/70185/1/WHO_HRH_HPN_10.3_eng.pdf?ua=1
Wilbertz, J. (2013). Evaluating societal relevance of research. Op 2 juli 2021 ontleend van https://pure.rug.nl/ws/portalfiles/portal/14412466/Evaluatingsocietalrelevance.pdf
ZonMw. (2015). Programmatekst Suïcidepreventie (2015-2019) – Door kennis bijdragen aan vermindering. Op 2 juli 2021 ontleend van https://www.zonmw.nl/uploads/tx_vipublicaties/SP_Programmatekst_Suicidepreventie.pdf
ZonMw. (z.d.). Beleidsspeerpunt – Impact versterken. Op 2 juli 2021 ontleend van https://www.zonmw.nl/nl/over-zonmw/impact-versterken/
-
Bijlage 1 – Lijst indicatoren Maatschappelijke Evaluatie Suïcide Preventie
Indicatoren voor de maatschappelijke evaluatie van het ZonMw-programma Suïcidepreventie
In dit document staan de voorgestelde indicatoren beschreven aan de hand waarvan de maatschappelijke relevantie van het ZonMw-programma Suïcidepreventie zal worden geëvalueerd. Naast deze indicatoren zal in het kader van de evaluatie ook de economische impact van een aantal gehonoreerde projecten nader worden bekeken.
De voorgestelde indicatoren zijn ingedeeld in een aantal thema’s. Deze thema’s zijn gebaseerd op het ERiC-raamwerk voor maatschappelijke evaluaties. Bij het bepalen van de indicatoren is ook rekening gehouden met het toetsingskader dat door ZonMw zelf ontwikkeld is voor het evalueren van de programmeerpraktijken.
Het eerste thema gaat over het beschrijven van de ZonMw-programma-doelstellingen en hoe de gehonoreerde projecten verdeeld zijn over die doelstellingen. Vervolgens schetst het ERiC-raamwerk drie aspecten van maatschappelijke relevantie:
de mate van verspreiding van onderzoeksresultaten;
de mate waarin er interesse en waardering is van maatschappelijke stakeholders in het onderzoek;
het daadwerkelijke gebruik van de onderzoeksresultaten.
Voor elk van deze aspecten zijn er indicatoren voorgesteld. Tot slot heeft deze maatschappelijke evaluatie ook het expliciete doel om synergie tussen de projecten te faciliteren door middel van de bijeenkomsten. Dit wordt dan ook als vijfde thema meegenomen in dit document.
Een eerste conceptlijst is ter beoordeling rondgestuurd aan alle betrokkenen van het MESP-project. Naar aanleiding van de aldus verkregen feedback zijn de volgende indicatoren toegevoegd:
2.10 Bewust/actief kennis en/of nieuws vanuit het project verspreid naar cliëntenverenigingen en cliëntenkoepels;
2.11 Bewust/actief kennis en/of nieuws vanuit het project verspreid onder het brede publiek;
5.2 Ervaren synergie tussen projecten MESP.
De gegevens voor het in kaart brengen van de indicatoren zullen door het Trimbos-instituut worden verzameld door middel van het bestuderen van de projectvoorstellen, de voortgangsrapportages en door interviews met de projectleiders te houden.
-
1. Type kennis
Welk type kennis wordt verkregen? (Aan de hand van de criteria van het ZonMw-programma)
Indicator Wijze van dataverzameling Opmerkingen 1.1 Aantal gehonoreerde projecten fundamenteel en toegepast onderzoek Bestuderen van projectvoorstellen 1.2 Aantal gehonoreerde projecten per prioritair thema genoemd in het ZonMw-programma Bestuderen van projectvoorstellen 1.3 Aantal gehonoreerde projecten per risicogroep genoemd in het ZonMw-programma Bestuderen van projectvoorstellen 1.4 Type kennisproduct dat het project oplevert: ondersteunend instrument, interventie (protocol), informatievoorziening (bijv. website), richtlijn, onderwijs (ook: e-learning) Bestuderen van projectvoorstellen
Interviews met projectleiders
-
2. Verspreiding
Hoe wordt de kennis verspreid? Het gaat om acties vanuit de onderzoekers zelf.
Indicator Wijze van dataverzameling Opmerkingen 2.1 Presentaties tijdens bijeenkomsten, symposia, congressen etc. Bestuderen van voortgangsrapportages
Interviews met projectleiders
Op welke belanghebbenden is de verspreiding gericht in termen van GGZ, algemene gezondheidszorg, onderwijs, algemene publiek, patiënten, beleid en wetenschap? 2.2 Het geven van trainingen of onderwijs over de onderzoeksresultaten Bestuderen van voortgangsrapportages
Interviews met projectleiders
Op welke belanghebbenden is de verspreiding gericht in termen van GGZ, algemene gezondheidszorg, onderwijs, algemene publiek, patiënten, beleid en wetenschap? 2.3 Aantal nationale en internationale publicaties in peer-reviewed journals Bestuderen van voortgangsrapportages
Interviews met projectleiders
Op welke belanghebbenden is de verspreiding gericht in termen van GGZ, algemene gezondheidszorg, onderwijs, algemene publiek, patiënten, beleid en wetenschap? 2.4 Aantal open access publicaties Bestuderen van voortgangsrapportages
Interviews met projectleiders
Op welke belanghebbenden is de verspreiding gericht in termen van GGZ, algemene gezondheidszorg, onderwijs, algemene publiek, patiënten, beleid en wetenschap? 2.5 Aantal publicaties in vakbladen of andersoortige tijdschriften Bestuderen van voortgangsrapportages
Interviews met projectleiders
Op welke belanghebbenden is de verspreiding gericht in termen van GGZ, algemene gezondheidszorg, onderwijs, algemene publiek, patiënten, beleid en wetenschap? 2.6 Aantal en type verspreide nieuwsberichten over het onderzoek (ook website en social media berichten over project) Bestuderen van voortgangsrapportages
Interviews met projectleiders
Op welke belanghebbenden is de verspreiding gericht in termen van GGZ, algemene gezondheidszorg, onderwijs, algemene publiek, patiënten, beleid en wetenschap? 2.7 Aantal en type protocollen (voor behandeling of anderszins) die verspreid en beschikbaar gesteld zijn aan de praktijk Bestuderen van voortgangsrapportages
Interviews met projectleiders
Op welke belanghebbenden is de verspreiding gericht in termen van GGZ, algemene gezondheidszorg, onderwijs, algemene publiek, patiënten, beleid en wetenschap? 2.8 Andere typen kennisverspreiding, zoals contributies aan boekhoofdstukken of e-learnings Bestuderen van voortgangsrapportages
Interviews met projectleiders
Op welke belanghebbenden is de verspreiding gericht in termen van GGZ, algemene gezondheidszorg, onderwijs, algemene publiek, patiënten, beleid en wetenschap? 2.9 Data worden beschikbaar gesteld (open access) Bestuderen van voortgangsrapportages
Interviews met projectleiders
Op welke manier en voor wie wordt het beschikbaar gesteld? 2.10 Bewust/actief kennis en/of nieuws vanuit het project verspreid naar cliëntenverenigingen en cliëntenkoepels Bestuderen van voortgangsrapportages
Interviews met projectleiders
Op welke manier is dit gedaan en naar welke verenigingen/koepels/stichtingen? 2.11 Bewust/actief kennis en/of nieuws vanuit het project verspreid onder het brede publiek Bestuderen van voortgangsrapportages
Interviews met projectleiders
Op welke manier is dit gedaan? -
3. Interesse belanghebbenden
Welke belanghebbenden tonen interesse, worden betrokken of bereikt?
Indicator Wijze van dataverzameling Opmerkingen 3.1 Welke verschillende disciplines en/of belanghebbenden zijn betrokken bij de uitvoering van het project? Projectvoorstel Belanghebbenden kunnen bijvoorbeeld onderzoekers, patiënten, naasten, hulpverleners of beleidsmakers zijn. 3.2 Deelname van belanghebbenden in projectteams (bijvoorbeeld bij welke overleggen aanwezig?) Bestuderen van voortgangsrapportages
Interviews met projectleiders
3.3 Welke verschillende disciplines zijn vertegenwoordigd door de coauteurs van publicaties? Publicaties aangeleverd door projectleiders 3.4 Is er sprake van cofinanciering? Door wie? Projectvoorstel 3.5 Leidt het gehonoreerde project tot nieuwe projectvoorstellen of samenwerking? Interviews met projectleiders Zo ja, doel en onderwerp van samenwerking en met wie. 3.6 Is het de bedoeling dat de samenwerking tijdens het project wordt voortgezet na afloop van het project (kennisnetwerk)? Bestuderen van voortgangsrapportages
Interviews met projectleiders
Zo ja, toelichting op deelnemers, doel en inhoud. 3.7 Presentaties op uitnodiging bij bijeenkomsten, symposia, congressen etc. Bestuderen van voortgangsrapportages
Interviews met projectleiders
Door wie en met welk doel? 3.8 Nieuwsberichten/artikelen geschreven door belanghebbenden over het project. (Kan ook verwijzing op websites zijn naar het project.) Bestuderen van voortgangsrapportages
Interviews met projectleiders
Door wie en met welk doel? 3.9 Aantal views, deelacties, likes en commentaar van belanghebbenden op online of social media posts over het project. Projectleiders leveren top 5 berichten aan (meest populaire berichten) Door wie? 3.10 Worden projectvertegenwoordigers uitgenodigd om deel te nemen aan adviescommissies of beleidscommissies vanwege het project? Bestuderen van voortgangsrapportages
Interviews met projectleiders
Welke en met welk doel? 3.11 Is er aandacht vanuit (massa)media voor het project? Bestuderen van voortgangsrapportages
Interviews met projectleiders
Welke en met welk doel? -
4. Gebruik van kennis
Op welke manier wordt de kennis daadwerkelijk toegepast?
Indicator Wijze van dataverzameling Opmerkingen 4.1 Citaties wetenschappelijke publicaties Citatie search door het Trimbos-instituut Op basis van aangeleverde publicaties van projectleiders. 4.2 Aantal downloads, deel- en lees-activiteiten van wetenschappelijke publicaties Altmetrics/ResearchGate metrics (waar beschikbaar) door het Trimbos opgezocht Op basis van aangeleverde publicaties van projectleiders. 4.3 Bij welke opleidingsactiviteiten wordt kennis toegepast (ook e-learning)? Voortgangsverslag
Interviews met projectleiders
4.4 Hoe vaak worden online producten (ontwikkeld in het kader van het project) gebruikt of bezocht? Interviews met projectleiders 4.5 Wordt verkregen kennis genoemd in relevante richtlijnen? Interviews met projectleiders Zo ja, welke richtlijn en waar in richtlijn? 4.6 Wordt kennis genoemd in beleidsstukken? Interviews met projectleiders Zo ja, welke en in het kader waarvan? -
5. Synergie tussen projecten
Indicator Wijze van dataverzameling Opmerkingen 5.1 Deelname aan bijeenkomsten MESP-project Registratie door Trimbos-instituut 5.2 Ervaren synergie tussen projecten MESP Bijvoorbeeld door bijeenkomsten, ontmoetingen of samenwerking buiten MESP of door aanpassingen project door synergie MESP. -
Bijlage 2 – Interviewguide
-
Definitie van maatschappelijke relevantie
We evalueren aan de hand van indicatoren hoe de projecten die gehonoreerd zijn binnen het ZonMw-suïcidepreventieprogramma, tijdens de looptijd hebben bijgedragen aan de maatschappelijke relevantie van het programma.
We hebben je gevraagd om voorafgaand aan het interview de indicatoren die we gezamenlijk hebben opgesteld om het programma te evalueren, door te nemen. Interactie met stakeholders is een belangrijk onderliggend thema van deze indicatoren.
Ze zijn opgedeeld in drie groepen:
de mate van verspreiding van onderzoeksresultaten (voorbeeld project) door de onderzoekers;
de mate waarin er interesse en waardering is van relevante stakeholders voor het onderzoek (voorbeeld project);
het daadwerkelijke gebruik van de onderzoeksresultaten door relevante stakeholders.
Met deze informatie in het achterhoofd wil ik je graag vragen:
Is/was er een definitie van maatschappelijke relevantie binnen het project?
Zo ja, welke?
Hoe kijk je aan tegen onze definitie van maatschappelijke relevantie?
NB: interacties met stakeholders. Welke interacties en welke stakeholders zijn afhankelijk van de context van het onderzoek?Heb je, nu je verder bent in het project of het project is afgerond, andere/nieuwe indicatoren die je belangrijk vindt in het kader van het bereiken van maatschappelijke relevantie?
-
Vergroten van maatschappelijke relevantie door interactie met stakeholders
Binnen jullie project zijn de volgende stakeholders benoemd (bespreek):
[Per project benoemen welke stakeholders zijn gedefinieerd aan de hand van de presentaties bij de werkconferenties van 24-05-2017 en de projectvoorstellen]Is dit juist?
Zo nee, wie zie jij als stakeholders?
Wie zijn de eindgebruikers?
Is dit volledig?
Heeft het project vertraging opgelopen?
Zo ja, welke gevolgen heeft dit voor het bereiken van stakeholders?
Hebben jullie alle stakeholders kunnen bereiken?
Zo ja, wat werkte goed?
Zo nee, waar lagen knelpunten?
Zo nee, wat zijn verbeterpunten?
Hoe actief zijn stakeholders betrokken bij jullie project?
[Hoeveel moeite heb je zelf gedaan? Was er een specifiek plan of zag je wel wie erop af kwam? Bij weinig interactie, had je meer kunnen doen?
Benoem indien nodig ook het concept directe en indirecte interacties om te peilen of en hoe stakeholders betrokken zijn bij het project.]Wat werkte goed?
Waar lagen knelpunten?
Wat zijn verbeterpunten?
In hoeverre is het gelukt om de eindgebruikers (i.e. specifieke stakeholders: de doelgroep waarvoor het product ontwikkeld is) te betrekken bij de uitvoering van het onderzoek?
Indien het niet helder is, eerst navragen wie de eindgebruikers zijn.
Uitvoeren betekent hier niet slechts als deelnemer, meer als collega (bijv. actieve deelname projectgroep, advies en input geven).Hoe ging dat?
Had het toegevoegde waarde?
Waar blijkt dat voor jou uit?
Zijn er stakeholders die nauwelijks of niet betrokken zijn die wel aan de start genoemd zijn als relevant?
Zo ja, wat is de reden hiervan geweest?
Zijn er stakeholders die vooral belangrijk zijn voor het ontvangen of delen van de kennis van jullie project?
[Met andere woorden: zijn er bepaalde stakeholders die vooral belangrijk zijn voor het bewerkstelligen van maatschappelijke relevantie?]Waar leid je dat uit af?
Zijn er stakeholders waar je van tevoren niet aan had gedacht die uiteindelijk wel geïnteresseerd waren?
Zo ja, welke?
Zo ja, zou je die in een volgend project meenemen?
Heb je de opgedane kennis, vaardigheden, producten ook gedeeld of toegepast buiten de academische setting?
[Denk hierbij aan: – Binnen de zorg: de GGZ, de algemene (publieke) gezondheidszorg, de sociaal-maatschappelijke hulpverlening en E-hulp – Buiten de zorg: het sociaaleconomisch domein, onderwijs, media, verkeer en vervoer]Zo ja, welke?
-
Bereiken van maatschappelijke relevantie en het meten hiervan
Ben je bewust bezig (geweest) met acties gericht op het vergroten van de maatschappelijke relevantie van je project?
Kun je hier een voorbeeld van geven?
Ben je bewust bezig (geweest) met het meten van de maatschappelijke relevantie van jullie project?
Zo ja, hoe heb je dit aangepakt?
-
Belemmerende/bevorderende factoren om maatschappelijke relevantie te bereiken
Is/was het haalbaar om tijdens de looptijd van je project de maatschappelijke relevantie te vergroten?
Waarom wel/niet?
Wat zijn/waren uitdagingen?
Hoe ben je met deze uitdagingen omgegaan?
-
Synergie
Een van de indicatoren van maatschappelijke relevantie binnen dit onderzoek is synergie tussen de projecten. Uit de vragenlijst blijkt dat je de synergie een … geeft op een schaal van 0 tot 10.
Kun je dit cijfer verder toelichten?
Wat ging goed?
Waar lagen knelpunten?
Wat zijn verbeterpunten?
Zo nee, is er een reden dat dit niet heeft plaatsgevonden?
-
Sustainability and reflection
Ben je van plan om de maatschappelijke relevantie van de resultaten van jullie project in de tijd te volgen?
Heb je daar een plan voor?
Zo ja, hoe ziet dat plan eruit?
Zo nee, zou je dit bij toekomstige projecten wel doen? + toelichting vragen
Als morgen iemand een vergelijkbaar project zou starten als dat van jullie, wat zouden dan je top 3 tips zijn om ervoor te zorgen dat de bevindingen maatschappelijk relevant zijn?
-
Tot slot
Is er nog iets dat je met ons zou willen delen over dit onderwerp?
-
Bijlage 3 – Overzicht van de codes voor het coderen van de interviews
Lijst met codes Definitie van maatschappelijke relevantie Indicatoren voor maatschappelijk relevantie Aanvullingen op indicatoren binnen het project Meest belangrijke stakeholders voor het projectteam Klankbord Betrokkenheid eindgebruikers (met ‘contact met de doelgroep’ als subcategorie) Betrokkenheid van andere stakeholders (e.g. ouders, zorgprofessionals, beleidsmakers, etc.) Belemmerende factoren Bevorderende factoren Disseminatiestrategieën Acties voor vergroten van de maatschappelijk relevantie Verandering van de interventie Reden voor wetenschappelijk publiceren Ideeën voor vervolgprojecten Synergie Top 3 tips voor anderen
Literatuur