Publicatiedruk bestaat niet (en als het er was, zou ’t goed zijn)
Besselaar, P. van den, Heyman, U., & Sandström, U. (2017). Perverse effects of output-based research funding? Butler’s Australian case revisited, Journal of Informetrics, 11: 905-918.
Butler, L. (2003). Explaining Australia’s increased share of ISI publications - the effects of a funding formula based on publication counts. Research Policy,143-155.
CBS (2011). Beroepsbevolking van niet-gepromoveerde en gepromoveerde academici tussen 15 en 65 jaar naar achtergrondkenmerken 2006-2009. Den Haag, CBS.
Council of Graduate Schools (2017). PhD Career pathways Alumni Survey.
Fanelli, D., & Larivière, V. (2016). Researchers’ Individual Publication Rate Has Not Increased in a Century. PLoS ONE, 3: e0149504. https://doi.org/10.1371/journal.pone.0149504.
Grouw, Y. La (2019). Seniors, vermijd wreed optimisme en gebruik je positie. Beleid en Maatschappij, 46 (1).
Larivière, V., & Costas, R. (2016). How Many Is Too Many? On the Relationship between Research Productivity and Impact. PLoS ONE, 9: e0162709.
Sandström, U., & Besselaar, P. van den (2016). Quantity and/or Quality? The Importance of Publishing Many Papers. PLoS ONE, 11 (11): e0166149.
Simonton, D.K. (2008). Creativity in Science: Chance, Logic, Genius, and Zeitgeist. Cambridge: Cambridge University Press.
Het is een beetje treurig, een workshop tijdens een summerschool waar jonge onderzoekers wordt verteld zich niets gelegen te laten liggen door de publicatiedruk, maar zich te concentreren op kwaliteit – en waarbij wat kwaliteit is in het vage wordt gelaten. De belangrijkste les van de workshop lijkt dat er twee partijen zijn in de wetenschap, waarbij de wetenschapsmanagers (de anderen) alleen maar publicaties tellen, terwijl de seniors die de summerschool organiseren (‘wij’) natuurlijk voor kwaliteit gaan. Deze voorvechters van wetenschappelijke kwaliteit beschrijven vervolgens hoe ze het afleggen tegen de academische managers, en hoe ze zich bij benoemingen moeten confirmeren aan kwantitatieve publicatie-eisen. Doordat die managers de macht hebben, worden ze gedwongen zelf ook output te tellen. Dat aanpassen geldt blijkbaar niet voor de promovendi, want die krijgen het advies het publish or perish te negeren. De seniors raden de jonge onderzoekers aan vooral niet voor output te gaan, maar voor kwaliteit, en lang te werken aan lange doorwrochte artikelen in belangrijke tijdschriften. Dat je je daarmee uit de markt kunt prijzen omdat dat ene ‘topartikel’ niet (op tijd) af komt, is blijkbaar collateral damage. Ten slotte, als die seniors gevraagd wordt wat kwaliteit in hun visie is, komen er geen antwoorden. Wat is hier aan de hand?
De ietwat ironische beschrijving van de discours in de workshop door Yvonne La Grouw (elders in dit nummer) maakte me nieuwsgierig naar die summerschool. Deze is eenvoudig te vinden op het web, inclusief de namen van de drie seniors die de betreffende workshop geleid hebben en die figureren in de discoursanalyse door Yvonne La Grouw. Van een van de seniors heb ik even de homepage gezocht en de publicatielijst bekeken. De betreffende senior heeft één boek geschreven en verder alleen artikelen en hoofdstukken. De achttien artikelen die in het Web of Science staan zijn nou niet erg een indicatie van lang en doorwrocht: slechts acht van deze achttien zijn langer dan tien pagina’s. Maar naast dat de seniors blijkbaar niet kunnen uitleggen wat kwaliteit is, doen ze zelf iets heel anders dan ze de juniors adviseren: dit lijkt me minder wreed optimisme dan wreed cynisme.
Dan nu de inhoudelijke kwestie: is er een tegenstelling tussen publicatiedruk en wetenschappelijke kwaliteit? De allereerste vraag is natuurlijk of publicatiedruk wel bestaat. Er wordt veel over gesproken, maar waaruit blijkt publicatiedruk? Als het bestaat, dan zou je verwachten dat wetenschappers meer zijn gaan publiceren. Dat kan vrij eenvoudig worden uitgezocht en dat is ook gedaan (Fanelli & Larivière, 2016). Publicatielijsten van onderzoekers worden inderdaad steeds langer. Maar daarbij moeten we wel in de gaten houden dat ook het aantal coauteurs steeds meer toeneemt: er zijn steeds meer auteurs op steeds meer artikelen. Als iedere auteur het hele artikel kan meetellen, dan is er inderdaad een sterke toename. Het ligt echter voor de hand om te corrigeren voor het aantal coauteurs, en iedere auteur slechts een deel van de publicatie toe te kennen (‘fractioneel tellen’): bij N auteurs heeft iedereen 1/N publicatie. En wat blijkt dan? Over een periode van honderd jaar is de output per fulltime onderzoeker min of meer constant gebleven, namelijk ongeveer één publicatie per jaar. Kortom, de publicatielijsten worden langer, maar alleen doordat men steeds vaker auteur is van artikelen met steeds meer auteurs. Wellicht is er meer imagodruk dan publicatiedruk: je moet veel op je lijst hebben, ook al zijn je individuele bijdragen steeds geringer.
Waarom dan toch die focus op publicatiedruk? Ik zou willen suggereren dat die discussie over iets anders gaat, namelijk over concurrentiedruk. Die bestaat wel. In de vroege loopbaan is er een concurrentie om binnen te komen; in de latere loopbaan is er concurrentie om hogere posities. Er lijken inmiddels meer jong gepromoveerden dan dat er open posities in het wetenschapssysteem zijn. Dat was altijd al zo, en het grootste deel van de gepromoveerden werkte altijd al buiten de wetenschap. Dat is goed voor de samenleving, want hoogopgeleiden kunnen op veel plekken belangrijke bijdragen leveren. Dat is ook goed voor de wetenschap, want doordat er veel gepromoveerden zijn, is er meer talent om uit te kiezen.
Op de achtergrond speelt dat enerzijds academische carrières onverminderd populair blijven, maar het aantal mogelijkheden in ieder geval relatief kleiner wordt. Waarom is dat zo? Dat komt door de veranderingen in de wetenschapsbeoefening. Als onderzoek complexer wordt en meer arbeidsinzet kost dan voorheen, wordt de verhouding tussen het onderzoekswerk en leiding eraan geven ongunstiger: meer promovendi en postdocs ten opzichte van seniorrollen. Op zich is dat geen probleem, want gepromoveerden kunnen al heel lang heel goed op andere plekken aan de slag (CBS, 2011) en zien dat ook: het grootste deel van de gepromoveerden zouden het promotietraject weer afleggen (Council of Graduate Schools, 2017). Maar omdat velen graag in de academie willen blijven, is er een sterke concurrentie. Om een kans te maken moet je – net als in sport of kunst – heel hard werken. Als je dat ziet als slecht voor je welzijn (‘work-life balance’), dan kun je waarschijnlijk beter een loopbaan buiten de academie ambiëren voor na de promotie. Onderzoek laat zien dat gepromoveerden leuker werk hebben en minder vaak werkloos zijn – dus promoveren is het waard, ook als je niet in de wetenschap verder gaat (CBS, 2011).
Overigens gaat die concurrentie helemaal niet alleen over onderzoeksprestaties, want kwaliteit heeft veel dimensies. Zo wordt er bij sollicitaties naar gekeken of iemand gemotiveerd is, een harde werker, een teamspeler is. Natuurlijk is wetenschappelijke kwaliteit een cruciale dimensie, en als je commissieleden (jawel, commissieleden, niet managers) vraagt waar dat uit blijkt, gaat het om publicaties, om originaliteit, om onafhankelijkheid, om binnengehaalde beurzen, om een paar criteria te noemen. Kortom, publicaties zijn cruciaal, maar zeker niet het enige.
Het advies te werken aan een toppublicatie is daarom helemaal fout. Promotoren moeten de promovendi helpen creativiteit te ontwikkelen en nieuwe ideeën te vertalen in onderzoekbare vragen, het onderzoek dan efficiënt uit te voeren en erover te publiceren. Of het een toppublicatie is, zal op de lange termijn de geschiedenis leren, maar op korte termijn blijkt dat door een herkenning door de community, en die blijkt doordat collega’s uit het specialisme (en soms ver daarbuiten) de publicatie citeren in positieve of negatieve zin.
Met andere woorden, toppublicaties zijn veel geciteerd en niet gebaseerd op de zogenoemde toptijdschriften: ook daar staat veel niet of nauwelijks geciteerd werk in. Door de focus weg te halen van de tijdschriften gaat het weer om de inhoud – doe goed onderzoek, probeer daar goed over te schrijven, en probeer het te publiceren: snelheid is belangrijk – vanwege de onvermijdelijke concurrentie en selectie.
Een belangrijk argument tegen publicatiedruk is dat de focus op meer publicaties zou leiden tot lagere kwaliteit en vooral tot meer betekenisloze publicaties. Dit argument werd ook op de summerschool herhaald, maar de vraag is of dat ook zo is. Het is de discussie over de foute managers die verkeerde incentives (veel publiceren) in het systeem inbouwen, die dan weer onbedoelde negatieve consequenties hebben voor goedwillende onderzoekers. In Nederland is Science in Transition de bekendste vertegenwoordiger van dit standpunt. Maar hoe zit het met de empirische evidentie? Als je de literatuur bekijkt, dan is er eigenlijk maar één case waarnaar steeds wordt verwezen: het Australische wetenschapssysteem. Dat was begin jaren negentig in een ‘performance crisis’, omdat het aandeel in de internationale output en impact afnam. Om het tij de keren werd een nieuw beleid ingevoerd, namelijk de financiering van universiteiten werd (gedeeltelijk) gebaseerd op aantallen internationale publicaties. In het wetenschapsonderzoek was dit het voorbeeld: onderzoek had namelijk laten zien dat de output in Australië na deze beleidsverandering weer flink omhoog ging, maar dat de gemiddelde impact van die publicaties lager werd (Butler, 2003). Dit resultaat werd door velen omarmd, maar het is gewoon fout. Een nieuwe analyse van de Australische case laat zien dat niet alleen de hoeveelheid publicaties toenam, maar ook de impact (Van den Besselaar, Heyman & Sandström, 2017).
Dat kwantiteit niet de vijand maar de vriend is van kwaliteit, blijkt ook op individueel niveau. Een analyse van de relatie tussen output en impact van alle Zweedse wetenschappers laat dit zien: hoe meer publicaties, hoe meer veel geciteerde publicaties. En in de meeste disciplines is er sprake van een sterker dan lineair verband, van een toenemende meeropbrengst: (Sandström & Van den Besselaar, 2016). Natuurlijk zijn citaties niet een directe maat voor kwaliteit, maar veel geciteerde papers zijn daarvoor wel een bruikbare indicator: het laat zien welke bijdragen door de wetenschappelijke gemeenschap belangrijk worden gevonden.
Dat kwaliteit en kwantiteit vrienden zijn, is niet verwonderlijk. Want een belangrijke eigenschap van onderzoekers is: creativiteit, het bedenken van nieuwe dingen, en het onderzoek uitvoeren om ze te testen. Hoe creatiever een onderzoeker, hoe meer nieuwe ideeën en hoe meer papers om die ideeën onder de aandacht te brengen van collega’s. De kans dat een idee werkelijk belangrijk blijkt, is natuurlijk klein. Maar zoals we lieten zien: hoe meer nieuwe ideeën, hoe groter de kans op goede ideeën (Sandström & Van den Besselaar, 2016; Larivière & Costas, 2016). Psychologische theorieën over wetenschappelijke creativiteit ondersteunen dit (Simonton, 2008). Een goede onderzoeker heeft daarom vaak een hoeveelheid van papers in de pipeline: een paar in voorbereiding, een paar aan het schrijven en een paar ‘submitted’, als verslag van een serie creatieve ideeën. En dit is wat jonge onderzoekers moeten leren.
De populaire discussie over kwaliteit versus kwantiteit zoals ironisch weergegeven door La Grouw lijkt daarom een onschuldfantasie. Jezelf neerzetten als ‘kwaliteit’ versus de managers die alleen maar ‘tellen’ en niet geïnteresseerd zijn in kwaliteit, dat klinkt natuurlijk heel mooi. Het legt de problemen bij ‘anderen’. Het vertalen daarvan in adviezen aan promovendi om een enkele ‘toppublicatie’ na te streven en niet proberen veel te publiceren, is echter misleidend. De vraag van Yvonne La Grouw over wat seniors kunnen doen om promovendi te helpen kan worden beantwoord. Promovendi moeten zich ontwikkelen tot creatieve onderzoekers met een reeks aan innovatieve ideeën (en een daaruit volgende reeks publicaties). Een goede begeleider helpt hen daarbij.