DOI: 10.5553/Bw/016571942019073004003

Bestuurs­wetenschappenAccess_open

Thema

Principes voor goed lokaal bestuur in de digitale samenleving

Een aanzet tot een normatief kader

Auteurs
DOI
Toon PDF Toon volledige grootte
Samenvatting Auteursinformatie Statistiek Citeerwijze
Dit artikel is keer geraadpleegd.
Dit artikel is 0 keer gedownload.
Aanbevolen citeerwijze bij dit artikel
Prof. dr. Albert Meijer, Dr. Mirko Tobias Schäfer en Dr. Martiene Branderhorst, 'Principes voor goed lokaal bestuur in de digitale samenleving', BW 2019-4, p. 8-23

    This article presents a normative framework for good local governance in the digital society. We build on the five principles of Frank Hendriks (laid down in an article in Urban Affairs Review in 2014): participation, effectiveness, learning ability, procedural justice and accountability. An analysis of these five principles leads to the refinement of these principles for the digital society. The overarching points are that attention is needed for the possibility of human contact, that avoiding discrimination must be central, that higher demands are made with regard to speed of action, that the principles increasingly apply to networks of organizations, and that the principles increasingly apply to the design of systems. This overview thus provides concrete tools for organizations that want to reflect with citizens and stakeholders on the extent to which they are able to achieve good local governance in the digital society.

Dit artikel wordt geciteerd in

    • Dit artikel presenteert een normatief kader voor goed lokaal bestuur in de digitale samenleving. We bouwen hierbij voort op de vijf principes van Hendriks (2014): participatie, effectiviteit, leervermogen, procedurele rechtvaardigheid en verantwoording. Een analyse van deze vijf principes leidt tot de aanscherpingen van deze principes voor de digitale samenleving. Als overkoepelende punten noemen we dat er aandacht nodig is voor de mogelijkheid tot menselijk contact, dat het vermijden van discriminatie een centrale plek dient te hebben, dat er hogere eisen gelden ten aanzien van snelheid van handelen, dat de principes steeds meer gelden voor netwerken van organisaties, en dat de principes steeds meer gelden voor het ontwerp van systemen. Dit overzicht biedt daarmee concrete handvatten voor organisaties die met burgers en stakeholders willen reflecteren op de mate waarin zij in staat zijn goed lokaal bestuur te realiseren in de digitale samenleving.

    • 1 Inleiding

      De snelle technologische veranderingen plaatsen lokaal bestuur voor grote uitdagingen.1x In dit artikel gebruiken we steeds de term ‘lokaal bestuur’, maar hiermee bedoelen we nadrukkelijk zowel gemeentelijk als provinciaal bestuur. Sterker nog: men kan zich afvragen of ons betoog niet net zo goed van toepassing is op nationaal bestuur. Wij hebben het ontwikkeld voor lokaal en regionaal bestuur, maar willen later graag verkennen in hoeverre dit breder toepasbaar is. Hoe kan de technologie effectief worden ingezet? Welke risico’s spelen daarin een rol? Welke competenties vraagt dit van de organisatie? Het beantwoorden van deze vragen vergt niet alleen een begrip van de technologie, maar juist ook van de relatie tussen technologische dynamieken en de kenmerken van de publieke sector. Recente rapporten benadrukken de noodzakelijkheid van verantwoorde datapraktijken (Kool e.a., 2017), de rol van waarden bij technologische keuzen (Meijer, 2015) en de omgang met de grote data brokers en platformbeheerders (Van Dijck e.a., 2016). Eenvoudige oplossingen zijn niet voorhanden, maar er is een noodzaak om niet alleen aandacht te besteden aan de effectiviteit van systemen, maar ook aan de vraag hoe goed lokaal bestuur in de informatiesamenleving eruit dient te zien. Een recent voorbeeld illustreert de complexiteit:

      De Regio Lekstroom – een samenwerkingsverband van de gemeenten Nieuwegein, Houten, Lopik, Vijfheerenlanden en IJsselstein – maakt gebruik van een algoritme om fraude met bijstandsuitkering op te sporen. Ieder kwartaal leggen zij alle klanten langs het standaardprofiel van de bijstandsfraudeur. En op basis van de scores die het algoritme toekent, wordt de inschatting gemaakt van het risico. Bij de tien klanten bij wie het risico het hoogst is, wordt nader onderzoek gedaan. Om discriminatie te voorkomen worden niet alle persoonskenmerken gebruikt: gegevens over afkomst, etniciteit, religie, woonplaats en medische situatie worden niet gebruikt. De regio bekijkt nu op welke manier ze burgers informeren over de inzet van dit algoritme. 2x NOS, Overheid gebruikt op grote schaal voorspellende algoritmes, ‘risico op discriminatie’, 29 mei 2019. Beschikbaar op: https://nos.nl/artikel/2286848-overheid-gebruikt-op-grote-schaal-voorspellende-algoritmes-risico-op-discriminatie.html.

      Het voorbeeld van de Regio Lekstroom laat zien dat de keuzen voor de inzet van het algoritme niet alleen gaan over effectiviteit, maar ook over wat wel of niet wenselijk is. En daarmee gaat het dus over goed bestuur. Goed lokaal bestuur is een belangrijke voorwaarde voor welvaart en welzijn in gemeenten en provincies. En het belang van het lokaal bestuur hierbij is de afgelopen jaren alleen maar toegenomen (Barber, 2013; Sassen, 2018). In de afgelopen jaren zijn er verschillende codes voor goed bestuur ontwikkeld en deze hebben grote invloed gehad op het denken over de kwaliteit van het lokale bestuur. We zien echter dat de omgeving waarbinnen dit lokaal bestuur functioneert snel verandert door processen van informatisering en dataficatie. Deze processen leiden enerzijds tot mogelijkheden – denk hierbij aan gebruik van data science bij beleidsontwikkeling, algoritmen voor de beleidsuitvoering, sensornetwerken voor het sturen van mobiliteit, et cetera – maar anderzijds ook tot uitdagingen voor de organisatie – zoals datalekken, privacyschendingen, nieuwe openbaarheidsvereisten, et cetera. Deze veranderingen vragen dat we de principes ten aanzien van goed lokaal bestuur herijken, zodat deze goed zijn afgestemd op de technologische veranderingen. In dit artikel stellen wij daarom de volgende vraag centraal: hoe kunnen we bestaande principes voor goed lokaal bestuur vertalen naar de informatiesamenleving?

      Het doel van dit artikel is een bijdrage te leveren aan een normatief kader dat ons helpt om het functioneren van het lokaal bestuur te beoordelen in het licht van de vele technologische ontwikkelingen. Hoe moeten gemeenten bijvoorbeeld omgaan met algoritmen voor de opsporing van bijstandsfraude? Dit normatieve kader is niet bedoeld om op een juridische manier op basis van rechtsbeginselen het functioneren van het bestuur te beoordelen (zie daarvoor bijvoorbeeld het werk van Van Eck, 2018). Onze intentie is veeleer om – op basis van een deugdenethiek – richting te geven aan de wijze waarop bestuurders en ambtenaren gezamenlijk met stakeholders en burgers invulling geven aan de organisatie. Het normatieve kader biedt ankerpunten voor een debat over de kwaliteit van het lokaal bestuur in de informatiesamenleving.

      In dit artikel presenteren we eerst een bespreking van veranderingen in het bestuur van de informatiesamenleving. Dan bespreken we de literatuur over goed lokaal bestuur. Vervolgens brengen we deze kaders bij elkaar en bespreken we hoe de eisen kunnen worden vertaald naar de nieuwe situatie. We eindigen het artikel met conclusies, de identificatie van enkele algemene patronen en een agenda voor onderzoek naar goed lokaal bestuur in de informatiesamenleving.

    • 2 Zoektocht naar nieuwe waardeoriëntatie voor informatietijdperk

      De snelle technologische en maatschappelijke dynamieken leiden tot een herpositionering van het lokaal bestuur. Deze informatisering is al jaren gaande, maar met de recente opkomst van met name algoritmen en data science is dit in een stroomversnelling gekomen. De relatie tussen organisatorische capaciteit, publieke opgaven en legitimiteit wordt opnieuw doordacht om tot effectieve en verantwoorde keuzen te komen over het gebruik en de regulering van nieuwe technologieën. Bovendien leidt het proces van decentralisatie in Nederland tot een versterkte druk op lokaal bestuur om te innoveren. Gebruik van nieuwe technologieën worden dan ook vaak als middel gezien om de additionele taken efficiënt uit te voeren (Maarse & Jeurissen, 2016). Deze ontwikkelingen hebben ertoe geleid dat het gebruik van nieuwe technologieën in het lokaal bestuur wordt gezien als belangrijk voor het bereiken van allerlei beleidsdoelstellingen en voor het vergroten van de efficiency van het lokaal bestuur.

      Bij het gebruik van nieuwe systemen in het lokaal bestuur gaat het echter niet alleen om effectiviteit en efficiency. In de afgelopen jaren verscheen een reeks publicaties die met name benadrukken hoe data en algoritmen waarden bevatten en kunnen aantasten. Voorbeelden hiervan zijn het gebruik van rekenmodellen ter evaluatie van leraren (O’Neil, 2016), het inzetten van algoritmen om uitkeringsaanvragen te beoordelen (Eubanks, 2018), en de inschatting van kans op recidive (Angwin e.a., 2016). O’Neil (2016) laat zien dat het gebruik van algoritmen en data-analyse kan leiden tot een onterechte beoordeling van de daadwerkelijke kwaliteit van de leraar, Eubanks (2018) laat zien dat gebruik van algoritmen in het sociale domein in de Verenigde Staten ongelijkheid kan versterken, en Angwin e.a. (2016) laten zien dat de risico-inschatting van recidive de facto een racistische oriëntatie kan hebben. Deze publicaties hebben de noodzaak voor een verantwoorde omgang met algoritmen en data-analyses ook in Nederland terecht op de agenda weten te plaatsen.

      Een breder perspectief op het gebruik van digitale technologieën in het lokaal bestuur stelt niet de vragen van effectiviteit en efficiency centraal, maar de zoektocht naar publieke waarde. Lokale overheden in Nederland worstelen met deze nieuwe uitdagingen, maar zoeken daarbij ook naar kaders die hun houvast kunnen geven. Symptomatisch zijn initiatieven als de Coalition of Cities for Digital Rights, mede geïnitieerd door de gemeente Amsterdam,3x Zie https://citiesfordigitalrights.org. de spelregels voor de digitale stad die zijn ontwikkeld door de gemeenten Eindhoven en Amsterdam,4x Zie https://vng.nl/files/vng/brieven/2018/20180502_ledenbrief_spelregels-voor-de-digitale-stad.pdf. of het manifesto voor verantwoorde datapraktijken, ontwikkeld door het Economic Board Amsterdam en de gemeente Amsterdam.5x Zie https://tada.city/en/about. Meer dan slechts één manifesto is te zien bij de duidelijke implementatie van waarden in datapraktijken bij de gemeente Barcelona (www.barcelona.cat/digitalstandards/en/init/0.1/index.html). Een belangrijk kader hiervoor is ontwikkeld door het Rathenau Instituut in het rapport Opwaarderen. Borgen van publieke waarden in de digitale samenleving (Kool e.a., 2017). Zij geven aan dat de volgende zeven thema’s aandacht behoeven: privacy, autonomie, veiligheid, controle over technologie, menselijke waardigheid, rechtvaardigheid en machtsverhoudingen.

      Het model van het Rathenau Instituut biedt belangrijke inzichten in de rol van waarden bij het vormgeven van lokaal bestuur in de informatiesamenleving, maar het staat los van reeds bestaande beoordelingskaders. Ook zijn deze eisen vanuit de samenleving geformuleerd en dienen ze te worden doorvertaald naar eisen die aan overheidsorganisaties kunnen worden gesteld. Daarom willen wij de inzichten uit deze rapporten koppelen aan principes voor goed lokaal bestuur. Wij willen dit kader ‘opwaarderen’ naar de informatiesamenleving, zodat dit kan gelden als uitgangspunt voor een gesprek binnen overheden, maar juist ook in dialoog met stakeholders en burgers over de kwaliteit van het lokaal bestuur in de informatiesamenleving.

    • 3 Principes voor goed lokaal bestuur

      Terwijl overzichten van publieke waarden cruciaal zijn voor de bredere gedachtewisseling over het gebruik van technologische systemen in het lokaal bestuur, bieden zij weinig aangrijpingspunten voor een meer specifieke beoordeling van de kwaliteit van het bestuur. Er zijn heldere ankerpunten nodig. Daarom bouwen wij in dit artikel voort op het gedachtegoed over ‘good governance’ als basis voor de principes voor goed lokaal bestuur in de informatiesamenleving.

      Good Governance Codes – Codes voor Goed Bestuur – bestaan sinds 1978. De Verenigde Staten was het eerste land dat een Code Goed Bestuur aannam, maar het idee van een code kreeg vooral veel momentum toen dit in de jaren negentig werd ondersteund door internationale organisaties zoals de OECD en de Wereldbank (Aguilera & Cuervo-Cazurra, 2009). De organisaties gebruikten de codes om ontwikkelingslanden ertoe aan te zetten de kwaliteit van de publieke sector te versterken als basis voor ontwikkelingsprocessen.

      Ook in Nederland geldt dat een Code voor Goed Bestuur vooral geldt als een aanzet tot een verbetering van het bestuur en gebaseerd is op de idee van een deugdenethiek. Over de Nederlandse code voor goed openbaar bestuur (Ministerie van BZK, 2009: 3) benadrukt de minister: ‘[De code voor goed openbaar bestuur] is een informeel instrument dat een beroep doet op de eigen verantwoordelijkheid van besturen om een gewetensvolle invulling te geven aan hun taken en verantwoordelijkheden in het openbaar bestuur. Het nodigt uit tot zelfreflectie en vertaling naar de dagelijkse praktijk.’ Om deze reden spreekt het ministerie ook van een ‘deugdelijk overheidsbestuur’.

      Voor het Nederlandse openbaar bestuur is een gedragscode ontwikkeld die geldt voor zowel de nationale overheid als de lokale overheden (www.rijksoverheid.nl/onderwerpen/kwaliteit-en-integriteit-overheidsinstanties/gedragscode-openbaarbestuur; zie ook Addink, 2012). Deze code is ontwikkeld om de professionaliteit en betrouwbaarheid van het openbaar bestuur in Nederland te vergroten en volgens de code moet elk overheidsbestuur zich houden aan een aantal regels: (1) openheid en integriteit, (2) participatie, (3) behoorlijke contacten met burgers, (4) doelgerichtheid en doelmatigheid, (5) legitimiteit, (6) lerend en zelfcorrigerend vermogen en (7) verantwoording.

      Het lastige van zulke overzichten van principes van goed bestuur is dat een dergelijke lijst willekeurig lijkt. Deze principes van goed bestuur – en ook andere overzichten, zoals die van de Raad van Europa en het United Nations Development Programme (UNDP) – zijn door Hendriks (2014) in een theoretisch perspectief geplaatst. Daarbij sluit hij enerzijds aan bij het idee dat bestuur gebaseerd moet zijn op democratische processen en anderzijds dat een rechtsstatelijk kader de basis biedt voor deugdelijk bestuur. Verder geeft hij aan dat er een onderscheid te maken is tussen enerzijds de input en output van de overheid en anderzijds de structurele relatie van de overheid met de omgeving (ofwel: het systeem). Hendriks (2014) benadrukt dat deugdelijk bestuur betekent dat het bestuur vorm krijgt op basis van inbreng van burgers, dat dit leidt tot resultaten voor deze burgers, dat deze resultaten op een rechtvaardige manier tot stand komen, dat het bestuur zich op een dynamische manier steeds opnieuw verhoudt tot de samenleving, en dat het bestuur aan deze samenleving verantwoording aflegt.

      Hendriks (2014) spreekt over een catalogus van waarden, want elk van deze waarden moet worden beschouwd als een cluster waaronder verschillende waarden – zo ook die van de Nederlandse Code Goed Bestuur – kunnen worden geschaard. Met een lichte aanpassing van het werk van Hendriks (2014) wordt in tabel 1 een overzicht van de principes gepresenteerd met daarbij steeds een aantal van de verschillende waarden die onder het principe vallen.

      Tabel 1 Principes van goed bestuur
      InputOutputSysteem
      Democratie Participatie Vertegenwoordiging, openheid, toegang, responsiviteit Effectiviteit Productiviteit, efficiency, toegevoegde waarde Leervermogen Veerkracht, dynamische stabiliteit, adaptiviteit
      Rechtsstaat Procedurele rechtvaardigheid Correctheid, integriteit, behoorlijkheid Verantwoording Aanspreekbaarheid, controleerbaarheid

      We lichten deze elementen kort toe en noemen enkele van de waarden die hieronder vallen:

      • Bij participatie gaat het om het vermogen om het bestuur af te stemmen op wat er leeft onder mensen. Denk daarbij aan zaken als vertegenwoordiging, openheid, toegang en responsiviteit.

      • Effectiviteit betreft de resultaten van het functioneren van het bestuur. Wat levert dit op voor de samenleving? Relevante waarden zijn hier productiviteit, efficiency en toegevoegde waarde.

      • Op het systeemniveau geldt voor democratie dat het leervermogen van belang is. Dit betreft het vermogen om het bestuur aan te passen aan veranderingen. Relevante waarden zijn veerkracht, dynamische stabiliteit en adaptiviteit.

      • De procedurele rechtvaardigheid betreft het correct – legaal en legitiem – functioneren van het bestuur. Deze brede categorie heeft betrekking op waarden zoals correctheid, integriteit en behoorlijkheid.

      • Bij verantwoording ten slotte gaat het om de inbedding van het bestuur in het bredere systeem van checks and balances van de rechtsstaat. Relevante waarden zijn aanspreekbaarheid en controleerbaarheid.

      In dit artikel kiezen wij ervoor deze vijf principes als uitgangspunt te nemen. De principes zijn in algemene termen geformuleerd en doen geen uitspraken over digitalisering. De digitalisering kan echter wel gevolgen hebben voor de wijze waarop deze eisen worden vertaald naar een deugdelijke organisatie. Om de kwaliteit van de reflectie op het functioneren van overheidsorganisaties in het digitale tijdperk te verhogen dient de code te worden opgewaardeerd naar het informatietijdperk.

    • 4 Principes voor goed lokaal bestuur in de digitale samenleving

      Om principes voor goed lokaal bestuur in de digitale samenleving te formuleren hebben wij de bestaande principes tegen het licht gehouden. Daarbij bouwen wij voort op de literatuur die er de afgelopen jaren is verschenen over waardeconflicten rondom de toepassing van nieuwe technologieën in de publieke sector (O’Neil, 2016; Eubanks, 2018; Angwin e.a., 2016) en geven wij ook een aanzet tot een manier om met deze waardeconflicten om te gaan (Kool e.a., 2017). Ook hebben wij een workshop gehouden met ongeveer 25 deelnemers van verschillende lokale besturen (de gemeenten Almere, Gouda en Woerden en de provincie Zuid-Holland) en onderzoekers van de Universiteit Utrecht waarin de deelnemers gevraagd werd na te denken over een aanscherping van de zeven principes van de Nederlandse Code Goed Bestuur voor de informatiesamenleving. Graag willen wij benadrukken dat wij niet de pretentie hebben dat wij op basis van onze analyse al een definitief normatief kader hebben voltooid. Onze analyse vormt een aanzet tot een discussie over een dergelijk normatief kader en we willen graag in de komende tijd tot een aanscherping van dit normatieve kader komen door onze analyse met andere wetenschappers, ambtenaren, bestuurders, stakeholders, et cetera te bespreken, om zo te komen tot een breedgedragen Code goed lokaal bestuur in de informatiesamenleving. Een overzicht van de analyse is te vinden in tabel 2.

      Tabel 2 Nieuwe invulling van de principes van goed bestuur
      PrincipeNieuwe invullingen
      1. Participatie
    • Communicatiekanalen voor inclusiviteit:

      • digitale opties

      • menselijke opties

    • Actieve informatie voor participatie

    • Helderheid over regels participatie in algoritmen

    • Participatie in ontwerp van algoritmen

    • Actieve en snelle openbaarheid als default

    • 2. Effectiviteit
    • Proportioneel gebruik technologische mogelijkheden

    • Snelle bijsturing van ineffectief beleid

    • Focus op zowel specifieke als structurele issues

    • Effectief gebruik van techniek

    • 3. Leervermogen
    • Continue aanpassing van systemen

    • Kortcyclisch leren

    • Participatie in zelfcorrigerend vermogen

    • Lerend vermogen op niveau van beleidsnetwerken

    • Continue aanpassing competenties van medewerkers

    • 4. Procedurele rechtvaardigheid
    • Geen discriminatie of bias in algoritmen

    • Inclusieve dienstverlening:

      • digitale opties

      • menselijke opties

    • Begrijpelijkheid van (algoritmische) beslissingen

    • Voorkomen van datalekken

    • Ethische standaarden voor het systeemontwerp

    • Integriteit van (het gebruik van) digitale systemen

    • 5. Verantwoording
    • Toegankelijke publieke verantwoording

      • digitale opties

      • menselijke opties

    • Verantwoording door algoritmen

    • Verantwoording over algoritmen

    • Verantwoording door netwerken

    • Menselijke toetsing van bezwaar en beroep

    • Deze verschillende nieuwe invullingen lichten we hieronder toe.

      1. Participatie

      Al sinds de jaren tachtig is er in de literatuur aandacht voor digitale participatie of e-participatie en de laatste jaren neemt dit een steeds grotere vlucht (Mossberger e.a., 2007; Van Hulst e.a., 2016). Burgers zijn gewend om via digitale middelen met overheden in contact te treden en digitale media verlagen voor burgers sterk de transactiekosten voor participatie, omdat ze niet meer op een avond naar een vergaderzaaltje toe hoeven te gaan om informatie te verkrijgen en hun mening te geven. Bij participatie speelt mee dat (1) veel informatie die relevant is voor participatie gemakkelijk beschikbaar kan zijn, en (2) dat nieuwe communicatiekanalen allerlei vormen van participatie kunnen faciliteren. Dit stelt echter ook nieuwe eisen aan de vormgeving van participatie.

      Openheid van bestuur wordt gezien als een voorwaarde voor participatie (Meijer e.a., 2012). Zij heeft met de digitalisering een nieuwe invulling gekregen en er kan ook wel worden gesproken van een ‘doorzichtige overheid’ (Meijer, 2002). Doordat de overheid over enorme hoeveelheden data beschikt, worden nieuwe vormen van openheid meer van belang (Zuiderwijk, 2015). De enorme mogelijkheden om data te verzamelen en beschikbaar te maken leiden tot nieuwe eisen aan de openheid als basis voor een participatief bestuur.

      Een belangrijke eis aan digitale participatie is dat overheden zich dienen in te spannen voor de inclusiviteit van de participatie. Daarbij is met name aandacht nodig voor burgers met minder digitale vaardigheden, maar ook voor burgers die minder mobiel zijn en daardoor juist wel digitale media nodig hebben om te kunnen participeren. Ook is het van belang dat overheden zich inspannen om de transparantie van digitale participatieprocessen zeer helder te laten zijn en daarbij duidelijk aan te geven wat er met inbreng van burgers gebeurt. Duidelijk dient te zijn welke algoritmen worden gebruikt om de digitale participatie te ondersteunen. Daarbij is bijvoorbeeld ook van belang dat duidelijk is wat er gebeurt met persoonsgegevens die in het kader van participatieprocessen worden verzameld. Ten slotte geldt dat ook participatie in de ontwikkeling van (gevoelige) algoritmen een belangrijke rol kan spelen. Burgers kunnen op vergelijkbare wijze als bij een ruimtelijk plan hun perspectief geven op de keuzen die worden gemaakt.

      Uit deze punten blijkt dat het gemedieerde – en blended – karakter van de participatie mogelijkheden biedt, maar ook nieuwe eisen stelt aan de wijze waarop participatie in het lokaal bestuur vorm krijgt. Daarbij dienen overheden zich enerzijds in te spannen om de toegankelijkheid te vergroten – digitale participatie als vanzelfsprekend onderdeel van een participatieproces – en anderzijds ook de inclusiviteit van participatieprocessen – ook voor digibeten – te waarborgen.

      2. Effectiviteit

      Effectiviteit is de grote belofte van het gebruik van nieuwe technologieën. Ook rondom het gebruik van datasystemen zien we dat er weer wordt benadrukt dat deze technologieën kunnen leiden tot een snellere en betere realisatie van doelstellingen van lokale overheden (Evers e.a., 2017). Met data, zo is de belofte, kan beleid beter worden onderbouwd, beter worden gemonitord en beter worden uitgevoerd. Tegelijkertijd heeft de commissie-Elias de keerzijde laten zien: veel projecten leiden niet tot de gewenste uitkomst en tot een verspilling van publiek geld. Dat betekent dat de nieuwe mogelijkheden steeds kritisch tegen het licht moeten worden gehouden. Worden de data gebruikt omdat die de beste indicatie lijken te geven voor antwoorden op de maatschappelijke opgaven, of eenvoudigweg omdat deze data voorhanden zijn? Ook is hierbij de proportionaliteit van belang, vooral als het gaat om technologieën die gebruik maken van sensitieve gegevens of direct inbreuk maken op het leven van burgers. Men kan de vraag stellen of het gebruik van grote databestanden met persoonlijke gegevens om schoolverlatingsgedrag te voorkomen wel proportioneel is. Oftewel, het is van belang om te expliciteren hoe technologie gaat helpen om maatschappelijke problemen op te lossen, en of dit gebruik wel in de juiste verhouding staat tot de doelen die ermee worden beoogd te bereiken.

      De mogelijkheden van de technologie leiden ook voor dit principe weer tot aanvullende eisen. Van overheden kan worden verwacht dat technologieën goed worden gebruikt voor zowel de analyse van beleidsproblemen als het vinden van oplossingen. Daarbij kan van een overheid in toenemende mate worden verwacht dat er sneller wordt gereageerd op signalen van een gebrekkige doelmatigheid. Als via realtimedata de doelmatigheid van beleid kan worden gemonitord, is het ook van belang dat sneller aanpassingen worden doorgevoerd om de doelmatigheid te versterken. Een volgend punt is dat data gemeenten in staat stellen om probleemgericht en individugericht te kijken (microbeleid). Een gemeente kan bijvoorbeeld beter individuele schoolverlaters volgen, maar de vraag is of dit leidt tot beter beleid wanneer het niet gaat om het individuele gedrag maar om structurele problemen met bijvoorbeeld de capaciteit van scholen. Daarbij is van belang dat gemeenten de overkoepelende thema’s, zoals structurele oorzaken van armoede of structurele bedreigingen van de gezondheid, niet uit het oog verliezen noch de structurele verbeteringen die nodig zijn. De technische mogelijkheden dienen te worden gebruikt om zowel in te zoomen (oplossingen voor specifieke problemen) als uit te zoomen (oplossingen voor structurele issues) op problemen. Een laatste punt betreft de eis dat de nieuwe technologieën ook daadwerkelijk leiden tot doelgericht en doelmatig beleid en niet alleen tot de belofte hiervan.

      Samenvattend leiden de eisen ten aanzien van effectiviteit tot een spanning voor lokale overheden: de mogelijkheden van nieuwe technologieën mogen niet worden genegeerd, want dan worden belangrijke kansen om beleid te verbeteren gemist, maar tegelijkertijd dienen overheden ook geen geld te verspillen aan systemen die uiteindelijk niet de gewenste verbetering opleveren. Van overheden kan worden verwacht dat zij een passende omgang met deze spanning vinden en dat daarbij de afweging van de proportionaliteit van de inzet van de technologie een belangrijke rol speelt.

      3. Leervermogen

      Het principe van leervermogen sluit goed aan bij nieuwe mogelijkheden die de technologieën bieden om op basis van informatie vast te kunnen stellen wat wel of niet werkt. De relatie tussen informatiesystemen en leren wordt vaak gemaakt in de literatuur over ICT in de publieke sector (voor een mooi overzicht: Jolly, 2003). De dominante veronderstelling is dat informatiesystemen het leervermogen van organisaties kunnen versterken, maar ook kunnen verminderen (Jorna, 2009). Dat betekent dat het gebruik van deze systemen ook kan leiden tot een aanscherping van de eisen aan organisaties.

      Een algemene aanscherping van het lerend en zelfcorrigerend vermogen is dat van organisaties verwacht wordt dat zij aantoonbaar de informatie verzamelen die nodig is om te leren over het functioneren, en dat deze informatie geanalyseerd en verwerkt wordt. Daarbij speelt ook nog een versnelling: een belangrijke verandering door de realtime beschikbaarheid van data is de snelheid waarmee overheden leren. Van overheden kan worden verwacht dat zij dan veel meer kortcyclisch leren en corrigeren dan nu het geval is. Een volgend punt is de vraag wie er betrokken zijn bij het leerproces. In lijn met het principe van participatie kan worden verwacht dat de input vanuit de samenleving en burgers op wat overheden doen belangrijker wordt. Zelfcorrigerend vermogen dient plaats te vinden op basis van input van burgers. Deze snelheid is ook nodig, omdat de samenleving straks mogelijk zelfs sneller met haar evaluatie van het overheidsbeleid is dan de overheden zelf. Een laatste punt is de vraag waarop het leervermogen en het zelfcorrigerend vermogen van toepassing zijn. Overheden werken steeds meer samen in netwerken met stakeholders en in coproductie met burgers. Verwacht kan worden dat het leerproces dan niet alleen betrekking heeft op de overheden, maar ook op de netwerken van samenwerking, en dat stelt ook weer nieuwe eisen aan de inrichting van informatievoorzieningen.

      Deze bespreking laat zien dat juist op het terrein van leervermogen de eisen flink worden aangescherpt door de vele mogelijkheden van de nieuwe technologieën. Daarbij draait het vooral om flexibiliteit en snelheid in kenniscirculatie, omdat de technologie en als gevolg daarvan de benodigde kennis en vaardigheden voortdurend zullen wijzigen (A+O fonds Gemeenten, 2018). Mede onder invloed van digitalisering is het van belang om – naast specifieke beroepsgerichte vaardigheden – de meer algemene vaardigheden op peil te houden, flexibel te zijn en voortdurend te blijven leren (Van der Wal, 2017). Van organisaties wordt verder verwacht dat zij hun lerende systemen op een heldere manier hebben ingericht en dat deze snel opereren, zodat tijdige bijstellingen van ineffectief of ongewenst beleid kunnen plaatsvinden. Een kanttekening hierbij is dat gebruik van informatie niet gelijkstaat aan leren, en dat juist ook de betekenisgeving aan deze informatie van groot belang is. Daarbij geldt dat het vormgeven van leerprocessen in coproductie met burgers en stakeholders van groot belang is.

      4. Procedurele rechtvaardigheid

      Een sleutelpunt bij de procedurele rechtvaardigheid van het lokaal bestuur is de afwezigheid van bias of discriminatie. In huidige debatten over algoritmen wordt steeds vaker benadrukt dat deze bepaalde groepen kunnen bevoordelen (Angwin e.a., 2016; O’Neil, 2016), en ook dat er een bias kan zijn richting bepaalde vormen van gedrag (Eubanks, 2018). Voor de legitimiteit van het lokaal bestuur is – in lijn met artikel 1 van de Grondwet – het cruciaal dat alle burgers gelijk worden behandeld.

      Een belangrijk aandachtspunt voor de procedurele rechtvaardigheid in het informatietijdperk is de openheid over persoonsgegevens. Overheden dienen duidelijk inzicht te bieden in de data en de kennis die de overheid heeft over de burgers, en dit is ook vastgelegd in de Algemene verordening gegevensbescherming (AVG), die de bescherming van persoonsgegevens regelt. Overheden dienen zeer open te zijn over welke data ze over burgers hebben en integer in de wijze waarop ze omgaan met deze data. Daarnaast geldt echter ook de openheid ten aanzien van allerlei andere relevante gegevens die overheden hebben. Overheden dienen data openbaar te maken, zodat ze beschikbaar en toegankelijk zijn voor burgers en andere maatschappelijke partijen. Daarbij is het van groot belang dat overheden de data niet op een ‘interpretatiesturende’ manier presenteren. Verder leidt ook de opkomst van het gebruik van algoritmen in het bestuur tot een nadere invulling van deze eis. Overheden dienen helder inzicht te bieden in de wijze waarop algoritmen werken en komen tot aanbevelingen, besluiten of risicoanalyses. Transparantie en uitlegbaarheid van de algoritmen dienen te zijn gewaarborgd.

      Voor de integriteit geldt dat de integriteit van de data en het gebruik ervan dienen te zijn gewaarborgd. Het is cruciaal dat beleid en besluiten van overheden gebaseerd zijn op correcte data. Daarnaast heeft het principe van de integriteit ook belangrijke implicaties voor het ontwerp van systemen. Algoritmen dienen niet te discrimineren tegen personen of bevolkingsgroepen, maar integere omgang met de verschillende personen en groepen te waarborgen. In toenemende mate wordt er gesproken over design ethics (Verbeek, 2006): het is belangrijk dat bij het ontwerpen van systemen die de levens van vele mensen gaan beïnvloeden hoge ethische standaarden gelden.

      Ten aanzien van dienstverlening aan burgers zien we dat de eisen van burgers toenemen (Dunleavy e.a., 2006; Hoogwout, 2010): burgers kunnen steeds meer zaken online met de overheid regelen. Zij zijn steeds meer gewend om 24/7 via allerlei kanalen contact te kunnen zoeken en informatie te kunnen opvragen. Ook speelt de termijn om te reageren een rol in dit verwachtingspatroon: waarom zouden burgers nog enkele weken moeten wachten? Tevens speelt het punt van inclusiviteit een toenemende rol bij behoorlijke contacten: overheden dienen te waarborgen dat de gekozen kanalen inclusief zijn en te voorkomen dat digitalisering voor een nieuwe sociale kloof kan zorgen: zij die wel mee kunnen komen en zij die dat niet kunnen. Concreet kan daarbij worden gedacht aan de toegankelijkheid van websites voor burgers met een visuele beperking en aan ondersteuning voor burgers die niet over de digitale vaardigheden beschikken.

      Begrijpelijkheid van beslissingen is ook in toenemende mate van belang voor de procedurele rechtvaardigheid. Wanneer bijvoorbeeld een algoritme wordt gebruikt voor een beslissing dient dit algoritme wel te motiveren wat de grondslag is voor de beslissing. Deze begrijpelijkheid kan met name een probleem zijn wanneer overheidsorganisaties commerciële software gebruiken waarvan de code niet openbaar is.

      Dit overzicht laat zien dat de procedurele rechtvaardigheid kan worden versterkt doordat systemen regels sterker en dwingender kunnen opleggen dan mensen, maar tegelijkertijd ontstaat er een aantal bedreigingen. De belangrijkste zijn de risico’s van discriminatie en niet-transparante besluitvorming. Verder zien we dat de eisen ten aanzien van de rechtvaardigheid ook een rol dienen te spelen in het ontwerp van systemen.

      5. Verantwoording

      Het laatste principe dat we bespreken, is verantwoording: overheden dienen uitleg en rekenschap te geven over het functioneren en de uitkomsten. Daarbij is verantwoording zeker niet alleen een informatieverwerkend proces, maar zien we wel dat informatie een belangrijke rol speelt in verantwoording (Meijer, 2002). De algemene veronderstelling hier is dat vollediger verantwoording aan meer partijen kan worden afgelegd op basis van informatie uit systemen.

      Bij de verantwoording zien we een verschuiving in de wijze waarop die vorm krijgt. In de informatiesamenleving is de verantwoording nog sterker gekoppeld aan andere principes, zoals openheid en integriteit (1), doelgerichtheid en doelmatigheid (4) en lerend en zelfcorrigerend vermogen (6). Een proactieve verantwoording gericht op het verkrijgen van input van burgers kan via openheid vorm krijgen. Daarmee is er steeds meer aandacht voor niet alleen de formele verantwoording aan democratische organen, maar ook aan een geheel aan toezichthouders alsmede direct aan burgers. De eisen ten aanzien van de vraag aan wie verantwoording wordt afgelegd, veranderen hiermee: publieke verantwoording – bijvoorbeeld via websites, maar ook via niet-digitale wegen – is steeds meer een eis aan publieke organisaties.

      Tegelijkertijd zijn er ook verschillende zaken die juist extra aandacht vragen bij de verantwoording. Daarbij kan met name worden gedacht aan ‘algorithmic accountability’: verantwoording voor besluitvorming door algoritmen, maar ook voor de rol ervan in beleidsontwikkeling, risico-inventarisatie, et cetera. Ook gaat het om verantwoording voor de ontwikkeling van algoritmen, en daarbij kan worden gedacht aan auditors die controleren of algoritmen wel correct functioneren. Bij de verantwoording speelt ook het punt dat de toenemende samenwerking in netwerken en het verzorgen van diensten in cocreatie ook de vraag oproepen hoe verantwoording van netwerken kan worden georganiseerd. Bij de verantwoording speelt dat dit zowel om cijfers als om uitlegbaarheid gaat: het narratief achter besluiten en handelingen – van mensen en algoritmen – zal een grotere plek moeten krijgen in de verantwoording aan zowel formele organen als burgers.

      Ook moet het voor een burger mogelijk zijn om zich te kunnen verdedigen tegen een besluit of behandeling die in zijn of haar ogen incorrect is. De begrijpelijkheid van een besluit is daarbij van belang, maar ook de mogelijkheid voor burgers om zelf hun perspectief op een besluit te verwoorden. Dat betekent bijvoorbeeld dat in een bezwaar- en beroepsprocedure een zaak door een mens moet worden getoetst (Grimmelikhuijsen & Meijer, 2006).

      Voor verantwoording geldt daarmee dat er een uitbreiding plaatsvindt langs twee lijnen: aan wie verantwoording wordt afgelegd (niet alleen aan democratische organen, maar ook aan de burger) en door wie verantwoording wordt afgelegd (niet alleen door organisaties, maar ook door netwerken en zelfs algoritmen). Daarbij is een waarschuwing dat veel gebruik van ICT kan leiden tot een reductie van het verantwoordingsproces tot een rekenproces, en dit geldt als onwenselijk: aandacht voor het narratief en betekenisgeving blijft van groot belang.

    • 5 Conclusies

      Op basis van de bovenstaande bespreking kunnen we nu het volgende antwoord formuleren op de vraagstelling: hoe kunnen we bestaande eisen voor goed lokaal bestuur vertalen naar de informatiesamenleving en zijn er nieuwe, specifieke, eisen? We hebben laten zien dat de eisen een vertaling behoeven die ten dele is gebaseerd op toegenomen verwachtingen en mogelijkheden (bijvoorbeeld continue bijsturing van beleid), maar ook ten dele op nieuwe vraagstukken die door de technologie worden opgeroepen (bijvoorbeeld verantwoording door algoritmen).

      In de bespreking van de aanpassing van de principes naar aanleiding van de digitalisering van bestuur en samenleving valt een aantal algemene patronen op:

      • Hernieuwde aandacht nodig voor menselijk contact. Gebruik van de nieuwe technologieën leidt ertoe dat burgers steeds meer in contact treden met technologische systemen. Dat betekent ook dat de burgers die niet goed in staat zijn om met deze technologische systemen om te gaan lastiger toegang hebben tot diensten, maar ook tot verantwoording en openbaarheid. De noodzaak om bestuur inclusief en toegankelijk te maken voor alle groepen is belangrijk bij het gebruik van deze systemen. Het Rathenau Instituut benadrukt hierbij zelfs dat er recht dient te bestaan op menselijk contact (Kool e.a., 2017).

      • Hernieuwde aandacht nodig voor het vermijden van discriminatie. De nieuwe technologie maakt het mogelijk om dienstverlening, beleid en informatievoorziening toe te spitsen op personen. Dit biedt mogelijkheden voor een klantgerichte en effectievere benadering, maar het principe van de gelijke behandeling kan onder druk komen te staan wanneer op basis van een zeer precieze data-analyse voor elk individu een andere keuze kan worden gemaakt. Ook kan gebruik van data leiden tot een bias richting bepaalde groepen of bepaalde gedragingen. Aandacht voor non-discriminatie is van toenemend belang door de nadruk op personalisering.

      • Hogere eisen ten aanzien van snelheid van handelen. We zien dat de verwachtingspatronen ten aanzien van de verschillende principes veranderen doordat de nieuwe technologieën processen versnellen. Daardoor verwachten burgers dat ze niet volgende week om tien uur worden geholpen, maar direct, geldt dat beleid niet na een tussentijdse evaluatie na twee jaar wordt bijgesteld, maar meteen, en dat verantwoording niet drie maanden na afloop van een project wordt afgelegd, maar dat verantwoordingsinformatie realtime beschikbaar is.

      • Principes steeds meer voor netwerken van organisaties. Overheidsorganisaties functioneren steeds meer in netwerken met andere organisaties en ook informatie wordt steeds meer gedeeld en uitgewisseld in deze netwerken. Dit roept in toenemende mate de vraag op op wie de principes van goed lokaal bestuur van toepassing zijn. Oorspronkelijk waren deze principes gericht op overheidsorganisaties, maar in het informatietijdperk kan gesteld worden dat deze principes gelden voor de netwerken die betrokken zijn bij beleidsissues.

      • Principes steeds meer voor het ontwerp van systemen. Algoritmen gaan steeds meer handelen als ‘actoren’ waarop principes van goed bestuur beschikbaar zijn: ze moeten transparant zijn in hun beslissingen, verantwoording afleggen, en ze moeten burgers behoorlijk behandelen. Het gebruik van deze geavanceerde technologieën roept zeker vragen op wanneer het gaat om zelflerende systemen die zich aanpassen op basis van ervaringen. Dit leidt ertoe dat de principes van bestuur in toenemende mate ook gelden voor technologische systemen. Het roept de vraag op in hoeverre deze principes moeten worden gezien als ontwerpprincipes voor deze geavanceerde systemen. Privacy by design is hiervan wellicht een voorloper.

      Het bijgestelde kader dat we op basis van onze analyse hebben opgesteld, is een eerste stap in een bredere reflectie op goed lokaal bestuur in de informatiesamenleving en in die zin moet dit artikel worden beschouwd als een tussenproduct. Een verdere verkenning van deze principes en een gesprek hierover met allerlei betrokkenen (wetenschappers, bestuurders, ambtenaren, maatschappelijke organisaties, burgers, etc.) zijn nodig om dit verder uit te werken tot een volwassen normatief kader. In de komende maanden gaan wij het gesprek hierover aan met betrokkenen en feedback op onze analyse is daarom zeer gewenst. Wij denken dat het gesprek hierover kan helpen om gezamenlijk de ijkpunten te formuleren die nodig zijn om een goede invulling te geven aan het gebruik van ICT in het lokaal bestuur.

      Onze analyse van deze principes kan een basis vormen voor onderzoek dat zich niet alleen richt op vragen van effectiviteit van nieuwe technologieën in het lokaal bestuur, maar ook expliciet de vraag aan de orde stelt in hoeverre het gebruik van de technologieën bijdraagt aan goed lokaal bestuur. En vervolgens kan er prescriptief – of wellicht ontwerpend – onderzoek plaatsvinden dat verkent op welke wijze het gebruik van de nieuwe technologieën kan voldoen aan deze eisen. Daarbij is de Data Ethical Decision Aid van de Utrecht Data School al een voorbeeld van een instrument voor de reflectie op nieuwe technologieën (https://dataschool.nl/deda/). Daarbij geldt dat een dergelijk discursief instrument geen ‘checklist’ is, maar vragen over normatieve keuzen – bijvoorbeeld over de inzet van algoritmen voor de bestrijding van bijstandsfraude – entameert.

      De hoofdboodschap van dit artikel is dat het bij de vormgeving van goed lokaal bestuur in de informatiesamenleving niet alleen gaat om technische keuzen – welke systemen, welke architectuur –, maar uiteindelijk ook om fundamentele keuzen over de positionering van het lokaal bestuur en de noodzakelijke transitie van de overheidsorganisatie. Meijer (2015) benadrukt daarom dat het gaat om de vormgeving van het bestuur in de datapolis. De principes van goed lokaal bestuur bieden daarbij de mogelijkheid om een kader te ontwikkelen voor deze keuzen, zodat de uitkomst van de vormgeving van bestuur aansluit bij breed onderschreven normatieve principes voor het lokaal bestuur in de informatiesamenleving.

    • Literatuur
    • A+O fonds Gemeenten, Digitale transformatie. Onderzoek naar de impact van technologie op arbeid in gemeenten, Stichting A+Ofonds, Den Haag: 2018.

    • Addink, H., ‘Het concept van goed bestuur in het bestuursrecht en de praktische consequenties daarvan’, Ars Aequi, 2012/4, p. 266-275.

    • Aguilera, R.V. & A. Cuervo-Cazurra, ‘Codes of good governance’, Corporate Governance. An International Review, 2009/3, p. 376-387.

    • Angwin, J., J. Larson, S. Mattu & L. Kirchner, ‘Machine bias. There’s software used across the country to predict future criminals, and it’s biased against blacks’, ProPublica, 23 mei 2016, gevonden op: www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing.

    • Barber, B.R., If mayors ruled the world. Dysfunctional nations, rising cities, New Haven, CT: 2013.

    • Dijck, J. van, T. Poell & M. de Waal, De platformsamenleving. Strijd om publieke waarden in een online wereld, Amsterdam: 2016.

    • Dunleavy, P., H. Margetts, S. Bastow & J. Tinkler, ‘New public management is dead. Long live digital-era governance’, Journal of Public Administration Research and Theory, 2006/3, p. 467-494.

    • Eck, B.M.A. van, Geautomatiseerde ketenbesluiten & rechtsbescherming. Een onderzoek naar de praktijk van geautomatiseerde ketenbesluiten over een financieel belang in relatie tot rechtsbescherming, proefschrift Universiteit van Tilburg, Tilburg: 2018.

    • Eubanks, V., Automating inequality, New York: 2018.

    • Evers, G., M. Haagoort & H. Wesseling, Datagedreven sturing in gemeenten. Een verkenning van de veranderingen door het werken met big data, Stichting A+O fonds Gemeenten, Den Haag: 2017.

    • Grimmelikhuijsen, S.G. & A.J. Meijer, ‘Digitale beschikkingsverlening en individuele rechtvaardigheid. Voldoen hardheidsclausules van uitvoeringsorganisaties?’, Bestuurswetenschappen, 2006/2, p. 136-150.

    • Hendriks, F., ‘Understanding good urban governance. Essentials, shifts and values’, Urban Affairs Review, 2014/4, p. 553-576.

    • Hoogwout, M., De rationaliteit van de klantgerichte overheid. Een onderzoek naar de spanningen van het klantdenken bij gemeenten veroorzaakt en de manier waarop gemeenten daarmee omgaan, proefschrift Universiteit van Tilburg, Nieuwegein: 2010.

    • Hulst, M.J. van, C.M. Cuijpers, F. Hendriks, T.A.P. Metze, R.E. Leenes & D. Hoekzema, Digitale empowerment van de demos. Een onderzoek naar aansprekende e-democracy innovaties, rapport in opdracht van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, Den Haag: 2016, gevonden op: https://kennisopenbaarbestuur.nl/media/254118/digitale-empowerment-van-de-demos.pdf.

    • Jolly, R.D., De lerende bureaucratie? Een onderzoek naar de betekenis van ICT voor leren in het openbaar bestuur, proefschrift Erasmus Universiteit Rotterdam, Rotterdam: 2003.

    • Jorna, F., De autobureaucratie. Informatisering en leren van uitvoering, proefschrift Universiteit Leiden, Delft: 2009.

    • Kool, L., J. Timmer & R. van Est, Opwaarderen. Borgen van publieke waarden in de digitale samenleving, Rathenau Instituut, Den Haag: 2017.

    • Maarse, J.A.M. & P.P. Jeurissen, ‘The policy and politics of the 2015 long-term care reform in the Netherlands’, Health Policy, 2016/3, p. 241-245.

    • Meijer, A.J., De doorzichtige overheid. Parlementaire en juridische controle in het informatietijdperk, proefschrift Erasmus Universiteit Rotterdam, Delft: 2002.

    • Meijer, A.J., Bestuur in de datapolis. Slimme stad, blije burger?, oratie Universiteit Utrecht, Den Haag: 2015.

    • Meijer, A.J., D. Curtin & M. Hillebrandt, ‘Open government. Connecting vision and voice’, International Review of Administrative Sciences, 2012/1, p. 10-29.

    • Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK), Nederlandse code voor goed openbaar bestuur. Beginselen van deugdelijk overheidsbestuur, Den Haag: 2009.

    • Mossberger, K., C.J. Tolbert & R.S. McNeal, Digital citizenship. The internet, society, and participation, Cambridge, MA: 2007.

    • O’Neil, C., Weapons of math destruction. How big data increases inequality and threatens democracy, New York: 2016.

    • Sassen, S., Cities in a world economy, Londen: 2018.

    • Verbeek, P.P., ‘Materializing morality. Design ethics and technological mediation’, Science, Technology, & Human Values, 2006/3, p. 361-380.

    • Wal, Z. van der, De 21e-eeuwse overheidsmanager. Een reis door tijd, plaats en context, CAOP, Den Haag: 2017.

    • Zuiderwijk, A.M.G., Open data infrastructures. The design of an infrastructure to enhance the coordination of open data use, proefschrift TU Delft, Delft: 2015.

    Noten

Graag danken de auteurs Laurens de Graaf, Erna Ruijer en de leden van de onderzoeksgroep Public Governance en Management van de Universiteit Utrecht voor hun waardevolle suggesties voor dit artikel.

Print dit artikel