KEMs

Monitoring & Effectmeting

DOEL

Meten & bijsturen
De verandering die een interventie (binnen een systeem) teweegbrengt monitoren, zodat er, waar nodig, bijgestuurd kan worden.

FASE IN ONTWIKKELINGSPROCES

  • Develop
  • Deliver

TOEPASSING

  • Helpen bij het meten en monitoren van de impact van een interventie op een systeem. 
  • Helpen een interventie te evalueren, te valideren en ook gedurende het traject bij te sturen.
  • Helpen bij het behouden en vergroten van draagvlak en betrokkenheid van stakeholders.

Wat houdt het in?

Wat houdt deze categorie in?
KEMs binnen de categorie Monitoring & Effectmeting dragen bij aan het zien van de resultaten, het meten van de effecten en het monitoren van de impact van een interventie op het systeem. Ze leveren daarmee belangrijke informatie om de interventie te evalueren, te valideren en ook gedurende het traject bij te sturen. Daarnaast kunnen transparante M&E methoden bijdragen aan het behouden en vergroten van draagvlak en betrokkenheid van stakeholders. 

Waarom is dat belangrijk?
Vanwege de lange horizon en het onvoorspelbare karakter van (veranderingen aan) systemen is het voor transitievraagstukken bij uitstek relevant om effecten van interventies te monitoren en (tussentijds) te evalueren. Daarmee wordt kennis opgedaan over de mogelijke effecten van de manier waarop er is ingegrepen, welke direct terug kan worden gekoppeld in het proces, om zo iteratieve doorontwikkeling en bijsturing te ondersteunen.

Het meten van voortgang, effect en impact bij transitievraagstukken is essentieel om aan te tonen of de vooraf gestelde doelen zijn gehaald, en of dit terug te leiden is naar de interventies die zijn uitgevoerd. Het gaat daarbij niet alleen om de directe effecten (output), maar ook om welke verwachte en onverwachte veranderingen plaatsvinden (outcome), over waarom deze zijn veranderd, en om wat de impact is van deze veranderingen op de systemen (impact).

Wanneer pas je deze KEM’s toe?
Bij vragen zoals:

  • Hoe kunnen we de effecten van een interventie op het gehele systeem, op korte en op lange termijn, meten en analyseren?
  • Hoe krijgen we ook de onvoorspelbare en onbedoelde effecten en dynamieken in beeld? 
  • Hoe kunnen we analyseren welke waarde er door de interventies en veranderingen is gecreëerd? 
  • Welke interventies en instrumenten werken wanneer wel/niet en onder welke voorwaarden?

Welke methoden bestaan er?

1. Doelgerichte M&E methoden
Doelgerichte M&E methoden worden voornamelijk toegepast ter verantwoording van projecten en interventies. Door voor de start van het project het doel vast te stellen, worden indicatoren gekozen die kunnen aantonen of de doelen gehaald worden. Het is hierbij dus belangrijk om vooraf een helder en eenduidig beeld te hebben van de verwachte effecten van de interventie. 

  • De Randomized Controlled Trial (RCT) (Donaldson et al., 2015) is een projectevaluatie methode die inzichten geeft in de directe relatie tussen activiteit en resultaat, omdat de effecten van de interventie worden vergeleken met de effecten bij een vergelijkbare populatie (de controlegroep) zonder interventie. Experimenten met een gerandomiseerd en gecontroleerd design zijn wel vaak tijdrovend, log en statisch.
  • Rapid Cycle Experiments (Johnson et al., 2015) is een kleinschalige experimentatie met randomisatie. Deze kunnen snel inzicht geven in welke onderdelen in een interventie werken, om op basis daarvan de interventie verder te ontwikkelen en optimaliseren.
  • Met een Maatschappelijke Kosten-Baten Analyse (MKBA) (Koopmans et al., 2016) kan vooraf een nauwkeurige inschatting worden gemaakt van de verwachte effecten van de interventie. Deze methode brengt de positieve en negatieve effecten in kaart, en wordt daarom gebruikt ter verantwoording van beleidsmaatregelen. Hierbij richt de methode zich op de welvaartseffecten van de maatregelen en kan er naast de economische effecten ook een schatting worden gemaakt van de zogenoemde zachte effecten, zoals de impact op cultuur, geluk en welzijn. MKBA’s stellen hoge eisen aan de kwaliteit van informatie en onderzoeksmethoden die als input worden gebruikt, waardoor deze methode beperkt bruikbaar is bij ongestructureerde en onvolledige datasets en projecten met onzekere uitkomsten. Zeker binnen transitievraagstukken met een complex karakter zijn dit aspecten die vaker voorkomen.
  • De kosteneffectiviteitsanalyse (van den Berg et al., 2011) is een variant van de MKBA als evaluatiemeting. Met behulp van enquêtes en de registratie van indicatoren wordt een goed beeld geschetst van verbeteringen en veranderingen na de interventie. Een voorbeeld hiervan is de Zorgmonitor, die aan de hand van een brede set vooraf gedefinieerde indicatoren inzicht geeft in de prestaties van de gezondheidszorg
  • De impact assessment methodologie (Podhora et al., 2013) wordt vaak gebruikt door overheidsorganisaties om de impact van hun beleid, of het effect van (nieuwe) technologie op een bepaald probleem te bepalen. Dergelijke analyses kunnen zowel voorafgaand aan de introductie van het beleid of de technologie worden uitgevoerd (ex ante) of na afloop (ex post). Daarnaast moet er bij het bepalen van de effecten ook worden gekeken naar onverwachte of onbedoelde effecten.

2. Lerende M&E methoden
Transitievraagstukken betreffen vaak complexe veranderingen in systemen waarbij zowel de benodigde aanpak als de verwachte effecten van deze aanpak vooraf moeilijk in te schatten zijn. Transitievraagstukken vragen daarom veelal een M&E methode die dynamisch en adaptief is. Binnen verschillende disciplines zijn methoden ontwikkeld die aansluiten bij het onzekere karakter van transitievraagstukken en met de veranderingen van de transitie mee kunnen bewegen.

Methoden die zijn ontstaan onder invloed van digitalisering

  • De populaire ‘agile’ werkmethodiek (Manifesto for Agile Software Development, 2001) is in het afgelopen decennia overgewaaid van softwareontwikkeling naar de industrie, en duikt tegenwoordig steeds vaker op bij digitale en niet-digitale projecten in de wetenschap. Agile werkwijzen ontstonden als reactie op plan-gedreven methoden die onvoldoende in staat bleken om in te kunnen spelen op snel veranderende omgevingen. Agile werkwijzen worden gekenmerkt door een flexibele respons op veranderingen in de omgeving, door een adaptieve planning te hanteren en door oplossingen snel in de praktijk in te voeren en ze daarna voortdurend te verbeteren.
  • Ook met recente ontwikkelingen vanuit data-science op het gebied van AI en big data komen nieuwe methoden beschikbaar voor M&E. Het is bijvoorbeeld de verwachting dat met behulp van data-driven predictive analyses en informatie uit (virtuele) sensoren real-time inzicht kan worden gegenereerd over de effecten van interventies (van Veenstra & Kotterink, 2017). De toepassing van data-gedreven methoden vraagt om een multidisciplinaire aanpak om de data-analyses op verantwoordelijke wijze uit te kunnen voeren en om de resultaten goed te kunnen interpreteren.

Methoden uit de gedragswetenschappen

  • N-of-1 studies (of Single Case Design) kunnen de directe effecten van interventies op gedrag monitoren, op basis van herhaalde kwantitatieve metingen bij een individu over de tijd (McDonald et al., 2017). Een belangrijk voordeel is dat de interventie tijdens de metingen kan worden doorontwikkeld en aangepast. Een ander voordeel is dat de baseline voor iedere deelnemer verschillend mag zijn. Hierdoor krijg je zicht op individuele verschillen, het effect van de context en kun je statistische nadelen van spreiding in de doelgroep minimaliseren. N-of-1 studies zijn voornamelijk geschikt voor digitale gedragsinterventies en zijn erg afhankelijk van de interventietrouw van de deelnemers. Toch is dit een veelbelovende methode voor transitievraagstukken met een gedragsveranderingscomponent.
  • Andere kansrijke methoden die werkzame mechanismes identificeren in ontwerpproposities en interventies zijn MOST (Multiphase Optimization Strategy; Collins et al., 2007) en CIMO-logic (Denyer et al., 2008).

Reflectieve & reflexieve monitoring methoden

  • Reflexive Monitoring in action (RMA) is een participatieve M&E methode ontwikkeld om de voortgang van systeeminnovaties te monitoren (Van Mierlo et al., 2010). Het faciliteert de ontwikkeling van leerprocessen tijdens transities en stimuleert hiermee het bepalen van de richting van de transitie. De bepaling van het doel, de aanpak en de indicatoren beweegt mee met de voortgang van het proces.
    • Voorbeelden van methoden die inzetbaar zijn binnen RMA zijn onder andere Theory of Change, Learning History en Most Significant Change Method.
    • De Meten Weten Handelen systematiek, tenslotte, is ontwikkeld voor het Deltaprogramma (Loeber & Laws, 2016). Aan de hand van ingebouwde reflectie-momenten wordt het ‘leren tijdens de interventie’ gestimuleerd. Hierbij is het mogelijk om in te spelen op nieuwe ontwikkelingen, om activiteiten te vertragen of versnellen, en de strategie aan te passen aan de hand van veranderingen in systemen. Bijsturing vindt plaats op basis van vier hoofdvragen: ligt het project op schema (budget en tijd), ligt het project op koers (worden doelen bereikt), is er sprake van een integrale aanpak, en is er sprake van brede participatie van stakeholders?

Monitoring & Effectmeting in de praktijk

No data was found