KEMs

Monitoring & Effectmeting

DOEL

Meten & bijsturen
De verandering die een interventie (binnen een systeem) teweegbrengt monitoren, zodat er, waar nodig, bijgestuurd kan worden.

FASE IN ONTWIKKELINGSPROCES

Develop
Deliver

TOEPASSING

Helpen bij het meten en monitoren van de impact van een interventie op een systeem.
Helpen een interventie te evalueren, te valideren en ook gedurende het traject bij te sturen.
Helpen bij het behouden en vergroten van draagvlak en betrokkenheid van stakeholders.

Wat houdt het in?

Wat houdt deze categorie in?
KEM’s binnen de categorie Monitoring & Effectmeting dragen bij aan het zichtbaar maken van resultaten, het volgen van effecten en het begrijpen van de impact van interventies op systemen. Ze leveren daarmee belangrijke informatie om interventies te evalueren, te valideren en gedurende het traject bij te sturen. Daarnaast kunnen transparante M&E-methoden bijdragen aan het behouden en vergroten van draagvlak en betrokkenheid van stakeholders.

M&E-methoden worden hierbij niet alleen ingezet om verantwoording af te leggen, maar ook als instrument om te leren, te reflecteren en gezamenlijk richting te bepalen binnen een voortdurend veranderend systeem.

Waarom is dat belangrijk?
Vanwege de lange horizon en het onvoorspelbare karakter van systeemveranderingen is het bij transitievraagstukken essentieel om effecten van interventies continu te monitoren en tussentijds te evalueren. Zo ontstaat inzicht in wat wel en niet werkt, en waarom. Systemen reageren vaak niet lineair: interventies kunnen onverwachte, indirecte of vertraagde effecten hebben.

Het meten van voortgang, effect en impact helpt om niet alleen vooraf gestelde doelen te toetsen, maar ook om doelen en aannames waar nodig bij te stellen. Het gaat daarbij niet alleen om directe effecten (output), maar ook om verwachte en onverwachte veranderingen (outcome), om de verklaringen daarachter, en om de bredere impact op systemen.
Daarbij is ruimte nodig voor zowel kwantitatieve als kwalitatieve en participatieve vormen van meten.

Wanneer pas je deze KEM’s toe?
Bij vragen zoals:

Hoe kunnen we de effecten van een interventie op het gehele systeem, op korte en op lange termijn, meten en analyseren?
Hoe krijgen we ook de onvoorspelbare en onbedoelde effecten en dynamieken in beeld?
Hoe kunnen we analyseren welke waarde er door de interventies en veranderingen is gecreëerd?
Welke interventies en instrumenten werken wanneer wel/niet en onder welke voorwaarden?
Hoe kunnen transities gestuurd worden door monitoring en evaluatie, vanuit een perspectief op brede welvaart?

Welke methoden bestaan er?

1. Doelgerichte M&E methoden
Doelgerichte M&E methoden worden voornamelijk toegepast ter verantwoording van projecten en interventies. Door voor de start van het project het doel vast te stellen, worden indicatoren gekozen die kunnen aantonen of de doelen gehaald worden. Het is hierbij dus belangrijk om vooraf een helder en eenduidig beeld te hebben van de verwachte effecten van de interventie.

De Randomized Controlled Trial (RCT) (Donaldson et al., 2015) is een projectevaluatie methode die inzichten geeft in de directe relatie tussen activiteit en resultaat, omdat de effecten van de interventie worden vergeleken met de effecten bij een vergelijkbare populatie (de controlegroep) zonder interventie. Experimenten met een gerandomiseerd en gecontroleerd design zijn wel vaak tijdrovend, log en statisch.
Rapid Cycle Experiments (Johnson et al., 2015) is een kleinschalige experimentatie met randomisatie. Deze kunnen snel inzicht geven in welke onderdelen in een interventie werken, om op basis daarvan de interventie verder te ontwikkelen en optimaliseren.
Met een Maatschappelijke Kosten-Baten Analyse (MKBA) (Koopmans et al., 2016) kan vooraf een nauwkeurige inschatting worden gemaakt van de verwachte effecten van de interventie. Deze methode brengt de positieve en negatieve effecten in kaart, en wordt daarom gebruikt ter verantwoording van beleidsmaatregelen. Hierbij richt de methode zich op de welvaartseffecten van de maatregelen en kan er naast de economische effecten ook een schatting worden gemaakt van de zogenoemde zachte effecten, zoals de impact op cultuur, geluk en welzijn. MKBA’s stellen hoge eisen aan de kwaliteit van informatie en onderzoeksmethoden die als input worden gebruikt, waardoor deze methode beperkt bruikbaar is bij ongestructureerde en onvolledige datasets en projecten met onzekere uitkomsten. Zeker binnen transitievraagstukken met een complex karakter zijn dit aspecten die vaker voorkomen.
De kosteneffectiviteitsanalyse (van den Berg et al., 2011) is een variant van de MKBA als evaluatiemeting. Met behulp van enquêtes en de registratie van indicatoren wordt een goed beeld geschetst van verbeteringen en veranderingen na de interventie. Een voorbeeld hiervan is de Zorgmonitor, die aan de hand van een brede set vooraf gedefinieerde indicatoren inzicht geeft in de prestaties van de gezondheidszorg
De impact assessment methodologie (Podhora et al., 2013) wordt vaak gebruikt door overheidsorganisaties om de impact van hun beleid, of het effect van (nieuwe) technologie op een bepaald probleem te bepalen. Dergelijke analyses kunnen zowel voorafgaand aan de introductie van het beleid of de technologie worden uitgevoerd (ex ante) of na afloop (ex post). Daarnaast moet er bij het bepalen van de effecten ook worden gekeken naar onverwachte of onbedoelde effecten.

2. Lerende M&E methoden
Transitievraagstukken betreffen vaak complexe veranderingen in systemen waarbij zowel de benodigde aanpak als de verwachte effecten van deze aanpak vooraf moeilijk in te schatten zijn. Transitievraagstukken vragen daarom veelal een M&E methode die dynamisch en adaptief is. Binnen verschillende disciplines zijn methoden ontwikkeld die aansluiten bij het onzekere karakter van transitievraagstukken en met de veranderingen van de transitie mee kunnen bewegen.

Methoden die zijn ontstaan onder invloed van digitalisering

De populaire ‘agile’ werkmethodiek (Manifesto for Agile Software Development, 2001) is in het afgelopen decennia overgewaaid van softwareontwikkeling naar de industrie, en duikt tegenwoordig steeds vaker op bij digitale en niet-digitale projecten in de wetenschap. Agile werkwijzen ontstonden als reactie op plan-gedreven methoden die onvoldoende in staat bleken om in te kunnen spelen op snel veranderende omgevingen. Agile werkwijzen worden gekenmerkt door een flexibele respons op veranderingen in de omgeving, door een adaptieve planning te hanteren en door oplossingen snel in de praktijk in te voeren en ze daarna voortdurend te verbeteren.
Ook met recente ontwikkelingen vanuit data-science op het gebied van AI en big data komen nieuwe methoden beschikbaar voor M&E. Het is bijvoorbeeld de verwachting dat met behulp van data-driven predictive analyses en informatie uit (virtuele) sensoren real-time inzicht kan worden gegenereerd over de effecten van interventies (van Veenstra & Kotterink, 2017). De toepassing van data-gedreven methoden vraagt om een multidisciplinaire aanpak om de data-analyses op verantwoordelijke wijze uit te kunnen voeren en om de resultaten goed te kunnen interpreteren.

Methoden uit de gedragswetenschappen

N-of-1 studies (of Single Case Design) kunnen de directe effecten van interventies op gedrag monitoren, op basis van herhaalde kwantitatieve metingen bij een individu over de tijd (McDonald et al., 2017). Een belangrijk voordeel is dat de interventie tijdens de metingen kan worden doorontwikkeld en aangepast. Een ander voordeel is dat de baseline voor iedere deelnemer verschillend mag zijn. Hierdoor krijg je zicht op individuele verschillen, het effect van de context en kun je statistische nadelen van spreiding in de doelgroep minimaliseren. N-of-1 studies zijn voornamelijk geschikt voor digitale gedragsinterventies en zijn erg afhankelijk van de interventietrouw van de deelnemers. Toch is dit een veelbelovende methode voor transitievraagstukken met een gedragsveranderingscomponent.
Andere kansrijke methoden die werkzame mechanismes identificeren in ontwerpproposities en interventies zijn MOST (Multiphase Optimization Strategy; Collins et al., 2007) en CIMO-logic (Denyer et al., 2008).

Reflectieve & reflexieve monitoring methoden

Reflexive Monitoring in action (RMA) is een participatieve M&E methode ontwikkeld om de voortgang van systeeminnovaties te monitoren (Van Mierlo et al., 2010). Het faciliteert de ontwikkeling van leerprocessen tijdens transities en stimuleert hiermee het bepalen van de richting van de transitie. De bepaling van het doel, de aanpak en de indicatoren beweegt mee met de voortgang van het proces.
- Voorbeelden van methoden die inzetbaar zijn binnen RMA zijn onder andere Theory of Change, Learning History en Most Significant Change Method.
- De Meten Weten Handelen systematiek, tenslotte, is ontwikkeld voor het Deltaprogramma (Loeber & Laws, 2016). Aan de hand van ingebouwde reflectie-momenten wordt het ‘leren tijdens de interventie’ gestimuleerd. Hierbij is het mogelijk om in te spelen op nieuwe ontwikkelingen, om activiteiten te vertragen of versnellen, en de strategie aan te passen aan de hand van veranderingen in systemen. Bijsturing vindt plaats op basis van vier hoofdvragen: ligt het project op schema (budget en tijd), ligt het project op koers (worden doelen bereikt), is er sprake van een integrale aanpak, en is er sprake van brede participatie van stakeholders?