2. Lerende M&E methoden
Transitievraagstukken betreffen vaak complexe veranderingen in systemen waarbij zowel de benodigde aanpak als de verwachte effecten van deze aanpak vooraf moeilijk in te schatten zijn. Transitievraagstukken vragen daarom veelal een M&E methode die dynamisch en adaptief is. Binnen verschillende disciplines zijn methoden ontwikkeld die aansluiten bij het onzekere karakter van transitievraagstukken en met de veranderingen van de transitie mee kunnen bewegen.

Methoden die zijn ontstaan onder invloed van digitalisering

• De populaire ‘agile’ werkmethodiek (Manifesto for Agile Software Development, 2001) is in het afgelopen decennia overgewaaid van softwareontwikkeling naar de industrie, en duikt tegenwoordig steeds vaker op bij digitale en niet-digitale projecten in de wetenschap. Agile werkwijzen ontstonden als reactie op plan-gedreven methoden die onvoldoende in staat bleken om in te kunnen spelen op snel veranderende omgevingen. Agile werkwijzen worden gekenmerkt door een flexibele respons op veranderingen in de omgeving, door een adaptieve planning te hanteren en door oplossingen snel in de praktijk in te voeren en ze daarna voortdurend te verbeteren.
• Ook met recente ontwikkelingen vanuit data-science op het gebied van AI en big data komen nieuwe methoden beschikbaar voor M&E. Het is bijvoorbeeld de verwachting dat met behulp van data-driven predictive analyses en informatie uit (virtuele) sensoren real-time inzicht kan worden gegenereerd over de effecten van interventies (van Veenstra & Kotterink, 2017). De toepassing van data-gedreven methoden vraagt om een multidisciplinaire aanpak om de data-analyses op verantwoordelijke wijze uit te kunnen voeren en om de resultaten goed te kunnen interpreteren.

Methoden uit de gedragswetenschappen

• N-of-1 studies (of Single Case Design) kunnen de directe effecten van interventies op gedrag monitoren, op basis van herhaalde kwantitatieve metingen bij een individu over de tijd (McDonald et al., 2017). Een belangrijk voordeel is dat de interventie tijdens de metingen kan worden doorontwikkeld en aangepast. Een ander voordeel is dat de baseline voor iedere deelnemer verschillend mag zijn. Hierdoor krijg je zicht op individuele verschillen, het effect van de context en kun je statistische nadelen van spreiding in de doelgroep minimaliseren. N-of-1 studies zijn voornamelijk geschikt voor digitale gedragsinterventies en zijn erg afhankelijk van de interventietrouw van de deelnemers. Toch is dit een veelbelovende methode voor transitievraagstukken met een gedragsveranderingscomponent.
• Andere kansrijke methoden die werkzame mechanismes identificeren in ontwerpproposities en interventies zijn MOST (Multiphase Optimization Strategy; Collins et al., 2007) en CIMO-logic (Denyer et al., 2008).

Reflectieve & reflexieve monitoring methoden

• Reflexive Monitoring in action (RMA) is een participatieve M&E methode ontwikkeld om de voortgang van systeeminnovaties te monitoren (Van Mierlo et al., 2010). Het faciliteert de ontwikkeling van leerprocessen tijdens transities en stimuleert hiermee het bepalen van de richting van de transitie. De bepaling van het doel, de aanpak en de indicatoren beweegt mee met de voortgang van het proces.
  • Voorbeelden van methoden die inzetbaar zijn binnen RMA zijn onder andere Theory of Change, Learning History en Most Significant Change Method.
  • De Meten Weten Handelen systematiek, tenslotte, is ontwikkeld voor het Deltaprogramma (Loeber & Laws, 2016). Aan de hand van ingebouwde reflectie-momenten wordt het ‘leren tijdens de interventie’ gestimuleerd. Hierbij is het mogelijk om in te spelen op nieuwe ontwikkelingen, om activiteiten te vertragen of versnellen, en de strategie aan te passen aan de hand van veranderingen in systemen. Bijsturing vindt plaats op basis van vier hoofdvragen: ligt het project op schema (budget en tijd), ligt het project op koers (worden doelen bereikt), is er sprake van een integrale aanpak, en is er sprake van brede participatie van stakeholders?