De kapitein boog zich naar mij voorover en fluisterde ‘Liboza’. Bekend met het jargon van de landmacht knoopte ik onmiddellijk het linker borst zakje van mijn uniform dicht. Hij keek me goedkeurend aan. Daar moest ik aan denken toen zijn leidinggevende, de majoor van de Aan – en Afvoertroepen, de driejaarlijkse inspectie aankondigde. Ik was dienstplichtig commandant van een peloton chauffeurs die diepladers en brandstofwagens bestuurden. Er werden hoge eisen gesteld aan de veiligheid van deze voertuigen en het geheel aan bijbehorende voorzieningen. Daarom voerde een gespecialiseerde afdeling van het Ministerie van Defensie regelmatig audits uit. De volgende week kwamen ze op bezoek op de Generaal Winkelman Kazerne in Nunspeet.

Gekannibaliseerde wagens op de weg

De majoor wond er geen doekjes om. De bedoeling van de inspectie deed er niet toe. Waar het om ging was dat we koste wat het kost ‘voor de audit moesten slagen’. Ik vroeg het normenkader op en toetste ‘mijn’ voertuigenpark aan de eisen. Geen van de wagens voldeed eraan. Er ontbraken onderdelen, gereedschappen en camouflagenetten. Gelukkig beschikte ik over een zogenaamd AS-hok (AS betekent Autorisatie Staat). Dit was een ruimte met reserve onderdelen. Op één dieplader en één brandstofwagen na kon ik alle wagens compleet maken. Omdat het AS-hok zelf ook deel uitmaakte van de inspectie leverde ik het overschot aan zaklantaarns, schroevendraaiers en steeksleutels in, zodat de andere pelotons er gebruik van konden maken. En ik schreef bestellingen om de tekorten aan te vullen. Dit tot grote ergernis van de betrokken beroepsmilitairen. Tot mijn verbijstering werden de overschotten inclusief alle formulieren in de container gegooid. De twee gekannibaliseerde wagens zouden tijdens de inspectie de weg worden opgestuurd zodat de inspecteurs deze niet onder ogen zouden krijgen. Dit leek mij absoluut niet de bedoeling. Maar, zo maakten mijn leidinggevenden mij duidelijk, dat deed er niet toe. Ze moesten hoe dan ook slagen. En zo ging het een week later ook.

Het effect van een aangekondigde audit

Wat is het effect van een aangekondigde audit? Het gedrag dat ik hierboven beschreef ben ik later in verschillende verschijningsvormen tegengekomen. Zo was er een grote bank in Amsterdam die een CMMI audit onderging. De bestaande manier van werken werd opgepoetst en alle afwijkingen werden gelegitimeerd door het schrijven van waivers. Bij een kleine organisatie die ondersteunende systemen voor de pensioenadministratie ontwikkelde werden de mensen intensief voorbereid op de interviews om de goede antwoorden te geven. En zij werden na het interview debriefed zodat de geconstateerde tekortkomingen in opvolgende interviews konden worden gerepareerd door hun collega’s. Bij een Franse bank in Singapore werden zelfs collega’s van de auditerende partij namens de bank geïnterviewd. Dit garandeerde de gewenste uitkomst. Deze effecten lijken me toch niet de bedoeling.

Gelukkig heb ik ook andere ervaringen. Organisaties die het echt goed willen aanpakken. Die al bezig waren met een verbeterprogramma en die de aangekondigde audit aanwenden om de puntjes op de i te zetten. ‘Vreemde ogen dwingen’, zei één van mijn opdrachtgevers. En natuurlijk is er nooit voldoende tijd voor een perfecte voorbereiding. Maar zolang er momentum is gecreëerd geeft dit niet. Een goede auditor heeft oog voor de beperkingen van de praktische mogelijkheden van een organisatie. Zolang hij er maar vertrouwen in kan hebben dat de ingeslagen weg zal worden voortgezet.

De bedoeling van een audit

De effecten van een aangekondigde audit hoeven dus niet in overeenstemming te zijn met de bedoeling van een audit. Maar wat is de bedoeling van een audit eigenlijk? Het beperkte antwoord hierop is dat je wilt vaststellen in hoeverre de organisatie is ingericht voor en werkt naar een gekozen referentiekader, bijvoorbeeld ISO9001. Afwijkingen van dit normenkader bieden ruimte voor verdere ontwikkeling van de organisatie en een goede auditor kan hier aanbevelingen in doen. Maar dat normenkader komt niet uit de lucht vallen. Feitelijk zijn dit concrete externe functie-eisen die belanghebbenden stellen aan de organisatie. Het zijn afspraken over samenwerken die voldoen aan de eisen die er van buitenaf aan worden gesteld. Waarmee de belangen van externe belanghebbenden worden gediend. Een samenleving is bijvoorbeeld gebaat bij solide financiële instellingen. Daarom zijn er toezichthouders – De Nederlandse Bank en de Autoriteit Financiële Markten – die dit in de gaten houden. Of de Nederlandse Voedsel- en Waren Autoriteit die de veiligheid van ons voedsel bewaakt.

De intentie van de opdrachtgever: etalage of winkel?

De majoor was er duidelijk over: de werkelijke staat van het voertuigenpark deed er niet toe, als het maar wat leek. Het effect van deze oriëntatie was dat er twee ondeugdelijke voertuigen de openbare weg werden opgestuurd. Levensgevaarlijk voor de chauffeurs en voor hun medeweggebruikers. In de organisaties waar ik tegenwoordig werk zijn de risico’s gelukkig minder levensbedreigend. Maar vraag je je als opdrachtgever eens af:

1.      Wat wil je bereiken met de audit?

Op deze vraag wordt meestal een sociaal gewenst antwoord gegeven. Natuurlijk gaat het altijd om organisatieverbetering. Maar gaat het je daar werkelijk om? Want als dat zo is zul je er ook tijd voor moeten maken. Tijd die in eerste instantie ten koste gaat van het primaire proces. Je investeert in organisatie ontwikkeling, net zoals je in nieuwe producten en diensten investeert én het voortbrengingsproces blijft uitvoeren.

2.      Wat is de oriëntatie van de auditor?

Ik werkte eens met een Amerikaanse collega die zijn oriëntatie als volgt verwoordde: ‘I just want to show you how good you are. And i will probably discover room for improvement’. Dit stelde de opdrachtgever gerust. De auditor was er niet op uit om zoveel mogelijk tekortkomingen op te sporen en daarmee zijn superioriteit te bewijzen, maar om een stevige basis te leggen voor het vervolg van het reeds lopende verbeterprogramma.

3.      Hoe gaat de auditor tewerk?

Een goede toetsing vraagt om een normenkader, een goede methode en om inzicht in de praktijk van de opdracht gevende organisatie. Dit maakt het mogelijk om bij iedere bevinding te verwijzen naar het specifieke onderdeel van het normenkader. Maar iedere bevinding zou ook gepaard moeten gaan met een antwoord op de ‘so what’ vraag. Welk risico loopt de organisatie als deze bevinding niet wordt opgelost? Dit helpt de opdrachtgever om prioriteiten te stellen.

Idealiter voorziet de auditor in aanbevelingen die de opdrachtgever helpen om zijn organisatie verder te laten professionaliseren. Beter te laten aansluiten op de externe functie-eisen die de verschillende belanghebbenden aan de organisatie stellen. Helpen om de samenwerking verder tot ontwikkeling te brengen.

Ik was verbijsterd toen ik zag dat perfect gereedschap in de container werd gegooid omdat het teveel werk was om dit netjes en zoals bedoeld af te handelen. Dit was in de tijd dat er pyjamadagen werden geïntroduceerd in verzorgingstehuizen omdat er onvoldoende geld was om personeel te betalen. Ik ben in actie gekomen. De klacht die ik heb ingediend is voor de betrokkenen niet zonder gevolgen gebleven. Maar het begint met het goede voorbeeld aan de top.

De Definition of Done is een essentieel onderdeel van scrum. Ieder zichzelf respecterend scrum team heeft er een, maar er zijn maar weinig scrum teams die de Definition of Done ook echt serieus nemen. Meestal is het een wassen neus, een document voor de bühne of in het beste geval een checklist waar je best van mag afwijken als je maar een beetje een plausibele uitleg hebt.

Een limiet is er om je er aan te houden

In de Definition of Done staan de kwaliteitscriteria waar ieder opgeleverd product aan moet voldoen. Het is voor het scrum team de meetlat die bepaalt of je iets af hebt of nog niet. Deze meetlat is zo strikt dat als je er niet aan voldoet, je het betreffende item niet mag opleveren. Formeel mag je het resultaat niet eens laten zien tijdens de sprint review meeting. Dat vinden de meeste teams wel heel erg spannend en daarom wordt de Definition of Done lekker vaag gehouden, zodat je er in de meeste gevallen wel mee weg komt als de kwaliteit even wat minder is.

Wat telt is het resultaat, niet jouw inzet

Een paar maanden geleden schreef ik een blog waarin ik ervoor pleitte om procesafspraken uit de Definition of Done te halen. Van die lekker vage afspraken, dat er een peer review moet plaats vinden of dat alle testen moeten zijn uitgevoerd. Het zijn afspraken waar je alle kanten mee op kan en die je met een beetje verhaal altijd kunt afvinken. Ze zeggen echter niets concreets over de geleverde kwaliteit en daardoor geven ze ook geen enkel aanknopingspunt om te verbeteren. Dat komt omdat ze gaan over inzet en niet over resultaat, maar ook omdat ze vaak niet SMART(Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdgebonden) zijn geformuleerd.

De Olympische limiet ligt wel heel erg hoog

Als je de stap gemaakt hebt om procesafspraken uit je Definition of Done te schrappen en het is gelukt om de vaagheid eruit te krijgen, dan is er nog het gevaar van de Olympische lat. President Xi van China heeft in Peking de Olympische winterspelen geopend en de komende weken kan de hele wereld weer genieten van sporters die het beste willen laten zien van wat ze in huis hebben. Het motto van de olympische spelen is citius altius fortius en dit sneller, hoger, sterker moet de deelnemers motiveren om iedere keer weer een beetje beter te presteren. Het gaat in de topsport echter al lang niet meer om alleen maar het meedoen. Er moeten medailles gewonnen worden en het liefst een paar meer dan 4 jaar geleden. Als je mee wilt doen dan zul je moeten voldoen aan de Olympische limiet. Haal je die niet, dan doe je niet mee.

Voor veel teams wordt een kwaliteitslimiet in de Definition of Done opgesteld die op het allerhoogste Olympische niveau ligt. Een limiet waar normale stervelingen onmogelijk aan kunnen voldoen. Het is meer een Definition of Perfect. Er zijn naast de afnemers van het product namelijk nog veel meer partijen die belang hebben bij een hoge kwaliteit. Ze stellen eisen aan beveiliging, bruikbaarheid, beschikbaarheid of andere niet-functionele kenmerken. De lat wordt vaak nog een beetje hoger gelegd vanwege imago en reputatie. Eisen die vaak worden gesteld door management, ondersteunende afdelingen of de maatschappij. Denk bij het laatste bijvoorbeeld aan wet- en regelgeving. Alle eisen worden vaak met de beste bedoelingen opgesteld en aan de Definition of Done toegevoegd. En zo wordt de stapel eisen waar een team aan moet voldoen steeds maar hoger en hoger. En uiteindelijk ligt de limiet zo hoog dat alleen de allerbesten er nog aan kunnen voldoen. En dan nog alleen als de omstandigheden perfect zijn en de druk niet al te hoog is.

Nog veel belangrijker dan kwaliteit is vaak de druk op de hoeveelheid die opgeleverd moet worden. Veel organisaties verwachten van hun teams dat ze steeds een beetje beter worden en dat zich dat vertaalt in nog meer opgeleverde functionaliteit. Natuurlijk is er niets mis met beter worden waardoor je met dezelfde inspanning meer waarde kunt leveren. In de praktijk is de druk om meer te leveren echter vaak groter dan wat de teams aan kunnen en wordt de prijs betaald door consessies te doen aan de kwaliteit of, erger nog, wordt roofbouw gepleegd op de medewerkers. Teams vinden allerlei manieren om niet aan deze enorme berg eisen te hoeven voldoen. Dat gaat van negeren, de schuld afschuiven en wegredeneren tot aan verdoezelen, creatief omgaan met de regels en manipuleren aan toe. De hele trukendoos wordt open getrokken.

Iedereen wil meebeslissen

De oorzaak dat er teveel aan wishful thinking wordt gedaan, is niet de enige reden dat de Definition of Done niet de plek krijgt die hij verdient. Een andere belangrijke oorzaak is dat de eisen voor de Definition of Done van buitenaf worden opgelegd. Belanghebbenden leveren hun lijstjes in bij het team met de mededeling dat dit de eisen zijn waar ze aan moeten voldoen. Vervolgens verwachten ze dat het team wel even regelt dat ze er aan zullen voldoen. Ze houden er geen rekening mee dat iedere toevoeging of wijziging aan de Definition of Done impact heeft voor het team. Het levert extra werk op in de vorm van controles, rework of extra functionaliteit. Teams zouden dit niet zomaar mogen accepteren. Het extern opleggen van allerlei dwingende eisen aan het team is een aantasting van hun autonomie met als gevolg dat het team zich geen eigenaar voelt. Het is dan ook volstrekt logisch dat ze zichzelf daartegen beschermen door de rol van de Definition of Done te minimaliseren.

Handige tips voor een praktisch toepasbare Definition of Done

Om een goede start te maken zouden teams eerst moeten inventariseren wat het concrete huidige kwaliteitsniveau is. Leg dit niveau vast in de Definition of Done. Als meerdere teams aan hetzelfde product werken dan geldt het niveau van het minst presterende team. Dat is namelijk het niveau dat je als klant of belanghebbende minimaal mag verwachten en dat zal ongetwijfeld lager zijn dan wat de meesten ervan verwachten. Dit is een realistische start, want de teams hebben immers aangetoond dat ze dit kunnen halen. Van daaruit leggen de teams in gezamenlijk overleg de lat iedere keer een beetje hoger. De retrospective is de belangrijkste meeting die hiervoor wordt gebruikt, maar gebruik ook de sprint review meeting om de wensen en verwachtingen van belanghebbenden te achterhalen en met ze te bespreken. Iedere keer als je de lat een beetje hoger legt kun je bedenken wat de consequenties voor het team zijn, maar het is ook vooral een kwestie van gewoon doen. Ga iedere sprint een nieuw experimentje aan. Als het een keer niet lukt dan is dat niet erg. Je kunt immers altijd terugvallen op de vorige versie.

Zorg dat je de regie houdt en als je dit lang genoeg vol houdt kom je vanzelf weer op dat olympische niveau terecht, maar dan weet je ook zeker dat je het waar kunt maken.

 
* verplicht