Source:

De meeste grotere adviesbureaus publiceren white papers. Als proeve van bekwaamheid. En als marketingtool. Hoe staat het eigenlijk met de kwaliteit van die publicaties? Niet best.

Dat blijkt uit onderzoek aan de Vrije Universiteit Amsterdam, onder aanvoering van Ard-Pieter de Man (hoogleraar Consulting, kennisnetwerken en innovatie aan de VU en principal consultant bij Atos Consulting), naar 43 white papers. Het ging om rapporten van bureaus als McKinsey, BCG, Atos Consulting, Berenschot, Nolan Norton & Co, PwC en Capgemini.

De Man doet verslag van dit onderzoek in de nieuwste aflevering van Management en Consulting (2010 nr. 4), zojuist verschenen. In het onderzoek is bekeken hoe white papers scoren op wetenschappelijke validiteit (in- en externe validiteit, constructvaliditeit, wortels in vakliteratuur) en op informelere vormen van validiteit (aanwezigheid van klantcases, verwijzing naar persoonlijke ervaringen, citaten van tevreden klanten).

Dit zijn de conclusies:

• Slechts een derde van de white papers scoort óf goed op wetenschappelijke validiteit óf op informelere vormen van validiteit.
• De helft van de papers scoort laag op álle criteria. Deze puiblicaties hebben geen duidelijke redenering, geven meer meningen dan feiten en verwijzen op geen enkele manier naar praktijksituaties.
• De overige papers scoren matig. Ze gebruiken enkele van de validiteitscriteria maar doen dat niet op een samenhangende manier.

Natuurlijk zijn white papers geen wetenschappelijke verhandelingen, zegt De Man. Waar het om gaat, is dat adviseurs hun claims en concepten onderzoeken op de vraag of ze gedegen zijn. Voor de helft van de white papers geldt dus dat adviseurs zich te weinig bezighouden met onderbouwing van hun verhaal. Terwijl hun claims niet mis zijn: vrijwel alle papers claimen dat toepassing van de gepropageerde tool of methode tot een succesvollere organisatie leidt.

De Man stelt dat er meer aandacht moet worden gegeven aan feiten in plaats van meningen, dat er strenger op kwaliteit moet worden gecontroleerd en dat consultants zich kritischer moeten opstellen tegenover hun claims. De Man: “Er zijn geen universele oplossingen voor managementproblemen.”

Adviseurs maar ook de brancheverenigingen ROA en Ooa mogen zich deze resultaten aantrekken, want in hun code wordt gesteld: ‘De leden verrichten hun diensten naar wetenschappelijke maatstaven.’ Afgaand op het onderzoek van De Man wordt dit credo niet al te nauw nageleefd.

Dit artikel verscheen eerder op managementenconsulting.nl