Bekostiging op basis van accreditatieoordelen – een beschouwing vanuit de accreditatiepraktijk

Het stuk hieronder is een iets aangepaste versie van een stuk dat eerder verschenen is op ScienceGuide. Het is een wat langer en technischer stuk dan we hier normaal schrijven, maar het beschrijft een actuele discussie in het hoger onderwijs die, volgens ons, tot grote problemen kan leiden. De TL;DR versie: het wordt steeds meer beleid om instellingen af te rekenen op ‘kwaliteit’ en daar allerlei beleid aan op te hangen, zoals hoe veel geld instellingen krijgen. Klinkt leuk, maar omdat ‘kwaliteit’ lastig te meten is, leidt dit tot allerlei ellende, al dan niet dof en bitter. Toch nieuwsgierig? Lees vooral door!

Kwaliteit en bekostiging

In de Strategische Agenda is er een voorschot genomen op ‘kwaliteitsbekostiging’. Voortaan wordt het hoger onderwijs voor een beperkt deel gefinancierd op basis van ‘kwaliteit’. Zo’n zeven procent van de bekostiging van hogeronderwijsinstellingen moet worden gekoppeld aan indicatoren zoals uitval, rendementen, accreditatieoordelen, contacturen en de docentkwaliteit.

Deze zeven procent gaat de VVD echter niet ver genoeg. In een uitgebreid betoog op ScienceGuide geeft onderwijswoordvoerder Anne-Wil Lucas te kennen dat het onacceptabel is dat 93 procent van de bekostiging blijft lopen via studentenaantallen. Volgens haar is dat een perverse prikkel die leidt tot een kwantiteitsstreven bij instellingen. In een inmiddels aangenomen motie pleit ze ervoor om kwaliteitsbekostiging breder in te voeren, aan de hand van de onafhankelijke oordelen van de NVAO. Op basis van de accreditatieoordelen voldoende / goed / excellent kunnen opleidingen dan meer of minder financiering krijgen. Ook pleit Lucas voor een uitbreiding van de selectiemogelijkheden wanneer een opleiding het oordeel ‘goed’ of ‘excellent’ krijgt.

Door haar bekostigingsvoorstel te presenteren als ‘strijd tegen perverse prikkels’ gebruikt ze slimme retoriek, die ze heeft afgekeken bij partijgenoot en oud-staatssecretaris van onderwijs Mark Rutte. Zijn plannen om studentenrechten drastisch in te perken, werden verkocht onder de titel ‘leerrechten’. Echter ook in het voorstel van Lucas kan de retoriek niet verhullen dat de inhoud rammelt.

Hieronder betogen wij dat het inbouwen van bekostigingsprikkels middels de accreditatieoordelen minstens zo pervers is als bekostiging op basis van studentenaantallen. Daarnaast leidt het gebruik van accreditatieoordelen bij selectie of bij collegegelddifferentiatie(*)  tot uitholling van het accreditatiesysteem.

Reacties uit het veld

Een keur aan wetenschappers, deskundigen en autoriteiten heeft zich inmiddels gebogen over de (on)zin van bekostiging op kwaliteit. Bestuurskundige en ex-hogeronderwijstopambtenaar prof. Roel in’t Veld verbaast zich over het feit dat Zijlstra in zijn Strategische Agenda kiest voor beleidsprikkels in de bekostiging en noemt het ‘de aankondiging van de volgende fraude’. In’t Veld stelt dat vanuit de wetenschappelijke literatuur al een jaar of 25 bekend is dat dergelijke prikkels niet werken. De Onderwijsraad waarschuwt in zijn reactie op de Strategische Agenda voor ‘maatstaffixatie’ en voor perverse effecten wanneer instellingen financieel worden afgerekend op falen.(**)  Ook op de opiniepagina‘s van de Volkskrant is de zorg uitgesproken over het beleid van Zijlstra. Het gaat uit van wantrouwen en er worden harde, meetbare doelen gesteld, die het echte doel (de onderwijskwaliteit!) doet verdwijnen achter een papieren werkelijkheid; de regering probeert te meten wat niet meetbaar is.

Ook vanuit de instellingen zijn zeer kritische geluiden te horen. Voorzitter Guusje ter Horst van de HBO-raad waarschuwt óók  voor perverse effecten en een mogelijke verlaging van de onderwijskwaliteit, juist door het gebruik van prestatie-indicatoren bij de bekostiging. Collegevoorzitter Marcel Wintels van Fontys noemt in een artikel in het Financieel Dagblad sturen met geld een idee-fixe. Volgens hem ontbreken simpelweg criteria en indicatoren om prestaties eenduidig, objectief en eerlijk met elkaar te vergelijken.

Bovendien wijst hij op de nadelige gevolgen van de grotere bureaucratie waar dit mee gepaard zal gaan, en op het feit dat een dergelijke vorm van bekostiging geld weghaalt waar het nodig is en brengt naar waar men zich wel redt. Ook WHW-kenner, onderwijsjurist en specialist op het gebied van geldstromen in het onderwijs Peter Kwikkers doet een duit in het zakje: er is geen enkel bewijs dat het werkt, indicatoren als ‘contacttijd’ zeggen niets over de kwaliteit van het onderwijs en het voorstel van Lucas leidt tot perverse effecten in de accreditatiesystematiek.

Het perspectief van de kwaliteitszorg

Bovenstaande argumenten zijn valide, in aanvulling daarop zijn vanuit de praktijk van de kwaliteitszorg eveneens ernstige bezwaren te maken. Hieronder geven wij er drie. Ten eerste veronderstelt het bekostigen op basis van accreditatieoordelen dat deze volledig vergelijkbaar zijn. Het is echter de vraag of dat zo is.

Ten tweede legt deze vorm van bekostiging een enorme verantwoordelijkheid bij de panelleden; niet langer gaan zij langs om te controleren of een opleiding voldoet aan de inhoudelijke basiskwaliteit en daarbij nuttige verbetersuggesties te geven, neen: hun oordeel bepaalt hoeveel geld zo’n opleiding krijgt, of studenten geselecteerd mogen worden en/of er een hoger collegegeld gevraagd mag worden. Het is de vraag of je die verantwoordelijkheid bij een panel wil leggen, en het is óók de vraag of panelleden deze verantwoordelijkheid wel willen.

Last but not least legt een dergelijke vorm van bekostiging een bom onder het accreditatiestelsel. Het is voor de verbeterfunctie van het stelsel namelijk essentieel dat opleidingen zich volledig openstellen voor een visiterend panel. Alleen als een panel zicht krijgt op wat er in een opleiding gebeurt, kunnen nuttige verbetersuggesties worden gegeven waarmee de kwaliteit van het onderwijs verhoogd kan worden. De vraag is: hoe genegen zijn opleidingen om zichzelf bloot te geven, wanneer hun financiering van het oordeel afhangt? Hieronder worden deze bezwaren uitgewerkt.

Vergelijkbaarheid van oordelen

Pas sinds ongeveer een jaar(***)  krijgen opleidingen een totaaloordeel op een vierpuntsschaal: onvoldoende, voldoende, goed of excellent. In het beoordelingskader is gekozen voor brede standaarden en breed geformuleerde beslisregels , die bewust veel ruimte geven aan het timmermansoog van de panelleden. En dat is maar goed ook, want het alternatief is een afvinklijstje waar de kwaliteit van een opleiding nooit mee gevangen kan worden.(****)  Om een indruk te geven van de breedte van de beslisregels volgen hier de definities voor voldoende en goed zoals gedefinieerd door de NVAO:

Voldoende: De opleiding voldoet aan de gangbare basiskwaliteit en vertoont over de volle breedte een acceptabel niveau.
Goed: De opleiding steekt systematisch en over de volle breedte uit boven de gangbare basiskwaliteit.

Opleidingen presteren echter nooit op alle punten precies even goed, of dat nu op het niveau van de basiskwaliteit is of ruim daarboven. Neen, iedere opleiding heeft sterke en zwakke punten, en dus zal een panel altijd de afweging moeten maken tussen een onvoldoende en voldoende, of tussen een goed en excellent. Soms is dat volstrekt duidelijk, maar soms is het een dubbeltje op zijn kant.

De grens tussen een opleiding die wel of niet aan de maat is, is bovendien veel helderder voor een panel dan de grens tussen een voldoende en een goed, of tussen een goed en een excellent. Wat het nog lastiger maakt is dat het begrip ‘basiskwaliteit’ nooit gedefinieerd is, wat nog meer ruimte geeft aan de panels. Panels die ook qua samenstelling  per visitatie verschillen

Verantwoordelijkheid van panelleden?

Een visitatiepanel wordt samengesteld uit een aantal peers. In het hbo gaat het meestal om vier personen:  één of meerdere experts uit de beroepspraktijk, iemand met relevante onderwijsexpertise en een student. Panels bestaan doorgaans uit gedreven mensen die vooral een bijdrage willen leveren aan de kwaliteit van de opleiding die zij bezoeken. De voorgestelde maatregelen maken de verantwoordelijkheid van  het panel echter vele malen groter. Ineens krijgen de leden een hele andere taak, en bepaalt het oordeel van de peers of een opleiding mag selecteren, hogere collegegelden mag vragen en meer of juist minder overheidsbekostiging krijgt.

Los van de vraag of het verstandig is om dergelijke beslissingen af te laten hangen van een relatief kleine groep mensen zitten veel panelleden niet te wachten op deze verantwoordelijkheid. Panelleden willen de kwaliteit van opleidingen verbeteren, maar zien de focus op kwaliteit verlegd worden naar geld en toegankelijkheid.

Je zult als panellid maar principieel tegenstander zijn van selectie aan de poort  en plots  verantwoordelijk worden gemaakt voor de mogelijkheid van een opleiding om te selecteren. Of er voor verantwoordelijk worden dat een opleiding een vijfvoudig collegegeld gaat vragen. Het is maar afwachten hoe deze randzaken, die niets met de opleidingskwaliteit te maken hebben, van invloed zullen zijn op de beoordeling.

Recent stelde NVAO-voorzitter Karl Dittrich nog dat de peers zachter worden bij een harder stelsel  “De HO-peers durven namelijk vanwege hun terechte neiging tot nuance en analyse niet bij een kwaliteitsbeoordeling tot harde conclusies te komen als de gevolgen daarvan ‘digitaal’ zijn. Als een opleiding geen enkele kans krijgt bij minder goede resultaten of interne processen tot snelle verbeteringen te komen, dan houdt men de conclusies liever vlak en genuanceerd,” aldus Dittrich.

Dat is ook onze ervaring. Als een besluit harde (financiële) gevolgen heeft, kan dat het oordeel van de peers beïnvloeden. Een panel komt in een rare spagaat terecht wanneer het constateert dat een opleiding te weinig docenten heeft en daarom voldoende, maar geen hoogstaand onderwijs aflevert. Een laag oordeel zorgt er immers voor dat de opleiding juist minder geld krijgt en zichzelf daardoor niet kan verbeteren.

Pervertering van het accreditatiestelsel

Tot slot komen we dan bij de pervertering van het accreditatiestelsel zelf. Want niet alleen het oordeel van de panels kan worden beïnvloed door de extra bagage waar ‘Den Haag’ het stelsel mee wil opzadelen. Een nog veel groter gevolg zal het hebben voor de manier waarop opleidingen zich opstellen.

Wanneer de consequenties  van een visitatietraject zo ingrijpend worden op meer aspecten dan alleen de kwaliteit, zal een opleiding waar niet alles lekker loopt er veel aan doen om dit te verzwijgen. Een ongewenst oordeel kost in de toekomst immers bakken met geld. Geld dat juist nodig is om het onderwijs te verbeteren. Dit leidt onvermijdelijk  tot window dressing, het ophouden van schone schijn en geslotenheid richting de panels , terwijl accreditatie juist is gebaat bij openheid.

Het merkwaardige is dat iedereen dat ook weet. Nog geen jaar geleden woedde een discussie over het al dan niet aanhouden van een herstelperiode bij een onvoldoende oordeel op het onderdeel ‘examinering en gerealiseerd eindniveau’. Het feit dat zo’n periode er lange tijd niet was, leidde tot verhullend gedrag bij opleidingen en vlakke oordelen van panels. Na veel discussie is de herstelperiode uiteindelijk gered na een sterk betoog van de Landelijke Studenten Vakbond op ScienceGuide. Deze redding is echter tevergeefs als nog geen jaar later het accreditatieoordeel op een andere manier veel zwaarder wordt, omdat het ministerie het gebruikt bij verdeling van de bekostiging.

Conclusie

Het accreditatiestelsel komt het beste tot zijn recht wanneer er geen andere zaken in de weg zitten. Panelleden moeten onbevangen een oordeel kunnen geven over de kwaliteit van de opleiding en verbetersuggesties kunnen aandragen, zonder zich druk te maken  of hun oordeel leidt tot minder geld voor de opleiding, selectie aan de poort of hogere collegegelden.

Opleidingen moeten zich onbevreesd kunnen blootgeven aan een visitatiepanel, zonder angst dat dit ten koste gaat van hun financiering. Alleen dan kan optimaal worden gekeken naar de kwaliteit van de opleiding en kan vervolgens werk gemaakt worden van de verbetersuggesties van de peers.

Helaas zijn inmiddels al afspraken gemaakt over de rol van accreditatieoordelen in de hoofdlijnenakkoorden tussen OCW en de instellingen. Wij maken ons grote zorgen over de weg die de overheid is ingeslagen en vragen de staatssecretaris en de Tweede Kamer om uiterst voorzichtig te zijn met het ophangen van genoemd beleid aan de accreditaties.

Het werkt niet in de praktijk, het heeft een negatieve invloed op de kwaliteit van de visitaties, leidt tot minder verbeteringen op opleidingsniveau en een lagere kwaliteit van ons onderwijs. Komende generaties gaan daar de prijs voor betalen.

János Betkó en Lisa Westerveld

János Betkó is auditor en panelsecretaris bij evaluatiebureau Netherlands Quality Agency. Zijn dagelijkse werkzaamheden bestaan uit het begeleiden van visitaties in het hoger onderwijs. Lisa Westerveld heeft aan meer dan veertig visitaties deelgenomen als studentpanellid voor de NVAO en diverse evaluatiebureaus. Zij is werkzaam bij de Algemene Onderwijsbond. Beide waren bestuurslid van de LSVb tussen 2007 en 2009 en vanuit die functie betrokken bij de totstandkoming van het huidige accreditatiestelsel.

Voetnoten:
* Dat is een idee uit de Strategische Agenda.
** Het risico voor perverse effecten is precies de reden dat bij de voorloper van de prestatieafspraken van Zijlstra, de Meerjarenafspraken onder Plasterk, studenten en instellingen altijd eensgezind gepleit hebben voor een inspanningsverplichting en nadrukkelijk géén resultaatverplichting.
*** Bij de ingang van het huidig accreditatiestelsel.
**** Bij de totstandkoming van het huidige accreditatiestelsel is er dan ook expliciet gekozen om afvinklijstjes te vermijden en de experts in het panel de ruimte te geven zich te focussen op de zaken die volgens hen het belangrijkst is.