Datakwaliteit die je
kunt aantonen.
Niet beloven.
In veel organisaties is datakwaliteit een rapport dat een keer per jaar wordt gemaakt en waarna niets verandert. Wij maken er een meetsysteem van: regels in beheer bij de vakafdeling, elke nacht gemeten over alle bronsystemen, en per eigenaar een werklijst met de records die niet kloppen.
Technologie × Mens = Resultaat
Van business rule naar werklijst
Onze route, in elke opdracht dezelfde.
- Kritiek gegeven
- Business rule
- Norm
- Meting genereren
- Overtredingen
- Werklijst
Waarom datakwaliteitstrajecten meestal stilvallen
Niet omdat er te weinig aandacht voor is. Bijna altijd omdat de meting eenmalig is, de uitkomst niet herleidbaar is tot een dossier, en niemand per gegeven verantwoordelijk is.
Het is een rapport, geen werklijst
Er ligt een nulmeting of een audit met percentages. Niemand kan er maandag iets mee, want er staat niet in wélke records niet kloppen en wie ze moet aanpakken.
Dezelfde fouten komen elk jaar terug
Bij de verantwoording wordt een set fouten met de hand hersteld. Het jaar erop staan ze er weer, omdat er aan de bron niets is veranderd en niemand het tussentijds zag.
De controles zitten verstopt in scripts
De kennis over wat een geldige registratie is, zit in queries van één specialist of in een Excel op een netwerkschijf. Vertrekt die persoon, dan vertrekt de controle mee.
Er is geen eigenaar per gegeven
Er is wel iemand die “over data gaat”. Maar zolang niet per gegeven vastligt wie erover besluit, blijft datakwaliteit een taak van iedereen en dus van niemand.
Er is geen norm, dus geen gesprek
Zonder streefwaarde is 87% niet goed of slecht, het is gewoon een getal. Daarmee valt er niets te besluiten en dus verdwijnt het onderwerp weer van de agenda.
Elk bronsysteem heeft zijn eigen meting
Per applicatie een eigen rapportje, in een eigen vorm, op een eigen moment. Optellen kan niet, vergelijken al helemaal niet, en het totaalbeeld ontbreekt.
Een percentage vertelt je dat het niet klopt. Een werklijst met eigenaar vertelt je wie er wat aan doet.
Zo ziet een datakwaliteitsmeting eruit
Minder woorden, meer daden. Dit is wat er na de eerste inrichting elke ochtend klaarstaat: per regel een meting tegen een streefwaarde en een drempelwaarde, de trend sinds de vorige peildatum, en de records die de regel overtreden. De cijfers hieronder zijn fictief.
Overtredingen per kritiek gegeven — aantal records
Percentage conform per peildatum — tegen de streefwaarde
412 beschikkingen zonder einddatum verklaren bijna een derde van alle overtredingen. Ze zitten in één werkproces en bij één team. Eigenaar: de teamleider van dat team. De lijst met dossiernummers zit achter de tegel, en na de aanpassing in het invoerscherm zie je bij de volgende peildatum of het geholpen heeft.
Een percentage is een rapportage. Een percentage met een streefwaarde, een eigenaar en de onderliggende dossiernummers is een werklijst. Dat laatste is wat we opleveren.
Eén keer inrichten, daarna elke nacht
Dit is de werkwijze zoals hij draait, niet een model op papier. Het linkerspoor doe je één keer per domein en werk je daarna alleen bij. Het rechterspoor gaat daarna elke nacht automatisch, zonder dat er iemand iets voor hoeft te bouwen.
Inrichten, per domein
- Bronnen aansluiten, read-only per systeem
- Kritieke gegevens en definities vastleggen
- Per gegeven een business rule opschrijven
- Teller, noemer en detailvraag erbij
- Streefwaarde, drempelwaarde en eigenaar
- Regel vrijgeven via de status
- Meting genereren uit het overzicht
Draaien, elke nacht
- Tellers meten, per regel en per bron
- Overtredingen ophalen op recordniveau
- Scoren tegen de norm: groen, oranje, rood
- Vastleggen met een peildatum
- Datamart en dashboard actualiseren
- Werklijst naar de eigenaar
- Rapportage mailen, inclusief zelfcontrole
Een regel erbij is een regel in het overzicht en opnieuw genereren. Diezelfde nacht wordt hij meegemeten.
Wie doet wat
De scheiding is bewust: de inhoud hoort bij de organisatie, de machinerie bij ons.
- de vakafdeling bepaalt wat een geldige registratie is
- de eigenaar per regel pakt de werklijst op
- wij sluiten de bronnen aan en genereren de meting
- wij houden de meting in de lucht bij een systeemwijziging
Aansluiting op het NORA-stappenplan
Werkt jouw organisatie met het stappenplan gegevenskwaliteit uit het NORA-raamwerk, dan is dit de uitvoerbare kant daarvan. De zes processtappen vallen samen met de sporen hierboven:
- context bepalen en gegevens beschrijven — stap 1 en 2 links
- regels en eisen beschrijven — stap 3 tot en met 6 links
- gegevenskwaliteit meten — stap 1 tot en met 4 rechts
- signalen afhandelen — stap 5 tot en met 7 rechts
- maatregelen implementeren — bij jullie, wij meten het effect
Waarom een regel erbij een kwestie van minuten is
Snelheid is bij ons geen belofte maar een gevolg van hoe het gebouwd is. Onder de dashboards zit GRIP, een Nederlandse data-engine met een eigen Data Quality Manager. Daarin wordt een controle ingericht in plaats van geprogrammeerd.
De regels zijn data, geen code
Alle regels staan in één overzicht: bron, tabel, kritiek gegeven, definitie, dimensie, de meting, de streefwaarde, de drempelwaarde en de eigenaar. Wie de regel snapt, kan hem beheren. Daar hoef je geen ontwikkelaar voor te zijn.
De meetapplicatie wordt gegenereerd
Uit dat overzicht genereert GRIP de complete meting: de query per regel, de detailquery en de verwerking. Een regel erbij is een regel in het overzicht en opnieuw genereren — geen wijziging die door een releasetraject moet.
Alle bronsystemen in één meting
Oracle, SQL Server en PostgreSQL naast elkaar, met een read-only account per bron. Zaaksysteem, vakapplicaties, financiën en basisregistraties komen in hetzelfde overzicht terecht, ook als ze technisch niets met elkaar te maken hebben.
Elke peildatum blijft bewaard
Metingen worden niet overschreven. Daardoor kun je een verbetering aantonen in plaats van beweren, en zie je een verslechtering terwijl hij ontstaat — niet pas bij de volgende verantwoording.
Het systeem controleert zichzelf
De dagelijkse rapportage vermeldt ook welke regels zélf zijn omgevallen en hoeveel belasting de meting per bronomgeving heeft gegeven. Een stille storing die je cijfers vertekent, is hier een zichtbare regel in de mail.
Binnen je eigen omgeving
GRIP draait on-premise of in je eigen cloud. Bij een datakwaliteitsmeting is dat extra relevant: je kijkt per definitie naar de ruwe registratie, inclusief persoonsgegevens. Die hoeven je omgeving dus niet te verlaten.
Deze aanpak draait in productie bij het RIVM: business rules over meerdere bronsystemen tegelijk, gemeten en gerapporteerd binnen de eigen infrastructuur.
We meten in de taal die al is afgesproken
Voor gegevenskwaliteit bestaat binnen de Nederlandse overheid al een gemeenschappelijk raamwerk. Wij sluiten daarop aan, zodat je meting ook buiten je eigen organisatie bruikbaar is: in verantwoording, in samenwerking en in aanbesteding.
Negen kwaliteitsdimensies
Het NORA-raamwerk gegevenskwaliteit geeft negen dimensies, uitgewerkt in kwaliteitsattributen en metrieken. Wij leggen per regel vast op welke dimensie hij zit, zodat de uitkomst vergelijkbaar is met andere registraties.
- Juistheid
- Compleetheid
- Validiteit
- Consistentie
- Actualiteit
- Precisie
- Plausibiliteit
- Traceerbaarheid
- Begrijpelijkheid
Zonder dimensie is een regel een losse controle. Mét dimensie kun je zeggen wát er niet klopt: ontbreekt het gegeven, is het verouderd, of spreken twee bronnen elkaar tegen?
Bruikbaar richting de keten
Ben je bronhouder, dan vraagt het Federatief Datastelsel om kwaliteit te beschrijven in de termen van datzelfde NORA-raamwerk, met minimaal compleetheid, juistheid en actualiteit.
Meet je zo, dan is die verantwoording een export uit een systeem dat toch al draait — geen apart project dat je erbij moet optuigen.
- één taal richting ketenpartners en toezichthouders
- meetresultaten met een peildatum, dus reproduceerbaar
- herleidbaar tot de bron en het record
- overdraagbaar naar een volgende organisatie
Het verschil met een datakwaliteitsprogramma
De methodiek en de meetmachine staan al. Daardoor gaat de tijd naar de inhoud — welke gegevens kritiek zijn en wat een goede registratie is — en niet naar het bouwen van een meetsysteem.
| Eigen datakwaliteitsprogramma | BoostinMethodiek en tooling zitten in het product | |
|---|---|---|
| Startpunt | Governance, beleid en een organisatiebrede inventarisatie | Eén proces waar de verantwoording nu pijn doet |
| Eerste meting | Na een programmafase, vaak pas volgend jaar | Op één afgebakend domein, in weken |
| Regels vastleggen | In scripts, bij een specialist of een externe partij | In een overzicht dat de vakafdeling zelf beheert |
| Frequentie | Een nulmeting, daarna jaarlijks een audit | Elke nacht, met de historie per peildatum erbij |
| Wat je krijgt | Percentages in een rapport | De records zelf, per eigenaar, met streef- en drempelwaarde |
| Meerdere bronsystemen | Per applicatie een eigen rapportje | Alle bronnen in één meting en één overzicht |
| Waar de gegevens staan | Vaak buiten de eigen omgeving, soms buiten de EU | On-premise of je eigen cloud — jullie keuze |
| Regel erbij | Een wijzigingsverzoek en een releaseplanning | Een regel in het overzicht, dezelfde nacht gemeten |
Een technisch goede meting waar niemand iets mee doet, levert geen betere gegevens op.
Waar dit het meeste oplevert
Datakwaliteit is nergens een doel op zich. Het gaat ergens leven zodra er een verantwoording, een besluit of een keten aan hangt die nu niet te vertrouwen is.
Je verantwoordt je aan derden
Gemeenteraad, Rijk, toezichthouder of accountant. Zodra iemand buiten je organisatie op je cijfers afgaat, is een reproduceerbare meting per peildatum meer waard dan een toelichting.
Je werkt in een keten
Als gegevens tussen organisaties heen en weer gaan, is een fout niet alleen jouw probleem. Dan helpt het om in de taal van het raamwerk te kunnen zeggen wat er wel en niet klopt.
Je gaat dashboards bouwen
Een dashboard maakt registratiefouten zichtbaar en vergroot ze. Wie datakwaliteit tegelijk inricht, voorkomt dat het eerste gesprek over de cijfers meteen over de betrouwbaarheid gaat.
Welke gegevens moeten bij jullie kloppen?
In een eerste gesprek bepalen we welk proces zich het beste leent om snel aantoonbaar resultaat te halen. Bijvoorbeeld:
- Welke fouten herstellen we elk jaar opnieuw?
- Wie is eigenaar van welk gegeven?
- Welke cijfers worden standaard in twijfel getrokken?
- Wat moet kloppen voordat we publiceren?
Eén gesprek, geen verplichting. We bepalen samen of er een pilot in zit.