Datakwaliteit: waar het misgaat en hoe je foute cijfers voorkomt

Kort antwoord: foute cijfers ontstaan zelden in het dashboard zelf. Ze ontstaan eerder in de keten: bij de invoer, in een bronsysteem dat verandert, bij het ophalen van data, bij het omzetten en koppelen, of doordat rapporten een andere definitie gebruiken. Je voorkomt ze door per stap een eenvoudige controle in te bouwen, fouten automatisch te melden aan wie ze kan oplossen, en vast te leggen wie eigenaar is van welke data. Dat geldt voor dashboards, en net zo goed voor AI-toepassingen die met je eigen data werken.

Wat is goede datakwaliteit?

Data is van goede kwaliteit als die geschikt is voor het doel waarvoor je die gebruikt. Dat is minder abstract dan het klinkt. Meestal gaat het om deze aspecten:

• Volledig: alle regels en velden die er horen te zijn, zijn er.
• Juist: de waarden kloppen met de werkelijkheid.
• Tijdig: de data is actueel genoeg voor de beslissing.
• Uniek: alles komt één keer voor, zonder dubbele klanten of facturen.
• Consistent: hetzelfde gegeven heeft in elk systeem dezelfde waarde en betekenis.
• Geldig: waarden passen in het verwachte formaat, zoals een datum in een datumveld en een bedrag in een bedragveld.

Niet elk aspect is overal even belangrijk. Voor een jaaroverzicht is tijdigheid minder kritisch dan voor een dagplanning. Bepaal per toepassing wat ertoe doet.

Waar het misgaat: vijf plekken

1. Bij de invoer

Mensen maken tikfouten, laten velden leeg of gebruiken een vrij tekstveld voor iets wat een vaste keuze had moeten zijn. "Amsterdam", "A'dam" en "amsterdam " zijn voor een computer drie verschillende plaatsen.

Wat helpt: keuzelijsten in plaats van vrije tekst, verplichte velden waar het ertoe doet, en controles in het invoerscherm. Dat ligt bij de eigenaar van het bronsysteem, niet bij het rapport.

2. In het bronsysteem

Een leverancier brengt een update uit, en ineens heeft een export een kolom extra, heet een veld anders of betekent een statuscode iets anders. Of een collega gaat een veld voor een ander doel gebruiken. Niemand meldt het, want voor het bronsysteem zelf is er niets mis.

Wat helpt: controleer bij elke ophaalactie of de structuur nog klopt: dezelfde kolommen, dezelfde datatypes, geen onbekende codes. Stop de verwerking en meld het als dat niet zo is.

3. Bij het ophalen

Een export is half binnengekomen omdat de verbinding wegviel. Een bestand is twee keer geladen. Datums staan als dag-maand-jaar en worden gelezen als maand-dag-jaar. Een komma als decimaalteken wordt gelezen als scheidingsteken voor duizendtallen.

Wat helpt: tel regels en totalen en vergelijk ze met de bron of met de vorige keer. Leg vast welke bestanden al verwerkt zijn, zodat een tweede keer laden geen dubbele regels oplevert. Lees bestanden altijd met expliciete instellingen voor scheidingsteken, datumnotatie en decimaalteken.

4. Bij het omzetten en koppelen

Dit is de verraderlijkste plek, omdat de uitkomst er normaal uitziet. Een verzonnen maar herkenbaar voorbeeld: je koppelt facturen aan klanten via het klantnummer. Eén klant blijkt twee adressen te hebben in de klantentabel. Na de koppeling staan zijn facturen er twee keer in, en zijn omzet is verdubbeld. Het omgekeerde kan ook: facturen zonder bekende klant vallen stilletjes weg.

Wat helpt: controleer na elke koppeling of het aantal regels en het totaalbedrag gelijk zijn gebleven. Controleer of sleutels die uniek horen te zijn, ook echt uniek zijn. Tel hoeveel regels geen match hadden, en maak dat zichtbaar.

5. In het rapport

De data is goed, maar twee rapporten tonen een ander getal. Het ene telt omzet op factuurdatum, het andere op betaaldatum. Het ene filtert interne klanten weg, het andere niet.

Wat helpt: leg definities één keer vast in de centrale data, niet in elk rapport opnieuw. Hoe je die definities scherp krijgt, lees je in KPI's kiezen die je echt gebruikt.

Zo herken je een kwaliteitsprobleem

Signalen dat er iets mis is met je data:

• Een cijfer maakt een sprong die niemand kan verklaren.
• Het totaal in het dashboard wijkt af van het totaal in het bronsysteem.
• Twee afdelingen noemen een ander getal voor hetzelfde begrip.
• Een categorie "onbekend" of "overig" groeit.
• Mensen houden naast het dashboard hun eigen lijstje bij, "omdat het dashboard niet klopt".

Dat laatste signaal is het belangrijkste. Als mensen het dashboard niet vertrouwen, gebruiken ze het niet, hoe goed het er ook uitziet.

Voorkomen in plaats van repareren

Een paar principes die in elke datastroom werken:

• Controleer vroeg. Hoe eerder een fout wordt gevonden, hoe minder rapporten hem overnemen.
• Stop liever dan dat je doorgaat. Een dashboard dat zegt "de data van vandaag is niet ververst" is beter dan een dashboard met stilletjes foute cijfers.
• Meld aan wie het kan oplossen. Een melding die bij de data engineer blijft hangen, lost een invoerfout in de bron niet op.
• Sluit aan op de bron. Vergelijk regelmatig een paar totalen met het bronsysteem. Dat heet ook wel reconciliatie.
• Bewaar de ruwe data. Als je de oorspronkelijke data bewaart, kun je na een fout alles opnieuw verwerken zonder de bron opnieuw te bevragen.
• Leg eigenaarschap vast. Per bron en per gegeven: wie is verantwoordelijk? Een overzicht van je systemen en eigenaren helpt daarbij; zie Je datalandschap in kaart brengen.

Het inbouwen van deze controles is een kernonderdeel van het werk van een data engineer.

Begin klein

Je hoeft niet alles tegelijk te controleren. Begin bij de cijfers waarop de belangrijkste beslissingen worden genomen, en bouw voor die datastroom drie controles in: zijn alle regels binnen, zijn er geen dubbele, en klopt het totaal met de bron? Breid daarna stap voor stap uit.

Samengevat

• Foute cijfers ontstaan bij invoer, in de bron, bij het ophalen, bij het koppelen of door verschillende definities.
• Een controle per stap vangt de meeste fouten vroeg af: structuur, aantallen, totalen en unieke sleutels.
• Meld fouten aan wie ze kan oplossen, en stop liever dan dat je foute cijfers toont.
• Vertrouwen is de maat: als mensen hun eigen lijstje bijhouden, is er werk aan de winkel.

Wil je weten waar de kwaliteit van jouw data tekortschiet, en controles laten inbouwen die fouten vroeg zichtbaar maken? Op Diensten lees je hoe we in je eigen omgeving datastromen inrichten met controles op volledigheid en kwaliteit, en hoe we je team leren ermee te werken.