teasers
Wanneer hebben we voor het eerst gegevens gezien?
- Halverwege de twintigste eeuw
- Als opvolger van de Vulcan, Spock
- 18,000 BC
- Wie weet?
Zo ver als we kunnen teruggaan in de ontdekte geschiedenis vinden we mensen die data gebruiken. Interessant is dat gegevens zelfs voorafgaan aan geschreven getallen. Enkele van de vroegste voorbeelden van het opslaan van gegevens dateren van rond 18,000 voor Christus, waar onze voorouders op het Afrikaanse continent markeringen op stokken gebruikten als een vorm van boekhouding. Antwoord 2 en 4 worden ook geaccepteerd. Het was echter halverwege de twintigste eeuw toen Business Intelligence voor het eerst werd gedefinieerd zoals we het nu begrijpen. BI werd pas rond de eeuwwisseling wijdverbreid.
De voordelen van datakwaliteit liggen voor de hand. 
- Trust. Gebruikers zullen de gegevens beter vertrouwen. “75% van de leidinggevenden vertrouwt hun gegevens niet"
- Betere beslissingen. U kunt analyses tegen de gegevens gebruiken om slimmere beslissingen te nemen. Data kwaliteit is een van de twee grootste uitdagingen voor organisaties die AI gebruiken. (De andere zijn vaardigheden van het personeel.)
- Concurrentie voordeel. De kwaliteit van gegevens is van invloed op de operationele efficiëntie, klantenservice, marketing en de bottom line - omzet.
- Succes. Gegevenskwaliteit is sterk verbonden met het bedrijfsleven succes.
6 belangrijke elementen van gegevenskwaliteit
Als u uw gegevens niet kunt vertrouwen, hoe kunt u het advies dan respecteren?
Tegenwoordig is de kwaliteit van gegevens van cruciaal belang voor de validiteit van beslissingen die bedrijven nemen met BI-tools, analyses, machine learning en kunstmatige intelligentie. Op zijn eenvoudigst is datakwaliteit data die valide en volledig is. Je hebt de problemen met de gegevenskwaliteit misschien in de krantenkoppen gezien:
- CDC's COVID-19 gegevensverbetering – “In de loop van de pandemie heeft CDC de tijdigheid, volledigheid en kwaliteit van kritieke gegevens voor de respons verbeterd.”
- Vuilnis erin, afval eruit; stadswaakhond vindt verontrustend patroon van onbetrouwbare gegevenskwaliteit – "Een nieuw rapport van de waarnemend inspecteur-generaal van [Chicago] zegt dat 'gegevenskwaliteitsproblemen' de 'objectiviteit, bruikbaarheid en integriteit' beïnvloeden van de informatie die wordt gebruikt om middelen toe te wijzen, de prestaties van werknemers te meten en een groot aantal programma's te bewaken."
- GAO vindt problemen met gegevenskwaliteit tijdens de uitrol van VA's EPD - "De VA zorgde niet voor de kwaliteit van de gegevens die naar zijn nieuwe Cerner EPD-systeem werden gemigreerd."
In sommige opzichten - zelfs tot ver in het derde decennium van Business Intelligence - is het bereiken en behouden van de kwaliteit van gegevens nog moeilijker. Enkele van de uitdagingen die bijdragen aan de constante strijd om de gegevenskwaliteit te handhaven, zijn onder meer:
- Fusies en overnames die verschillende systemen, processen, tools en gegevens van meerdere entiteiten proberen samen te brengen.
- Interne silo's van gegevens zonder de standaarden om de integratie van gegevens met elkaar te verzoenen.
- Goedkope opslag heeft het vastleggen en bewaren van grote hoeveelheden gegevens eenvoudiger gemaakt. We leggen meer gegevens vast dan we kunnen analyseren.
- De complexiteit van datasystemen is toegenomen. Er zijn meer touchpoints tussen het systeem van registratie waar gegevens worden ingevoerd en het punt van verbruik, of dat nu het datawarehouse of de cloud is.
Over welke aspecten van data hebben we het? Welke eigenschappen van de data dragen bij aan de kwaliteit ervan? Er zijn zes elementen die bijdragen aan datakwaliteit. Het zijn stuk voor stuk hele disciplines. 
- Tijdigheid
- Data is klaar en bruikbaar wanneer het nodig is.
- De gegevens zijn beschikbaar voor bijvoorbeeld de maandeinderapportage in de eerste week van de volgende maand.
- Geldigheid
- De gegevens hebben het juiste gegevenstype in de database. Tekst is tekst, datums zijn datums en cijfers zijn getallen.
- Waarden vallen binnen het verwachte bereik. Terwijl bijvoorbeeld 212 graden Fahrenheit een werkelijk meetbare temperatuur is, is het geen geldige waarde voor een menselijke temperatuur.
- Waarden hebben het juiste formaat. 1.000000 heeft niet dezelfde betekenis als 1.
- Consistentie
- De gegevens zijn intern consistent
- Er zijn geen duplicaten van records
- Integriteit
- Relaties tussen tabellen zijn betrouwbaar.
- Het is niet onbedoeld gewijzigd. Waarden kunnen worden herleid tot hun oorsprong.
- Volledigheid
- Er zijn geen "gaten" in de gegevens. Alle elementen van een record hebben waarden.
- Er zijn geen NULL-waarden.
- Nauwkeurigheid
- Gegevens in de rapportage- of analytische omgeving – het datawarehouse, zowel op locatie als in de cloud – weerspiegelen de bronsystemen, systemen of records
- Gegevens zijn afkomstig uit verifieerbare bronnen.
We zijn het er dus over eens dat de uitdaging van datakwaliteit zo oud is als de data zelf, het probleem is alomtegenwoordig en essentieel om op te lossen. Dus, wat doen we eraan? Beschouw uw datakwaliteitsprogramma als een langdurig, nooit eindigend project.
De kwaliteit van gegevens geeft goed weer hoe nauwkeurig die gegevens de werkelijkheid weergeven. Eerlijk gezegd zijn sommige gegevens belangrijker dan andere gegevens. Weet welke gegevens cruciaal zijn voor solide zakelijke beslissingen en het succes van de organisatie. Begin daar. Focus op die gegevens.
Als Data Quality 101 is dit artikel een introductie op eerstejaars niveau van het onderwerp: de geschiedenis, actuele gebeurtenissen, de uitdaging, waarom het een probleem is en een overzicht op hoog niveau van hoe gegevenskwaliteit binnen een organisatie kan worden aangepakt. Laat het ons weten als je geïnteresseerd bent om dieper in te gaan op een van deze onderwerpen in een artikel op 200-niveau of op graduate-niveau. Als dat zo is, zullen we de komende maanden dieper ingaan op de details.
