Teasery

Kiedy po raz pierwszy zobaczyliśmy dane?

1. połowa XX wieku
2. Jako następca Vulcan, Spock
3. 18,000 BC
4. Kto wie?  

W odkrytej historii odnajdujemy ludzi korzystających z danych. Co ciekawe, dane nawet poprzedzają liczby zapisane. Niektóre z najwcześniejszych przykładów przechowywania danych pochodzą z około 18,000 2 lat pne, kiedy nasi przodkowie na kontynencie afrykańskim używali znaków na patykach jako formy księgowości. Odpowiedzi 4 i 21 również będą akceptowane. Jednak dopiero w połowie XX wieku po raz pierwszy zdefiniowano Business Intelligence tak, jak rozumiemy to dzisiaj. BI upowszechniło się dopiero na przełomie XIX i XX wieku.

Korzyści z jakości danych są oczywiste. 

• Zaufaj. Użytkownicy będą lepiej ufać danym. “75% kierowników nie ufa swoim danym"
• Lepsze decyzje. Będziesz mógł korzystać z analiz w odniesieniu do danych, aby podejmować mądrzejsze decyzje.  Jakość danych jest jednym z dwóch największych wyzwań stojących przed organizacjami stosującymi sztuczną inteligencję. (Drugie to zestawy umiejętności personelu.)
• Przewaga konkurencyjna.  Jakość danych wpływa na efektywność operacyjną, obsługę klienta, marketing i wynik finansowy – przychody.
• sukces. Jakość danych jest silnie powiązana z biznesem sukces.

6 kluczowych elementów jakości danych

Jeśli nie możesz zaufać swoim danym, jak możesz uszanować jego rady?

Obecnie jakość danych ma kluczowe znaczenie dla ważności decyzji podejmowanych przez firmy za pomocą narzędzi BI, analiz, uczenia maszynowego i sztucznej inteligencji. Najprościej mówiąc, jakość danych to dane, które są prawidłowe i kompletne. Być może widziałeś problemy z jakością danych w nagłówkach:

• Poprawa danych COVID-19 firmy CDC – „W trakcie pandemii firma CDC poprawiała terminowość, kompletność i jakość krytycznych danych dotyczących odpowiedzi”.
• Syf na wejściu, syf na wyjściu; straż miejska znajduje niepokojący wzorzec nierzetelnej jakości danych – „Nowy raport urzędującego inspektora generalnego [Chicago] mówi, że „problemy z jakością danych” wpływają na „obiektywizm, użyteczność i integralność” informacji wykorzystywanych do alokacji zasobów, mierzenia wydajności pracowników i monitorowania wielu programów”.
• GAO znajduje problemy z jakością danych podczas wdrażania EHR w VA – „VA nie zapewniła jakości danych migrowanych do nowego systemu Cerner EHR”.

Pod pewnymi względami – nawet w trzeciej dekadzie Business Intelligence – osiągnięcie i utrzymanie jakości danych jest jeszcze trudniejsze. Niektóre z wyzwań, które przyczyniają się do nieustannej walki o utrzymanie jakości danych, to:

• Fuzje i przejęcia, które starają się zgromadzić odmienne systemy, procesy, narzędzia i dane z wielu podmiotów. 
• Wewnętrzne silosy danych bez standardów do uzgodnienia integracji danych.            
• Tania pamięć masowa ułatwiła przechwytywanie i przechowywanie dużych ilości danych. Przechwytujemy więcej danych, niż jesteśmy w stanie przeanalizować.
• Wzrosła złożoność systemów danych. Istnieje więcej punktów styku między systemem ewidencji, w którym wprowadzane są dane, a punktem ich zużycia, niezależnie od tego, czy jest to hurtownia danych, czy chmura.

O jakich aspektach danych mówimy? Jakie właściwości danych wpływają na ich jakość? Na jakość danych składa się sześć elementów. Każda z nich to całe dyscypliny. 

• Aktualność
  • Dane są gotowe i użyteczne, gdy są potrzebne.
  • Dane są dostępne do raportowania na koniec miesiąca, na przykład w pierwszym tygodniu następnego miesiąca.
• Ważność
  • Dane mają poprawny typ danych w bazie danych. Tekst to tekst, daty to daty, a liczby to liczby.
  • Wartości mieszczą się w oczekiwanych zakresach. Na przykład, chociaż 212 stopni Fahrenheita jest rzeczywistą mierzalną temperaturą, nie jest to prawidłowa wartość dla temperatury człowieka.  
  • Wartości mają prawidłowy format. 1.000000 nie ma takiego samego znaczenia jak 1.
• Konsystencja
  • Dane są wewnętrznie spójne
  • Nie ma duplikatów zapisów
• Integrość
  • Relacje między tabelami są niezawodne.
  • Nie zmienia się przypadkowo. Wartości można prześledzić do ich pochodzenia. 
• Kompletność
  • W danych nie ma „dziur”. Wszystkie elementy rekordu mają wartości.  
  • Nie ma wartości NULL.
• Dokładność
  • Dane w środowisku raportowym lub analitycznym – hurtownia danych, lokalna lub w chmurze – odzwierciedla systemy źródłowe, systemy lub zapis
  • Dane pochodzą z weryfikowalnych źródeł.

Zgadzamy się zatem, że wyzwanie związane z jakością danych jest tak stare jak same dane, problem jest wszechobecny i konieczny do rozwiązania. Więc co z tym zrobimy? Potraktuj swój program jakości danych jako długoterminowy, niekończący się projekt.  

Jakość danych dokładnie odzwierciedla, jak dokładnie te dane odzwierciedlają rzeczywistość. Szczerze mówiąc, niektóre dane są ważniejsze niż inne. Dowiedz się, jakie dane mają kluczowe znaczenie dla solidnych decyzji biznesowych i sukcesu organizacji. Zacznij tam. Skoncentruj się na tych danych.  

Jako Data Quality 101, ten artykuł jest wprowadzeniem do tematu na poziomie Freshman: historia, bieżące wydarzenia, wyzwanie, dlaczego jest to problem oraz ogólny przegląd tego, jak zająć się jakością danych w organizacji. Daj nam znać, jeśli chcesz dokładniej przyjrzeć się którymkolwiek z tych tematów w artykule 200-poziomowym lub dla absolwentów. Jeśli tak, w nadchodzących miesiącach zagłębimy się w szczegóły.