teasers

Cando vimos os datos por primeira vez?

1. Mediados do século XX
2. Como sucesor do Vulcano, Spock
3. 18,000 BC
4. Quen sabe?  

Ata onde podemos ir na historia descuberta atopamos humanos usando datos. Curiosamente, os datos incluso preceden aos números escritos. Algúns dos primeiros exemplos de almacenamento de datos atópanse ao redor do 18,000 a.C., onde os nosos antepasados ​​no continente africano usaron marcas en paus como forma de contabilidade. Tamén se admitirán as respostas 2 e 4. Non obstante, era a mediados do século XX cando se definiu por primeira vez a Business Intelligence tal e como a entendemos hoxe. A BI non se estendeu ata case principios do século XXI.

Os beneficios da calidade dos datos son obvios. 

• Confío. Os usuarios confiarán mellor nos datos. "O 75% dos directivos non confía nos seus datos"
• Mellores decisións. Poderás usar análises contra os datos para tomar decisións máis intelixentes.  Calidade dos datos é un dos dous maiores retos aos que se enfrontan as organizacións que adoptan a IA. (O outro son os conxuntos de habilidades do persoal).
• Ventaxa competitiva.  A calidade dos datos afecta a eficiencia operativa, o servizo ao cliente, o marketing e o resultado final: os ingresos.
• Éxito. A calidade dos datos está moi ligada aos negocios éxito.

6 Elementos clave da calidade dos datos

Se non podes confiar nos teus datos, como podes respectar o seu consello?

Hoxe, a calidade dos datos é fundamental para a validez das decisións que toman as empresas con ferramentas de BI, análise, aprendizaxe automática e intelixencia artificial. No seu máis simple, a calidade dos datos son datos válidos e completos. Podes ver os problemas de calidade dos datos nos titulares:

• Mellora de datos sobre COVID-19 dos CDC - "Ao longo da pandemia, os CDC foron mellorando a puntualidade, a integridade e a calidade dos datos críticos para a resposta".
• Lixo dentro, lixo fóra; City Watchdog atopa un patrón preocupante de calidade de datos pouco fiable - "Un novo informe do inspector xeral en funcións [Chicago] di que os "problemas de calidade dos datos" afectan á "obxectividade, utilidade e integridade" da información utilizada para asignar recursos, medir o rendemento dos empregados e supervisar unha serie de programas".
• GAO atopa problemas de calidade dos datos durante o lanzamento do EHR de VA - "O VA non garantiu a calidade dos datos migrados ao seu novo sistema Cerner EHR".

Nalgúns aspectos, ata ben entrada a terceira década de Business Intelligence, conseguir e manter a calidade dos datos é aínda máis difícil. Algúns dos desafíos que contribúen á loita constante para manter a calidade dos datos inclúen:

• Fusións e adquisicións que tentan reunir sistemas, procesos, ferramentas e datos dispares de múltiples entidades. 
• Silos internos de datos sen os estándares para conciliar a integración de datos.            
• O almacenamento económico facilitou a captura e retención de grandes cantidades de datos. Captamos máis datos dos que podemos analizar.
• A complexidade dos sistemas de datos creceu. Hai máis puntos de contacto entre o sistema de rexistro onde se introducen os datos e o punto de consumo, xa sexa o almacén de datos ou a nube.

De que aspectos dos datos estamos a falar? Que propiedades dos datos contribúen á súa calidade? Hai seis elementos que contribúen á calidade dos datos. Cada unha destas son disciplinas enteiras. 

• Puntualidade
  • Os datos están listos e utilizables cando sexan necesarios.
  • Os datos están dispoñibles para os informes de fin de mes dentro da primeira semana do mes seguinte, por exemplo.
• Validez
  • Os datos teñen o tipo de datos correcto na base de datos. O texto é texto, as datas son datas e os números son números.
  • Os valores están dentro dos intervalos esperados. Por exemplo, aínda que 212 graos Fahrenheit é unha temperatura real medible, non é un valor válido para unha temperatura humana.  
  • Os valores teñen o formato correcto. 1.000000 non ten o mesmo significado que 1.
• Consistencia
  • Os datos son coherentes internamente
  • Non hai duplicados de rexistros
• Integridade
  • As relacións entre táboas son fiables.
  • Non se modifica sen querer. Os valores pódense rastrexar ata as súas orixes. 
• Integridade
  • Non hai "buratos" nos datos. Todos os elementos dun rexistro teñen valores.  
  • Non hai valores NULL.
• Precisión
  • Os datos no entorno de informes ou analíticos (o almacén de datos, xa sexa local ou na nube) reflicten os sistemas de orixe, os sistemas ou o rexistro.
  • Os datos proceden de fontes verificables.

Coincidimos, entón, en que o reto da calidade dos datos é tan antigo como os propios datos, o problema é omnipresente e vital para resolver. Entón, que facemos ao respecto? Considera o teu programa de calidade de datos como un proxecto a longo prazo e interminable.  

A calidade dos datos representa de preto a exactitude con que eses datos representan a realidade. Para ser honesto, algúns datos son máis importantes que outros. Coñece que datos son fundamentais para tomar decisións empresariais sólidas e para o éxito da organización. Comeza aí. Concéntrase neses datos.  

Como Data Quality 101, este artigo é unha introdución ao tema de nivel novato: a historia, os acontecementos actuais, o desafío, por que é un problema e unha visión xeral de alto nivel de como abordar a calidade dos datos nunha organización. Indícanos se estás interesado en afondar nalgún destes temas nun artigo de nivel 200 ou de posgrao. Se é así, afondaremos nos próximos meses nos próximos meses.