Analytics Lie
De Bias vun der Analyse
De Mark Twain sot diskutabel eppes wéi: "Et ginn dräi Aarte vu Ligen: Ligen, Verdammt Ligen an Analytiken. "
Mir huelen selbstverständlech datt d'Analyse eis nëtzlech, handhabbar Abléck gëtt. Wat mir dacks net bewosst sinn, ass wéi eis eege Biases an déi vun aneren d'Äntwerten beaflossen, déi mir vu souguer déi raffinéiert Software a Systemer ginn. Heiansdo kënne mir onéierlech manipuléiert ginn, awer, méi heefeg, et kann subtile an onbewosst Viraussetzungen sinn, déi an eis Analyse kräischen. D'Motivatioun hannert biased Analyse ass villfälteg. Heiansdo sinn déi onparteiesch Resultater, déi mir vun der Wëssenschaft erwaarden, beaflosst vun 1) subtile Choixen a wéi d'Date presentéiert ginn, 2) inkonsistent oder net-representativ Donnéeën, 3) wéi AI Systemer trainéiert ginn, 4) d'Ignoranz, Inkompetenz vu Fuerscher oder anerer déi probéieren d'Geschicht ze erzielen, 5) d'Analyse selwer.
D'Presentatioun ass biased
E puer vun de Ligen si méi einfach ze gesinn wéi anerer. Wann Dir wësst wat Dir sicht, kënnt Dir méi einfach potenziell z'entdecken falsch Grafiken an Diagrammer.
Et ginn op d'mannst fënnef Weeër fir falsch Daten ze weisen: 1) Eng limitéiert Dateset weisen, 2). Onverwandte Korrelatiounen weisen, 3) Daten ongenau weisen, 4) Daten onkonventionell weisen, oder 5). Show Daten iwwervereinfacht.
Weist e limitéierten Dateset
D'Daten limitéieren, oder d'Hand auswielen vun engem net-zoufällege Sektioun vun den Donnéeën kann dacks eng Geschicht erzielen déi net konsequent mam groussen Bild ass. Schlecht probéieren, oder Kiischtebléien, ass wann den Analyst eng Net-representativ Prouf benotzt fir eng méi grouss Grupp ze vertrieden.
Am Mäerz 2020, Georgia's Department of Public Health publizéiert dës Grafik als Deel vu sengem deegleche Statusbericht. Et stellt tatsächlech méi Froen op wéi et äntwert.
Ee vun de Saachen déi fehlt ass de Kontext. Zum Beispill wier et hëllefräich ze wëssen wat de Prozentsaz vun der Bevëlkerung fir all Altersgrupp ass. En anert Thema mat der einfach ausgesi Pie Chart ass déi ongläich Altersgruppen. Den 0-17 huet 18 Joer, 18-59 huet 42, 60+ ass opgemaach, awer huet ongeféier 40 Joer. D'Konklusioun, eleng mat dëser Grafik, ass datt d'Majoritéit vu Fäll an der Altersgrupp 18-59 Joer sinn. Déi 60+ Joer al Altersgrupp schéngt manner schwéier vu COVID Fäll betraff ze sinn. Awer dëst ass net déi ganz Geschicht.
Zum Verglach, dës verschidden Datesaz op der CDC Websäit Charts COVID Fäll no Altersgrupp mat den zousätzlechen Daten iwwer de Prozentsaz vun der US Bevëlkerung déi an all Altersgrupp ass.
Dëst ass besser. Mir hu méi Kontext. Mir kënne gesinn datt Altersgruppen 18-29, 30-39, 40-49 all e méi héije Prozentsaz vu Fäll hunn wéi de Prozentsaz vun der Altersgrupp an der Bevëlkerung. Et ginn nach e puer ongläich Altersgruppen. Firwat ass 16-17 eng separat Altersgrupp? Nach ëmmer ass dëst net déi ganz Geschicht, awer Pundits hunn Kolonnen geschriwwen, Prognosen gemaach a Mandater op manner wéi dëst. Selbstverständlech, mam COVID, ginn et vill Variablen nieft dem Alter, déi beaflossen als e positive Fall gezielt ze ginn: Impfungsstatus, Disponibilitéit vun Tester, Unzuel vun Zäiten getest, Komorbiditéiten, a vill anerer. Zuel vu Fäll, selwer, gëtt en onkomplett Bild. Déi meescht Experten kucken och d'Zuel vun den Doudesfäll, oder Prozentsaz vun den Doudesfäll pro 100,000 Bevëlkerung, oder Fallfatalitéite fir ze kucken wéi COVID all Altersgrupp beaflosst.
Onverwandte Korrelatiounen weisen
Natierlech gëtt et eng staark Korrelatioun tëscht US Ausgaben op Wëssenschaft, Weltraum, an Technologie an der Zuel vun Suizid duerch Hänkung, Strängung an Erstécker. D'Korrelatioun ass 99.79%, bal e perfekte Match.
Wie géif awer de Fall maachen, datt dës iergendwéi verbonne sinn, oder dat eent dat anert verursaacht? Et ginn aner manner extrem Beispiller, awer net manner spurious. Et gëtt eng ähnlech staark Korrelatioun tëscht Bréiwer am Winning Word of Scripps National Spelling Bee an Zuel vu Leit ëmbruecht vu Venomous Spiders. Zoufall? Dir decidéiert.
Eng aner Manéier fir dës Donnéeën ze charakteriséieren, déi manner irféierend kënne sinn, wier Null op béide Y-Achsen.
Weist Daten ongenau
aus Wéi Daten schlecht ze weisen, huet den US Staat Georgia d'Top 5 Grofschafte mat der Gréissten Zuel vu bestätegte COVID-19 Fäll presentéiert.
Gesäit legit aus, richteg? Et gëtt kloer en Downward Trend vu bestätegt COVID-19 Fäll. Kënnt Dir d'X-Achs liesen? D'X-Achs representéiert Zäit. Typesch wäerten d'Datume vu lénks op riets eropgoen. Hei gesi mer e bëssen Zäitrees op der X-Achs:
4/28/2020
4/27/2020
4/29/2020
5/1/2020
4/30/2020
5/4/2020
5/6/2020
5/5/2020
5/2/22020 ...
Waart? Waat? D'X-Achs ass net chronologesch zortéiert. Also, sou schéin wéi den Trend ausgesäit, kënne mir keng Conclusiounen zéien. Wann d'Datume bestallt sinn, weisen d'Bars fir d'Zuel vu Fäll méi e Sawtooth Muster wéi all Zort Trend.
Déi einfach Fix hei ass d'Datume ze sortéieren wéi e Kalenner mécht.
Show Daten onkonventionell
Mir sinn all beschäftegt. Eis Gehirer hunn eis geléiert séier Uerteeler ze maachen baséiert op Viraussetzungen déi konsequent an eiser Welt waren. Zum Beispill, all Grafik, déi ech je gesinn hunn, weist d'x- an y-Achsen op Null, oder niddregsten Wäerter. Wann Dir dës Diagramm kuerz kuckt, wéi eng Conclusiounen kënnt Dir iwwer den Effekt vu Florida zéien "Stand Äert Grondgesetz."? Ech schumme mech et zouzeginn, awer dës Grafik huet mech am Ufank täuscht. Äert Auge gëtt bequem op den Text a Pfeil an der Mëtt vun der Grafik gezunn. Down ass erop an dëser Grafik. Et kann net eng Ligen sinn - d'Daten sinn do gutt. Awer ech muss denken datt et gemengt ass ze täuschen. Wann Dir et nach net gesinn hutt, ass Null op der Y-Achs uewen. Also, wéi d'Donnéeën erofgeet, heescht dat méi Doudesfäll. Dës Grafik weist datt d'Zuel vun de Morden mat Feierwaffen fräi no 2005, ugewisen duerch den Trend geet iwwer.
Weist d'Donnéeën iwwervereinfacht
Ee Beispill vun der Iwwervereinfachung vun den Donnéeën kann gesi ginn wann Analysten vum Simpson sengem Paradox profitéieren. Dëst ass e Phänomen dat geschitt wann aggregéiert Donnéeën schéngen eng aner Conclusioun ze weisen wéi wann se an Ënnersätz getrennt sinn. Dës Fal ass einfach ze falen wann Dir op héije Niveau aggregéiert Prozentzuelen kuckt. Eng vun de kloerste Illustratiounen vum Simpson sengem Paradox op der Aarbecht ass verbonne mat batting Moyenne.
Hei gesi mir datt den Derek Jeter e méi héije Gesamtschlagduerchschnëtt huet wéi den David Justice fir 1995 an 1996 Saisonen. De Paradox kënnt eran wa mir mierken datt d'Justiz de Jeter am Kampfduerchschnëtt souwuel vun deene Joren gewonnen huet. Wann Dir suergfälteg kuckt, mécht et Sënn wann Dir feststellt datt de Jeter ongeféier 4x méi At-Fliedermais (den Nenner) am Joer 1996 bei engem .007 nidderegen Duerchschnëtt am Joer 1996 hat. 10 méi héich Moyenne am Joer 003.
D'Presentatioun schéngt riichtaus, awer dem Simpson säi Paradox, witzeg oder onbewosst, huet zu falsche Conclusiounen gefouert. Viru kuerzem goufen et Beispiller vum Simpson's Paradox an den Neiegkeeten an op sozialen Medien am Zesummenhang mat Impfungen an COVID Mortalitéit. Eent Beräich weist eng Zeilgrafik déi Doudesraten tëscht geimpften an ongeimpften fir Leit am Alter vun 10-59 Joer vergläicht. D'Grafik weist datt d'Ongeimpften konsequent e méi nidderegen Mortalitéitsquote hunn. Wat ass hei lass?
D'Thema ass ähnlech wéi dee mir mat Batting-Moyenne gesinn. Den Nenner an dësem Fall ass d'Zuel vun Individuen an all Altersgrupp. D'Grafik kombinéiert Gruppen déi verschidde Resultater hunn. Wa mir déi eeler Altersgrupp, 50-59 , separat kucken, gesi mir datt d'Impfung besser geet. Och wa mer op 10-49 kucken, gesi mer och, datt déi geimpften besser ginn. Paradoxerweis, wann Dir de kombinéierte Set kuckt, schéngen ongeimpft e méi schlecht Resultat ze hunn. Op dës Manéier kënnt Dir e Fall maachen fir entgéintgesate Argumenter mat den Donnéeën.
D'Daten sinn biased
Daten kënnen net ëmmer vertraut ginn. Och an der wëssenschaftlecher Gemeinschaft hunn iwwer en Drëttel vun de befrote Fuerscher zouginn "zweifelhaft Fuerschungspraktiken." aner Fuerschung Bedruch Detektiv seet, "Et gëtt ganz wahrscheinlech vill méi Bedruch an Donnéeën - Dëscher, Linn Grafiken, Sequenz Donnéeën [- wéi mir eigentlech entdecken]. Jiddereen, deen um Kichendësch sëtzt, kann e puer Zuelen an eng Tabelle setzen an eng Zeilgrafik maachen, déi iwwerzeegend ausgesäit.
Dëst éischt Beispill gesäit aus wéi wann een dat just gemaach huet. Ech soen net datt dëst Bedruch ass, mä als Ëmfro generéiert et just keng Daten déi zu enger informéierter Entscheedung bäidroen. Et gesäit aus wéi wann d'Ëmfro de Befroten iwwer hir Meenung iwwer Tankstell Kaffi gefrot huet, oder en anert relevant aktuellt Evenement.
- Superb
- Super
- Ganz gutt
Ech hunn den Twitter Post ofgeschnidden fir Referenzen op déi schëlleg Partei ze läschen, awer dëst ass déi tatsächlech ganz Diagramm vun de finalen Resultater vun der Ëmfro. Ëmfroen wéi dës sinn net ongewéinlech. Natierlech, all Diagramm erstallt aus den Donnéeën, déi aus den Äntwerten entstinn, weist datt de Kaffi a Fro net ze verpassen ass.
De Problem ass datt wann Dir dës Ëmfro kritt hätt a keng Äntwert fonnt hutt déi Äre Gedanken passt, da géift Dir d'Ëmfro iwwersprangen. Dëst kann en extremt Beispill sinn wéi onvertraulech Daten erstallt kënne ginn. Schlecht Ëmfrodesign kann awer zu manner Äntwerte féieren an déi, déi äntweren, hunn nëmmen eng Meenung, et ass just eng Fro vum Grad. D'Daten sinn partiell.
Dëst zweet Beispill vun Datebias ass aus de Dateien vun "Schlëmmst COVID 19 falsch Grafiken. "
Erëm, dëst ass subtil an net komplett offensichtlech. D'Bar Grafik weist e glat - bal ze glat - Réckgang am Prozentsaz vu positive COVID-19 Fäll iwwer Zäit fir eng Grofschaft a Florida. Dir kënnt einfach d'Konklusioun zéien datt Fäll erofgoen. Dat ass super, d'Visualiséierung representéiert d'Daten präzis. De Problem läit an den Daten. Also, et ass eng méi verréckt Viraussetzung, well Dir kënnt et net gesinn. Et ass an d'Daten gebak ginn. D'Froen déi Dir musst stellen, enthalen, wien gëtt getest? An anere Wierder, wat ass den Nenner, oder d'Populatioun vun där mir e Prozentsaz kucken. D'Annam ass datt et d'ganz Bevëlkerung ass, oder op d'mannst e representativ Probe.
Wéi och ëmmer, während dëser Period, an dëser Grofschaft, goufen Tester nëmmen un eng limitéiert Zuel vu Leit gemaach. Si hu missen COVID-ähnlech Symptomer hunn, oder si viru kuerzem an e Land op der Lëscht vun Hotspots gereest. Zousätzlech verwiesselt d'Resultater de Fakt datt all positiven Test gezielt gouf an all negativ Test gezielt gouf. Typesch, wann en Individuum positiv getest huet, géifen se nach eng Kéier testen wann de Virus säi Kurs gelaf ass a géifen negativ testen. Also, an engem Sënn, fir all positive Fall gëtt et en negativen Testfall deen et annuléiert. Déi grouss Majoritéit vun Tester sinn negativ an all eenzel negativ Tester goufen gezielt. Dir kënnt gesinn wéi d'Donnéeën partiell sinn an net besonnesch nëtzlech fir Entscheedungen ze treffen.
AI Input an Training ass biased
Et ginn op d'mannst zwee Weeër wéi AI zu biased Resultater féieren kann: Start mat biased Daten, oder benotzt biased Algorithmen fir valabel Donnéeën ze veraarbecht.
Biased Input
Vill vun eis sinn ënner dem Androck datt d'AI ka vertraut ginn fir d'Zuelen ze knacken, seng Algorithmen anzesetzen an eng zouverlässeg Analyse vun den Donnéeën ze späizen. Kënschtlech Intelligenz kann nëmme sou schlau sinn wéi se trainéiert gëtt. Wann d'Donnéeën op déi et trainéiert ass onvollstänneg sinn, kënnen d'Resultater oder d'Conclusiounen och net trauen. Ähnlech wéi de Fall uewendriwwer vun Ëmfro Bias, et ginn eng Rei vu Weeër wéi Daten kënne sinn ofgebaut an Maschinn Léieren:.
- Sample Bias - d'Formatiounsdates ass net representativ fir d'ganz Bevëlkerung.
- Exklusiounsbias - heiansdo wat als Auslierer schéngen ass tatsächlech gëlteg, oder, wou mir d'Linn zéien op wat ze enthalen (Postcoden, Datumen, etc).
- Miessviraussetzung - d'Konventioun ass ëmmer aus dem Zentrum an ënnen vum Meniskus ze moossen, zum Beispill, wann Dir Flëssegkeeten a Volumetrescher oder Reagenzglieser moosst (ausser Quecksilber.)
- Réckruff Bias - wann d'Fuerschung hänkt vun der Erënnerung vun de Participanten of.
- Observateur Bias - Wëssenschaftler, wéi all Mënsch, si méi geneigt ze gesinn wat se erwaarden ze gesinn.
- Sexistesch a racistesch Bias - Geschlecht oder Rass kann iwwer- oder ënnervertruede sinn.
- Associatioun Bias - d'Daten verstäerkt Stereotypen
Fir AI zouverlässeg Resultater zréckzeginn, musse seng Trainingsdaten déi richteg Welt representéieren. Wéi mir an engem fréiere Blogartikel diskutéiert hunn, ass d'Virbereedung vun Daten kritesch a wéi all aner Dateprojet. Onverlässeg Donnéeën kënnen d'Maschinn Léiersystemer déi falsch Lektioun léieren a féieren zu der falscher Conclusioun. Dat gesot, "All Daten si partizipativ. Dëst ass keng Paranoia. Dëst ass e Fakt." - Dr Sanjiv M. Narayan, Stanford University School of Medicine.
D'Benotzung vun biased Donnéeën fir Training huet zu enger Zuel vun Notabele AI Feeler gefouert. (Beispiller hei an hei, Fuerschung hei..)
Biased Algorithmen
En Algorithmus ass eng Rei vu Reegelen déi en Input akzeptéieren an Ausgang erstellt fir e Geschäftsproblem ze beäntweren. Si sinn dacks gutt definéiert Entscheedungsbeem. Algorithmen fille sech wéi schwaarz Këschte. Keen ass sécher wéi se funktionnéieren, oft, net emol de Firmen déi se benotzen. Oh, a si sinn dacks propriétaire. Hir mysteriéis a komplex Natur ass ee vun de Grënn firwat biased Algorithmen sou lëschteg sinn. .
Betruecht AI Algorithmen an der Medizin, HR oder Finanzen déi d'Rasse berücksichtegt. Wann Rass e Faktor ass, kann den Algorithmus net rassistesch blann sinn. Dëst ass net theoretesch. Probleemer wéi dës goufen an der realer Welt entdeckt mat AI an rekrutéiert, fueren-deelen, Prêt Uwendungs an a Nierentransplantatioun.
Déi ënnescht Linn ass datt wann Är Donnéeën oder Algorithmen schlecht sinn, méi schlëmm wéi nëtzlos sinn, kënne se geféierlech sinn. Et gëtt sou eppes wéi "algorithmic Audit". D'Zil ass Organisatiounen ze hëllefen déi potenziell Risiken am Zesummenhang mam Algorithmus z'identifizéieren wéi et op Fairness, Bias an Diskriminatioun bezitt. Anzwousch anescht, Facebook benotzt AI fir Bias an AI ze bekämpfen.
D'Leit sinn biased
Mir hu Leit op béide Säiten vun der Equatioun. D'Leit preparéieren d'Analyse an d'Leit kréien d'Informatioun. Et gi Fuerscher an et gi Lieser. An all Kommunikatioun kann et Problemer an der Iwwerdroung oder Empfang ginn.
Huelt zum Beispill d'Wieder. Wat heescht "eng Chance vu Reen"? Als éischt, wat mengen Meteorologen wann se soen datt et eng Chance vu Reen ass? No der US Regierung National Weather Service, eng Chance vu Reen, oder wat se Probability of Precipitation (PoP) nennen, ass ee vun de mannst verständlechen Elementer an enger Wiederprevisioun. Et huet eng Standarddefinitioun: "D'Wahrscheinlechkeet vum Nidderschlag ass einfach eng statistesch Wahrscheinlechkeet vun 0.01" Zoll [sic] vun [sic] méi Nidderschlag an engem bestëmmte Gebitt an der bestëmmter Prognoseberäich an der spezifizéierter Zäitperiod. De "gebitt Gebitt" ass d'Prognosegebitt, oder broadGoss Beräich. Dat heescht, datt déi offiziell Nidderschlagswahrscheinlechkeet hänkt vum Vertrauen of, datt et iergendwou an der Géigend reent an dem Prozentsaz vun der Géigend, déi naass gëtt. An anere Wierder, wann de Meteorolog zouversiichtlech ass datt et am Prognosegebitt reent (Confidence = 100%), da representéiert de PoP den Deel vun der Géigend, déi Reen kritt.
Paräis Strooss; Verreenten Dag, Gustave Caillebotte (1848-1894) Chicago Art Institute Public Domain
D'Chance vu Reen hänkt souwuel vum Vertrauen a Beräich of. Ech wousst dat net. Ech de Verdacht, datt aner Leit dat och net wëssen. Ongeféier 75% vun der Bevëlkerung verstinn net genau wéi PoP berechent gëtt, oder wat et soll representéieren. Also, gi mir täuscht, oder ass dëst e Problem vun der Perceptioun. Loosst eis et Nidderschlags Perceptioun nennen. Schold mir de Wiederprevisor? Fir fair ze sinn, gëtt et e puer Verwiesslungen ënnert Wiederprevisiounen och. An engem Ëmfro, 43% vun de befrote Meteorologen soten datt et ganz wéineg Konsistenz an der Definitioun vu PoP ass.
D'Analyse selwer ass biased
Vun de fënnef Aflossfaktoren kann d'Analyse selwer am meeschte iwwerraschend sinn. A wëssenschaftlecher Fuerschung, déi zu engem iwwerpréiften Pabeier resultéiert, gëtt publizéiert, typesch gëtt eng Theorie hypothetiséiert, Methode ginn definéiert fir d'Hypothese ze testen, Daten ginn gesammelt, da ginn d'Donnéeën analyséiert. D'Aart vun der Analyse déi gemaach gëtt a wéi et gemaach gëtt ass ënnerschätzt wéi et d'Conclusiounen beaflosst. An engem Pabeier virdrun dëst Joer publizéiert (Januar 2022), am International Journal of Cancer, hunn d'Autoren evaluéiert ob Resultater vu randomiséierter kontrolléierter Studien a retrospektive Observatiounsstudien. Hir Erkenntnisser hunn ofgeschloss, datt,
Andeems mir analytesch Choixen an der komparativer Effektivitéitsfuerschung variéieren, hu mir contraire Resultater generéiert. Eis Resultater suggeréieren datt e puer retrospektiv Observatiounsstudien eng Behandlung fanne kënnen d'Resultater fir Patienten verbesseren, während eng aner ähnlech Etude et net fënnt, einfach baséiert op analytesche Choixen.
An der Vergaangenheet, wann Dir e wëssenschaftleche Journal Artikel liest, wann Dir wéi ech sidd, hutt Dir vläicht geduecht datt d'Resultater oder Conclusiounen alles iwwer d'Daten sinn. Elo schéngt et datt d'Resultater, oder ob déi initial Hypothese bestätegt oder refuséiert gëtt, och vun der Analysemethod ofhänken.
aner studéieren ähnlech Resultater fonnt. Den Artikel, Vill Analysten, een Dateset: Transparent maachen wéi Variatiounen an analytesche Choixen d'Resultater beaflossen, beschreift wéi se deeselwechten Datesaz un 29 verschidden Teams ginn hunn fir ze analyséieren. Dateanalyse gëtt dacks als e strikte, gutt definéierte Prozess ugesinn, deen zu enger eenzeger Conclusioun féiert.
Trotz der Remonstratioune vun de Methodologen ass et einfach d'Tatsaach ze ignoréieren datt d'Resultater vun der gewielter analytescher Strategie hänke kënnen, déi selwer mat Theorie, Viraussetzungen a Wielpunkten duerchgesat ass. A ville Fäll ginn et vill raisonnabel (a vill onverständlech) Approche fir Daten ze bewäerten déi op eng Fuerschungsfro stinn.
D'Fuerscher hunn d'Analyse vun den Donnéeën duerch d'Crowd-Source gefouert an sinn zur Conclusioun komm datt all Fuerschung subjektiv Entscheedungen enthält - och wéi eng Zort Analyse ze benotzen - wat den ultimativen Resultat vun der Studie beaflosse kann.
D'Empfehlung vun engem aneren Fuerscher wien déi uewe genannte Studie analyséiert huet, ass virsiichteg wann Dir en eenzege Pabeier benotzt fir Entscheedungen ze treffen oder Conclusiounen ze zéien.
Adresséiert Bias an Analytics
Dëst ass einfach geduecht fir eng Virsiichtsgeschicht ze sinn. Wëssen kann eis schützen vu Betrug ageholl ze ginn. Der méi bewosst vun méiglech Methoden e Scanner fir Narr eis benotzen kann, der manner Wahrscheinlechkeet mir sinn geholl an, soen, duerch, soen, engem pickpocket falsch Richtung, oder der glat Diskussioun vun engem Ponzi Spill. Also ass et mat Verständnis an Unerkennung vu potenzielle Biases déi eis Analyse beaflossen. Wa mir potenziell Afloss bewosst sinn, kënne mir d'Geschicht besser presentéieren a schlussendlech besser Entscheedungen treffen.
