Analitikos melas
Analizės šališkumas
Markas Tvenas ginčytinai pasakė: „Yra trys melo rūšys: melas, prakeiktas melas ir Google Analytics"
Mes laikome savaime suprantamu dalyku, kad analizė suteikia mums naudingų ir įgyvendinamų įžvalgų. Mes dažnai nesuvokiame, kaip mūsų pačių ir kitų šališkumas įtakoja atsakymus, kuriuos mums pateikia net pati sudėtingiausia programinė įranga ir sistemos. Kartais mumis gali būti manipuliuojama nesąžiningai, bet dažniausiai tai gali būti subtilus ir nesąmoningas šališkumas, kuris įsiskverbia į mūsų analizę. Šališkos analizės motyvai yra įvairūs. Kartais nešališkiems rezultatams, kurių tikimės iš mokslo, įtakos turi 1) subtilūs duomenų pateikimo pasirinkimai, 2) nenuoseklūs arba nereprezentatyvūs duomenys, 3) AI sistemų mokymas, 4) tyrėjų ar kitų bandančių nežinojimas, nekompetencija. papasakoti istoriją, 5) pati analizė.
Pristatymas yra šališkas
Kai kuriuos melus lengviau pastebėti nei kitus. Kai žinote, ko ieškoti, galite lengviau aptikti potencialų klaidinantys grafikai ir diagramos.
Yra bent jau penki būdai klaidinančiai rodyti duomenis: 1) Rodyti ribotą duomenų rinkinį, 2). Rodyti nesusijusias koreliacijas, 3) rodyti duomenis netiksliai, 4) rodyti duomenis netradiciškai arba 5). Rodyti duomenis pernelyg supaprastintus.
Rodyti ribotą duomenų rinkinį
Duomenų ribojimas arba neatsitiktinės duomenų dalies parinkimas dažnai gali papasakoti istoriją, kuri neatitinka bendro vaizdo. Blogas mėginių ėmimas arba vyšnių ėmimas yra tada, kai analitikas naudoja nereprezentatyvią imtį, kad atstovautų didesnei grupei.
Kovo mėnesį 2020 Džordžijos visuomenės sveikatos departamentas paskelbė šią diagramą kaip savo kasdienės būklės ataskaitos dalį. Iš tikrųjų tai kelia daugiau klausimų nei atsakymų.
Vienas iš dalykų, kurio trūksta, yra kontekstas. Pavyzdžiui, būtų naudinga žinoti, koks procentas yra kiekvienoje amžiaus grupėje. Kita problema, susijusi su paprastai atrodančia skrituline diagrama, yra nevienodos amžiaus grupės. 0-17 turi 18 metų, 18-59 turi 42, 60+ yra neterminuotas, bet turi apie 40 metų. Išvada, atsižvelgiant vien į šią diagramą, yra tokia, kad dauguma atvejų yra 18–59 metų amžiaus grupėje. Panašu, kad vyresni nei 60 metų amžiaus žmonės nuo COVID atvejų yra mažiau paveikti. Bet tai dar ne visa istorija.
Palyginimui, šis skirtingas duomenų rinkinys CDC svetainė pateikia COVID atvejų diagramas pagal amžiaus grupes su papildomais duomenimis apie JAV gyventojų procentą kiekviename amžiaus intervale.
Taip geriau. Mes turime daugiau konteksto. Matome, kad 18-29, 30-39, 40-49 metų amžiaus grupėse atvejų procentas yra didesnis nei amžiaus grupės gyventojų procentas. Vis dar yra nevienodos amžiaus grupės. Kodėl 16-17 metų yra atskira amžiaus grupė? Vis dėlto tai ne visa istorija, tačiau ekspertai rašė stulpelius, prognozavo ir įpareigojo mažiau nei tai. Akivaizdu, kad COVID atveju, be amžiaus, yra daug kintamųjų, kurie turi įtakos vertinimui kaip teigiamas atvejis: vakcinacijos būsena, testų prieinamumas, patikrinimų skaičius, gretutinės ligos ir daugelis kitų. Pats atvejų skaičius pateikia neišsamų vaizdą. Daugelis ekspertų taip pat atsižvelgia į mirčių skaičių arba mirčių procentą 100,000 XNUMX gyventojų arba mirčių atvejus, kad sužinotų, kaip COVID paveikia kiekvieną amžiaus grupę.
Rodyti nesusijusias koreliacijas
Akivaizdu, kad yra a stipri koreliacija tarp JAV išlaidų mokslui, kosmosui ir technologijoms bei savižudybių pakarto, smaugimo ir uždusimo skaičiaus. Koreliacija yra 99.79%, beveik tobula.
Tačiau kas pareikš, kad tai yra kažkaip susiję arba vienas sukelia kitą? Yra ir kitų ne tokių ekstremalių pavyzdžių, bet ne mažiau netikrų. Egzistuoja panašus stiprus ryšys tarp „Scripps National Spelling Bee“ laimėjimo žodžio ir nuodingų vorų nužudytų žmonių skaičiaus. Sutapimas? Tu nuspręsk.
Kitas būdas sudaryti šiuos duomenis, kurie gali būti mažiau klaidinantys, būtų įtraukti nulį ant abiejų Y ašių.
Rodyti duomenis netiksliai
Kaina nuo Kaip blogai rodyti duomenis, JAV Džordžijos valstija pristatė 5 populiariausias grafystes, kuriose užfiksuotas daugiausiai patvirtintų COVID-19 atvejų.
Atrodo teisėtai, tiesa? Akivaizdu, kad patvirtintų COVID-19 atvejų mažėja. Ar mokate perskaityti X ašį? X ašis žymi laiką. Paprastai datos didės iš kairės į dešinę. Čia matome nedidelę kelionę laiku X ašyje:
4/28/2020
4/27/2020
4/29/2020
5/1/2020
4/30/2020
5/4/2020
5/6/2020
5/5/2020
5/2/22020 ...
Laukti? Ką? X ašis nėra rūšiuojama chronologiškai. Taigi, kad ir kaip gražiai atrodytų tendencija, išvadų daryti negalime. Jei datos yra užsakytos, atvejų skaičiaus juostelės rodo daugiau pjūklo danties rašto nei bet kokios tendencijos.
Čia paprastas sprendimas yra rūšiuoti datas taip, kaip tai daro kalendorius.
Rodyti duomenis neįprastai
Mes visi užsiėmę. Mūsų smegenys išmokė mus greitai priimti sprendimus, pagrįstus prielaidomis, kurios buvo nuoseklios mūsų pasaulyje. Pavyzdžiui, kiekvienas mano matytas grafikas rodo, kad x ir y ašys susitinka ties nuliu arba žemiausiomis reikšmėmis. Trumpai pažvelgę į šią diagramą, kokias išvadas galite padaryti apie Floridos poveikį „Laikykitės savo pagrindinio įstatymo.”? Man gėda tai pripažinti, bet šis grafikas iš pradžių mane apgavo. Jūsų akys patogiai patraukiamos į tekstą ir rodyklę grafikos viduryje. Žemyn šioje diagramoje yra aukštyn. Gali būti, kad tai nemeluoja – duomenys yra gerai. Bet turiu manyti, kad taip siekiama apgauti. Jei dar nematėte, nulis y ašyje yra viršuje. Taigi, mažėjant duomenų tendencijoms, tai reiškia, kad miršta daugiau. Ši diagrama rodo, kad nužudymų naudojant šaunamuosius ginklus skaičius padidėjo po 2005 m., rodo tendencija žemyn.
Rodyti duomenis pernelyg supaprastintus
Vienas per didelio duomenų supaprastinimo pavyzdys yra tada, kai analitikai naudojasi Simpsono paradoksu. Tai reiškinys, atsirandantis, kai atrodo, kad suvestiniai duomenys rodo kitokią išvadą nei tada, kai jie yra suskirstyti į poaibius. Į šiuos spąstus lengva patekti žiūrint į aukšto lygio apibendrintus procentus. Viena ryškiausių Simpsono paradokso darbe iliustracijų yra susijusi su mušimo vidurkiai.
Čia matome, kad Derekas Jeteris 1995 ir 1996 m. sezonuose turi didesnį mušimo vidurkį nei Davidas Justice'as. Paradoksas atsiranda tada, kai suprantame, kad teisingumas pranoko Jeterį abiejų tų metų vidurkiu. Jei atidžiai pažvelgsite, tai prasminga, kai suprantate, kad Jeteris 4 m. turėjo maždaug 1996 kartus daugiau atmušimų (vardiklis), o 007 m. vidurkis buvo 1996 mažesnis. Tuo tarpu Justice turėjo maždaug 10 kartų daugiau atmušimų tik . 003 didesnis vidurkis 1995 m.
Pateikimas atrodo paprastas, tačiau Simpsono paradoksas sąmoningai ar nesąmoningai padarė neteisingas išvadas. Pastaruoju metu naujienose ir socialinėje žiniasklaidoje buvo matyti Simpsono paradokso pavyzdžių, susijusių su vakcinomis ir mirtingumu nuo COVID. Vienas diagramos parodyta linijinė diagrama, kurioje lyginamas 10–59 metų amžiaus žmonių mirtingumas tarp skiepytų ir neskiepytų žmonių. Diagrama rodo, kad neskiepytų asmenų mirtingumas nuolat yra mažesnis. Kas čia vyksta?
Problema panaši į tą, kurią matome su mušimo vidurkiais. Vardiklis šiuo atveju yra kiekvienos amžiaus grupės asmenų skaičius. Diagrama sujungia grupes, kurios turi skirtingus rezultatus. Jei pažiūrėtume atskirai į vyresnio amžiaus, 50–59 m., amžiaus grupę, pamatytume, kad paskiepytiems sekasi geriau. Panašiai, jei pažiūrėtume į 10–49, taip pat pamatytume, kad skiepytis sekasi geriau. Paradoksalu, bet žiūrint į kombinuotą rinkinį, neskiepytieji turi prastesnį rezultatą. Tokiu būdu, naudodami duomenis, galite pagrįsti priešingus argumentus.
Duomenys yra šališki
Duomenimis ne visada galima pasitikėti. Netgi mokslo bendruomenėje daugiau nei trečdalis apklaustų tyrėjų pripažino „abejotina tyrimų praktika“. Kitas tyrimo sukčiavimo detektyvas sako: „Tikėtina, kad su duomenimis – lentelėmis, linijiniais grafikais, sekos duomenimis apgaudinėjama daug daugiau [– nei mes iš tikrųjų atrandame]. Kiekvienas, sėdintis prie savo virtuvės stalo, gali įrašyti keletą skaičių į skaičiuoklę ir sudaryti linijinę diagramą, kuri atrodo įtikinamai.
Tai pirmoji pavyzdys atrodo, kad kažkas taip padarė. Nesakau, kad tai sukčiavimas, bet kaip apklausa, ji tiesiog nesukuria jokių duomenų, kurie padėtų priimti pagrįstą sprendimą. Panašu, kad apklausoje respondentų buvo klausiama apie jų nuomonę apie degalinės kavą ar kitą aktualų įvykį.
- puikus
- Puikus
- Labai geras
Apkarpiau „Twitter“ įrašą, kad pašalinčiau nuorodas į kaltąją šalį, tačiau tai yra visa galutinių apklausos rezultatų diagrama. Tokios apklausos nėra neįprastos. Akivaizdu, kad bet kokia diagrama, sukurta iš duomenų, gautų iš atsakymų, parodys, kad aptariamos kavos negalima praleisti.
Problema ta, kad jei jums būtų suteikta ši apklausa ir nerastumėte atsakymo, atitinkančio jūsų mintis, apklausą praleistumėte. Tai gali būti puikus pavyzdys, kaip galima sukurti nepatikimus duomenis. Tačiau prastas apklausos planas gali lemti mažiau atsakymų, o tie, kurie atsako, turi tik vieną nuomonę, tai tik laipsnio klausimas. Duomenys yra šališki.
Šis antrasis duomenų šališkumo pavyzdys yra iš failųBlogiausi COVID 19 klaidinantys grafikai"
Vėlgi, tai yra subtilu ir nėra visiškai akivaizdu. Juostinė diagrama rodo sklandų – beveik per sklandų – teigiamų COVID-19 atvejų procento mažėjimą laikui bėgant Floridos grafystėje. Galite lengvai padaryti išvadą, kad atvejų mažėja. Puiku, vizualizacija tiksliai atspindi duomenis. Problema yra duomenyse. Taigi, tai labiau klastingas šališkumas, nes jūs to nematote. Tai įtraukta į duomenis. Klausimai, kuriuos turite užduoti, apima, kas yra testuojamas? Kitaip tariant, koks yra vardiklis, arba kurio populiaciją žiūrime į procentą. Daroma prielaida, kad tai yra visa visuma arba bent jau reprezentatyvi imtis.
Tačiau šiuo laikotarpiu šioje apskrityje testai buvo atlikti tik ribotam žmonių skaičiui. Jie turėjo turėti į COVID panašių simptomų arba neseniai buvo išvykę į šalį, įtrauktą į karštųjų taškų sąrašą. Be to, rezultatus trikdo tai, kad kiekvienas teigiamas testas buvo skaičiuojamas ir kiekvienas neigiamas testas buvo skaičiuojamas. Paprastai, kai individo testas buvo teigiamas, virusui pasibaigus, jie dar kartą išbandydavo ir gaudavo neigiamą rezultatą. Taigi tam tikra prasme kiekvienam teigiamam atvejui yra neigiamas bandomasis atvejis, kuris jį panaikina. Didžioji dauguma testų yra neigiami ir kiekvieno asmens neigiami testai buvo skaičiuojami. Galite matyti, kaip duomenys yra šališki ir nėra ypač naudingi priimant sprendimus.
AI įvestis ir mokymas yra šališki
Yra mažiausiai du būdai, kuriais dirbtinis intelektas gali sukelti šališkus rezultatus: pradedant nuo šališkų duomenų arba naudojant šališkus algoritmus tinkamiems duomenims apdoroti.
Šališka įvestis
Daugeliui iš mūsų susidaro įspūdis, kad dirbtiniu intelektu galima pasitikėti, kad jis sutraiškys skaičius, taikys savo algoritmus ir išskleis patikimą duomenų analizę. Dirbtinis intelektas gali būti tik tiek protingas, kiek yra išlavintas. Jei duomenys, kuriais remiantis jis mokomas, yra netobuli, rezultatais ar išvadomis taip pat negalima pasitikėti. Panašiai kaip ir pirmiau pateiktą apklausos šališkumo atvejį, yra keletas būdų, kaip pateikti duomenis šališkas mašininiame mokyme:.
- Imties šališkumas – mokymo duomenų rinkinys nėra reprezentatyvus visai populiacijai.
- Išskyrimo šališkumas – kartais tai, kas atrodo kaip nukrypimai, iš tikrųjų galioja arba nubrėžiame ribą, ką įtraukti (pašto kodus, datas ir t. t.).
- Matavimo poslinkis – įprasta visada matuoti nuo menisko centro ir apačios, pavyzdžiui, matuojant skysčius matavimo kolbose ar mėgintuvėliuose (išskyrus gyvsidabrį).
- Atsiminimo šališkumas – kai tyrimas priklauso nuo dalyvių atminties.
- Stebėtojų šališkumas – mokslininkai, kaip ir visi žmonės, labiau linkę matyti tai, ką tikisi pamatyti.
- Seksinis ir rasistinis šališkumas – lytis ar rasė gali būti per daug arba nepakankamai atstovaujama.
- Asociacijos šališkumas – duomenys sustiprina stereotipus
Kad dirbtinis intelektas gautų patikimus rezultatus, jo mokymo duomenys turi atspindėti realų pasaulį. Kaip aptarėme ankstesniame tinklaraščio straipsnyje, duomenų paruošimas yra labai svarbus, kaip ir bet kuris kitas duomenų projektas. Nepatikimi duomenys gali išmokyti mašininio mokymosi sistemas neteisingos pamokos ir padaryti klaidingą išvadą. Tai sakė: „Visi duomenys yra šališki. Tai nėra paranoja. Tai yra faktas." – Daktaras Sandživas M. Narajanas, Stanfordo universiteto medicinos mokykloje.
Naudojant šališkus duomenis treniruotėms, įvyko nemažai pastebimų AI gedimų. (Pavyzdžiai čia ir čia, tyrimai čia..)
Šališki algoritmai
Algoritmas yra taisyklių rinkinys, kuris priima įvestį ir sukuria išvestį, kad atsakytų į verslo problemą. Jie dažnai yra aiškiai apibrėžti sprendimų medžiai. Algoritmai atrodo kaip juodos dėžės. Niekas nėra tikras, kaip jie veikia, net ne juos naudojančių įmonių. O, ir jie dažnai yra nuosavybės teise. Jų paslaptingas ir sudėtingas pobūdis yra viena iš priežasčių, kodėl šališki algoritmai yra tokie klastingi. .
Apsvarstykite dirbtinio intelekto algoritmus medicinoje, žmogiškųjų išteklių srityje ar finansuose, kuriuose atsižvelgiama į rasę. Jei rasė yra veiksnys, algoritmas negali būti rasiškai aklas. Tai nėra teorinė. Tokios problemos buvo aptiktos realiame pasaulyje naudojant AI in samdymas, pasivažinėjimo dalis, paskolos paraiškas, ir inkstų transplantacijos.
Esmė ta, kad jei jūsų duomenys ar algoritmai yra blogi, blogesni nei nenaudingi, jie gali būti pavojingi. Yra toks dalykas kaip „algoritminis auditas. Tikslas – padėti organizacijoms nustatyti galimas su algoritmu susijusias rizikas, susijusias su sąžiningumu, šališkumu ir diskriminacija. kitur, Facebook naudoja AI, kad kovotų su DI šališkumu.
Žmonės yra šališki
Mes turime žmonių abiejose lygties pusėse. Žmonės ruošia analizę, o žmonės gauna informaciją. Yra tyrinėtojų ir yra skaitytojų. Bet kokio ryšio metu gali kilti siuntimo ar priėmimo problemų.
Paimkite, pavyzdžiui, orą. Ką reiškia "lietaus tikimybė"? Pirma, ką meteorologai turi omenyje sakydami, kad yra lietaus tikimybė? Pasak JAV vyriausybės Nacionalinė meteorologijos tarnyba, lietaus tikimybė arba tai, ką jie vadina kritulių tikimybe (PoP), yra vienas mažiausiai suprantamų orų prognozės elementų. Jis turi standartinį apibrėžimą: „Krulių tikimybė yra tiesiog statistinė tikimybė, kad kritulių iškris 0.01 colio [sic] daugiau tam tikroje srityje tam tikroje prognozuojamoje srityje nurodytu laikotarpiu. „Duota sritis“ yra prognozuojama sritis arba broadliejimo plotas. Tai reiškia, kad oficiali kritulių tikimybė priklauso nuo pasitikėjimo, kad kur nors vietovėje lis, ir nuo to, kiek procentų ploto sušlaps. Kitaip tariant, jei meteorologas yra įsitikinęs, kad prognozuojamoje zonoje lis (pasitikėjimas = 100%), tada PoP reiškia zonos dalį, kurioje bus lietaus.
Paryžiaus gatvė; Lietinga diena,Gustave'as Caillebotte'as (1848-1894) Čikagos meno instituto viešasis domenas
Lietaus tikimybė priklauso ir nuo pasitikėjimo, ir nuo vietovės. Aš to nežinojau. Įtariu, kad ir kiti žmonės to nežino. Maždaug 75% gyventojų tiksliai nesupranta, kaip apskaičiuojamas PoP arba ką jis reiškia. Taigi, ar mus apgauna, ar tai suvokimo problema. Pavadinkime tai kritulių suvokimu. Ar kaltiname sinoptikę? Teisybės dėlei, yra keletas sumišimas ir tarp sinoptikų. Viename apklausa43 % apklaustų meteorologų teigė, kad PoP apibrėžimas yra labai mažai nuoseklus.
Pati analizė yra šališka
Iš penkių įtaką darančių veiksnių pati analizė gali nustebinti labiausiai. Atliekant mokslinius tyrimus, kurių rezultatas yra recenzuojamas darbas, paprastai keliama hipotezė, apibrėžiami metodai hipotezei patikrinti, renkami duomenys, tada jie analizuojami. Atliktos analizės tipas ir kaip ji atliekama yra nepakankamai įvertinta, kaip ji daro įtaką išvadoms. A popierius paskelbtame anksčiau šiais metais (2022 m. sausio mėn.), Tarptautiniame vėžio žurnale, autoriai įvertino, ar atsitiktinių imčių kontroliuojamų tyrimų ir retrospektyvinių stebėjimo tyrimų rezultatai. Jų išvados padarė išvadą, kad
Keisdami analitinius lyginamojo efektyvumo tyrimų pasirinkimus, gavome priešingų rezultatų. Mūsų rezultatai rodo, kad kai kurie retrospektyvūs stebėjimo tyrimai gali nustatyti, kad gydymas pagerina pacientų rezultatus, o kitame panašiame tyrime gali būti, kad tai nėra, paprasčiausiai remiantis analitiniais pasirinkimais.
Anksčiau skaitydami mokslinio žurnalo straipsnį, jei esate panašus į mane, galbūt pagalvojote, kad rezultatai ar išvados yra susiję tik su duomenimis. Dabar atrodo, kad rezultatai arba tai, ar pradinė hipotezė pasitvirtina, ar paneigiama, taip pat gali priklausyti nuo analizės metodo.
Kitas studija rado panašių rezultatų. Straipsnis, Daug analitikų, vienas duomenų rinkinys: kad būtų aišku, kaip analitinio pasirinkimo skirtumai veikia rezultatus, aprašoma, kaip jie davė tą patį duomenų rinkinį analizuoti 29 skirtingoms komandoms. Duomenų analizė dažnai vertinama kaip griežtas, tiksliai apibrėžtas procesas, dėl kurio daroma viena išvada.
Nepaisant metodininkų priekaištų, lengva nepastebėti, kad rezultatai gali priklausyti nuo pasirinktos analitinės strategijos, kuri pati persmelkta teorijos, prielaidų ir pasirinkimo taškų. Daugeliu atvejų yra daug pagrįstų (ir daug nepagrįstų) metodų vertinant duomenis, susijusius su tyrimo klausimu.
Tyrėjai naudojo duomenų analizę ir padarė išvadą, kad visi tyrimai apima subjektyvius sprendimus, įskaitant tai, kokią analizę naudoti, kurie gali turėti įtakos galutiniam tyrimo rezultatui.
Kito rekomendacija tyrėjas kurie analizavo minėtą tyrimą, turi būti atsargūs priimdami sprendimus ar darydami išvadas naudodami vieną dokumentą.
Šališkumo pašalinimas sistemoje „Analytics“.
Tai tiesiog turi būti įspėjamasis pasakojimas. Žinios gali apsaugoti mus nuo sukčių. Kuo geriau žinosime apie galimus metodus, kuriais skaitytuvas gali mus apgauti, tuo mažesnė tikimybė, kad mus patrauks, tarkime, kišenvagio klaidinga kryptis arba sklandus ponzio pjesės pokalbis. Taip yra suprantant ir atpažįstant galimus šališkumus, turinčius įtakos mūsų analizei. Jei žinosime apie galimą įtaką, galbūt galėsime geriau pristatyti istoriją ir galiausiai priimti geresnius sprendimus.
