Analitika Gënjeshtra

Paragjykimi i analizës

Mark Twain tha në mënyrë debatuese diçka si: "Ka tre lloje të gënjeshtrave: gënjeshtra, gënjeshtra e mallkuar dhe analitikë". 

Ne e marrim të mirëqenë se analitika na jep njohuri të dobishme dhe të zbatueshme. Ajo që ne shpesh nuk e kuptojmë është se si paragjykimet tona dhe ato të të tjerëve ndikojnë në përgjigjet që na jepen edhe nga programet dhe sistemet më të sofistikuara. Ndonjëherë, ne mund të manipulohemi në mënyrë të pandershme, por, më shpesh, mund të jenë paragjykime delikate dhe të pavetëdijshme që depërtojnë në analitikën tonë. Motivimi pas analitikës së njëanshme është i shumëfishtë. Ndonjëherë rezultatet e paanshme që presim nga shkenca ndikohen nga 1) zgjedhjet delikate në mënyrën se si paraqiten të dhënat, 2) të dhënat jokonsistente ose jo përfaqësuese, 3) mënyra se si sistemet e AI janë trajnuar, 4) injoranca, paaftësia e studiuesve ose të tjerëve që përpiqen për të treguar historinë, 5) vetë analizën.    

Prezantimi është i njëanshëm

Disa nga gënjeshtrat janë më të lehta për t'u dalluar se të tjerat. Kur e dini se çfarë të kërkoni, mund të zbuloni më lehtë potencialisht grafikët dhe grafikët mashtrues. 

Ka të paktën pesë mënyra për të shfaqur në mënyrë mashtruese të dhënat: 1) Trego një grup të kufizuar të dhënash, 2). Trego korrelacione të palidhura, 3) Trego të dhënat në mënyrë të pasaktë, 4) Trego të dhënat në mënyrë jo konvencionale, ose 5). Shfaq të dhënat e tepërta të thjeshtuara.

Shfaq një grup të kufizuar të dhënash

Kufizimi i të dhënave ose zgjedhja me dorë e një seksioni jo të rastësishëm të të dhënave shpesh mund të tregojë një histori që nuk është në përputhje me pamjen e përgjithshme. Kampionimi i keq, ose mbledhja e qershisë, është kur analisti përdor një mostër jo-përfaqësuese për të përfaqësuar një grup më të madh. 

Në Mars 2020, Departamenti i Shëndetit Publik të Gjeorgjisë publikoi këtë grafik si pjesë e raportit të statusit të saj ditor. Në fakt ngre më shumë pyetje sesa përgjigjet.  

Një nga gjërat që mungon është konteksti. Për shembull, do të ishte e dobishme të dihej se sa është përqindja e popullsisë për secilën grupmoshë. Një problem tjetër me grafikun me pamje të thjeshtë janë grupmoshat e pabarabarta. 0-17 ka 18 vjet, 18-59 ka 42, 60+ është i hapur, por ka rreth 40 vjet. Konkluzioni, vetëm nga ky grafik, është se pjesa më e madhe e rasteve janë në grupmoshën 18-59 vjeç. Grupmosha mbi 60 vjeç duket të jetë më pak e prekur nga rastet e COVID. Por kjo nuk është e gjithë historia.

Për krahasim, ky grup i ndryshëm i të dhënave në Faqja e internetit e CDC grafikon rastet e COVID sipas grupmoshave me të dhëna shtesë mbi përqindjen e popullsisë së SHBA-së që është në çdo grupmoshë.  

Kjo eshte me mire. Kemi më shumë kontekst. Mund të shohim se grupmoshat 18-29, 30-39, 40-49 kanë të gjitha një përqindje më të lartë të rasteve sesa përqindja e grupmoshës në popullatë. Ka ende disa grupmosha të pabarabarta. Pse 16-17 vjeç janë një grupmoshë më vete? Megjithatë kjo nuk është e gjithë historia, por ekspertët kanë shkruar kolona, ​​kanë bërë parashikime dhe mandate për më pak se kaq. Natyrisht, me COVID, ka shumë variabla përveç moshës që ndikojnë në llogaritjen si rast pozitiv: statusi i vaksinimit, disponueshmëria e testeve, numri i herëve të testuara, sëmundjet shoqëruese dhe shumë të tjera. Vetë numri i rasteve jep një pasqyrë jo të plotë. Shumica e ekspertëve shikojnë gjithashtu numrin e vdekjeve, ose përqindjet e vdekjeve për 100,000 popullsi, ose rastet e vdekjeve për të parë se si COVID-i ndikon në secilën grupmoshë.

Trego korrelacione të palidhura

Natyrisht, ekziston një korrelacion i fortë mes shpenzimeve të SHBA-së për shkencën, hapësirën dhe teknologjinë dhe numrin e vetëvrasjeve me varje, mbytje dhe mbytje. Korrelacioni është 99.79%, pothuajse një përputhje e përsosur.  

Megjithatë, kush do të argumentonte se këto janë disi të lidhura, ose njëri shkakton tjetrin? Ka shembuj të tjerë më pak ekstremë, por jo më pak të rremë. Ekziston një lidhje e ngjashme e fortë midis Letrave në Fjala Fituese e Scripps National Spelling Bee dhe Numri i njerëzve të vrarë nga merimangat helmuese. Rastësi? Ti vendos.

Një mënyrë tjetër për të grafikuar këto të dhëna që mund të jenë më pak mashtruese do të ishte përfshirja e zeros në të dy boshtet Y.

Shfaq të dhënat në mënyrë të pasaktë

nga Si t'i shfaqni keq të dhënat, Shteti i Gjeorgjisë në SHBA prezantoi 5 vendet kryesore me numrin më të madh të rasteve të konfirmuara COVID-19.

Duket e ligjshme, apo jo? Ka një tendencë në rënie të rasteve të konfirmuara me COVID-19. A mund të lexoni boshtin X? Boshti X përfaqëson kohën. Në mënyrë tipike, datat do të rriten nga e majta në të djathtë. Këtu, ne shohim një udhëtim të vogël në kohë në boshtin X: 

4/28/2020

4/27/2020

4/29/2020

5/1/2020

4/30/2020

5/4/2020

5/6/2020

5/5/2020

5/2/22020 ...

Prisni? Çfarë? Boshti X nuk është i renditur në mënyrë kronologjike. Pra, sado e bukur të duket tendenca, nuk mund të nxjerrim asnjë përfundim. Nëse datat janë të renditura, shiritat për numrin e rasteve tregojnë më shumë një model sharrë se çdo lloj tendence.

Zgjidhja e lehtë këtu është të renditni datat siç bën një kalendar.

Shfaq të dhënat në mënyrë jokonvencionale

Të gjithë jemi të zënë. Truri ynë na ka mësuar të bëjmë gjykime të shpejta bazuar në supozimet që kanë qenë të qëndrueshme në botën tonë. Për shembull, çdo grafik që kam parë ndonjëherë tregon takimin e boshteve x dhe y në zero, ose vlerat më të ulëta. Duke parë shkurtimisht këtë grafik, çfarë përfundimesh mund të nxirrni në lidhje me efektin e Floridës “Qëndroni ligjin tuaj bazë.”? Më vjen turp ta pranoj, por ky grafik më mashtroi në fillim. Syri juaj tërhiqet lehtësisht nga teksti dhe shigjeta në mes të grafikut. Poshtë është lart në këtë grafik. Mund të mos jetë një gënjeshtër - të dhënat janë në rregull. Por, duhet të mendoj se ka për qëllim të mashtrojë. Nëse nuk e keni parë ende, zero në boshtin y është në krye. Pra, ndërsa të dhënat zvogëlohen, kjo do të thotë më shumë vdekje. Ky grafik tregon numrin e vrasjeve me armë zjarri rritur pas vitit 2005, e treguar nga tendenca e vazhdimësisë poshtë.

Trego të dhënat e tepërta të thjeshtuara

Një shembull i thjeshtimit të tepërt të të dhënave mund të shihet kur analistët përfitojnë nga Paradoksi i Simpsonit. Ky është një fenomen që ndodh kur të dhënat e grumbulluara duket se tregojnë një përfundim të ndryshëm sesa kur ato ndahen në nënbashkësi. Kjo kurth është e lehtë të biesh kur shikohen përqindjet e grumbulluara të nivelit të lartë. Një nga ilustrimet më të qarta të Paradoksit të Simpsonit në punë lidhet me mesataret e goditjes.  

Këtu shohim se Derek Jeter ka një mesatare më të lartë të goditjes se David Justice për sezonet 1995 dhe 1996. Paradoksi vjen kur kuptojmë se Drejtësia e mposhti Jeterin në mesataren e të dy atyre viteve. Nëse shikoni me kujdes, ka kuptim kur kuptoni se Jeter kishte afërsisht 4 herë më shumë lakuriq nate (emëruesi) në 1996 me një mesatare 007 më të ulët në 1996. Ndërsa, Justice kishte afërsisht 10 herë numrin e lakuriqëve të natës në vetëm . 003 mesatare më e lartë në 1995.

Prezantimi duket i drejtpërdrejtë, por Paradoksi i Simpsonit, me dashje ose pa dashje, ka çuar në përfundime të pasakta. Kohët e fundit, ka pasur shembuj të Paradoksit të Simpsonit në lajme dhe në mediat sociale në lidhje me vaksinat dhe vdekshmërinë nga COVID. Një chart tregon një grafik vijues që krahason shkallët e vdekjeve midis të vaksinuarve dhe të pavaksinuarve për personat e moshës 10-59 vjeç. Grafiku tregon se të pavaksinuarit kanë vazhdimisht një shkallë vdekshmërie më të ulët. Cfare po ndodh ketu?  

Çështja është e ngjashme me atë që shohim me mesataret e goditjes. Emëruesi në këtë rast është numri i individëve në çdo grupmoshë. Grafiku kombinon grupe që kanë rezultate të ndryshme. Nëse shikojmë veçmas grupmoshat 50-59 vjeç, vërehet se të vaksinuarit kalojnë më mirë. Po kështu, nëse shikojmë 10-49, shohim se edhe të vaksinuarit ia kalojnë më mirë. Në mënyrë paradoksale, kur shikoni grupin e kombinuar, të pavaksinuarit duket se kanë një rezultat më të keq. Në këtë mënyrë, ju jeni në gjendje të bëni një rast për argumente të kundërta duke përdorur të dhënat.

Të dhënat janë të njëanshme

Të dhënat nuk mund të besohen gjithmonë. Edhe në komunitetin shkencor, mbi një e treta e studiuesve të anketuar pranuan "Praktika të dyshimta kërkimore."  Një tjetër zbulues i mashtrimit në kërkim thotë, “Ka shumë të ngjarë që të ketë shumë më tepër mashtrime në të dhëna – tabela, grafikë rreshtash, të dhëna të renditjes [– sesa po zbulojmë në të vërtetë]. Kushdo që ulet në tryezën e kuzhinës mund të vendosë disa numra në një fletëllogaritëse dhe të bëjë një grafik rreshtor që duket bindës.”

Kjo e parë shembull duket sikur dikush e ka bërë pikërisht këtë. Nuk po them se ky është mashtrim, por si sondazh, thjesht nuk gjeneron asnjë të dhënë që kontribuon në një vendim të informuar. Duket sikur sondazhi i pyeti të anketuarit për mendimin e tyre për kafenë e stacionit të karburantit, ose ndonjë ngjarje tjetër aktuale aktuale. 

1. madhështor 
2. I madh
3. Shumë mirë 

Unë e kam prerë postimin në Twitter për të hequr referencat për palën fajtore, por kjo është e gjithë grafiku aktual i rezultateve përfundimtare të sondazhit. Sondazhet si kjo nuk janë të rralla. Natyrisht, çdo grafik i krijuar nga të dhënat që rezultojnë nga përgjigjet do të tregojë se kafeja në fjalë nuk duhet humbur.  

Problemi është se nëse do t'ju ishte dhënë ky sondazh dhe nuk do të gjenit një përgjigje që i përshtatet mendimit tuaj, do ta kalonit anketën. Ky mund të jetë një shembull ekstrem se si mund të krijohen të dhëna jo të besueshme. Dizajni i dobët i sondazhit, megjithatë, mund të çojë në më pak përgjigje dhe ata që përgjigjen kanë vetëm një mendim, është vetëm çështje shkalle. Të dhënat janë të njëanshme.

Ky shembull i dytë i paragjykimit të të dhënave është nga skedarët e "Grafikët mashtrues më të këqij të COVID 19". 

Përsëri, kjo është delikate dhe jo plotësisht e qartë. Grafiku me shtylla tregon një rënie të qetë - pothuajse shumë të qetë - në përqindjen e rasteve pozitive me COVID-19 me kalimin e kohës për një qark në Florida. Mund të nxirrni lehtësisht përfundimin se rastet janë në rënie. Kjo është e mrekullueshme, vizualizimi përfaqëson me saktësi të dhënat. Problemi është te të dhënat. Pra, është një paragjykim më tinëzar sepse nuk mund ta shihni. Është futur në të dhëna. Pyetjet që duhet të bëni, përfshijnë, kush po testohet? Me fjalë të tjera, cili është emëruesi, apo popullsia e së cilës po shikojmë një përqindje. Supozimi është se është e gjithë popullata, ose të paktën, një kampion përfaqësues.

Megjithatë, gjatë kësaj periudhe, në këtë qark, testet janë bërë vetëm për një numër të kufizuar personash. Ata duhej të kishin simptoma të ngjashme me COVID, ose kishin udhëtuar së fundmi në një vend në listën e pikave të nxehta. Për më tepër, ngatërruese e rezultateve është fakti se çdo test pozitiv u numërua dhe çdo test negativ u numërua. Në mënyrë tipike, kur një individ rezultoi pozitiv, ata do të testonin përsëri kur virusi të kishte kaluar rrjedhën e tij dhe do të rezultonte negativ. Pra, në një farë kuptimi, për çdo rast pozitiv, ekziston një rast test negativ që e anulon atë. Shumica dërrmuese e testeve janë negative dhe janë numëruar testet negative të secilit individ. Ju mund të shihni se si të dhënat janë të njëanshme dhe jo veçanërisht të dobishme për marrjen e vendimeve. 

Inputi dhe trajnimi i AI është i njëanshëm

Ekzistojnë të paktën dy mënyra në të cilat AI mund të çojë në rezultate të njëanshme: duke filluar me të dhëna të njëanshme, ose duke përdorur algoritme të njëanshme për të përpunuar të dhëna të vlefshme.  

Input i njëanshëm

Shumë prej nesh kanë përshtypjen se AI mund t'i besohet për të shtypur numrat, për të zbatuar algoritmet e tij dhe për të nxjerrë një analizë të besueshme të të dhënave. Inteligjenca artificiale mund të jetë aq e zgjuar sa është e trajnuar. Nëse të dhënat mbi të cilat është trajnuar janë të papërsosura, as rezultatet apo përfundimet nuk do të mund të besohen. Ngjashëm me rastin e mësipërm të paragjykimit të anketës, ka një sërë mënyrash në të cilat mund të bëhen të dhënat i anshëm në mësimin e makinerive:.  

• Paragjykimi i mostrës – grupi i të dhënave të trajnimit nuk është përfaqësues i të gjithë popullatës.
• Paragjykimi i përjashtimit - nganjëherë ato që duken të jenë të jashtzakonshme janë në të vërtetë të vlefshme, ose, ku vendosim vijën se çfarë duhet të përfshijmë (kodet postare, datat, etj.).
• Paragjykimi i matjes – konventa është që gjithmonë të matet nga qendra dhe fundi i meniskut, për shembull, kur maten lëngjet në balona vëllimore ose epruveta (përveç merkurit.)
• Kujtoni paragjykimet – kur hulumtimi varet nga kujtesa e pjesëmarrësve.
• Paragjykimi i vëzhguesit – shkencëtarët, si të gjithë njerëzit, janë më të prirur të shohin atë që presin të shohin.
• Paragjykimet seksiste dhe raciste – seksi ose raca mund të jenë të mbi- ose nën-përfaqësuara.  
• Paragjykimi i asociimit – të dhënat përforcojnë stereotipet

Që AI të kthejë rezultate të besueshme, të dhënat e tij të trajnimit duhet të përfaqësojnë botën reale. Siç kemi diskutuar në një artikull të mëparshëm të blogut, përgatitja e të dhënave është kritike dhe si çdo projekt tjetër i të dhënave. Të dhënat jo të besueshme mund t'u mësojnë sistemeve të mësimit të makinës mësimin e gabuar dhe do të rezultojnë në përfundimin e gabuar. Kjo tha, "Të gjitha të dhënat janë të njëanshme. Kjo nuk është paranojë. Ky është fakt.” - Dr Sanjiv M. Narayan, Shkolla e Mjekësisë e Universitetit Stanford.

Përdorimi i të dhënave të njëanshme për trajnime ka çuar në një numër dështimesh të dukshme të AI. (Shembuj këtu këtu, hulumtim këtu..)

Algoritme të njëanshme

Një algoritëm është një grup rregullash që pranojnë një hyrje dhe krijon output për t'iu përgjigjur një problemi biznesi. Ata janë shpesh pemë vendimesh të përcaktuara mirë. Algoritmet ndjehen si kuti të zeza. Askush nuk është i sigurt se si funksionojnë, shpesh, madje as ai kompanitë që i përdorin ato. Oh, dhe ato shpesh janë pronësore. Natyra e tyre misterioze dhe komplekse është një nga arsyet pse algoritmet e njëanshme janë kaq tinëzare. . 

Konsideroni algoritmet e AI në mjekësi, HR ose financa që marrin parasysh garën. Nëse raca është një faktor, algoritmi nuk mund të jetë i verbër racialisht. Kjo nuk është teorike. Probleme si këto janë zbuluar në botën reale duke përdorur AI në punësimin, ride-share, aplikimi i huasës, dhe transplantet e veshkave. 

Në fund të fundit është se nëse të dhënat ose algoritmet tuaja janë të këqija, janë më keq se të padobishme, ato mund të jenë të rrezikshme. Ekziston një gjë e tillë si "auditimi algoritmik.” Qëllimi është të ndihmohen organizatat të identifikojnë rreziqet e mundshme që lidhen me algoritmin pasi lidhet me drejtësinë, paragjykimet dhe diskriminimin. Diku tjetër, Facebook po përdor AI për të luftuar paragjykimet në AI.

Njerëzit janë të njëanshëm

Ne kemi njerëz në të dy anët e ekuacionit. Njerëzit po përgatisin analizat dhe njerëzit po marrin informacionin. Ka studiues dhe ka lexues. Në çdo komunikim, mund të ketë probleme në transmetim ose pritje.

Merrni motin, për shembull. Çfarë do të thotë "një shans për shi"? Së pari, çfarë nënkuptojnë meteorologët kur thonë se ka mundësi për shi? Sipas qeverisë amerikane Shërbimi Kombëtar i Motit, mundësia e shiut, ose ajo që ata e quajnë Probabiliteti i Reshjeve (PoP), është një nga elementët më pak të kuptuar në një parashikim të motit. Ai ka një përkufizim standard: "Probabiliteti i reshjeve është thjesht një probabilitet statistikor prej 0.01" inç [sic] e [sic] më shumë reshjesh në një zonë të caktuar në zonën e caktuar të parashikimit në periudhën kohore të specifikuar." “Zona e dhënë” është zona e parashikimit, ose broadzona e hedhur. Kjo do të thotë se probabiliteti zyrtar i reshjeve varet nga besimi se do të bjerë shi diku në zonë dhe përqindja e zonës që do të laget. Me fjalë të tjera, nëse meteorologu është i sigurt se do të bjerë shi në zonën e parashikimit (Besimi = 100%), atëherë PoP përfaqëson pjesën e zonës që do të ketë shi.  

Rruga e Parisit; Ditë me shi,Gustave Caillebotte (1848-1894) Domain Publik i Institutit të Artit të Çikagos

Mundësia e shiut varet si nga besimi ashtu edhe nga zona. Nuk e dija ate. Dyshoj se as të tjerët nuk e dinë këtë. Rreth 75% e popullsisë nuk e kupton saktësisht se si llogaritet PoP, ose çfarë synohet të përfaqësojë. Pra, a po mashtrojmë, apo ky është një problem perceptimi. Le ta quajmë perceptim të reshjeve. A fajësojmë sinoptikanin? Për të qenë të drejtë, ka disa ngatërrim edhe në mesin e parashikuesve të motit. Në një studim, 43% e meteorologëve të anketuar thanë se ka shumë pak konsistencë në përkufizimin e PoP.

Analiza në vetvete është e njëanshme

Nga pesë faktorët ndikues, vetë analiza mund të jetë më befasuesi. Në kërkimin shkencor që rezulton në publikimin e një punimi të rishikuar, zakonisht hipotezohet një teori, përcaktohen metoda për të testuar hipotezën, mblidhen të dhënat dhe më pas analizohen të dhënat. Lloji i analizës që bëhet dhe mënyra se si bëhet është nënvlerësuar në mënyrën se si ndikon në përfundimet. Ne nje letër botuar në fillim të këtij viti (janar 2022), në Gazetën Ndërkombëtare të Kancerit, autorët vlerësuan nëse rezultatet e sprovave të kontrolluara të rastësishme dhe studimeve vëzhguese retrospektive. Gjetjet e tyre arritën në përfundimin se,

Duke ndryshuar zgjedhjet analitike në kërkimin krahasues të efektivitetit, ne gjeneruam rezultate të kundërta. Rezultatet tona sugjerojnë se disa studime vëzhguese retrospektive mund të zbulojnë se një trajtim përmirëson rezultatet për pacientët, ndërsa një studim tjetër i ngjashëm mund të zbulojë se jo, thjesht bazuar në zgjedhje analitike.

Në të kaluarën, kur lexoni një artikull në revistë shkencore, nëse jeni si unë, mund të keni menduar se rezultatet ose përfundimet kanë të bëjnë me të dhënat. Tani, duket se rezultatet, ose nëse hipoteza fillestare konfirmohet ose hidhet poshtë, mund të varet gjithashtu nga metoda e analizës.

Një tjetër studim gjeti rezultate të ngjashme. Artikulli, Shumë analistë, një grup i të dhënave: Të bësh transparente se si variacionet në zgjedhjet analitike ndikojnë në rezultatet, përshkruan se si ata i dhanë të njëjtin grup të dhënash për të analizuar 29 ekipe të ndryshme. Analiza e të dhënave shpesh shihet si një proces i rreptë, i mirëpërcaktuar që çon në një përfundim të vetëm.  

Pavarësisht nga vërejtjet e metodologëve, është e lehtë të anashkalohet fakti që rezultatet mund të varen nga strategjia analitike e zgjedhur, e cila në vetvete është e mbushur me teori, supozime dhe pika zgjedhjeje. Në shumë raste, ka shumë qasje të arsyeshme (dhe shumë të paarsyeshme) për vlerësimin e të dhënave që lidhen me një pyetje kërkimore.

Studiuesit morën analizën e të dhënave dhe arritën në përfundimin se i gjithë kërkimi përfshin vendime subjektive – duke përfshirë llojin e analizës që duhet përdorur – të cilat mund të ndikojnë në rezultatin përfundimtar të studimit.

Rekomandimi i një tjetri studiues i cili analizoi studimin e mësipërm duhet të jetë i kujdesshëm kur përdor një punim të vetëm në marrjen e vendimeve ose nxjerrjen e përfundimeve.

Adresimi i paragjykimeve në Analytics

Kjo thjesht ka për qëllim të jetë një përrallë paralajmëruese. Njohuria mund të na mbrojë nga mashtrimet. Sa më të vetëdijshëm për metodat e mundshme që një skaner mund të përdorë për të na mashtruar, aq më pak ka gjasa që ne të përfshihemi, le të themi, nga keqdrejtimi i një hajdut xhepi ose nga biseda e qetë për një lojë Ponzi. Kështu është me të kuptuarit dhe njohjen e paragjykimeve të mundshme që ndikojnë në analitikën tonë. Nëse jemi të vetëdijshëm për ndikimet e mundshme, ne mund të jemi në gjendje ta paraqesim historinë më mirë dhe në fund të marrim vendime më të mira.