Analytics manti

Patipri nan analiz

Mark Twain te di yon bagay tankou: "Gen twa kalite manti: manti, manti ak analytics". 

Nou pran pou yo akòde ke analytics ban nou itil, aksyone Sur. Ki sa nou souvan pa reyalize se ki jan pwòp patipri pa nou yo ak sa yo ki nan lòt moun enfliyanse repons yo ap bay yo pa menm lojisyèl ki pi sofistike ak sistèm yo. Pafwa, nou ka manipile malonèt, men, pi souvan, li ka prejije sibtil ak enkonsyan ki ranpe nan analiz nou an. Motivasyon dèyè analytics partial anpil. Pafwa rezilta san patipri nou espere nan syans yo enfliyanse pa 1) chwa sibtil nan fason yo prezante done yo, 2) done ki pa konsistan oswa ki pa reprezante, 3) ki jan sistèm AI yo fòme, 4) inyorans, enkonpetans chèchè oswa lòt moun ap eseye. rakonte istwa a, 5) analiz la li menm.    

Prezantasyon an gen patipri

Kèk nan manti yo pi fasil pou wè pase lòt. Lè ou konnen ki sa pou chèche pou ou ka pi fasil detekte potansyèlman graf ak tablo ki twonpe. 

Gen omwen senk fason pou montre done ki bay manti: 1) Montre yon seri done limite, 2). Montre korelasyon ki pa gen rapò, 3) Montre done yo pa kòrèk, 4) Montre done yo pa konvansyonèl, oswa 5). Montre done yo twò senplifye.

Montre yon seri done limite

Limite done yo, oswa men chwazi yon seksyon ki pa o aza nan done yo ka souvan rakonte yon istwa ki pa konsistan ak gwo foto a. Move echantiyon, oswa chwazi Cherry, se lè analis la sèvi ak yon echantiyon ki pa reprezante pou reprezante yon pi gwo gwoup. 

Nan mwa Mas 2020, Depatman Sante Piblik Georgia pibliye tablo sa a kòm yon pati nan rapò sou sitiyasyon chak jou li yo. Li aktyèlman soulve plis kesyon pase li reponn.  

Youn nan bagay ki manke se kontèks. Pa egzanp, li ta itil pou konnen ki pousantaj popilasyon an pou chak gwoup laj. Yon lòt pwoblèm ak tablo a tat ki senp se gwoup laj inegal yo. 0-17 la gen 18 ane, 18-59 gen 42, 60+ se louvri fini, men gen anviwon 40 ane. Konklizyon an, dapre tablo sa a sèlman, se ke majorite ka yo nan gwoup laj 18-59 ane fin vye granmoun. Gwoup laj ki gen plis pase 60 an sanble mwens afekte pa ka COVID yo. Men, sa a se pa tout istwa a.

Pou konparezon, done sa a diferan mete sou la Sit wèb CDC prezante ka COVID pa gwoup laj ak done adisyonèl sou pousantaj Popilasyon Etazini ki nan chak seri laj.  

Sa a se pi bon. Nou gen plis kontèks. Nou ka wè gwoup laj 18-29, 30-39, 40-49 yo tout gen yon pousantaj ka pi wo pase pousantaj gwoup laj nan popilasyon an. Genyen toujou kèk gwoup laj inegal. Poukisa se 16-17 yon gwoup laj separe? Toujou sa a se pa istwa a tout antye, men ekspè yo te ekri kolòn, fè prediksyon ak manda sou mwens pase sa a. Li evidan, ak COVID, gen anpil varyab anplis laj ki afekte ke yo te konte kòm yon ka pozitif: estati vaksinasyon, disponiblite tès yo, kantite fwa yo teste, komorbidite, ak anpil lòt. Kantite ka yo, li menm, bay yon foto enkonplè. Pifò ekspè gade tou Kantite lanmò, oswa pousantaj lanmò pou chak 100,000 popilasyon, oswa ka-fatalite pou gade kijan COVID afekte chak gwoup laj.

Montre korelasyon ki pa gen rapò

Li evidan, gen yon fò korelasyon ant depans Etazini sou syans, espas, ak teknoloji ak kantite Swisid pa pann, trangulasyon ak toufe. Korelasyon an se 99.79%, prèske yon match pafè.  

Men, kiyès ki ta ka fè konnen sa yo gen rapò yon jan kanmenm, oswa youn lakòz lòt la? Gen lòt egzanp mwens ekstrèm, men pa mwens espuri. Gen yon korelasyon solid menm jan an ant Lèt nan mo genyen nan Scripps National Spelling Bee ak kantite moun ki touye pa areye venen. Konyensidans? Ou deside.

Yon lòt fason pou fè tablo done sa yo ki ka mwens twonpe ta dwe mete zewo sou tou de aks Y yo.

Montre done yo pa kòrèk

Soti nan Ki jan yo montre done mal, Eta Georgia a te prezante 5 Top Konte ki gen Pi gwo Kantite Ka Konfime COVID-19 yo.

Sanble legi, pa vre? Gen klèman yon tandans desann nan ka konfime COVID-19. Èske ou ka li aks X la? Aks X la reprezante tan. Tipikman, dat yo ap ogmante de goch a dwat. Isit la, nou wè yon ti vwayaj tan sou aks X la: 

4/28/2020

4/27/2020

4/29/2020

5/1/2020

4/30/2020

5/4/2020

5/6/2020

5/5/2020

5/2/22020 ...

Tann? Kisa? Aks X la pa klase kwonolojikman. Se konsa, jan bèl jan tandans nan ta ka gade, nou pa ka tire okenn konklizyon. Si dat yo bay lòd, ba yo pou kantite ka yo montre plis nan yon modèl sawtooth pase nenpòt kalite yon tandans.

Ranje a fasil isit la se klase dat yo jan yon kalandriye fè.

Montre done yo pa konvansyonèl

Nou tout okipe. Sèvo nou yo te anseye nou pou nou fè jijman rapid ki baze sou sipozisyon ki te konsistan nan mond nou an. Pa egzanp, chak graf mwen te janm wè montre aks x- ak y- rankontre nan zewo, oswa valè ki pi ba yo. Lè w gade tablo sa a yon ti tan, ki konklizyon ou ka tire sou efè Florid la “Respekte lalwa ou.”? Mwen wont admèt li, men graf sa a twonpe m 'okòmansman. Je ou fasilman trase sou tèks la ak flèch nan mitan grafik la. Desann se moute nan graf sa a. Li ka pa yon manti - done yo se tout dwa la. Men, mwen dwe panse ke li vle di pou twonpe. Si ou poko wè li, zewo sou aks y-a se nan tèt la. Se konsa, kòm done tandans desann, sa vle di plis lanmò. Tablo sa a montre kantite asasina ak zam afe ogmante apre 2005, endike nan tandans nan ale desann.

Montre done yo twò senplifye

Yon egzanp sou senplifikasyon done yo ka wè lè analis yo pran avantaj de Paradox Simpson la. Sa a se yon fenomèn ki rive lè done total parèt pou demontre yon konklizyon diferan pase lè yo separe an sou-ansanm. Pyèj sa a fasil pou tonbe nan lè w ap gade pousantaj total wo nivo. Youn nan ilistrasyon ki pi klè nan Paradox Simpson nan travay la gen rapò ak mwayèn baton.  

Isit la nou wè ke Derek Jeter gen yon mwayèn bato jeneral ki pi wo pase David Justice pou sezon 1995 ak 1996. Paradoks la vini lè nou reyalize ke Jistis te bat Jeter nan mwayèn bato tou de ane sa yo. Si w gade ak anpil atansyon, li fè sans lè w reyalize ke Jeter te gen apeprè 4 fwa plis at-bats (denominatè a) an 1996 nan yon mwayèn .007 pi ba an 1996. Lè nou konsidere ke, Jistis te gen apeprè 10 fwa kantite at-bats nan sèlman . 003 pi wo mwayèn an 1995.

Prezantasyon an parèt senp, men Paradox Simpson, san konprann, oswa envolontè, te mennen nan konklizyon ki pa kòrèk. Dènyèman, te gen egzanp Paradox Simpson nan nouvèl la ak sou medya sosyal ki gen rapò ak vaksen ak mòtalite COVID. Youn tablo montre yon graf liy ki konpare pousantaj lanmò ant moun ki pran vaksen ak moun ki pa vaksinen pou moun ki gen laj 10-59 an. Tablo a montre ke moun ki pa vaksinen yo toujou gen yon to mòtalite ki pi ba. Kisa k ap pase la a?  

Pwoblèm nan sanble ak sa nou wè ak mwayèn baton yo. Denominatè a nan ka sa a se kantite moun ki nan chak gwoup laj. Graf la konbine gwoup ki gen diferan rezilta. Si nou gade nan gwoup laj ki pi gran, 50-59, separeman, nou wè ke pri a pran vaksen pi bon. Menm jan an tou, si nou gade nan 10-49, nou wè tou ke pri vaksen an pi byen. Paradoksal, lè w ap gade nan seri a konbine, san vaksen parèt yo gen yon rezilta pi mal. Nan fason sa a, w ap kapab fè yon ka pou agiman opoze lè l sèvi avèk done yo.

Done yo gen patipri

Done pa ka toujou fè konfyans. Menm nan kominote syantifik la, plis pase yon tyè nan chèchè yo fè sondaj admèt yo "pratik rechèch dout."  Yon lòt rechèch fwod detektif di, “Gen anpil chans anpil plis fwod nan done – tab, graf liy, done sekans [– pase nou aktyèlman dekouvri]. Nenpòt moun ki chita bò tab kwizin yo ka mete kèk nimewo nan yon calcul epi fè yon graf liy ki sanble konvenkan.

Sa a an premye egzanp sanble yon moun te fè sa. Mwen pa di sa a se fwod, men kòm yon sondaj, li jis pa jenere okenn done ki kontribye nan yon desizyon enfòme. Li sanble ke sondaj la te mande moun ki repond yo sou opinyon yo sou kafe estasyon gaz, oswa kèk lòt evènman aktyèl ki enpòtan. 

1. sipèb 
2. Gwo
3. Trè bon 

Mwen te koupe pòs Twitter la pou retire referans sou pati koupab la, men sa a se tablo aktyèl tout rezilta final sondaj la. Sondaj tankou sa a pa estraòdinè. Li evidan, nenpòt tablo ki te kreye nan done ki soti nan repons yo pral montre kafe nan kesyon an pa dwe rate.  

Pwoblèm lan se ke si yo te ba w sondaj sa a epi yo pa t jwenn yon repons ki anfòm panse w, ou ta sote sondaj la. Sa a ka yon egzanp ekstrèm sou ki jan done enfidèl yo ka kreye. Konsepsyon sondaj pòv, sepandan, ka mennen nan mwens repons ak moun ki reponn gen yon sèl opinyon, se jis yon kesyon de degre. Done yo se partial.

Dezyèm egzanp sa a nan patipri done soti nan dosye yo nan "Pi move graf ki twonpe COVID 19". 

Yon fwa ankò, sa a se sibtil epi yo pa konplètman evidan. Grafik ba a montre yon bès lis – prèske twò lis – nan pousantaj ka pozitif COVID-19 sou tan pou yon konte nan Florid. Ou ta ka fasilman tire konklizyon ke ka yo ap dekline. Sa bon, vizyalizasyon an reprezante done yo avèk presizyon. Pwoblèm nan se nan done yo. Kidonk, li se yon patipri plis trètr paske ou pa ka wè li. Li kwit nan done yo. Kesyon ou bezwen poze yo, enkli, kiyès k ap fè tès la? Nan lòt mo, ki sa ki denominatè a, oswa popilasyon an nan ki nou ap gade nan yon pousantaj. Sipozisyon an se ke li se tout popilasyon an, oswa omwen, yon echantiyon reprezantan.

Sepandan, pandan peryòd sa a, nan konte sa a, tès yo te sèlman bay yon kantite limite nan moun. Yo te oblije gen sentòm ki sanble ak COVID, oswa yo te vwayaje dènyèman nan yon peyi sou lis tach cho yo. Anplis de sa, rezilta yo konfonn se lefèt ke chak tès pozitif te konte ak chak tès negatif te konte. Tipikman, lè yon moun teste pozitif, yo ta teste ankò lè viris la te kouri li epi yo ta teste negatif. Se konsa, nan yon sans, pou chak ka pozitif, gen yon ka tès negatif ki anile li. A vas majorite nan tès yo negatif epi yo te konte tès negatif chak moun. Ou ka wè ki jan done yo se patipri epi yo pa itil patikilyèman pou pran desizyon. 

Antre ak Fòmasyon AI yo gen patipri

Gen omwen de fason AI ka mennen nan rezilta patipri: kòmanse ak done patipri, oswa lè l sèvi avèk algorithm partial pou trete done ki valab.  

Antre partial

Anpil nan nou gen enpresyon ke AI ka fè konfyans nan crunch chif yo, aplike algoritm li yo, ak krache soti yon analiz serye nan done yo. Entèlijans atifisyèl kapab sèlman kòm entelijan jan li resevwa fòmasyon. Si done yo sou ki li resevwa fòmasyon yo enpafè, rezilta yo oswa konklizyon yo pa yo pral kapab fè konfyans, swa. Menm jan ak ka ki pi wo a nan patipri sondaj la, gen yon kantite fason nan ki done yo ka dezas nan aprantisaj machin:.  

• Egzanp patipri - dataset fòmasyon an pa reprezante tout popilasyon an.
• Patipri eksklizyon - pafwa sa ki parèt abitye yo aktyèlman valab, oswa, kote nou trase liy lan sou sa yo enkli (kòd postal, dat, elatriye).
• Patipri mezi - konvansyon an se pou toujou mezire soti nan sant ak anba menisk la, pou egzanp, lè w ap mezire likid nan flakon volumetrik oswa tib tès (eksepte mèki.)
• Sonje patipri - lè rechèch depann sou memwa patisipan yo.
• Patipri obsèvatè - syantis yo, tankou tout moun, yo gen plis tandans wè sa yo espere wè.
• Patipri sèksis ak rasis – sèks oswa ras yo ka twò oswa sou-reprezante.  
• Patipri asosyasyon - done yo ranfòse estereyotip

Pou AI retounen rezilta serye, done fòmasyon li yo bezwen reprezante mond reyèl la. Kòm nou te diskite nan yon atik blog anvan, preparasyon an nan done se kritik ak tankou nenpòt lòt pwojè done. Done ki pa fyab ka anseye sistèm aprantisaj machin yo move leson an epi yo pral lakòz move konklizyon an. Sa te di, "Tout done yo gen patipri. Sa a se pa paranoya. Sa a se reyalite." – Doktè Sanjiv M. Narayan, Lekòl Medsin Inivèsite Stanford.

Sèvi ak done partial pou fòmasyon te mennen nan yon kantite echèk AI remakab. (Egzanp yo isit la ak isit la, rechèch isit la..)

Algoritm partial

Yon algorithm se yon seri règ ki aksepte yon opinyon epi kreye pwodiksyon pou reponn yon pwoblèm biznis. Yo souvan byen defini pyebwa desizyon. Algoritm yo santi yo tankou bwat nwa. Okenn moun pa sèten ki jan yo travay, souvan, pa menm la konpayi ki itilize yo. Oh, epi yo souvan propriétaires. Nati misterye ak konplèks yo se youn nan rezon ki fè algorithm partial yo tèlman trètr. . 

Konsidere algorithm AI nan medikaman, HR oswa finans ki pran ras an konsiderasyon. Si ras se yon faktè, algorithm la pa ka avèg rasyalman. Sa a se pa teyorik. Pwoblèm tankou sa yo te dekouvri nan mond reyèl la lè l sèvi avèk AI nan anbochaj, woulib-pataje, aplikasyon pou prèa, ak transplantasyon ren. 

Liy anba a se ke si done ou oswa algoritm yo se move, yo pi mal pase initil, yo ka danjere. Gen yon bagay tankou yon "odit algoritmik.” Objektif la se ede òganizasyon yo idantifye risk potansyèl ki gen rapò ak algorithm la jan li gen rapò ak jistis, patipri ak diskriminasyon. Yon lòt kote, Facebook ap itilize AI pou konbat patipri nan AI.

Moun yo gen patipri

Nou gen moun sou tou de bò ekwasyon an. Moun ap prepare analiz la epi moun ap resevwa enfòmasyon yo. Gen chèchè e gen lektè. Nan nenpòt kominikasyon, ka gen pwoblèm nan transmisyon an oswa resepsyon.

Pran move tan, pou egzanp. Ki sa "yon chans pou lapli" vle di? Premyèman, kisa meteyològ yo vle di lè yo di gen yon chans pou lapli? Dapre gouvènman ameriken an Sèvis Nasyonal Metewoloji, yon chans pou lapli, oswa sa yo rele Pwobabilite Presipasyon (PoP), se youn nan eleman ki pi piti konprann nan yon previzyon metewolojik. Li gen yon definisyon estanda: "Probabilite presipitasyon an se tou senpleman yon pwobabilite estatistik 0.01″ pous [sic] nan [sic] plis presipitasyon nan yon zòn yo bay nan zòn pwevwa yo bay nan peryòd tan espesifye a." "Zòn ki bay la" se zòn ki prevwa a, oswa broadzòn jete. Sa vle di ke pwobabilite ofisyèl pou presipitasyon an depann de konfyans ke lapli pral gen yon kote nan zòn nan ak pousantaj nan zòn nan ki pral mouye. Nan lòt mo, si meteyològ la gen konfyans ke lapli pral tonbe nan zòn pwevwa a (Konfyans = 100%), Lè sa a, PoP a reprezante pòsyon nan zòn nan ki pral resevwa lapli.  

Paris Street; Jou Lapli,Gustave Caillebotte (1848-1894) Domèn Piblik Chicago Art Institute

Chans pou lapli depann sou tou de konfyans ak zòn. Mwen pa t 'konnen sa. Mwen sispèk lòt moun pa konnen sa tou. Apeprè 75% nan popilasyon an pa byen konprann ki jan PoP yo kalkile, oswa ki sa li vle di reprezante. Kidonk, èske nou twonpe, oswa, se yon pwoblèm pèsepsyon. Ann rele li pèsepsyon presipitasyon. Èske nou blame metewolojik la? Pou nou jis, gen kèk konfizyon pami pwediktè metewolojik, tou. Nan youn sondaj, 43% nan meteyològ sondaj te di ke gen anpil ti konsistans nan definisyon an nan PoP.

Analiz la tèt li se partial

Nan senk faktè ki enfliyanse yo, analiz la li menm ka pi etone a. Nan rechèch syantifik ki rezilta nan yon papye revize ke yo te pibliye, tipikman yon teyori se ipotèz, yo defini metòd pou teste ipotèz la, done yo kolekte, Lè sa a, done yo analize. Kalite analiz ki fèt ak fason yo fè yo pa apresye nan fason li afekte konklizyon yo. Nan yon papye pibliye pi bonè ane sa a (janvye 2022), nan Creole Journal of Kansè, otè yo te evalye si rezilta esè owaza kontwole ak etid obsèvasyon retrospektiv. Konklizyon yo te konkli, ke,

Lè nou varye chwa analitik nan rechèch konparatif efikasite, nou te pwodwi rezilta kontrè. Rezilta nou yo sijere ke kèk etid obsèvasyon retrospektiv ka jwenn yon tretman amelyore rezilta pou pasyan yo, pandan y ap yon lòt etid menm jan an ka jwenn li pa fè sa, tou senpleman baze sou chwa analyse.

Nan tan lontan an, lè w ap li yon atik jounal syantifik, si w ap tankou m, ou ka te panse ke rezilta yo oswa konklizyon yo se tout sou done yo. Koulye a, li parèt ke rezilta yo, oswa si ipotèz inisyal la konfime oswa demanti kapab tou depann sou metòd la nan analiz.

Yon lòt etidye jwenn rezilta menm jan an. Atik la, Anpil analis, yon seri done: fè transparans kijan varyasyon nan chwa analitik yo afekte rezilta yo, dekri kijan yo te bay menm seri done a 29 ekip diferan pou analize. Analiz done yo souvan wè kòm yon pwosesis strik, byen defini ki mennen nan yon sèl konklizyon.  

Malgre repwodiksyon metodolog yo, li fasil pou nou neglije lefèt ke rezilta yo ka depann de estrateji analitik yo chwazi a, ki li menm anprent teyori, sipozisyon, ak pwen chwa yo. Nan anpil ka, gen anpil apwòch rezonab (ak anpil ki pa rezonab) pou evalye done ki gen rapò ak yon kesyon rechèch.

Chèchè yo te pran analiz done yo nan foul moun yo epi yo te rive nan konklizyon ke tout rechèch gen ladan desizyon subjectif - ki gen ladan ki kalite analiz yo itilize - ki ka afekte rezilta final etid la.

Rekòmandasyon yon lòt chèchè ki moun ki analize etid ki anwo a se dwe pridan lè w ap itilize yon papye sèl nan pran desizyon oswa tire konklizyon.

Abòde patipri nan Analytics

Sa a se tou senpleman vle di ke yo dwe yon istwa prekosyon. Konesans ka pwoteje nou kont èskrokri yo pran nou. Plis okouran de metòd posib yon eskanè ta ka itilize pou twonpe nou, se mwens chans pou nou pran, di, pa, di, move direksyon yon pickpocket a, oswa pale lis nan yon pyès teyat Ponzi. Se konsa, se ak konpreyansyon ak rekonèt prejije potansyèl ki afekte analiz nou an. Si nou okouran de enfliyans potansyèl, nou ta ka kapab prezante istwa a pi byen epi finalman pran pi bon desizyon.