Analytics Lie

Bias of Analysis

Mark Twain bi nîqaşî tiştek weha got, "Sê celeb derew hene: derew, derewên lanet û analytics. " 

Em ji xwe re qebûl dikin ku analîtîk têgihiştinên kêrhatî, çalak dide me. Tiştê ku em pir caran pê nizanin ev e ku çawa bialoziyên me û yên yên din bandorê li bersivên ku ji hêla nermalava û pergalên herî sofîstîke jî têne dayîn e. Carinan, dibe ku em bi bêrûmetî bêne manîpule kirin, lê, bi gelemperî, dibe ku ew nerînên nazik û bêhiş bin ku di analîtîkên me de diherike. Motîvasyona li pişt analîtîkên alîgir gelek celeb e. Carinan encamên bêalî yên ku em ji zanistê hêvî dikin ji hêla 1) vebijarkên nazik di awayê pêşkêşkirina daneyan de, 2) daneyên nehevgirtî an ne-nûner, 3) pergalên AI-ê çawa têne perwerde kirin, 4) nezanîn, bêkêmasiya lêkolîneran an yên din hewl didin bandor dikin. çîrokê bêje, 5) analîz bi xwe.    

Pêşniyar Biased e

Hin derew ji yên din hêsantir têne dîtin. Gava ku hûn zanibin ku hûn li çi bigerin, dibe ku hûn potansiyel bi hêsanî nas bikin grafîk û nexşeyên xapînok. 

Kêmasî hene pênc awayên ku bi xeletî daneyan nîşan bidin: 1) Daneyên tixûbdar nîşan bide, 2). Têkiliyên negirêdayî nîşan bidin, 3) Daneyên nerast nîşan bidin, 4) daneyan bi rengek ne kevneşopî nîşan bidin, an 5). Daneyên pir hêsankirî nîşan bidin.

Daneyên sînorkirî nîşan bide

Bisînorkirina daneyan, an bi destan bijartina beşek ne-randomî ya daneyê bi gelemperî dikare çîrokek bêje ku bi wêneya mezin re ne hevaheng e. Nimûneya xirab, an bijartina kiraz, dema ku vekoler nimûneyek ne-nûner bikar tîne da ku komek mezin temsîl bike. 

Di Adarê 2020 de, Wezareta Tenduristiya Giştî ya Gurcistanê ev nexşe wekî beşek ji rapora rewşa xwe ya rojane weşand. Ew bi rastî ji bersivên bêtir pirsan derdixe holê.  

Yek ji tiştên ku wenda ye, çarçoveyek e. Mînakî, dê alîkar be ku hûn zanibin ku ji sedî nifûsa ji bo her koma temenî çend e. Pirsgirêkek din a bi nexşeya pîvaz a sade komên temenî yên neyeksan e. 0-17 18 sal in, 18-59 42 hene, 60+ vekirî ye, lê dora 40 sal heye. Encam, bi tenê ji ber vê tabloyê, ev e ku piraniya bûyeran di koma temenê 18-59 salî de ne. Koma temenê 60+ salî xuya dike ku ji bûyerên COVID-ê kêmtir bandor dibe. Lê ev ne hemî çîrok e.

Ji bo berhevdanê, ev daneyên cihêreng li ser malpera CDC bûyerên COVID-ê li gorî koma temenî digel daneyên zêde yên li ser rêjeya nifûsa Dewletên Yekbûyî yên ku di her rêza temenî de ye nexşe dike.  

Ev çêtir e. Me zêdetir çarçoveyek heye. Em dikarin bibînin ku komên temenî 18-29, 30-39, 40-49 hemî ji sedî koma temen a nifûsê ji sedî zêdetir bûyeran in. Hîn jî hinek komên temenî yên nehevseng hene. Çima 16-17 temenek cuda ye? Dîsa jî ev ne tevahî çîrok e, lê pisporan li ser vê yekê kêmtir stûn nivîsandine, pêşbînîkirin û ferman dane. Eşkere ye, bi COVID-ê re, ji bilî temenê gelek guhêrbar hene ku bandorê li hesibandina wekî dozek erênî dike: rewşa vakslêdanê, hebûna testan, hejmara ceribandinên ceribandin, nexweşiyên hevgirtî, û gelekên din. Hejmara bûyeran bixwe, wêneyek netemam peyda dike. Pir pispor jî li Hejmara mirinan, an ji sedî mirinan li ser 100,000 nifûsê, an bûyer-kuştinan dinêrin da ku binerin ka COVID çawa bandorê li her koma temen dike.

Têkiliyên negirêdayî nîşan bidin

Diyar e, a têkiliyek xurt di navbera lêçûnên Dewletên Yekbûyî yên li ser zanist, feza û teknolojiyê û hejmara xwekuştinên bi darvekirin, xeniqandin û xeniqandinê de. Têkilî 99.79%, hema hema hevberek bêkêmasî ye.  

Kî, lêbelê, dê dozê bike ku ev bi rengek têkildar in, an yek dibe sedema ya din? Nimûneyên din ên kêmtir tund hene, lê ne kêmtir derewîn. Di navbera Nameyên Di Winning Word of Scripps Spelling Bee û Hejmara Kesên ku ji hêla Spiders Venomous ve hatine kuştin de têkiliyek xurt a bi heman rengî heye. Hevcivîn? Hûn biryar didin.

Rêbazek din a xêzkirina vê daneyê ku dibe ku hindiktir xapînok be dê ev e ku meriv li ser her du axên Y-ê sifir bigire.

Daneyên nerast nîşan bide

Ji Meriv çawa Daneyên Xerab Nîşan Dide, eyaleta Gurcistanê ya Dewletên Yekbûyî 5 wîlayetên herî baş ên ku hejmara bûyerên COVID-19 yên pejirandî hene pêşkêş kir.

qanûnî xuya dike, rast? Bi eşkere meylek daketî ya dozên COVID-19 yên pejirandî heye. Ma hûn dikarin X-axis bixwînin? X-xebata demê temsîl dike. Bi gelemperî, tarîx dê ji çepê berbi rastê zêde bibin. Li vir, em rêwîtiyek demkî ya li ser X-aksê dibînin: 

4/28/2020

4/27/2020

4/29/2020

5/1/2020

4/30/2020

5/4/2020

5/6/2020

5/5/2020

5/2/22020 ...

Payin? Çi? X-xas bi kronolojîk nayê rêz kirin. Ji ber vê yekê, her ku meylek xweş xuya dike, em nikarin tu encaman derxînin. Ger tarîx hatine rêz kirin, barên ji bo hejmara bûyeran ji her cûre meylekê bêtir şêweyek diranan nîşan dide.

Li vir rastkirina hêsan ev e ku meriv tarîxan bi awayê salnameyek birêkûpêk bike.

Daneyên bi rengek ne kevneşopî nîşan bide

Em hemû mijûl in. Mejiyê me fêrî me kir ku em li ser bingeha texmînên ku di cîhana me de domdar bûne dadbariyên bilez bikin. Mînakî, her grafek ku min dîtiye, axên x- û y- li ser sifir, an nirxên herî nizm dicivin nîşan dide. Bi kurtasî li vê nexşeyê mêze bikin, hûn dikarin çi encaman der barê bandora Florida-yê de derxînin “Li gorî qanûna xwe bisekinin.”? Ez şerm dikim ku vê yekê qebûl bikim, lê vê grafîkê di destpêkê de ez nexapim. Çavê we bi rehetî ber bi nivîs û tîra nîvê grafîkê ve tê kişandin. Li jêr di vê grafikê de jor e. Dibe ku ew ne derew be - dane hemî rast in. Lê, divê ez bifikirim ku ew ji bo xapandinê ye. Ger we hîn ew nedîtibe, sifir li ser y-xebatê li jor e. Ji ber vê yekê, her ku meylên daneyê kêm dibin, ev tê vê wateyê ku bêtir mirin. Ev tablo hejmara kuştinên bi çekan nîşan dide zêde bû piştî 2005-an, ji hêla meyla ku diçe diyar dibe jêr.

Daneyên pir hêsankirî nîşan bidin

Mînaka zêde-hêsankirina daneyan dikare were dîtin dema ku analîst ji Paradoksa Simpson sûd werdigirin. Ev fenomenek e ku dema ku daneyên berhevkirî xuya dike ku encamek cûda nîşan dide ji dema ku ew di binkomê de têne veqetandin pêk tê. Dema ku li rêjeyên berhevkirî yên asta bilind mêze dikin, ev xefik hêsan e ku meriv bikeve nav. Yek ji nîgarên herî zelal ên Paradoksa Simpson li ser kar ve girêdayî ye lêdana navîn.  

Li vir em dibînin ku Derek Jeter ji demsalên 1995 û 1996-an ji David Justice xwedan navgînek lêdana giştî ya bilindtir e. Paradoks tê gava ku em fêhm dikin ku Edalet di wan her du salan de di navberê de Jeter bi ser ket. Ger hûn bi baldarî lê binerin, dema ku hûn fêhm dikin ku Jeter di sala 4-an de bi qasî 1996x zêdetir bat-bat (navdêr) hebû, di sala 007-an de 1996 kêm bû. Lê belê, Dadmendiyê hema hema 10-ê hejmara bat-batan bi tenê hebû. 003 navînî bilindtir di 1995 de.

Pêşniyar rasterast xuya dike, lê Paradoksa Simpson, bi zanebûn, an jî nezanîn, rê li ber encamên nerast vekiriye. Di van demên dawî de, di nûçe û medyaya civakî de bi derzî û mirina COVID-ê ve girêdayî mînakên Paradoksa Simpson hene. Yek qebale grafîkek xêzek nîşan dide ku rêjeya mirinê ya di navbera derzî û nevaksînekirî de ji bo mirovên 10-59 salî berhev dike. Nexşe nîşan dide ku kesên nevaksînekirî bi domdarî rêjeya mirinê kêmtir in. Li vir çi diqewime?  

Pirsgirêk dişibihe ya ku em bi navgînên lêdanê dibînin. Navdêr di vê rewşê de hejmara kesên di her koma temenî de ye. Grafîk komên ku encamên cûda hene hev dike. Ger em li koma temen mezin, 50-59 salî, cuda binerin, em dibînin ku bihaya vakslêdanê çêtir e. Bi heman awayî, ger em li 10-49-an binêrin, em jî dibînin ku bihaya vakslêdanê çêtir e. Paradoksî ye, dema ku meriv li berhevoka hevgirtî dinihêre, derzîlêdan encamek xirabtir xuya dike. Bi vî rengî, hûn dikarin bi karanîna daneyan doza argumanên berevajî bikin.

Daneyên Biased e

Daneyên her gav nayên pêbawer kirin. Tewra di civata zanistî de, zêdetirî sêyek lêkolînerên lêkolînkirî qebûl kirin "Paratîkên lêkolînê yên gumanbar."  Yekî din lêgerîna sextekarîyê lêkolînê Dibêje, "Di daneyan de - tablo, grafikên rêzikan, daneheva rêzgirtinê [- ji ya ku em bi rastî keşf dikin) bi îhtîmalek pir pir sextekarî heye. Kesê ku li ser maseya xweya metbexê rûniştî dikare hin jimareyan bixe nav tabelek û grafiyek xêzek ku qayil xuya dike çêbike."

Ev yekem mînak dixuye ku yekî wisa kiriye. Ez nabêjim ku ev sextekarî ye, lê wekî anketek, ew tenê daneyên ku beşdarî biryarek agahdar dibe naafirîne. Wusa dixuye ku anketê ji bersivdaran di derbarê qehweya stasyona gazê, an bûyerek din a têkildar a heyî de ji bersivdaran pirsî. 

1. Serkêş 
2. Ecêb
3. Gelek baş 

Min posta Twitterê qut kir da ku referansên partiya sûcdar rakim, lê ev nexşeya rastîn a encamên dawîn ên anketê ye. Anketên bi vî rengî ne kêm in. Eşkere ye, her nexşeyek ku ji daneyên ku di encama bersivan de hatî afirandin, dê nîşan bide ku qehweya navborî nayê ji bîr kirin.  

Pirsgirêk ev e ku heke we ev anket hatiba dayîn û bersivek ku li gorî ramana we ye nedîtiba, hûn ê ji anketê derbikevin. Dibe ku ev mînakek tund be ku çawa daneyên nebawer têne afirandin. Lêbelê sêwirana anketê ya belengaz, dikare bibe sedema kêmtir bersivan û yên ku bersivê didin tenê yek nêrînek heye, ew tenê meseleyek dereceyê ye. Daneyên alîgir in.

Ev mînaka duyemîn a biasiya daneyê ji pelên "Grafikên Xerabkar ên COVID 19 yên Xirabtir. " 

Dîsa, ev nazik e û bi tevahî ne diyar e. Grafika bar di nav demê de ji bo wîlayetek li Florîdayê kêmbûnek nerm - hema hema pir xweş- nîşan dide. Hûn dikarin bi hêsanî encamê bigirin ku bûyer kêm dibin. Ew pir baş e, dîtbarî bi rast daneyan temsîl dike. Pirsgirêk di daneyan de ye. Ji ber vê yekê, ew pêşbaziyek bêtir xapînok e ji ber ku hûn nikarin wê bibînin. Ew di nav daneyan de tête kirin. Pirsên ku divê hûn bipirsin, di nav de, kî tê ceribandin? Bi gotineke din, mebesta wê çi ye, an jî nifûsa ku em li sedîyekê lê dinêrin. Texmîn ev e ku ew tevahiya nifûsê ye, an bi kêmanî, nimûneyek nûner e.

Lêbelê, di vê heyamê de, li vê wîlayetê, ceribandin tenê ji hejmareke sînorkirî re hate dayîn. Diviyabû ku wan nîşanên mîna COVID-ê hebin, an jî vê dawiyê li welatek di navnîşa deverên germ de rêwîtî kiribûn. Digel vê yekê encamên tevlihev ev e ku her ceribandinek erênî hate jimartin û her ceribandinek neyînî hate jimartin. Bi gelemperî, dema ku kesek erênî ceriband, dema ku vîrus qursa xwe derbas kir ew ê dîsa ceribandinê bikin û ceribandina neyînî bikin. Ji ber vê yekê, di wateyekê de, ji bo her dozek erênî, dozek ceribandinek neyînî heye ku wê betal dike. Piranîya testan neyînî ne û testên neyînî yên her kesî hatin jimartin. Hûn dikarin bibînin ka dane çawa alîgir in û bi taybetî ji bo girtina biryaran ne bikêr in. 

Ketin û Perwerdehiya AI-yê Biased e

Bi kêmî ve du awayên ku AI-ê dikare bibe sedema encamên nerast hene hene: destpêkirina bi daneya beralîkirî, an jî karanîna algorîtmayên nerast ji bo pêvajokirina daneyên derbasdar.  

Biased Input

Gelek ji me di bin wê yekê de ne ku AI dikare were pêbawer kirin ku hejmaran bişkîne, algorîtmayên xwe bicîh bîne, û analîzek pêbawer a daneyan derxe. Îstixbarata Hunerî tenê bi qasî ku tê perwerdekirin dikare biaqil be. Ger daneyên ku ew li ser têne perwerde kirin bêkêmasî bin, dê encam an encam jî nikaribin pêbawer bin. Mîna rewşa jorîn a biasiya anketê, çend awayên ku dane dikarin bibin hene berbiçav di fêrbûna makîneyê de:.  

• Tehlûkeya nimûne - daneyên perwerdehiyê ne nûnerê tevahiya nifûsê ye.
• Nerazîbûnên dûrketinê - carinan tiştên ku xuya dikin bi rastî derbasdar in, an jî, li ku derê em rêzê li ser tiştên ku tê de vedigirin (kodên zip, tarîx, hwd.) xêz dikin.
• Beralîkirina pîvandinê - peyman ev e ku her gav ji navend û binê meniscusê were pîvandin, mînakî, dema pîvandina şilavan di firaxên volumetrikî an lûleyên ceribandinê de (ji bilî merkur.)
• Biasê bi bîr bînin - dema ku lêkolîn bi bîranîna beşdaran ve girêdayî ye.
• Biasiya çavdêr - zanyar, mîna hemî mirovan, bêtir meyla dibînin ku tiştê ku ew li bendê ne ku bibînin.
• Tehlûkeya zayendperest û nijadperest - dibe ku zayend an nijad zêde an kêm were temsîl kirin.  
• Biasiya komeleyê - dane stereotip xurt dike

Ji bo ku AI encamên pêbawer vegere, daneyên perwerdehiya wê hewce dike ku cîhana rastîn temsîl bike. Wekî ku me di gotarek berê ya blogê de nîqaş kir, amadekirina daneyan krîtîk e û mîna projeyek daneya din e. Daneyên nebawer dikarin pergalên fêrbûna makîneyê dersa xelet hîn bikin û dê encamek xelet derxînin. Wê got, "Hemû dane beralî ne. Ev ne paranoya ye. Ev rastî ye.” – Sanjiv M. Narayan Dr, Dibistana Dermanê ya Zanîngeha Stanford.

Ji bo perwerdehiyê bikar anîna daneyên beralîbûyî rê li ber gelek têkçûnên AI-yê yên berbiçav vekiriye. (Nimûne vir û vir, lêkolîn vir..)

Algorîtmayên Biased

Algorîtmek komek rêzik e ku têketinek qebûl dike û encamek diafirîne da ku bersiva pirsgirêkek karsaziyê bide. Ew bi gelemperî darên biryarê yên diyarkirî ne. Algorîtmayan wekî qutiyên reş hîs dikin. Kes nizane ka ew çawa dixebitin, pir caran, ne jî şîrketên ku wan bikar tînin. Oh, û ew pir caran xwedan in. Xwezaya wan a nepenî û tevlihev yek ji wan sedeman e ku algorîtmayên alîgir ew qas xapînok in. . 

Algorîtmayên AI-ê di derman, HR an darayî de ku nijad li ber çavan digire binihêrin. Ger nijad faktorek be, algorîtma nikare bi nijadî kor be. Ev ne teorîk e. Pirsgirêkên mîna van di cîhana rastîn de bi karanîna AI-ê ve hatine kifş kirin Dayina, ride-parvekirin, serlêdana krediyê, û neqla gurçikan. 

Rêza jêrîn ev e ku heke dane an algorîtmayên we xirab in, ji bêkêrtir xirabtir in, dibe ku xeternak bin. Tiştek weha heye "kontrol algorîtmîk. Armanc ew e ku ji rêxistinan re bibe alîkar ku xetereyên potansiyel ên bi algorîtmayê re têkildar nas bikin ji ber ku ew bi dadperwerî, neyartî û cihêkariyê ve girêdayî ye. Li cihekî din, facebook AI-ê bikar tîne da ku di AI-ê de bialîbûnê re şer bike.

Mirov bialoz in

Li her du aliyên hevkêşeyê mirovên me hene. Mirov analîzan amade dikin û mirov jî agahiyan distînin. Lêkolîner hene û xwendevan jî hene. Di her pêwendiyê de, dibe ku di veguheztin an wergirtinê de pirsgirêk hebin.

Ji bo nimûne hewayê bigirin. Wateya "şansê baranê" çi ye? Ya yekem, meteorologan dema ku dibêjin şansek baran heye tê çi wateyê? Li gorî hikûmeta Amerîkî Xizmetên Germê Niştiman, şansê baranê, an ya ku jê re dibêjin Probability of Precipitation (PoP), yek ji hêmanên herî kêm têne fam kirin di pêşbîniya hewayê de ye. Ew pênasek standard heye: "Îhtîmala baranê bi tenê îhtîmalek statîstîkî ya 0.01 înç [sic] ji [sic] bêtir baranê ye li herêmek diyarkirî li devera pêşbîniya diyarkirî di heyama diyarkirî de." "Herêma dayîn" qada pêşbîniyê ye, an broadqada avêtinê. Ev tê wê wateyê ku îhtîmala baranê ya fermî bi baweriya ku dê li deverê baran bibare û ji sedî devera ku dê şil bibe ve girêdayî ye. Bi gotinek din, heke meteorolog pê bawer be ku ew ê li devera pêşbîniyê baran bibare (Bawerî = 100%), wê hingê PoP beşek ji deverê ku dê baran bibare temsîl dike.  

Kolana Parîsê; Rainy Day,Gustave Caillebotte (1848-1894) Enstîtuya Hunerê ya Chicago Domain Giştî

Derfeta baranê hem bi bawerî û hem jî bi herêmê ve girêdayî ye. Min ew nizanîbû. Ez guman dikim ku kesên din jî wê nizanin. Nêzîkî 75% nifûsê bi rast fêm nakin ka PoP çawa tê hesibandin, an jî tê wateya ku ew temsîl dike. Ji ber vê yekê, em têne xapandin, an jî ev pirsgirêkek têgihîştinê ye. Ka em jê re bibêjin têgihiştina baranê. Ma em pêşbîniya hewayê sûcdar dikin? Ji bo ku rast be, hinek hene tevlihev di nav pêşbîniyên hewayê de jî. Di yek lêkolîn, 43% ji meteorologên lêkolînkirî gotin ku di pênasekirina PoP de hevgirtinek pir hindik heye.

Analîz bi xwe alîgir e

Ji pênc faktorên bandorker, analîz bixwe dibe ku ya herî ecêb be. Di lêkolîna zanistî de ku di encamê de kaxezek vekolîn tê weşandin, bi gelemperî teoriyek hîpotezek tête diyar kirin, rêbazên ceribandina hîpotezê têne destnîşankirin, dane têne berhev kirin, piştre dane têne analîz kirin. Cûreya analîza ku tête kirin û ew çawa tête kirin ji ber ku ew çawa bandorê li encaman dike kêm tête pejirandin. Di a kaxez Di destpêka vê salê de (Çile 2022), di Kovara Navneteweyî ya Kanserê de hate weşandin, nivîskaran nirxand ka encamên ceribandinên kontrolkirî yên rasthatî û lêkolînên çavdêriya paşverû. Encamên wan diyar kirin ku,

Bi guheztina vebijarkên analîtîk ên di lêkolîna bandorkeriya berawirdî de, me encamên berevajî çêkirin. Encamên me destnîşan dikin ku hin lêkolînên çavdêriya paşverû dikarin bibînin ku dermankirinek ji bo nexweşan encamên çêtir dike, dema ku lêkolînek din a wekhev dikare bibîne ku ew ne wusa ye, tenê li ser bingeha bijarteyên analîtîk.

Berê, dema ku hûn gotarek kovarek zanistî dixwînin, heke hûn mîna min bin, dibe ku we fikir kir ku encam an encam hemî li ser daneyan in. Naha, xuya ye ku encam, an gelo hîpoteza destpêkê tê pejirandin an red kirin jî dibe ku bi rêbaza analîzê ve girêdayî be.

Yekî din xwendina zanko encamên wekhev dîtin. Gotar, Gelek Analyst, Yek Daneyên Yek: Aşkere kirin Çawa Guherandinên Hilbijartinên Analîtîk bandorê li Encaman Dikin, diyar dike ka wan çawa heman daneyê dane 29 tîmên cihê ku analîz bikin. Analîzkirina daneyê bi gelemperî wekî pêvajoyek hişk, baş-rêveberî tête dîtin ku digihîje encamek yekane.  

Tevî nerazîbûnên metodologan, hêsan e ku meriv vê rastiyê ji bîr neke ku dibe ku encam bi stratejiya analîtîk a bijartî ve girêdayî be, ya ku bixwe bi teorî, texmîn û xalên hilbijartinê ve girêdayî ye. Di gelek rewşan de, ji bo nirxandina daneyan ku li ser pirsek lêkolînê girêdayî ne, gelek nêzîkatiyên maqûl (û gelek ne maqûl) hene.

Lekolînwan analîza daneyan berhev kirin û gihîştin wê encamê ku hemî lêkolîn biryarên subjektîf dihewîne - di nav de kîjan celeb analîzê bikar bînin - ku dikare bandorê li encama dawî ya lêkolînê bike.

Pêşniyara yekî din lêkolîner yê ku lêkolîna li jor analîz kiriye ew e ku dema ku yek kaxezek di girtina biryaran an derxistina encaman de bikar tîne hişyar be.

Navnîşana Bias di Analytics de

Ev bi tenê tê wateya ku çîrokek hişyariyê be. Zanîn dikare me ji xapandinê biparêze. Çiqas hay ji rêbazên mimkun hebe ku skanerek ji bo me bixapîne, îhtîmala me kêm dibe ku em, bibêjin, ji hêla xeletîkirina pocketpocketek, an axaftina xweş a lîstikek Ponzi ve werin girtin. Ji ber vê yekê ew bi têgihiştin û naskirina nerînên potansiyel ên ku bandorê li analîtîkên me dike ye. Ger em ji bandorên potansiyel haydar bin, dibe ku em karibin çîrokê çêtir pêşkêş bikin û di dawiyê de biryarên çêtir bidin.