Uongo wa uchanganuzi

Upendeleo wa Uchambuzi

Mark Twain alisema kwa mdahalo kitu kama, "Kuna aina tatu za uwongo: uwongo, uwongo uliolaaniwa na analytics". 

Tunachukulia kuwa rahisi kwamba uchanganuzi hutupatia maarifa muhimu, yanayotekelezeka. Jambo ambalo mara nyingi hatutambui ni jinsi mapendeleo yetu na ya wengine huathiri majibu tunayopewa na programu na mifumo ya hali ya juu zaidi. Wakati mwingine, tunaweza kudanganywa kwa njia isiyo ya uaminifu, lakini, kawaida zaidi, inaweza kuwa upendeleo wa hila na usio na fahamu ambao huingia kwenye uchanganuzi wetu. Motisha nyuma ya uchanganuzi wa upendeleo ni nyingi. Wakati mwingine matokeo yasiyo na upendeleo tunayotarajia kutoka kwa sayansi huathiriwa na 1) chaguo fiche kuhusu jinsi data inavyowasilishwa, 2) data isiyolingana au isiyowakilisha, 3) jinsi mifumo ya AI inavyofunzwa, 4) ujinga, uzembe wa watafiti au wengine wanaojaribu. kusimulia hadithi, 5) uchambuzi wenyewe.    

Uwasilishaji Una Upendeleo

Baadhi ya uwongo ni rahisi kutambua kuliko wengine. Unapojua unachotafuta unaweza kugundua kwa urahisi zaidi grafu na chati zinazopotosha. 

Kuna angalau njia tano za kuonyesha data kimakosa: 1) Onyesha seti ndogo ya data, 2). Onyesha uwiano usiohusiana, 3) Onyesha data kwa njia isiyo sahihi, 4) Onyesha data isiyo ya kawaida, au 5). Onyesha data iliyorahisishwa kupita kiasi.

Onyesha seti ndogo ya data

Kuwekea kikomo data, au kuchagua kwa mkono sehemu isiyo ya nasibu ya data mara nyingi kunaweza kusimulia hadithi ambayo hailingani na picha kuu. Sampuli mbaya, au kuchuna cherry, ni wakati mchanganuzi anatumia sampuli isiyo mwakilishi kuwakilisha kundi kubwa. 

Mnamo Machi 2020, Idara ya Afya ya Umma ya Georgia ilichapisha chati hii kama sehemu ya ripoti yake ya hali ya kila siku. Kwa kweli inazua maswali mengi kuliko majibu.  

Moja ya mambo ambayo hayapo ni muktadha. Kwa mfano, inaweza kusaidia kujua ni asilimia ngapi ya idadi ya watu kwa kila kikundi cha umri. Suala jingine na chati ya pai inayoonekana rahisi ni vikundi vya umri visivyo sawa. 0-17 ina miaka 18, 18-59 ina 42, 60+ imekamilika, lakini ina karibu miaka 40. Hitimisho, kutokana na chati hii pekee, ni kwamba kesi nyingi ziko katika kundi la umri wa miaka 18-59. Kikundi cha wazee cha miaka 60+ kinaonekana kuathiriwa sana na kesi za COVID. Lakini hii sio hadithi nzima.

Kwa kulinganisha, hii data tofauti kuweka kwenye Tovuti ya CDC chati za wagonjwa wa COVID kulingana na kundi la umri na data ya ziada juu ya asilimia ya Idadi ya Watu wa Marekani ambayo iko katika kila safu ya umri.  

Hii ni bora zaidi. Tuna muktadha zaidi. Tunaweza kuona kwamba vikundi vya umri 18-29, 30-39, 40-49 vyote vina asilimia kubwa ya kesi kuliko asilimia ya kikundi cha umri katika idadi ya watu. Bado kuna vikundi vya umri visivyo sawa. Kwa nini 16-17 ni kikundi tofauti cha umri? Bado hii sio hadithi nzima, lakini wataalamu wameandika safu, wakatabiri na kuamuru chini ya hii. Ni wazi, pamoja na COVID, kuna vigezo vingi pamoja na umri vinavyoathiri kuhesabiwa kuwa wagonjwa: hali ya chanjo, upatikanaji wa vipimo, idadi ya mara zilizojaribiwa, magonjwa mengine, na mengine mengi. Idadi ya kesi, yenyewe, hutoa picha isiyo kamili. Wataalam wengi pia huangalia Idadi ya vifo, au asilimia ya vifo kwa kila watu 100,000, au vifo vya kesi ili kuangalia jinsi COVID inavyoathiri kila kikundi cha umri.

Onyesha uhusiano usiohusiana

Ni wazi, kuna a nguvu uwiano kati ya matumizi ya Marekani kwenye sayansi, anga na teknolojia na idadi ya Watu waliojiua kwa kujinyonga, kukabwa koo na kukosa hewa. Uwiano ni 99.79%, karibu mechi kamili.  

Ni nani, hata hivyo, angetoa hoja kwamba hizi zinahusiana kwa njia fulani, au moja husababisha nyingine? Kuna mifano mingine isiyo kali sana, lakini sio ya uwongo. Kuna uwiano sawa kati ya Herufi katika Neno Kushinda la Scripps National Spelling Bee na Idadi ya Watu Waliouawa na Buibui Wenye Sumu. Bahati mbaya? Unaamua.

Njia nyingine ya kuorodhesha data hii ambayo inaweza kupotosha sana itakuwa ni pamoja na sifuri kwenye mihimili ya Y.

Onyesha data kwa njia isiyo sahihi

Kutoka Jinsi ya Kuonyesha Data Vibaya, Jimbo la Georgia la Marekani liliwasilisha Kaunti 5 Bora na Idadi Kubwa ya Watu Waliothibitishwa COVID-19.

Inaonekana kuwa halali, sivyo? Kwa wazi kuna mwelekeo wa kushuka kwa kesi zilizothibitishwa za COVID-19. Je, unaweza kusoma mhimili wa X? Mhimili wa X unawakilisha wakati. Kwa kawaida, tarehe zitaongezeka kutoka kushoto kwenda kulia. Hapa, tunaona safari ya muda kidogo kwenye mhimili wa X: 

4/28/2020

4/27/2020

4/29/2020

5/1/2020

4/30/2020

5/4/2020

5/6/2020

5/5/2020

5/2/22020 ...

Subiri? Nini? Mhimili wa X haujapangwa kwa mpangilio. Kwa hivyo, jinsi mtindo unavyoweza kuonekana mzuri, hatuwezi kufikia hitimisho lolote. Ikiwa tarehe zimeagizwa, pau za idadi ya kesi huonyesha mchoro zaidi wa msumeno kuliko mtindo wowote.

Rahisi kurekebisha hapa ni kupanga tarehe jinsi kalenda inavyofanya.

Onyesha data kwa njia isiyo ya kawaida

Sote tuko busy. Akili zetu zimetufundisha kufanya maamuzi ya haraka kulingana na mawazo ambayo yamekuwa thabiti katika ulimwengu wetu. Kwa mfano, kila grafu ambayo nimewahi kuona inaonyesha shoka za x- na y- zikikutana kwa sifuri, au maadili ya chini kabisa. Ukiangalia chati hii kwa ufupi, ni hitimisho gani unaweza kupata kuhusu athari za Florida “Simamia sheria yako ya msingi.”? Nina aibu kukubali, lakini grafu hii ilinidanganya mwanzoni. Jicho lako linavutiwa kwa urahisi kwa maandishi na mshale katikati ya mchoro. Chini ni juu katika grafu hii. Huenda isiwe uwongo - data iko sawa. Lakini, lazima nifikiri kwamba ina maana ya kudanganya. Ikiwa bado haujaiona, sufuri kwenye mhimili wa y iko juu. Kwa hivyo, kadiri data inavyopungua, hiyo inamaanisha vifo zaidi. Chati hii inaonyesha kwamba idadi ya mauaji kwa kutumia bunduki uliongezeka baada ya 2005, inavyoonyeshwa na mwenendo unaoendelea chini.

Onyesha data iliyorahisishwa zaidi

Mfano mmoja wa kurahisisha data kupita kiasi unaweza kuonekana wakati wachambuzi wanachukua fursa ya Kitendawili cha Simpson. Hili ni jambo linalotokea wakati data iliyojumlishwa inaonekana kuonyesha hitimisho tofauti na inapogawanywa katika vikundi vidogo. Mtego huu ni rahisi kuangukia unapoangalia asilimia zilizojumlishwa za kiwango cha juu. Moja ya vielelezo vya wazi zaidi vya Kitendawili cha Simpson kazini kinahusiana na wastani wa kupiga.  

Hapa tunaona kwamba Derek Jeter ana wastani wa juu zaidi wa kugonga kuliko David Justice kwa misimu ya 1995 na 1996. Kitendawili kinakuja tunapogundua kuwa Justice alimsaidia Jeter katika kupiga wastani wa miaka hiyo miwili. Ukiangalia kwa makini, inaleta maana unapogundua kwamba Jeter alikuwa na takribani popo 4x zaidi (the denominator) mwaka wa 1996 kwa wastani wa chini wa .007 mwaka wa 1996. Ingawa, Haki ilikuwa na takriban mara 10 ya idadi ya popo kwa . 003 wastani wa juu zaidi mnamo 1995.

Uwasilishaji unaonekana moja kwa moja, lakini Kitendawili cha Simpson, kwa kujua, au bila kujua, kimesababisha hitimisho lisilo sahihi. Hivi majuzi, kumekuwa na mifano ya Kitendawili cha Simpson kwenye habari na kwenye mitandao ya kijamii inayohusiana na chanjo na vifo vya COVID. Moja chati inaonyesha mchoro wa mstari unaolinganisha viwango vya vifo kati ya waliochanjwa na wasiochanjwa kwa watu wenye umri wa miaka 10-59. Chati inaonyesha kwamba wale ambao hawajachanjwa mara kwa mara wana kiwango cha chini cha vifo. Nini kinaendelea hapa?  

Suala ni sawa na lile tunaloliona kwa wastani wa kupiga. Denominator katika kesi hii ni idadi ya watu binafsi katika kila kikundi cha umri. Grafu inachanganya vikundi ambavyo vina matokeo tofauti. Ikiwa tutaangalia kikundi cha wazee, 50-59, tofauti, tunaona kwamba chanjo hiyo itakuwa bora zaidi. Vivyo hivyo, tukiangalia 10-49, tunaona pia kwamba waliochanjwa nauli bora zaidi. Paradoxically, wakati wa kuangalia seti ya pamoja, bila chanjo inaonekana kuwa na matokeo mabaya zaidi. Kwa njia hii, unaweza kutoa kesi kwa hoja tofauti kwa kutumia data.

Takwimu ni za Upendeleo

Data haiwezi kuaminiwa kila wakati. Hata katika jumuiya ya wanasayansi, zaidi ya theluthi moja ya watafiti waliohojiwa walikubali "mazoea ya utafiti yenye shaka."  Mwingine mtafiti wa upelelezi wa udanganyifu anasema, "Kuna uwezekano mkubwa zaidi wa udanganyifu katika data - majedwali, grafu za mstari, data ya mpangilio [- kuliko tunavyogundua]. Mtu yeyote anayeketi kwenye meza yao ya jikoni anaweza kuweka nambari fulani kwenye lahajedwali na kutengeneza grafu ya mstari ambayo inaonekana kushawishi.

Hii kwanza mfano inaonekana kama mtu alifanya hivyo. Sisemi huu ni ulaghai, lakini kama uchunguzi, hautoi data yoyote inayochangia uamuzi sahihi. Inaonekana kama utafiti uliwauliza waliojibu kuhusu maoni yao kuhusu kahawa ya kituo cha mafuta, au tukio lingine muhimu la sasa. 

1. superb 
2. Kubwa
3. Nzuri sana 

Nimepunguza chapisho la Twitter ili kuondoa marejeleo kwa mtu aliye na hatia, lakini hii ndio chati halisi ya matokeo ya mwisho ya uchunguzi. Uchunguzi kama huu sio kawaida. Ni wazi, chati yoyote iliyoundwa kutoka kwa data inayotokana na majibu itaonyesha kahawa inayohusika si ya kukosa.  

Shida ni kwamba ikiwa ungepewa utafiti huu na hukupata jibu linalolingana na mawazo yako, ungeruka utafiti. Huu unaweza kuwa mfano uliokithiri wa jinsi data isiyoaminika inaweza kuundwa. Muundo mbaya wa uchunguzi, hata hivyo, unaweza kusababisha majibu machache na wale wanaojibu wana maoni moja tu, ni suala la shahada tu. Data ni ya upendeleo.

Mfano huu wa pili wa upendeleo wa data ni kutoka kwa faili za "Grafu Mbaya Zaidi za COVID 19 zinazopotosha". 

Tena, hii ni hila na si dhahiri kabisa. Grafu ya pau inaonyesha kupungua kwa laini - karibu laini sana - kupungua kwa asilimia ya kesi chanya za COVID-19 kwa wakati kwa kaunti huko Florida. Unaweza kuteka hitimisho kwa urahisi kwamba kesi zinapungua. Hiyo ni nzuri, taswira inawakilisha data kwa usahihi. Tatizo liko kwenye data. Kwa hivyo, ni upendeleo wa siri zaidi kwa sababu hauwezi kuuona. Imechomwa kwenye data. Maswali ambayo unahitaji kuuliza, ni pamoja na, ni nani anayejaribiwa? Kwa maneno mengine, denominator ni nini, au idadi ya watu ambayo tunaangalia asilimia. Dhana ni kwamba ni idadi ya watu wote, au angalau, sampuli wakilishi.

Hata hivyo, katika kipindi hiki, katika kaunti hii, majaribio yalitolewa kwa idadi ndogo ya watu. Ilibidi wawe na dalili kama za COVID, au walikuwa wamesafiri hivi majuzi katika nchi iliyo kwenye orodha ya maeneo motomoto. Zaidi ya hayo kinachochanganya matokeo ni ukweli kwamba kila jaribio la chanya lilihesabiwa na kila mtihani hasi ulihesabiwa. Kwa kawaida, mtu alipopimwa kuwa na virusi, wangepima tena virusi vilipokuwa vimepita mkondo wake na wangepimwa kuwa hana. Kwa hivyo, kwa maana, kwa kila kesi chanya, kuna kesi mbaya ya mtihani ambayo huifuta. Idadi kubwa ya majaribio ni hasi na vipimo vya kila mtu hasi vilihesabiwa. Unaweza kuona jinsi data inavyopendelea na sio muhimu sana kwa kufanya maamuzi. 

Ingizo na Mafunzo ya AI ni ya Upendeleo

Kuna angalau njia mbili ambazo AI inaweza kusababisha matokeo yenye upendeleo: kuanzia na data yenye upendeleo, au kutumia algoriti zenye upendeleo kuchakata data halali.  

Ingizo la Upendeleo

Wengi wetu tuko chini ya maoni kwamba AI inaweza kuaminiwa kubana nambari, kutumia kanuni zake, na kutema uchambuzi wa kuaminika wa data. Akili Bandia inaweza tu kuwa na akili kama inavyofunzwa. Ikiwa data ambayo imefunzwa si kamilifu, matokeo au hitimisho hazitaweza kuaminiwa pia. Sawa na kesi iliyo hapo juu ya upendeleo wa uchunguzi, kuna njia kadhaa ambazo data inaweza kuwa upendeleo katika kujifunza mashine:.  

• Upendeleo wa sampuli - seti ya data ya mafunzo haiwakilishi idadi ya watu wote.
• Upendeleo wa kutojumuisha - wakati mwingine kile kinachoonekana kuwa cha nje ni halali, au, ambapo tunachora mstari wa kile cha kujumuisha (misimbo ya posta, tarehe, n.k).
• Upendeleo wa kipimo - makubaliano ni kupima kila wakati kutoka katikati na chini ya meniscus, kwa mfano, wakati wa kupima vimiminika katika chupa za ujazo au mirija ya majaribio (isipokuwa zebaki.)
• Kumbuka upendeleo - wakati utafiti unategemea kumbukumbu ya washiriki.
• Upendeleo wa waangalizi - wanasayansi, kama wanadamu wote, wana mwelekeo zaidi wa kuona kile wanachotarajia kuona.
• Upendeleo wa kijinsia na wa kibaguzi - jinsia au rangi inaweza kuwa na uwakilishi mkubwa au mdogo.  
• Upendeleo wa chama - data inaimarisha mila potofu

Ili AI irudishe matokeo ya kuaminika, data yake ya mafunzo inahitaji kuwakilisha ulimwengu halisi. Kama tulivyojadili katika makala ya awali ya blogu, utayarishaji wa data ni muhimu na kama mradi mwingine wowote wa data. Data isiyotegemewa inaweza kufundisha mifumo ya kujifunza ya mashine somo lisilo sahihi na itasababisha hitimisho lisilo sahihi. Hiyo ilisema, "Data zote ni za upendeleo. Hii sio paranoia. Huu ni ukweli.” - Dk. Sanjiv M. Narayan, Shule ya Tiba ya Chuo Kikuu cha Stanford.

Kutumia data ya upendeleo kwa mafunzo kumesababisha kushindwa kwa AI kadhaa. (Mifano hapa na hapa, utafiti hapa..)

Algorithms ya Upendeleo

Algoriti ni seti ya sheria zinazokubali ingizo na kutoa matokeo ili kujibu tatizo la biashara. Mara nyingi ni miti ya maamuzi iliyoainishwa vyema. Algorithms huhisi kama visanduku vyeusi. Hakuna mtu ana uhakika jinsi wanafanya kazi, oen, hata makampuni yanayotumia. Lo, na mara nyingi ni wamiliki. Asili yao ya ajabu na changamano ni moja ya sababu kwa nini algorithms ya upendeleo ni ya siri sana. . 

Zingatia algoriti za AI katika dawa, HR au fedha ambayo inazingatia mbio. Ikiwa rangi ni sababu, kanuni haiwezi kuwa kipofu kwa rangi. Hii si ya kinadharia. Shida kama hizi zimegunduliwa katika ulimwengu wa kweli kwa kutumia AI ndani kukodisha, panda-shiriki, maombi ya mkopos, na transplants ya figo. 

Jambo la msingi ni kwamba ikiwa data au algoriti zako ni mbaya, ni mbaya zaidi kuliko zisizo na maana, zinaweza kuwa hatari. Kuna kitu kama "ukaguzi wa algorithmic.” Lengo ni kusaidia mashirika kutambua hatari zinazoweza kutokea zinazohusiana na algoriti jinsi inavyohusiana na haki, upendeleo na ubaguzi. Mahali pengine, Facebook inatumia AI kupigana na upendeleo katika AI.

Watu Wako Upendeleo

Tuna watu wa pande zote mbili za equation. Watu wanaandaa uchambuzi na watu wanapokea habari. Kuna watafiti na kuna wasomaji. Katika mawasiliano yoyote, kunaweza kuwa na matatizo katika maambukizi au mapokezi.

Chukua hali ya hewa, kwa mfano. Je, "nafasi ya mvua" inamaanisha nini? Kwanza, wataalamu wa hali ya hewa wanamaanisha nini wanaposema kuna uwezekano wa kunyesha? Kwa mujibu wa serikali ya Marekani Ya hali ya hewa ya Taifa ya, nafasi ya mvua, au kile wanachokiita Uwezekano wa Kunyesha (PoP), ni mojawapo ya vipengele visivyoeleweka vyema katika utabiri wa hali ya hewa. Ina ufafanuzi wa kawaida: "Uwezekano wa kunyesha ni uwezekano wa kitakwimu wa inchi 0.01" [sic] zaidi ya mvua katika eneo fulani katika eneo fulani la utabiri katika muda uliobainishwa." "Eneo lililotolewa" ni eneo la utabiri, au broadeneo la kutupwa. Hiyo ina maana kwamba Uwezekano rasmi wa Kunyesha unategemea imani kwamba mvua itanyesha mahali fulani katika eneo hilo na asilimia ya eneo ambalo litapata mvua. Kwa maneno mengine, ikiwa mtaalamu wa hali ya hewa ana uhakika kuwa mvua itanyesha katika eneo la utabiri (Kujiamini = 100%), basi PoP inawakilisha sehemu ya eneo ambalo litapata mvua.  

Mtaa wa Paris; Siku ya mvua,Gustave Caillebotte (1848-1894) Chicago Art Institute Public Domain

Nafasi ya mvua inategemea ujasiri na eneo. Sikujua hilo. Ninashuku kwamba watu wengine pia hawajui hilo. Takriban 75% ya watu hawaelewi kwa usahihi jinsi PoP inavyohesabiwa, au ina maana gani kuwakilisha. Kwa hivyo, tunadanganywa, au, hii ni shida ya utambuzi. Wacha tuite mtazamo wa mvua. Je, tunamlaumu mtabiri wa hali ya hewa? Kuwa wa haki, kuna baadhi machafuko kati ya watabiri wa hali ya hewa, pia. Katika moja utafiti, 43% ya wataalamu wa hali ya hewa waliochunguzwa walisema kwamba kuna uthabiti mdogo sana katika ufafanuzi wa PoP.

Uchambuzi Wenyewe Una Upendeleo

Kati ya mambo matano yenye ushawishi, uchambuzi yenyewe unaweza kuwa wa kushangaza zaidi. Katika utafiti wa kisayansi unaosababisha karatasi iliyopitiwa kuchapishwa, kwa kawaida nadharia inakisiwa, mbinu hufafanuliwa ili kupima dhahania, data inakusanywa, kisha data kuchambuliwa. Aina ya uchanganuzi unaofanywa na jinsi unavyofanywa hauthaminiwi jinsi unavyoathiri hitimisho. Ndani ya karatasi iliyochapishwa mapema mwaka huu (Januari 2022), katika Jarida la Kimataifa la Saratani, waandishi walitathmini kama matokeo ya majaribio yaliyodhibitiwa bila mpangilio na tafiti za uchunguzi wa nyuma. Matokeo yao yalihitimisha kuwa,

Kwa kubadilisha chaguo za uchanganuzi katika utafiti wa ufanisi wa kulinganisha, tulitoa matokeo kinyume. Matokeo yetu yanapendekeza kwamba baadhi ya tafiti za uchunguzi wa nyuma zinaweza kupata matibabu huboresha matokeo kwa wagonjwa, wakati utafiti mwingine kama huo unaweza kupata haifanyi hivyo, kulingana na chaguo za uchanganuzi.

Hapo awali, wakati wa kusoma nakala ya jarida la kisayansi, ikiwa unafanana nami, unaweza kuwa ulifikiria kuwa matokeo au hitimisho zote zinahusu data. Sasa, inaonekana kwamba matokeo, au kama hypothesis ya awali imethibitishwa au kukataliwa inaweza pia kutegemea njia ya uchambuzi.

Mwingine kujifunza kupatikana matokeo sawa. Makala, Wachambuzi Wengi, Seti Moja ya Data: Kuweka Uwazi Jinsi Tofauti katika Chaguo za Uchanganuzi Huathiri Matokeo, inaeleza jinsi walivyotoa data sawa kwa timu 29 tofauti kuchanganua. Uchambuzi wa data mara nyingi huonekana kama mchakato mkali, uliofafanuliwa vizuri ambao husababisha hitimisho moja.  

Licha ya malalamiko ya wanamethodolojia, ni rahisi kupuuza ukweli kwamba matokeo yanaweza kutegemea mkakati uliochaguliwa wa uchanganuzi, ambao wenyewe umejaa nadharia, mawazo, na vidokezo vya chaguo. Katika hali nyingi, kuna mbinu nyingi za kuridhisha (na nyingi zisizo na maana) za kutathmini data zinazohusu swali la utafiti.

Watafiti walipata uchanganuzi wa data na wakafikia hitimisho kwamba utafiti wote unajumuisha maamuzi ya kibinafsi - pamoja na aina gani ya uchambuzi wa kutumia - ambayo inaweza kuathiri matokeo ya mwisho ya utafiti.

Pendekezo la mwingine mtafiti ambaye alichanganua utafiti hapo juu ni kuwa waangalifu wakati wa kutumia karatasi moja katika kufanya maamuzi au kutoa hitimisho.

Kushughulikia Upendeleo katika Uchanganuzi

Hii inakusudiwa tu kuwa hadithi ya tahadhari. Ujuzi unaweza kutulinda dhidi ya kunaswa na matapeli. Kadiri kichanganuzi kinavyofahamu zaidi mbinu zinazowezekana kutudanganya, ndivyo uwezekano wa sisi kukamatwa utapungua, tuseme, na, tuseme, mwelekeo mbaya wa mnyang'anyi, au mazungumzo laini ya mchezo wa Ponzi. Ndivyo ilivyo kwa kuelewa na kutambua upendeleo unaoweza kuathiri uchanganuzi wetu. Ikiwa tunafahamu ushawishi unaoweza kutokea, tunaweza kuwasilisha hadithi vizuri zaidi na hatimaye kufanya maamuzi bora zaidi.