Аналитикалық өтірік
Талдаудың біржақтылығы
Марк Твен даулы түрде былай деген: «Өтіріктің үш түрі бар: өтірік, қарғыс атқан өтірік және аналитика. «
Біз аналитика бізге пайдалы, әрекет етуге болатын түсініктер беретінін кәдімгідей қабылдаймыз. Біз жиі түсінбейтін нәрсе - өзіміздің және басқалардың көзқарастары тіпті ең күрделі бағдарламалық жасақтама мен жүйелер беретін жауаптарға қалай әсер ететінін түсінбейміз. Кейде бізді арамдықпен басқаруы мүмкін, бірақ, әдетте, бұл біздің аналитикаға енетін нәзік және бейсаналық көзқарастар болуы мүмкін. Біржақты аналитиканың мотивациясы көп. Кейде біз ғылымнан күтетін бейтарап нәтижелерге 1) деректердің ұсынылу жолындағы нәзік таңдаулар, 2) сәйкес келмейтін немесе репрезентативті емес деректер, 3) AI жүйелері қалай оқытылатыны, 4) зерттеушілердің немесе басқалардың білімсіздігі, біліксіздігі әсер етеді. әңгімені айту, 5) талдаудың өзі.
Презентация біржақты
Кейбір өтіріктерді басқаларға қарағанда анықтау оңай. Не іздеу керектігін білсеңіз, ықтималды анықтау оңайырақ болады жаңылыстыратын графиктер мен диаграммалар.
Кем дегенде бар деректерді адастырып көрсетудің бес әдісі: 1) Шектеулі деректер жинағын көрсету, 2). Байланыссыз корреляцияны көрсетіңіз, 3) Деректерді дәл көрсетіңіз, 4) Деректерді дәстүрлі емес көрсетіңіз немесе 5). Тым жеңілдетілген деректерді көрсету.
Шектеулі деректер жинағын көрсетіңіз
Деректерді шектеу немесе деректердің кездейсоқ емес бөлігін қолмен таңдау көбінесе үлкен суретке сәйкес келмейтін оқиғаны айта алады. Нашар іріктеу немесе шие жинау - аналитик үлкенірек топты көрсету үшін репрезентативті емес үлгіні пайдаланған кезде.
Наурызда 2020, Грузияның денсаулық сақтау департаменті бұл диаграмманы күнделікті күй есебінің бөлігі ретінде жариялады. Ол жауап бергеннен гөрі көп сұрақтар тудырады.
Жетіспейтін нәрселердің бірі - контекст. Мысалы, әр жас тобына халықтың қанша пайызын құрайтынын білу пайдалы болар еді. Қарапайым көрінетін дөңгелек диаграммадағы тағы бір мәселе - біркелкі емес жас топтары. 0-17 жаста 18 жас, 18-59 жаста 42, 60+ ашық, бірақ 40 жас шамасында. Қорытынды, тек осы кестені ескере отырып, жағдайлардың көпшілігі 18-59 жас тобында. 60 жастан асқандар тобына COVID жағдайлары азырақ әсер етеді. Бірақ бұл бүкіл оқиға емес.
Салыстыру үшін бұл әртүрлі деректер жиынтығы CDC веб-сайты Әр жас диапазонындағы АҚШ халқының пайызы туралы қосымша деректермен бірге COVID жағдайларын жас топтары бойынша диаграммалайды.
Бұл жақсырақ. Бізде көбірек контекст бар. 18-29, 30-39, 40-49 жас топтарында халықтың жас тобына қарағанда ауру пайызы жоғары екенін көреміз. Біркелкі емес жас топтары әлі де бар. Неліктен 16-17 жас тобы бөлек? Бұл бәрібір оқиға емес, бірақ сарапшылар бағандар жазып, болжамдар мен мандаттарды бұдан азырақ жасады. Әлбетте, COVID-те жастан басқа, оң жағдай ретінде қарастыруға әсер ететін көптеген айнымалылар бар: вакцинация мәртебесі, сынақтардың болуы, тексерілген уақыт саны, қатар жүретін аурулар және басқалар. Істер санының өзі толық емес суретті береді. Көптеген сарапшылар COVID-тің әрбір жас тобына қалай әсер ететінін білу үшін өлім санын немесе 100,000 XNUMX халыққа шаққандағы өлім-жітім пайызын немесе өлім жағдайларын қарастырады.
Байланыссыз корреляцияларды көрсетіңіз
Әлбетте, бар күшті корреляция АҚШ-тың ғылымға, ғарышқа және технологияға жұмсаған шығындары мен дарға асу, тұншықтырып өлтіру және тұншықтыру арқылы өз-өзіне қол жұмсау саны арасында. Корреляция 99.79%, дерлік тамаша сәйкестік.
Алайда олардың қандай да бір түрде байланысты екенін немесе біреуі екіншісін тудырады деп кім айтады? Басқа азырақ экстремалды мысалдар бар, бірақ кем емес жалған. Scripps National Spelling Bee сөзін ұтып алған әріптер мен улы өрмекшілер өлтірген адамдар саны арасында ұқсас күшті корреляция бар. Кездейсоқ па? Өзің шеш.
Аз жаңылыстыратын осы деректерді диаграммалаудың тағы бір жолы Y осінің екеуіне де нөлді қосу болады.
Деректерді қате көрсету
-дан Деректерді қалай нашар көрсету керек, АҚШ-тың Джорджия штаты расталған COVID-5 оқиғаларының ең көп саны бар 19 топты ұсынды.
Заңды көрінеді, солай ма? Расталған COVID-19 жағдайларының төмендеу тенденциясы анық байқалады. Сіз X осін оқи аласыз ба? X осі уақытты білдіреді. Әдетте, күндер солдан оңға қарай артады. Мұнда біз X осінде аздаған уақыт саяхатын көреміз:
4/28/2020
4/27/2020
4/29/2020
5/1/2020
4/30/2020
5/4/2020
5/6/2020
5/5/2020
5/2/22020 ...
Күте тұрыңыз ба? Не? X осі хронологиялық түрде сұрыпталмаған. Сонымен, тренд қаншалықты жақсы көрінсе де, біз ешқандай қорытынды жасай алмаймыз. Егер күндер реттелген болса, істер санына арналған жолақтар трендтің кез келген түріне қарағанда ара тіс үлгісін көбірек көрсетеді.
Мұнда оңай түзету - күндерді күнтізбедегідей сұрыптау.
Деректерді дәстүрлі емес түрде көрсету
Бәріміз бос емеспіз. Біздің миымыз бізді әлемде дәйекті болған болжамдарға негізделген жылдам пайымдаулар жасауға үйретті. Мысалы, мен көрген әрбір график нөлге немесе ең төменгі мәндерге сәйкес келетін x және y осьтерін көрсетеді. Осы кестеге қысқаша қарап, Флориданың әсері туралы қандай қорытынды жасауға болады «Негізгі заңыңызды ұстаныңыз.”? Мен мойындауға ұяламын, бірақ бұл график мені алғашында алдады. Сіздің көзіңіз графиканың ортасындағы мәтінге және көрсеткіге ыңғайлы түрде тартылады. Бұл графикте төмен жоғары. Бұл өтірік болмауы мүмкін – деректердің бәрі сонда. Бірақ, бұл алдау үшін жасалған деп ойлауым керек. Егер сіз оны әлі көрмесеңіз, y осіндегі нөл жоғарғы жағында. Осылайша, деректер төмендеген сайын, бұл көбірек өлімді білдіреді. Бұл кестеде атыс қаруын қолданып өлтірулер саны көрсетілген артты 2005 жылдан кейін даму үрдісімен көрсетілген төмен.
Деректерді тым жеңілдетілген түрде көрсетіңіз
Деректерді тым жеңілдетудің бір мысалын талдаушылар Симпсон парадоксын пайдаланған кезде көруге болады. Бұл жиынтық деректер ішкі жиындарға бөлінгеннен басқа қорытындыны көрсететіндей болған кезде пайда болатын құбылыс. Бұл тұзаққа жоғары деңгейлі жинақталған пайыздарды қарау кезінде оңай түсуге болады. Симпсонның жұмыстағы парадоксының ең айқын иллюстрацияларының бірі байланысты орташа соққылар.
Мұнда біз Дерек Джетердің 1995 және 1996 маусымдары үшін Дэвид Дюстиске қарағанда жалпы орташа соққыға ие екенін көреміз. Парадокс әділдік Джетерді сол екі жылдағы орташа есеппен жеңгенін түсінген кезде пайда болады. Мұқият қарасаңыз, Джетердің 4 жылы шамамен 1996 есе көп (бөлгіш) 007 жылы орташа есеппен 1996 төмен болғанын түсінгенде мағынасы болады. Ал әділет тек . 10 жылы орташа 003 жоғары.
Презентация қарапайым болып көрінеді, бірақ Симпсонның парадоксы қасақана немесе байқаусызда дұрыс емес қорытындыларға әкелді. Жақында жаңалықтарда және әлеуметтік желілерде вакциналар мен COVID өліміне қатысты Симпсон парадоксының мысалдары болды. Бір кесте 10-59 жас аралығындағы адамдар үшін вакцинацияланған және егілмеген өлім көрсеткіштерін салыстыратын сызықтық графикті көрсетеді. Диаграмма вакцинацияланбағандардың өлім-жітім деңгейінің үнемі төмен екенін көрсетеді. Мұнда не болып жатыр?
Мәселе біз орташа есеппен көретін мәселеге ұқсас. Бұл жағдайда бөлгіш әрбір жас тобындағы жеке тұлғалардың саны болып табылады. График әр түрлі нәтижелері бар топтарды біріктіреді. 50-59 жас тобын бөлек алып қарасақ, екпе егілгендердің жақсырақ екенін көреміз. Сол сияқты, 10-49-ға қарасақ, екпенің бағасы да жақсы екенін көреміз. Бір қызығы, біріктірілген жиынтыққа қараған кезде, вакцинацияланбағандар нашар нәтиже береді. Осылайша, сіз деректерді пайдалана отырып, қарама-қарсы дәлелдер үшін жағдай жасай аласыз.
Деректер біржақты
Деректерге әрқашан сену мүмкін емес. Тіпті ғылыми қоғамдастықта сауалнамаға қатысқан зерттеушілердің үштен бірінен астамы мойындады «күмәнді зерттеу тәжірибелері». басқа зерттеу алаяқтық детективі былай дейді: «Деректерде – кестелерде, сызықтық графиктерде, реттілік деректерінде [– біз ашқаннан гөрі] алдау әлдеқайда көп болуы мүмкін. Асхана үстелінде отырған кез келген адам электрондық кестеге бірнеше сандарды қойып, сенімді көрінетін сызықтық графикті жасай алады ».
Бұл бірінші мысал біреу дәл солай істеген сияқты. Мен бұл алаяқтық деп айтпаймын, бірақ сауалнама ретінде ол саналы шешім қабылдауға ықпал ететін ешқандай деректерді жасамайды. Сауалнама респонденттерге жанармай құю станциясының кофесі немесе басқа өзекті оқиға туралы пікірлерін сұраған сияқты.
- Тамаша
- ұлы
- Өте жақсы
Мен Twitter-дегі жазбаны кінәлі тарапқа сілтемелерді жою үшін қидым, бірақ бұл сауалнаманың соңғы нәтижелерінің нақты диаграммасы. Мұндай сауалнамалар сирек емес. Жауаптардың нәтижесінде алынған деректерден жасалған кез келген диаграмма қаралған кофені жіберіп алмау керектігін көрсететіні анық.
Мәселе мынада, егер сізге осы сауалнама берілген болса және сіздің ойыңызға сәйкес жауап таппасаңыз, сіз сауалнаманы өткізіп жіберер едіңіз. Бұл сенімсіз деректерді қалай жасауға болатынының экстремалды мысалы болуы мүмкін. Сауалнаманың нашар дизайны жауаптардың аз болуына әкелуі мүмкін және жауап беретіндердің бір ғана пікірі бар, бұл тек дәреже мәселесі. Деректер біржақты.
Деректердің ауытқуының бұл екінші мысалы « файлдарынанЕң нашар COVID 19 жаңылыстыратын графиктер. «
Тағы да, бұл нәзік және толығымен анық емес. График Флорида штатында уақыт өте келе оң COVID-19 жағдайларының біркелкі - тым тегіс дерлік төмендеуін көрсетеді. Сіз істердің азайып бара жатқаны туралы оңай қорытынды жасай аласыз. Бұл тамаша, визуализация деректерді дәл көрсетеді. Мәселе деректерде. Демек, бұл әлдеқайда жасырын көзқарас, өйткені сіз оны көре алмайсыз. Ол деректерге енгізілген. Сізге қою керек сұрақтарға кім тексеріліп жатыр? Басқаша айтқанда, бөлгіш дегеніміз не, немесе біз пайызбен қарап отырған халық саны. Бұл бүкіл популяция немесе кем дегенде репрезентативті таңдау деген болжам.
Алайда, осы кезеңде бұл округте сынақтар шектеулі адамдарға ғана берілді. Олардың COVID-тәрізді белгілері болуы керек немесе жақында ыстық нүктелер тізіміндегі елге барған. Нәтижелердің қосымша шатастырылуы - әрбір оң сынақ есептеліп, әрбір теріс сынақ есептелді. Әдетте, адам оң нәтиже бергенде, олар вирус ағымы аяқталғаннан кейін қайтадан сынақтан өткізіп, теріс нәтиже береді. Сонымен, белгілі бір мағынада, әрбір оң жағдай үшін оны жоққа шығаратын теріс сынақ жағдайы бар. Сынақтардың басым көпшілігі теріс және әрбір адамның теріс сынақтары саналды. Деректердің қаншалықты бейтарап екенін және шешім қабылдау үшін әсіресе пайдалы емес екенін көре аласыз.
AI енгізу және оқыту біржақты
AI біржақты нәтижелерге әкелуі мүмкін кем дегенде екі әдіс бар: біржақты деректерден бастау немесе жарамды деректерді өңдеу үшін біржақты алгоритмдерді пайдалану.
Бейтарап енгізу
Біздің көпшілігіміз AI-ға сандарды анықтауға, оның алгоритмдерін қолдануға және деректердің сенімді талдауын шығаруға сенуге болады деген әсер қалдырады. Жасанды интеллект үйретілгендей ғана ақылды бола алады. Егер ол оқытылатын деректер жетілмеген болса, нәтижелерге немесе қорытындыларға да сену мүмкін емес. Сауалнамаға қатысты жоғарыдағы жағдайға ұқсас, деректер болуы мүмкін бірнеше жолдар бар ұнамсыз машиналық оқытуда:.
- Үлгі бұрмалануы – оқыту деректер жинағы бүкіл халықты ұсынбайды.
- Шығаруға бейімділік – кейде шектен тыс болып көрінетін нәрселер шын мәнінде жарамды немесе нені қосу керектігі туралы сызықты қай жерде (пошталық индекстер, күндер және т.б.) саламыз.
- Өлшеу ауытқуы – конвенция әрқашан менисктің ортасынан және төменгі жағынан өлшеу болып табылады, мысалы, сұйықтықтарды өлшейтін колбалардағы немесе пробиркалардағы (сынаптан басқа) өлшеген кезде.
- Еске салыңыз - зерттеу қатысушылардың жадына байланысты болғанда.
- Бақылаушы көзқарасы - ғалымдар, барлық адамдар сияқты, олар көргісі келетін нәрсені көруге бейім.
- Сексистік және нәсілшілдік көзқарас – жыныс немесе нәсіл артық немесе аз ұсынылуы мүмкін.
- Ассоциацияға бейімділік – деректер стереотиптерді нығайтады
AI сенімді нәтижелерді қайтаруы үшін оның жаттығу деректері нақты әлемді көрсетуі керек. Алдыңғы блог мақаласында талқылағанымыздай, деректерді дайындау маңызды және кез келген басқа деректер жобасы сияқты. Сенімсіз деректер машиналық оқыту жүйелеріне қате сабақ беруі мүмкін және қате қорытындыға әкеледі. Бұл былай деді: «Барлық деректер біржақты. Бұл паранойя емес. Бұл факт». – Доктор Санджив М. Нараян, Стэнфорд университетінің медицина мектебі.
Жаттығу үшін біржақты деректерді пайдалану бірқатар елеулі AI ақауларына әкелді. (Мысалдар Мұнда және Мұнда, зерттеу Мұнда..)
Біржақты алгоритмдер
Алгоритм - бұл кірісті қабылдайтын және бизнес мәселесіне жауап беру үшін шығыс жасайтын ережелер жиынтығы. Олар көбінесе жақсы анықталған шешім ағаштары. Алгоритмдер қара жәшіктерге ұқсайды. Олардың қалай жұмыс істейтінін ешкім білмейді, көбінесе, тіпті оларды пайдаланатын компаниялар. О, және олар көбінесе жеке меншік болып табылады. Олардың жұмбақ және күрделі табиғаты біржақты алгоритмдердің соншалықты жасырын болуының себептерінің бірі болып табылады. .
Медицина, HR немесе қаржы саласындағы AI алгоритмдерін қарастырыңыз, олар жарысты ескереді. Егер нәсіл факторы болса, алгоритм нәсілдік соқыр бола алмайды. Бұл теориялық емес. Мұндай мәселелер AI көмегімен нақты әлемде табылды жалдау, міну-бөліс, несие алуға өтінішс, және бүйрек трансплантациясы.
Қорытындысы: егер деректеріңіз немесе алгоритмдеріңіз нашар болса, пайдасыздан да нашар болса, олар қауіпті болуы мүмкін. Мұндай нәрсе баралгоритмдік аудит.” Мақсат – ұйымдарға алгоритмге қатысты әлеуетті тәуекелдерді анықтауға көмектесу, өйткені ол әділдік, біржақтылық және кемсітушілікке қатысты. Басқа жерде, Facebook AI-дағы біржақтылықпен күресу үшін AI пайдаланады.
Адамдар біржақты
Бізде теңдеудің екі жағында да адамдар бар. Халық сараптама дайындап, ақпарат алып жатыр. Зерттеушілер де бар, оқырмандар да бар. Кез келген байланыста жіберу немесе қабылдауда ақаулар болуы мүмкін.
Мысалы, ауа райын алайық. «Жаңбырдың ықтималдығы» нені білдіреді? Біріншіден, метеорологтар жаңбыр жаууы мүмкін дегенде нені білдіреді? АҚШ үкіметінің мәліметі бойынша Ұлттық ауа райы қызметі, жаңбыр ықтималдығы немесе олар жауын-шашын ықтималдығы (PoP) деп атайтын нәрсе - ауа райы болжамындағы аз түсінілетін элементтердің бірі. Оның стандартты анықтамасы бар: «Жауын-шашынның ықтималдығы - бұл белгіленген уақыт кезеңінде берілген болжам аймағындағы белгілі бір аумақта жауын-шашынның 0.01 дюйм [sic] [sic] көбірек болатын статистикалық ықтималдығы». "Берілген аумақ" - болжам аймағы немесе broadқұйылған аумақ. Бұл жауын-шашынның ресми ықтималдығы аймақтың бір жерінде жаңбыр жауады деген сенімге және ылғалды болатын аумақтың пайызына байланысты екенін білдіреді. Басқаша айтқанда, егер метеоролог болжамды аймақта жаңбыр жауатынына сенімді болса (Сенімділік = 100%), онда PoP жаңбыр жауатын аумақтың бөлігін білдіреді.
Париж көшесі; Жаңбырлы күн, Густав Кайлебот (1848-1894) Чикаго өнер институты Қоғамдық
Жаңбырдың ықтималдығы сенімділікке де, аймаққа да байланысты. Мен мұны білмедім. Мен мұны басқа адамдар да білмейді деп күдіктенемін. Халықтың шамамен 75%-ы PoP қалай есептелетінін немесе оның нені білдіретінін дәл түсінбейді. Сонымен, бізді алдап жатыр ма, әлде бұл қабылдау мәселесі ме. Оны жауын-шашынды қабылдау деп атаймыз. Синоптикті кінәлаймыз ба? Әділ болу үшін, бар шатасуы синоптиктер арасында да. Бірінде тексеру, Сауалнамаға қатысқан метеорологтардың 43% PoP анықтамасында өте аз сәйкестік бар екенін айтты.
Талдаудың өзі біржақты
Бес әсер ететін фактордың ішінде талдаудың өзі ең таңқаларлық болуы мүмкін. Қаралған мақаланың жариялануына әкелетін ғылыми зерттеулерде әдетте теория гипотезаланады, гипотезаны тексеру әдістері анықталады, деректер жиналады, содан кейін деректер талданады. Жасалған талдау түрі және оның қалай жасалатыны оның қорытындыларға қалай әсер ететіні бағаланбайды. Ішінде қағаз Осы жылдың басында (2022 жылдың қаңтарында) Халықаралық қатерлі ісік журналында жарияланған авторлар рандомизацияланған бақыланатын зерттеулер мен ретроспективті бақылау зерттеулерінің нәтижелерін бағалады. Олардың қорытындылары мынадай қорытындыға келді:
Салыстырмалы тиімділікті зерттеуде аналитикалық таңдауларды өзгерту арқылы біз қарама-қарсы нәтижелерге қол жеткіздік. Біздің нәтижелеріміз кейбір ретроспективті бақылау зерттеулері емделушілерге нәтижелерді жақсартатын емдеуді табуы мүмкін екенін көрсетеді, ал басқа ұқсас зерттеу тек аналитикалық таңдауларға негізделген бұл нәтиже бермеуі мүмкін.
Бұрын ғылыми журнал мақаласын оқығанда, егер сіз мен сияқты болсаңыз, нәтиже немесе қорытынды деректерге қатысты деп ойлаған боларсыз. Енді нәтижелер немесе бастапқы гипотезаның расталуы немесе жоққа шығарылуы талдау әдісіне байланысты болуы мүмкін.
басқа оқу ұқсас нәтижелер тапты. Мақала, Көптеген сарапшылар, бір деректер жиынтығы: аналитикалық таңдаулардағы өзгерістер нәтижелерге қалай әсер ететінін ашық ету, талдау үшін 29 түрлі командаға бірдей деректер жинағын қалай бергенін сипаттайды. Деректерді талдау көбінесе бір қорытындыға әкелетін қатаң, нақты анықталған процесс ретінде қарастырылады.
Әдіскерлердің ескертулеріне қарамастан, нәтижелер теориямен, болжамдармен және таңдау нүктелерімен қаныққан таңдалған аналитикалық стратегияға байланысты болуы мүмкін екенін ескермеу оңай. Көптеген жағдайларда зерттеу мәселесіне қатысты деректерді бағалаудың көптеген негізделген (және көптеген негізсіз) тәсілдері бар.
Зерттеушілер деректерді талдауды топтастырылған және барлық зерттеулер зерттеудің түпкілікті нәтижесіне әсер етуі мүмкін субъективті шешімдерді, соның ішінде талдаудың қай түрін пайдалану керектігін қамтитын қорытындыға келді.
Басқаның ұсынысы зерттеуші Жоғарыдағы зерттеуді талдаған адам шешім қабылдауда немесе қорытынды жасауда бір қағазды қолданғанда абай болу керек.
Аналитикадағы біржақтылықты жою
Бұл жай ғана ескерту туралы әңгіме. Білім бізді алаяқтықтан қорғай алады. Сканер бізді алдау үшін қолдануы мүмкін әдістерді неғұрлым жақсы білетін болса, біз, айталық, қалта ұрының қате бағытына немесе Понци пьесасының жайбарақат әңгімесіне түсіп қалуымыз мүмкін емес. Бұл біздің аналитикаға әсер ететін ықтимал қиғаштықтарды түсіну және тану. Егер біз ықтимал әсерлерді білсек, оқиғаны жақсырақ ұсынып, сайып келгенде жақсырақ шешім қабылдай аламыз.
