Аналітыка Хлусня
Ухіл аналізу
Марк Твен спрачаўся, што сказаў нешта накшталт: «Ёсць тры віды хлусні: хлусня, праклятая хлусня і аналітыка».
Мы лічым само сабой якія разумеюцца, што аналітыка дае нам карысную і дзейсную інфармацыю. Часта мы не ўсведамляем, як нашы ўласныя прадузятасці і прадузятасці іншых уплываюць на адказы, якія нам даюць нават самыя складаныя праграмы і сістэмы. Часам намі могуць маніпуляваць несумленна, але часцей за ўсё гэта могуць быць тонкія і несвядомыя прадузятасці, якія ўкрадаюцца ў нашу аналітыку. Матывацыя прадузятай аналітыкі шматгранная. Часам на аб'ектыўныя вынікі, якія мы чакаем ад навукі, уплываюць 1) тонкія выбары ў тым, як прадстаўляюцца даныя, 2) непаслядоўныя або нерэпрэзентатыўныя даныя, 3) тое, як навучаюцца сістэмы штучнага інтэлекту, 4) невуцтва, некампетэнтнасць даследчыкаў або іншых спраб расказваць, 5) сам аналіз.
Прэзентацыя неаб'ектыўная
Некаторыя з хлусні лягчэй заўважыць, чым іншыя. Калі вы ведаеце, што шукаць, вы можаце лягчэй выявіць патэнцыял графікі і дыяграмы, якія ўводзяць у зман.
Ёсць як мінімум пяць спосабаў ілжывага адлюстравання дадзеных: 1) Паказаць абмежаваны набор даных, 2). Паказваць не звязаныя карэляцыі, 3) Паказваць даныя недакладна, 4) Паказваць даныя нетрадыцыйна, або 5). Паказваць занадта спрошчаныя даныя.
Паказаць абмежаваны набор даных
Абмежаванне даных або ручны выбар невыпадковай часткі даных часта можа расказаць гісторыю, якая не адпавядае агульнай карціне. Дрэнная выбарка, або збор вішні, - гэта калі аналітык выкарыстоўвае нерэпрэзентатыўную выбарку для прадстаўлення большай групы.
У сакавіку 2020, Дэпартамент аховы здароўя Грузіі апублікаваў гэты графік як частку свайго штодзённага справаздачы аб стане. На самай справе гэта выклікае больш пытанняў, чым дае адказаў.
Адна з рэчаў, якой не хапае, - гэта кантэкст. Напрыклад, было б карысна ведаць, які працэнт насельніцтва ў кожнай узроставай групе. Яшчэ адна праблема з простай на выгляд кругавой дыяграмай - гэта нераўнамерныя ўзроставыя групы. 0-17 мае 18 гадоў, 18-59 мае 42, 60+ адкрыты, але мае каля 40 гадоў. Выснова, улічваючы толькі гэты графік, заключаецца ў тым, што большасць выпадкаў прыпадае на ўзроставую групу 18-59 гадоў. Выглядае, што ўзроставая група старэйшыя за 60 гадоў менш пакутуе ад выпадкаў COVID. Але гэта яшчэ не ўся гісторыя.
Для параўнання, гэты набор розных дадзеных на Вэб-сайт CDC дыяграмы выпадкаў COVID па ўзроставых групах з дадатковымі дадзенымі аб працэнтах насельніцтва ЗША, якія знаходзяцца ў кожным узроставым дыяпазоне.
Гэта лепш. У нас больш кантэксту. Мы бачым, што ва ўзроставых групах 18-29, 30-39, 40-49 працэнт выпадкаў захворвання вышэйшы, чым працэнт гэтай узроставай групы ў папуляцыі. Застаюцца нераўнамерныя ўзроставыя групы. Чаму 16-17 асобная ўзроставая група? Тым не менш, гэта яшчэ не ўся гісторыя, але эксперты пісалі калонкі, рабілі прагнозы і даручалі не толькі гэта. Відавочна, што пры COVID ёсць шмат зменных, акрамя ўзросту, якія ўплываюць на залік станоўчага выпадку: статус вакцынацыі, наяўнасць аналізаў, колькасць аналізаў, спадарожныя захворванні і многія іншыя. Колькасць выпадкаў сама па сабе дае няпоўную карціну. Большасць экспертаў таксама разглядаюць колькасць смерцяў, або працэнт смерцяў на 100,000 XNUMX насельніцтва, або смяротнасць, каб даведацца, як COVID уплывае на кожную ўзроставую групу.
Паказаць не звязаныя карэляцыі
Відавочна, што ёсць моцная карэляцыя паміж выдаткамі ЗША на навуку, космас і тэхналогію і колькасцю самагубстваў шляхам павешання, удушэння і ўдушэння. Карэляцыя складае 99.79%, амаль ідэальнае супадзенне.
Хто, аднак, будзе сцвярджаць, што яны нейкім чынам звязаны або адно выклікае другое? Ёсць і іншыя менш экстрэмальныя прыклады, але не менш ілжывыя. Існуе падобная моцная карэляцыя паміж літарамі ў Winning Word of Scripps National Spelling Bee і колькасцю людзей, забітых атрутнымі павукамі. Супадзенне? Вам вырашаць.
Іншым спосабам адлюстравання гэтых даных, які можа быць менш зманлівым, было б уключыць нуль на абедзвюх восях Y.
Паказаць дадзеныя недакладна
ад Як дрэнна адлюстроўваць дадзеныя, амерыканскі штат Джорджыя прадставіў топ-5 акруг з найбольшай колькасцю пацверджаных выпадкаў COVID-19.
Выглядае законна, праўда? Відавочна назіраецца тэндэнцыя зніжэння пацверджаных выпадкаў COVID-19. Вы можаце прачытаць вось X? Вось X адлюстроўвае час. Як правіла, даты будуць павялічвацца злева направа. Тут мы бачым невялікае падарожжа ў часе па восі Х:
4/28/2020
4/27/2020
4/29/2020
5/1/2020
4/30/2020
5/4/2020
5/6/2020
5/5/2020
5/2/22020 ...
Пачакаць? Што? Вось X не адсартаваная ў храналагічным парадку. Такім чынам, як бы прыгожа ні выглядала гэтая тэндэнцыя, мы не можам зрабіць ніякіх высноў. Калі даты ўпарадкаваны, слупкі для колькасці выпадкаў паказваюць больш пілападобны ўзор, чым любую тэндэнцыю.
Лёгкае рашэнне тут - сартаваць даты так, як гэта робіць каляндар.
Паказаць дадзеныя нетрадыцыйна
Мы ўсе занятыя. Наш мозг навучыў нас прымаць хуткія меркаванні, заснаваныя на здагадках, якія былі паслядоўнымі ў нашым свеце. Напрыклад, кожны графік, які я калі-небудзь бачыў, паказвае, што восі X і Y сустракаюцца ў нулявых або самых нізкіх значэннях. Коратка зірнуўшы на гэтую дыяграму, якія высновы вы можаце зрабіць пра ўплыў Фларыды «Трымайся свайго закону.”? Мне сорамна ў гэтым прызнацца, але гэты графік мяне спачатку падмануў. Ваша вока зручна прыцягваецца да тэксту і стрэлкі ў цэнтры графікі. Уніз - уверх на гэтым графіцы. Магчыма, гэта не хлусня - усе дадзеныя ёсць. Але, я павінен думаць, што гэта прызначана для падману. Калі вы яшчэ гэтага не бачылі, нуль на восі Y знаходзіцца ўверсе. Такім чынам, калі дадзеныя зніжаюцца, гэта азначае больш смерцяў. Гэты графік паказвае, што колькасць забойстваў з выкарыстаннем агнястрэльнай зброі павялічаны пасля 2005 г., аб чым сведчыць тэндэнцыя ўніз.
Паказаць даныя занадта спрошчана
Адзін з прыкладаў празмернага спрашчэння дадзеных можна ўбачыць, калі аналітыкі карыстаюцца Парадоксам Сімпсана. Гэта з'ява, якая ўзнікае, калі агрэгаваныя даныя дэманструюць іншую выснову, чым калі яны падзеленыя на падмноства. У гэтую пастку лёгка патрапіць, гледзячы на агрэгаваныя працэнты высокага ўзроўню. Адна з самых яскравых ілюстрацый парадокса Сімпсана на працы звязана з сярэднія паказчыкі.
Тут мы бачым, што ў Дэрэка Джэтэра больш высокі агульны сярэдні бал, чым у Дэвіда Джасціса за сезоны 1995 і 1996 гадоў. Парадокс узнікае, калі мы разумеем, што Джасціс пераўзышоў Джэтэра ў сярэднім па ваціне абодва гэтыя гады. Калі вы ўважліва паглядзіце, гэта мае сэнс, калі вы зразумееце, што ў 4 годзе ў Джэтэра было прыкладна ў 1996 разы больш удараў (назоўнік) пры сярэднім на 007 ніжэйшым у 1996 годзе. У той час як у Джасціса было прыкладна ў 10 разоў больш удараў у мячы пры . 003 вышэй сярэдняга ў 1995 годзе.
Прэзентацыя выглядае просталінейнай, але Парадокс Сімпсана, свядома ці мімаволі, прывёў да няправільных высноў. Нядаўна ў навінах і сацыяльных сетках з'явіліся прыклады парадокса Сімпсана, звязаныя з вакцынамі і смяротнасцю ад COVID. адзін Дыяграма паказвае лінейны графік, які параўноўвае ўзровень смяротнасці паміж прышчэпленымі і непрышчэпленымі для людзей ва ўзросце 10-59 гадоў. Графік дэманструе, што непрышчэпленыя стабільна маюць больш нізкі ўзровень смяротнасці. Што тут адбываецца?
Праблема падобная да той, якую мы бачым з сярэднімі паказчыкамі. Назоўнік у дадзеным выпадку - колькасць асобін у кожнай узроставай групе. Графік аб'ядноўвае групы з рознымі вынікамі. Калі мы паглядзім асобна на старэйшую ўзроставую групу, 50-59 гадоў, мы бачым, што прышчэпленыя жывуць лепш. Сапраўды гэтак жа, калі мы паглядзім на 10-49, мы таксама ўбачым, што прышчэпленыя лепш. Як ні парадаксальна, калі разглядаць камбінаваны набор, непрышчэпленыя, здаецца, маюць горшы вынік. Такім чынам, вы зможаце абгрунтаваць супрацьлеглыя аргументы, выкарыстоўваючы дадзеныя.
Дадзеныя неаб'ектыўныя
Дадзеным не заўсёды можна давяраць. Нават у навуковай супольнасці больш за трэць апытаных даследчыкаў прызналіся «сумнеўная даследчая практыка». Іншы даследчы дэтэктыў махлярства кажа: «Існуе значна больш махлярства з дадзенымі - табліцамі, лінейнымі графікамі, паслядоўнасцю дадзеных [-, чым мы на самой справе выяўляем]. Кожны, хто сядзіць за кухонным сталом, можа змясціць лічбы ў электронную табліцу і зрабіць лінейны графік, які выглядае пераканаўча».
гэта першы прыклад здаецца, хтосьці зрабіў менавіта гэта. Я не кажу, што гэта махлярства, але як апытанне, яно проста не стварае ніякіх даных, якія спрыяюць прыняццю абгрунтаванага рашэння. Падобна на тое, што падчас апытання ў рэспандэнтаў пыталіся пра іх меркаванне пра каву на запраўцы ці іншую актуальную падзею.
- цудоўны
- Вялікі
- Вельмі добра
Я абрэзаў паведамленне ў Twitter, каб выдаліць спасылкі на вінаватага, але гэта фактычна ўвесь графік канчатковых вынікаў апытання. Такія апытанні не рэдкасць. Відавочна, што любая дыяграма, створаная на аснове даных, атрыманых у выніку адказаў, будзе паказваць, якую каву нельга прапусціць.
Праблема ў тым, што калі б вам далі гэтае апытанне і вы не знайшлі адказу, які адпавядае вашым меркаванням, вы б прапусцілі апытанне. Гэта можа быць надзвычайным прыкладам таго, як могуць стварацца ненадзейныя дадзеныя. Дрэнны дызайн апытання, аднак, можа прывесці да меншай колькасці адказаў, і тыя, хто адказвае, маюць толькі адно меркаванне, гэта толькі пытанне ступені. Дадзеныя неаб'ектыўныя.
Гэты другі прыклад зрушэння дадзеных з файлаў "Найгоршыя дыяграмы COVID 19, якія ўводзяць у зман».
Зноў жа, гэта тонка і не зусім відавочна. Гістограма паказвае плаўнае - амаль занадта плаўнае - зніжэнне працэнта станоўчых выпадкаў COVID-19 з цягам часу ў акрузе Фларыды. Вы можаце лёгка зрабіць выснову, што выпадкаў памяншаецца. Гэта выдатна, візуалізацыя дакладна прадстаўляе даныя. Праблема ў дадзеных. Такім чынам, гэта больш падступны ўхіл, таму што вы не бачыце гэтага. Гэта ўпісана ў даныя. Сярод пытанняў, якія вам трэба задаць, - хто праходзіць тэсціраванне? Іншымі словамі, што з'яўляецца назоўнікам або насельніцтвам, якое мы разглядаем у працэнтах. Мяркуецца, што гэта ўся папуляцыя ці, прынамсі, рэпрэзентатыўная выбарка.
Аднак у гэты перыяд у гэтай акрузе тэсты здаваліся толькі абмежаванай колькасці людзей. Яны павінны былі мець сімптомы, падобныя на COVID, або нядаўна ездзілі ў краіну са спісу гарачых кропак. Дадаткова бянтэжыць вынікі той факт, што кожны станоўчы тэст быў залічаны, і кожны адмоўны тэст быў залічаны. Як правіла, калі чалавек даваў станоўчы тэст, ён рабіў паўторны аналіз, калі вірус скончыўся, і тэст даваў адмоўны вынік. Такім чынам, у пэўным сэнсе для кожнага станоўчага выпадку ёсць адмоўны тэст, які анулюе яго. Пераважная большасць тэстаў адмоўныя, і адмоўныя тэсты кожнага чалавека былі падлічаны. Вы бачыце, наколькі дадзеныя неаб'ектыўныя і не вельмі карысныя для прыняцця рашэнняў.
Увод і навучанне штучнага інтэлекту прадузята
Ёсць па меншай меры два спосабы, якімі ШІ можа прывесці да неаб'ектыўных вынікаў: пачынаючы з неаб'ектыўных даных або выкарыстоўваючы неаб'ектыўныя алгарытмы для апрацоўкі сапраўдных даных.
Неаб'ектыўны ўвод
Шмат у каго з нас склалася ўражанне, што штучнаму інтэлекту можна давяраць ацэнку лічбаў, прымяненне яго алгарытмаў і правядзенне надзейнага аналізу даных. Штучны інтэлект можа быць настолькі разумным, наколькі яго навучаюць. Калі даныя, на якіх ён навучаецца, недасканалыя, вынікам і высновам таксама нельга давяраць. Як і ў вышэйзгаданым выпадку з прадузятасцю апытання, ёсць некалькі спосабаў, якімі могуць быць дадзеныя старонны у машынным навучанні:.
- Зрушэнне выбаркі - навучальны набор даных не з'яўляецца рэпрэзентатыўным для ўсёй сукупнасці.
- Ухіл выключэння - часам тое, што здаецца выкідам, на самай справе з'яўляецца сапраўдным, або, дзе мы праводзім мяжу на тое, што трэба ўключыць (паштовыя індэксы, даты і г.д.).
- Зрушэнне вымярэнняў - прынята вымяраць заўсёды ад цэнтра і ніжняй часткі меніска, напрыклад, пры вымярэнні вадкасці ў мерных колбах або прабірках (акрамя ртуці).
- Зрушэнне памяці - калі даследаванне залежыць ад памяці ўдзельнікаў.
- Ухіл назіральніка - навукоўцы, як і ўсе людзі, больш схільныя бачыць тое, што яны чакаюць убачыць.
- Сексісцкія і расісцкія ўхілы - пол або раса могуць быць занадта або недастаткова прадстаўлены.
- Зрушэнне асацыяцый - дадзеныя ўмацоўваюць стэрэатыпы
Каб штучны інтэлект даваў надзейныя вынікі, яго навучальныя даныя павінны адлюстроўваць рэальны свет. Як мы абмяркоўвалі ў папярэднім артыкуле ў блогу, падрыхтоўка даных вельмі важная, як і любы іншы праект апрацоўкі дадзеных. Ненадзейныя даныя могуць навучыць сістэмы машыннага навучання няправільнаму ўроку і прывядуць да няправільных высноў. Пры гэтым гаворыцца: «Усе дадзеныя неаб'ектыўныя. Гэта не параноя. Гэта факт». – Доктар Санджыў М. Нараян, Медыцынская школа Стэнфардскага універсітэта.
Выкарыстанне неаб'ектыўных даных для навучання прывяло да шэрагу прыкметных збояў штучнага інтэлекту. (Прыклады тут і тут, даследаванні тут..)
Неабдуманыя алгарытмы
Алгарытм - гэта набор правілаў, якія прымаюць увод і ствараюць вывад для адказу на бізнес-праблему. Часта гэта добра вызначаныя дрэвы рашэнняў. Алгарытмы нагадваюць чорныя скрыні. Ніхто не ўпэўнены, як яны працуюць, часта, нават не кампаніі, якія іх выкарыстоўваюць. Ах, і часта яны запатэнтаваныя. Іх таямнічая і складаная прырода з'яўляецца адной з прычын, чаму прадузятыя алгарытмы настолькі падступныя. .
Разгледзім алгарытмы штучнага інтэлекту ў медыцыне, кадрах або фінансах, якія ўлічваюць расу. Калі раса з'яўляецца фактарам, алгарытм не можа быць расава сляпым. Гэта не тэарэтычна. Такія праблемы былі выяўленыя ў рэальным свеце з дапамогай штучнага інтэлекту наём, паездка-доля, заяўка на атрыманне пазыкіс, і трансплантацыі нырак.
Сутнасць у тым, што калі вашы даныя або алгарытмы дрэнныя, больш чым бескарысныя, яны могуць быць небяспечнымі. Ёсць такая рэч, як "алгарытмічны аўдыт.” Мэта складаецца ў тым, каб дапамагчы арганізацыям вызначыць патэнцыйныя рызыкі, звязаныя з алгарытмам, паколькі ён звязаны з справядлівасцю, прадузятасцю і дыскрымінацыяй. у іншым месцы, Facebook выкарыстоўвае AI для барацьбы з прадузятасцю ў AI.
Людзі прадузятыя
У нас ёсць людзі па абодва бакі раўнання. Людзі рыхтуюць аналіз і людзі атрымліваюць інфармацыю. Ёсць даследчыкі і ёсць чытачы. Пры любой сувязі могуць узнікнуць праблемы з перадачай або прыёмам.
Возьмем, напрыклад, надвор'е. Што значыць «верагодны дождж»? Па-першае, што метэаролагі маюць на ўвазе, калі кажуць, што ёсць верагоднасць дажджу? Па дадзеных урада ЗША Нацыянальная служба надвор'яверагоднасць дажджу, або тое, што яны называюць верагоднасцю ападкаў (PoP), з'яўляецца адным з найменш зразумелых элементаў прагнозу надвор'я. У яго ёсць стандартнае вызначэнне: «Імавернасць ападкаў - гэта проста статыстычная верагоднасць 0.01 цалі [sic] [sic] больш ападкаў у дадзенай вобласці ў дадзенай прагназуемай вобласці ў вызначаны перыяд часу». «Дадзеная тэрыторыя» з'яўляецца прагнознай тэрыторыяй, або broadадліваная плошча. Гэта азначае, што афіцыйная імавернасць ападкаў залежыць ад упэўненасці, што дзе-небудзь у гэтым раёне будзе дождж, і ад працэнта мокрай тэрыторыі. Іншымі словамі, калі метэаролаг упэўнены, што ў прагназаванай зоне будзе дождж (Упэўненасць = 100%), то PoP уяўляе сабой частку тэрыторыі, дзе будзе ісці дождж.
вуліца Парыжская; Дажджлівы дзень, Гюстаў Кайбот (1848-1894), Чыкагскі інстытут мастацтваў, грамадскі набытак
Верагоднасць дажджу залежыць як ад упэўненасці, так і ад мясцовасці. Я гэтага не ведаў. Я падазраю, што іншыя людзі таксама гэтага не ведаюць. Каля 75% насельніцтва дакладна не разумеюць, як разлічваецца PoP і што ён павінен прадстаўляць. Такім чынам, ці нас падманваюць, ці гэта праблема ўспрымання. Назавем гэта ўспрыманнем ападкаў. Ці вінаваціць сіноптыка? Па праўдзе кажучы, ёсць некаторыя блытаніна сярод сіноптыкаў таксама. У адным агляд43% апытаных метэаролагаў заявілі, што ў вызначэнні PoP вельмі мала паслядоўнасці.
Сам аналіз неаб'ектыўны
З пяці фактараў уплыву сам аналіз можа быць самым дзіўным. У навуковых даследаваннях, вынікам якіх з'яўляецца публікацыя рэцэнзаванай працы, звычайна выказваецца гіпотэза аб тэорыі, вызначаюцца метады праверкі гіпотэзы, збіраюцца даныя, а затым аналізуюцца даныя. Тып аналізу, які праводзіцца і спосаб яго правядзення, недаацэнены ў тым, як ён уплывае на высновы. У папера апублікаваным раней у гэтым годзе (студзень 2022 г.) у Міжнародным часопісе рака, аўтары ацанілі вынікі рандомізірованный кантраляваных даследаванняў і рэтраспектыўных назіральных даследаванняў. Іх вынікі прыйшлі да высновы, што,
Змяняючы аналітычныя выбары ў параўнальных даследаваннях эфектыўнасці, мы атрымалі супрацьлеглыя вынікі. Нашы вынікі паказваюць, што некаторыя рэтраспектыўныя назіральныя даследаванні могуць выявіць, што лячэнне паляпшае вынікі для пацыентаў, у той час як іншае падобнае даследаванне можа выявіць, што гэта не так, проста на аснове аналітычнага выбару.
Раней, калі вы падобныя на мяне, чытаючы артыкул у навуковым часопісе, вы маглі падумаць, што вынікі або высновы звязаны з дадзенымі. Цяпер аказалася, што вынікі, пацверджанне або абвяржэнне першапачатковай гіпотэзы таксама можа залежаць ад метаду аналізу.
Іншы вучыцца знайшлі падобныя вынікі. артыкул, Шмат аналітыкаў, адзін набор даных: празрыстасць таго, як варыянты аналітычнага выбару ўплываюць на вынікі, апісвае, як яны перадалі адзін і той жа набор дадзеных для аналізу 29 розным камандам. Аналіз дадзеных часта разглядаецца як строгі, дакладна вызначаны працэс, які прыводзіць да адзінай высновы.
Нягледзячы на заўвагі метадолагаў, лёгка не заўважыць той факт, што вынікі могуць залежаць ад абранай аналітычнай стратэгіі, якая сама па сабе прасякнута тэорыяй, здагадкамі і пунктамі выбару. У многіх выпадках існуе мноства разумных (і шмат неразумных) падыходаў да ацэнкі дадзеных, якія тычацца пытання даследавання.
Даследчыкі правялі аналіз дадзеных і прыйшлі да высновы, што ўсе даследаванні ўключаюць суб'ектыўныя рашэнні - у тым ліку, які тып аналізу выкарыстоўваць - якія могуць паўплываць на канчатковы вынік даследавання.
Рэкамендацыя іншага даследчык хто прааналізаваў прыведзенае вышэй даследаванне, павінен быць асцярожным пры выкарыстанні адной паперы для прыняцця рашэнняў або вывадаў.
Вырашэнне прадузятасці ў аналітыцы
Гэта проста папярэджанне. Веды могуць абараніць нас ад ашуканцаў. Чым больш дасведчаныя аб магчымых метадах, якія сканер можа выкарыстоўваць, каб падмануць нас, тым менш верагоднасць таго, што мы будзем захоплены, скажам, кішэнным злодзеем у памылковым напрамку або гладкай размовай пра п'есу Понцы. Гэтак жа і з разуменнем і распазнаннем патэнцыйных прадузятасцей, якія ўплываюць на нашу аналітыку. Калі мы ўсведамляем патэнцыйныя ўплывы, мы маглі б лепш прадставіць гісторыю і ў канчатковым выніку прымаць лепшыя рашэнні.
