Аналитичка лаж
Пристрасност анализе
Марк Твен је дискутабилно рекао нешто попут: „Постоје три врсте лажи: лажи, проклете лажи и аналитика".
Сматрамо здраво за готово да нам аналитика даје корисне, практичне увиде. Оно што често не схватамо је како наше сопствене и предрасуде других утичу на одговоре које нам дају чак и најсофистициранији софтвер и системи. Понекад се нама може непоштено манипулисати, али чешће се у нашу аналитику увлаче суптилне и несвесне предрасуде. Мотивација иза пристрасне аналитике је многострука. Понекад на непристрасне резултате које очекујемо од науке утичу 1) суптилни избори у начину на који се подаци представљају, 2) недоследни или нерепрезентативни подаци, 3) начин на који су системи вештачке интелигенције обучени, 4) незнање, некомпетентност истраживача или других који покушавају испричати причу, 5) сама анализа.
Презентација је пристрасна
Неке од лажи је лакше уочити од других. Када знате шта да тражите, лакше ћете открити потенцијал погрешни графикони и графикони.
Има најмање пет начина за лажно приказивање података: 1) Прикажи ограничен скуп података, 2). Прикажи неповезане корелације, 3) Прикажи податке нетачно, 4) Прикажи податке неконвенционално или 5). Прикажите податке превише поједностављене.
Прикажите ограничен скуп података
Ограничавање података или ручно бирање не-случајног дела података често може да исприча причу која није у складу са општом сликом. Лоше узорковање, или брање трешања, је када аналитичар користи нерепрезентативни узорак да представи већу групу.
У марту КСНУМКС, Одељење за јавно здравље Грузије објавио овај графикон као део свог дневног извештаја о стању. То заправо поставља више питања него што даје одговоре.
Једна од ствари која недостаје је контекст. На пример, било би корисно знати колики је проценат становништва за сваку старосну групу. Још један проблем са тортним графиконом који изгледа једноставно су неуједначене старосне групе. 0-17 има 18 година, 18-59 има 42, 60+ је отвореног типа, али има око 40 година. Закључак, с обзиром на овај графикон, је да је већина случајева у старосној групи од 18-59 година. Старосна група од 60+ година изгледа да је мање погођена случајевима ЦОВИД-а. Али ово није цела прича.
За поређење, овај различити скуп података о Веб страница ЦДЦ-а приказује случајеве ЦОВИД-а по старосној групи са додатним подацима о проценту становништва САД који је у сваком старосном опсегу.
Ово је боље. Имамо више контекста. Видимо да старосне групе 18-29, 30-39, 40-49 имају већи проценат оболелих од процента старосне групе у популацији. Још увек постоје неке неуједначене старосне групе. Зашто је 16-17 година посебна старосна група? Ипак, ово није цела прича, али стручњаци су писали колумне, давали предвиђања и мандате на мање од овога. Очигледно, код ЦОВИД-а постоје многе варијабле поред старости које утичу на то да се рачуна као позитиван случај: статус вакцинације, доступност тестова, број тестирања, коморбидитети и многе друге. Број случајева сам по себи даје непотпуну слику. Већина стручњака такође посматра број смртних случајева, или проценте умрлих на 100,000 становника, или смртне случајеве да би погледали како ЦОВИД утиче на сваку старосну групу.
Прикажи неповезане корелације
Очигледно, постоји а јака корелација између америчке потрошње на науку, свемир и технологију и броја самоубистава вешањем, дављењем и гушењем. Корелација је 99.79%, скоро савршено подударање.
Ко би, међутим, тврдио да су то на неки начин повезани, или да једно узрокује друго? Има и других мање екстремних примера, али не мање лажних. Постоји слична јака корелација између слова у Победничкој речи Сцриппс Натионал Спеллинг Бее и броја људи које су убили отровни пауци. Случајност? Ти одлучујеш.
Други начин да се уцртају ови подаци који може бити мање обмањујући би био да се укључи нула на обе И-осе.
Прикажи податке нетачно
od Како лоше приказати податкегодине, америчка држава Џорџија представила је топ 5 округа са највећим бројем потврђених случајева ЦОВИД-19.
Изгледа легитимно, зар не? Јасно је да постоји тренд пада потврђених случајева ЦОВИД-19. Можете ли да прочитате Кс-осу? Кс-оса представља време. Обично се датуми повећавају с лева на десно. Овде видимо мало путовање кроз време на Кс-оси:
4/28/2020
4/27/2020
4/29/2020
5/1/2020
4/30/2020
5/4/2020
5/6/2020
5/5/2020
5/2/22020 ...
Чекати? Шта? Кс-оса није сортирана хронолошки. Дакле, колико год овај тренд изгледао лепо, не можемо да доносимо никакве закључке. Ако су датуми наручени, траке за број случајева показују више тестерасту шару него било какав тренд.
Овде је лако решење да сортирате датуме на начин на који то ради календар.
Прикажите податке неконвенционално
Сви смо заузети. Наш мозак нас је научио да доносимо брзе пресуде на основу претпоставки које су постојале у нашем свету. На пример, сваки графикон који сам икада видео приказује к- и и-осе које се састају на нули или најнижим вредностима. Гледајући укратко овај графикон, које закључке можете извући о ефекту Флориде „Држите свој основни закон.”? Срамота ме је да признам, али овај графикон ме је у почетку преварио. Ваше око је прикладно привучено текстом и стрелицом у средини графике. Доле је горе на овом графикону. Можда није лаж – подаци су ту. Али, морам да мислим да је то намењено превари. Ако је још нисте видели, нула на и оси је на врху. Дакле, како подаци опадају, то значи више смртних случајева. Овај графикон показује да је број убистава употребом ватреног оружја повећан након 2005. године, на шта указује тренд који иде доле.
Прикажите податке превише поједностављене
Један пример превеликог поједностављивања података може се видети када аналитичари искористе Симпсонов парадокс. Ово је феномен који се јавља када се чини да агрегирани подаци показују другачији закључак него када су раздвојени на подскупове. У ову замку је лако упасти када се гледају агрегирани проценти на високом нивоу. Једна од најјаснијих илустрација Симпсоновог парадокса на делу односи се на ударајући просеци.
Овде видимо да Дерек Џетер има већи укупан просек ударања од Дејвида Џастиса за сезоне 1995. и 1996. године. Парадокс долази када схватимо да је Јустице победио Џетера у просеку ударања обе те године. Ако пажљиво погледате, има смисла када схватите да је Јетер имао отприлике 4 пута више ат-слепих мишева (именилац) 1996. са 007 нижим просеком у 1996. Док је Јустице имао отприлике 10 пута већи број ат-слепих мишева на само . 003 већи просек 1995. године.
Презентација изгледа једноставно, али Симпсонов парадокс је, свесно или несвесно, довео до погрешних закључака. Недавно су се појавили примери Симпсоновог парадокса у вестима и на друштвеним мрежама у вези са вакцинама и смртношћу од ЦОВИД-а. Један цхарт приказује линијски графикон који упоређује стопе смртности између вакцинисаних и невакцинисаних за особе старости 10-59 година. Графикон показује да невакцинисани константно имају нижу стопу морталитета. Шта се дешава овде?
Проблем је сличан оном који видимо код просека ударања. Именитељ у овом случају је број појединаца у свакој старосној групи. Графикон комбинује групе које имају различите исходе. Ако посебно посматрамо старију старосну групу, 50-59 година, видимо да вакцинисани боље пролазе. Исто тако, ако погледамо 10-49, такође видимо да вакцинисани пролазе боље. Парадоксално, када се посматра комбиновани сет, чини се да невакцинисани имају лошији исход. На овај начин, помоћу података можете аргументовати супротне аргументе.
Подаци су пристрасни
Подацима се не може увек веровати. Чак иу научној заједници, више од трећине анкетираних истраживача је признало „сумњиве истраживачке праксе“. Други детектив за истраживање превара каже: „Веома је вероватно много више преваре у подацима – табелама, линијским графиконима, подацима о секвенцирању [– него што заправо откривамо]. Свако ко седи за својим кухињским столом може ставити неке бројеве у табелу и направити линијски графикон који изгледа убедљиво.”
Ово прво пример изгледа да је неко управо то урадио. Не кажем да је ово превара, али као анкета, она једноставно не генерише никакве податке који доприносе информисаној одлуци. Изгледа да је анкета питала испитанике о њиховом мишљењу о кафи на бензинској пумпи или неком другом релевантном актуелном догађају.
- Диван
- Great
- Веома добар
Опсекао сам објаву на Твитеру да бих уклонио референце на кривце, али ово је стварна цела табела коначних резултата анкете. Овакве анкете нису неуобичајене. Очигледно, сваки графикон креиран на основу података добијених из одговора ће показати да се кафа не сме пропустити.
Проблем је у томе што бисте прескочили анкету да сте добили ову анкету и нисте пронашли одговор који одговара вашем размишљању. Ово може бити екстреман пример како се могу креирати непоуздани подаци. Лош дизајн анкете, међутим, може довести до мањег броја одговора и они који одговоре имају само једно мишљење, само је питање степена. Подаци су пристрасни.
Овај други пример пристрасности података је из датотека „Најгори обмањујући графикони о ЦОВИД 19".
Опет, ово је суптилно и није потпуно очигледно. Ступасти графикон показује глатки – скоро превише гладак – пад процента позитивних случајева ЦОВИД-19 током времена за округ на Флориди. Лако бисте могли закључити да број случајева опада. То је одлично, визуелизација тачно представља податке. Проблем је у подацима. Дакле, то је подмуклија пристрасност јер се то не види. То је уклопљено у податке. Питања која треба да поставите, укључују, ко се тестира? Другим речима, који је именилац, односно број становника чији проценат гледамо. Претпоставка је да се ради о целој популацији, или барем о репрезентативном узорку.
Међутим, у овом периоду, у овој жупанији, тестови су давани само ограниченом броју људи. Морали су да имају симптоме сличне ЦОВИД-у или су недавно путовали у земљу на листи врућих тачака. Додатно збуњујуће резултате је чињеница да је сваки позитиван тест пребројан и сваки негативан тест је пребројан. Обично, када је појединац био позитиван, тестирао би се поново када вирус прође и био би негативан. Дакле, на неки начин, за сваки позитиван случај постоји негативан тест који га поништава. Огромна већина тестова је негативна и пребројани су негативни тестови сваког појединца. Можете видети како су подаци пристрасни и нису нарочито корисни за доношење одлука.
АИ унос и обука су пристрасни
Постоје најмање два начина на која АИ може довести до пристрасних резултата: почевши од пристрасних података или коришћењем пристрасних алгоритама за обраду валидних података.
Биасед Инпут
Многи од нас су под утиском да се вештачкој интелигенцији може веровати да ће разбити бројке, применити своје алгоритме и испљунути поуздану анализу података. Вештачка интелигенција може бити паметна само онолико колико је обучена. Ако су подаци на којима се обучава несавршени, неће се моћи вјеровати ни резултатима ни закључцима. Слично као у горњем случају пристрасности анкете, постоји више начина на које подаци могу бити пристрасан у машинском учењу:.
- Пристрасност узорка – скуп података за обуку није репрезентативан за целу популацију.
- Пристрасност искључивања – понекад је оно што се чини да су одступања заправо валидно, или, где повлачимо линију шта треба укључити (поштанске бројеве, датуме, итд.).
- Пристрасност мерења – конвенција је да се увек мери од центра и дна менискуса, на пример, када се мери течност у волуметријским боцама или епруветама (осим живе.)
- Пристрасност подсећања – када истраживање зависи од памћења учесника.
- Пристрасност посматрача – научници су, као и сви људи, склонији да виде оно што очекују да виде.
- Сексистичка и расистичка пристрасност – пол или раса могу бити превише или недовољно заступљени.
- Пристрасност асоцијације – подаци јачају стереотипе
Да би вештачка интелигенција дала поуздане резултате, њени подаци о обуци морају да представљају стварни свет. Као што смо расправљали у претходном чланку на блогу, припрема података је критична и као и сваки други пројекат података. Непоуздани подаци могу да науче системе машинског учења погрешној лекцији и резултираће погрешним закључком. То је рекло: „Сви подаци су пристрасни. Ово није параноја. Ово је чињеница.” – др Сањив М. Нарајан, Медицински факултет Универзитета Станфорд.
Коришћење пристрасних података за обуку довело је до бројних значајних неуспеха вештачке интелигенције. (Примери ovde ovde, истраживање ovde..)
Биасед Алгоритхмс
Алгоритам је скуп правила која прихватају улаз и креирају излаз да би одговорили на пословни проблем. Често су добро дефинисана стабла одлучивања. Алгоритми се осећају као црне кутије. Нико није сигуран како раде, често, чак ни компаније које их користе. Ох, и често су власнички. Њихова мистериозна и сложена природа је један од разлога зашто су пристрасни алгоритми тако подмукли. .
Узмите у обзир АИ алгоритме у медицини, људским ресурсима или финансијама који узимају у обзир расу. Ако је раса фактор, алгоритам не може бити расно слеп. Ово није теоретски. Проблеми попут ових откривени су у стварном свету помоћу вештачке интелигенције запошљавање, риде-схаре, кредитног захтевас, и трансплантације бубрега.
Суштина је да ако су ваши подаци или алгоритми лоши, гори него бескорисни, могу бити опасни. Постоји тако нешто као „алгоритамска ревизија.” Циљ је да се помогне организацијама да идентификују потенцијалне ризике у вези са алгоритамом у погледу правичности, пристрасности и дискриминације. Другде, фацебоок користи АИ за борбу против пристрасности у АИ.
Људи су пристрасни
Имамо људе на обе стране једначине. Људи припремају анализу и људи добијају информације. Постоје истраживачи и постоје читаоци. У свакој комуникацији може доћи до проблема у преносу или пријему.
Узмимо време, на пример. Шта значи „шанса за кишу“? Прво, шта метеоролози мисле када кажу да постоји шанса за кишу? Према америчкој влади Натионал Веатхер Сервице, шанса за кишу, или оно што они зову вероватноћа падавина (ПоП), један је од најмање разумљивих елемената у временској прогнози. Има стандардну дефиницију: „Вероватноћа падавина је једноставно статистичка вероватноћа од 0.01″ инча [сиц] од [сиц] више падавина у датој области у датој области прогнозе у наведеном временском периоду.“ „Дато подручје“ је подручје прогнозе, или бroadливено подручје. То значи да званична вероватноћа падавина зависи од уверења да ће негде у околини падати киша и процента површине која ће се смочити. Другим речима, ако је метеоролог уверен да ће падати киша у прогнозираном подручју (поузданост = 100%), онда ПоП представља део области који ће примати кишу.
Парис Стреет; Кишни дан,Густаве Цаиллеботте (1848-1894) Чикашки уметнички институт у јавном власништву
Шанса за кишу зависи и од поверења и од области. Нисам знала то. Претпостављам да ни други људи то не знају. Око 75% популације не разуме тачно како се израчунава ПоП или шта треба да представља. Дакле, да ли смо преварени, или је ово проблем перцепције. Назовимо то перцепцијом падавина. Кривимо ли временску прогнозу? Да будемо поштени, има их збуњеност и међу прогностичарима. У једном преглед, 43% анкетираних метеоролога је рекло да је врло мало доследности у дефиницији ПоП.
Сама анализа је пристрасна
Од пет фактора који утичу, сама анализа може бити највише изненађујућа. У научним истраживањима која резултирају објављивањем рецензираног рада, обично се поставља хипотеза, дефинишу се методе за тестирање хипотезе, прикупљају се подаци, а затим се анализирају подаци. Врста анализе која се ради и начин на који се ради недовољно је цењена у смислу како утиче на закључке. У а папир објављени раније ове године (јануар 2022.), у Међународном журналу рака, аутори су проценили да ли су резултати рандомизованих контролисаних испитивања и ретроспективних опсервационих студија. Њихови налази су закључили да,
Варирањем аналитичких избора у компаративном истраживању ефикасности, добили смо супротне резултате. Наши резултати сугеришу да неке ретроспективне опсервационе студије могу открити да третман побољшава исходе за пацијенте, док друга слична студија може утврдити да не, једноставно на основу аналитичких избора.
У прошлости, када сте читали чланак у научном часопису, ако сте попут мене, можда сте мислили да су резултати или закључци искључиво подаци. Сада се чини да резултати, односно да ли је почетна хипотеза потврђена или оповргнута, такође могу зависити од методе анализе.
Други студирати нашао сличне резултате. Чланак, Многи аналитичари, један скуп података: Транспарентност како варијације у аналитичким изборима утичу на резултате, описује како су исти скуп података дали на анализу 29 различитих тимова. Анализа података се често посматра као строг, добро дефинисан процес који води до једног закључка.
Упркос протестима методолога, лако је превидети чињеницу да резултати могу зависити од изабране аналитичке стратегије, која је сама прожета теоријом, претпоставкама и тачкама избора. У многим случајевима постоји много разумних (и много неразумних) приступа процени података који се односе на истраживачко питање.
Истраживачи су прикупили анализу података и дошли до закључка да сва истраживања укључују субјективне одлуке – укључујући и коју врсту анализе да се користе – које могу утицати на крајњи исход студије.
Препорука другог истраживач који је анализирао горњу студију треба бити опрезан када се користи један рад у доношењу одлука или доношењу закључака.
Рјешавање пристрасности у аналитици
Ово је једноставно замишљено да буде прича упозорења. Знање нас може заштитити од превара. Што смо свјеснији могућих метода које би скенер могао користити да нас превари, мања је вјероватноћа да ћемо бити ухваћени, рецимо, џепарчевим погрешним смјером или углађеним разговором о Понцијевом комаду. Тако је и са разумевањем и препознавањем потенцијалних предрасуда које утичу на нашу аналитику. Ако смо свесни потенцијалних утицаја, можда бисмо могли боље да представимо причу и на крају донесемо боље одлуке.
