Analitik Yalan
Analizin Önyargısı
Mark Twain tartışmalı bir şekilde şöyle bir şey söyledi: "Üç çeşit yalan vardır: yalanlar, kahrolası yalanlar ve analytics".
Analitiğin bize yararlı, eyleme geçirilebilir içgörüler sağladığını kabul ediyoruz. Sıklıkla fark etmediğimiz şey, kendi önyargılarımızın ve başkalarının önyargılarının en gelişmiş yazılım ve sistemler tarafından bile verdiğimiz cevapları nasıl etkilediğidir. Bazen dürüst olmayan bir şekilde manipüle edilebiliriz, ancak daha yaygın olarak, analitiklerimize sızan ince ve bilinçsiz önyargılar olabilir. Önyargılı analitiklerin arkasındaki motivasyon çok yönlüdür. Bazen bilimden beklediğimiz tarafsız sonuçlar, 1) verilerin nasıl sunulduğuna dair ince seçimlerden, 2) tutarsız veya temsili olmayan verilerden, 3) AI sistemlerinin nasıl eğitildiğinden, 4) cehaletten, araştırmacıların veya diğerlerinin deneyenlerin beceriksizliğinden etkilenir. hikayeyi anlatmak, 5) analizin kendisi.
Sunum Taraflı
Bazı yalanları fark etmek diğerlerinden daha kolaydır. Ne arayacağınızı bildiğinizde, potansiyel olarak daha kolay tespit edebilirsiniz. yanıltıcı grafikler ve çizelgeler.
En azından vardır verileri yanıltıcı bir şekilde görüntülemenin beş yolu: 1) Sınırlı bir veri seti göster, 2). İlişkisiz korelasyonları gösterin, 3) Verileri yanlış gösterin, 4) Verileri alışılmadık şekilde gösterin veya 5). Aşırı basitleştirilmiş verileri göster.
Sınırlı bir veri seti göster
Verileri sınırlamak veya verilerin rastgele olmayan bir bölümünü elle seçmek genellikle büyük resimle tutarlı olmayan bir hikaye anlatabilir. Kötü örnekleme veya kiraz toplama, analistin daha büyük bir grubu temsil etmek için temsili olmayan bir örnek kullanmasıdır.
Mart 2020 olarak, Gürcistan Halk Sağlığı Bölümü bu grafiği günlük durum raporunun bir parçası olarak yayınladı. Aslında cevapladığından daha fazla soru ortaya çıkarıyor.
Eksik olan şeylerden biri bağlamdır. Örneğin, her yaş grubu için nüfusun yüzdesinin ne olduğunu bilmek faydalı olacaktır. Basit görünümlü pasta grafiğiyle ilgili bir diğer sorun da eşit olmayan yaş gruplarıdır. 0-17 yaş 18, 18-59 42, 60+ açık uçlu ama yaklaşık 40 yaş var. Yalnızca bu çizelgeye bakıldığında, vakaların çoğunluğunun 18-59 yaş grubunda olduğu sonucuna varılmaktadır. 60+ yaş grubu, COVID vakalarından daha az ciddi şekilde etkileniyor gibi görünüyor. Ama bu hikayenin tamamı değil.
Karşılaştırma için, bu farklı veri seti CDC web sitesi Her yaş aralığındaki ABD Nüfusunun yüzdesine ilişkin ek verilerle birlikte COVID vakalarını yaş grubuna göre çizelgeler.
Bu daha iyi. Daha fazla bağlamımız var. 18-29, 30-39, 40-49 yaş gruplarının hepsinin, nüfustaki yaş grubunun yüzdesinden daha yüksek bir vaka yüzdesine sahip olduğunu görebiliriz. Hala bazı eşit olmayan yaş grupları var. 16-17 neden ayrı bir yaş grubudur? Yine de hikayenin tamamı bu değil, ancak uzmanlar köşe yazıları yazdılar, tahminlerde bulundular ve bundan daha azı için emirler verdiler. Açıkçası, COVID ile, yaşa ek olarak pozitif vaka olarak sayılmayı etkileyen birçok değişken vardır: aşılama durumu, testlerin mevcudiyeti, test edilme sayısı, komorbiditeler ve diğerleri. Vaka sayısının kendisi eksik bir resim sağlar. Çoğu uzman, COVID'in her yaş grubunu nasıl etkilediğine bakmak için 100,000 nüfus başına ölüm sayısına veya ölüm yüzdelerine veya vaka ölümlerine de bakar.
İlişkisiz korelasyonları göster
Açıkçası, bir güçlü bir ilişki ABD'nin bilim, uzay ve teknoloji harcamaları ile asarak, boğarak ve boğularak intihar edenlerin sayısı arasında. Korelasyon %99.79, neredeyse mükemmel bir eşleşme.
Yine de, bunların bir şekilde ilişkili olduğunu veya birinin diğerine neden olduğunu kim iddia edebilir? Daha az uç örnekler de var ama daha az sahte değil. Scripps Ulusal Spelling Bee'nin Kazanan Kelimesindeki Harfler ile Zehirli Örümcekler Tarafından Öldürülen Kişi Sayısı arasında benzer güçlü bir ilişki vardır. Tesadüf? Sen karar ver.
Bu verileri daha az yanıltıcı olabilecek bir başka yol, her iki Y eksenine de sıfır eklemek olacaktır.
Verileri yanlış göster
Konum Veriler Nasıl Kötü GörüntülenirABD'nin Georgia Eyaleti, En Fazla Doğrulanmış COVID-5 Vakasının Bulunduğu İlk 19 Ülkeyi sundu.
Yasal görünüyor, değil mi? Açıkça doğrulanmış COVID-19 vakalarında düşüş eğilimi var. X eksenini okuyabiliyor musunuz? X ekseni zamanı temsil eder. Tipik olarak, tarihler soldan sağa doğru artar. Burada, X ekseninde küçük bir zaman yolculuğu görüyoruz:
4/28/2020
4/27/2020
4/29/2020
5/1/2020
4/30/2020
5/4/2020
5/6/2020
5/5/2020
5/2/22020 ...
Beklemek? Ne? X ekseni kronolojik olarak sıralanmaz. Bu nedenle, trend ne kadar güzel görünse de, herhangi bir sonuç çıkaramayız. Tarihler sıralanırsa, vaka sayısı çubukları herhangi bir eğilimden çok testere dişi desenini gösterir.
Buradaki kolay düzeltme, tarihleri bir takvimin yaptığı gibi sıralamaktır.
Verileri alışılmadık şekilde göster
Hepimiz meşgulüz. Beynimiz bize dünyamızda tutarlı olan varsayımlara dayalı hızlı kararlar vermeyi öğretti. Örneğin, şimdiye kadar gördüğüm her grafik, x ve y eksenlerinin sıfırda veya en düşük değerlerde buluştuğunu gösteriyor. Bu tabloya kısaca bakarak, Florida'nın etkisi hakkında ne gibi sonuçlar çıkarabilirsiniz? “Temel yasanıza dayanın.”? İtiraf etmekten utanıyorum ama bu grafik başta beni yanılttı. Gözünüz, grafiğin ortasındaki metne ve oka kolayca çekilir. Bu grafikte aşağı yukarı. Bu bir yalan olmayabilir - tüm veriler orada. Ama aldatmak için olduğunu düşünmek zorundayım. Henüz görmediyseniz, y ekseninde sıfır en üsttedir. Yani, veriler azaldıkça, bu daha fazla ölüm anlamına geliyor. Bu çizelge ateşli silahla işlenen cinayetlerin sayısının artmış 2005'ten sonra, trendin gösterdiği aşağı.
Aşırı basitleştirilmiş verileri göster
Verilerin aşırı basitleştirilmesine bir örnek, analistler Simpson Paradox'undan yararlandığında görülebilir. Bu, kümelenmiş verilerin alt kümelere ayrıldığından farklı bir sonuç gösterdiği göründüğünde ortaya çıkan bir olgudur. Üst düzey toplu yüzdelere bakıldığında bu tuzağa düşmek kolaydır. Simpson's Paradox'un iş başındaki en açık örneklerinden biri şudur: vuruş ortalamaları.
Burada Derek Jeter'in 1995 ve 1996 sezonları için David Justice'den daha yüksek bir genel vuruş ortalamasına sahip olduğunu görüyoruz. Paradoks, Justice'in her iki yılda da vuruş ortalamasında Jeter'i geride bıraktığını fark ettiğimizde ortaya çıkıyor. Dikkatli bakarsanız, Jeter'in 4'da 1996 daha düşük bir ortalamada kabaca 007 kat daha fazla yarasaya (payda) sahip olduğunu fark ettiğinizde mantıklı geliyor. Oysa Adalet, sadece . 1996'te 10 daha yüksek ortalama.
Sunum basit görünüyor, ancak Simpson'ın Paradoksu, bilerek veya bilmeyerek, yanlış sonuçlara yol açtı. Son zamanlarda, haberlerde ve sosyal medyada aşılar ve COVID ölümleri ile ilgili Simpson Paradoksu örnekleri ortaya çıktı. Bir grafik 10-59 yaş arası insanlar için aşılı ve aşısız ölüm oranlarını karşılaştıran bir çizgi grafiği gösterir. Grafik, aşılanmamışların sürekli olarak daha düşük bir ölüm oranına sahip olduğunu göstermektedir. Burada neler oluyor?
Sorun, vuruş ortalamalarında gördüğümüze benzer. Bu durumda payda, her yaş grubundaki birey sayısıdır. Grafik, farklı sonuçları olan grupları birleştirir. 50-59 yaş arası daha büyük yaş grubuna ayrı ayrı bakarsak aşılananların daha iyi olduğunu görürüz. Aynı şekilde 10-49'a bakarsak aşılıların daha iyi olduğunu da görürüz. Paradoksal olarak, birleşik sete bakıldığında, aşılanmamış olanların daha kötü bir sonuca sahip olduğu görülmektedir. Bu şekilde, verileri kullanarak karşıt argümanlar için bir durum oluşturabilirsiniz.
Veriler Önyargılı
Verilere her zaman güvenilemez. Bilimsel toplulukta bile, ankete katılan araştırmacıların üçte birinden fazlası "şüpheli araştırma uygulamaları." Başka araştırma sahtekarlığı dedektifi “Verilerde – tablolarda, çizgi grafiklerde, sıralama verilerinde [– aslında keşfettiğimizden çok daha fazla sahtekarlık olması muhtemeldir]” diyor. Mutfak masasında oturan herkes bir elektronik tabloya bazı sayılar koyabilir ve inandırıcı görünen bir çizgi grafiği oluşturabilir.”
Bu ilk örnek biri bunu yapmış gibi görünüyor. Bunun dolandırıcılık olduğunu söylemiyorum, ancak bir anket olarak, bilinçli bir karara katkıda bulunan herhangi bir veri üretmiyor. Görünüşe göre anket, katılımcılara benzin istasyonu kahvesi veya başka bir ilgili güncel olay hakkındaki görüşlerini sordu.
- Muhteşem
- Harika
- Çok iyi
Suçlu tarafa yapılan referansları kaldırmak için Twitter gönderisini kırptım, ancak bu, anketin nihai sonuçlarının gerçek tablosunun tamamı. Bunun gibi anketler nadir değildir. Açıktır ki, yanıtlardan elde edilen verilerden oluşturulan herhangi bir grafik, söz konusu kahvenin kaçırılmaması gerektiğini gösterecektir.
Sorun şu ki, bu anket size verilmiş olsaydı ve düşüncenize uygun bir yanıt bulamamış olsaydınız, anketi atlardınız. Bu, güvenilmez verilerin nasıl oluşturulabileceğinin uç bir örneği olabilir. Ancak zayıf anket tasarımı, daha az yanıt alınmasına neden olabilir ve yanıt verenlerin yalnızca bir görüşü vardır, bu yalnızca bir derece meselesidir. Veriler taraflı.
Bu ikinci veri yanlılığı örneği, “En Kötü COVID 19 Yanıltıcı Grafikler".
Yine, bu ince ve tamamen açık değil. Çubuk grafik, Florida'daki bir ilçe için zaman içinde pozitif COVID-19 vakalarının yüzdesinde yumuşak - neredeyse çok yumuşak - bir düşüş gösteriyor. Vakaların azaldığı sonucuna kolayca varabilirsiniz. Bu harika, görselleştirme verileri doğru bir şekilde temsil ediyor. Sorun verilerde. Yani, daha sinsi bir önyargı çünkü göremiyorsunuz. Verilerde pişirilir. Sormanız gereken sorular arasında kimler test ediliyor? Başka bir deyişle, paydası veya yüzdesine baktığımız nüfus nedir. Varsayım, tüm popülasyon veya en azından temsili bir örneklem olmasıdır.
Ancak bu dönemde bu ilçede sadece sınırlı sayıda kişiye testler verildi. COVID benzeri semptomları olması gerekiyordu veya yakın zamanda sıcak noktalar listesindeki bir ülkeye seyahat ettiler. Ek olarak, sonuçları karıştıran şey, her pozitif testin sayılması ve her negatif testin sayılmasıdır. Tipik olarak, bir kişi pozitif test ettiğinde, virüs seyrini sürdürdüğünde tekrar test eder ve negatif test eder. Yani, bir anlamda, her pozitif durum için onu iptal eden bir negatif test durumu vardır. Testlerin büyük çoğunluğu negatiftir ve her bireyin negatif testleri sayılmıştır. Verilerin nasıl önyargılı olduğunu ve karar vermek için özellikle yararlı olmadığını görebilirsiniz.
Yapay Zeka Girişi ve Eğitimi Önyargılıdır
Yapay zekanın taraflı sonuçlara yol açabileceği en az iki yol vardır: taraflı verilerle başlamak veya geçerli verileri işlemek için taraflı algoritmalar kullanmak.
Önyargılı Giriş
Birçoğumuz, sayıları ezmek, algoritmalarını uygulamak ve verilerin güvenilir bir analizini yapmak için AI'ya güvenilebileceği izlenimi altındayız. Yapay Zeka ancak eğitildiği kadar akıllı olabilir. Eğitim aldığı veriler kusurluysa, sonuçlara veya sonuçlara da güvenilemez. Anket yanlılığı ile ilgili yukarıdaki duruma benzer şekilde, verilerin önyargılı makine öğreniminde:.
- Örnek önyargı – eğitim veri seti tüm popülasyonu temsil etmez.
- Dışlama önyargısı – bazen aykırı gibi görünenler gerçekten geçerlidir veya nelerin dahil edileceğine (posta kodları, tarihler, vb.)
- Ölçüm yanlılığı – kural, örneğin ölçülü balonlardaki veya test tüplerindeki (cıva hariç) sıvıları ölçerken, her zaman menisküsün ortasından ve altından ölçüm yapmaktır.
- Önyargıyı hatırlayın – araştırma katılımcıların hafızasına bağlı olduğunda.
- Gözlemci önyargısı - bilim adamları, tüm insanlar gibi, görmeyi beklediklerini görmeye daha yatkındır.
- Cinsiyetçi ve ırkçı önyargı – cinsiyet veya ırk gereğinden fazla veya eksik temsil edilebilir.
- İlişkilendirme yanlılığı – veriler stereotipleri güçlendirir
AI'nın güvenilir sonuçlar vermesi için eğitim verilerinin gerçek dünyayı temsil etmesi gerekir. Önceki bir blog makalesinde tartıştığımız gibi, verilerin hazırlanması kritiktir ve diğer tüm veri projeleri gibi. Güvenilir olmayan veriler, makine öğrenimi sistemlerine yanlış dersi verebilir ve yanlış sonuca yol açabilir. Bununla birlikte, “Tüm veriler taraflıdır. Bu paranoya değil. Bu gerçek.” - Sanjiv M. Narayan, Stanford Üniversitesi Tıp Fakültesi.
Eğitim için önyargılı verilerin kullanılması, bir dizi dikkate değer yapay zeka hatasına yol açmıştır. (Örnekler okuyun ve okuyun, Araştırma okuyun..)
Önyargılı Algoritmalar
Algoritma, bir girdiyi kabul eden ve bir iş problemini yanıtlamak için çıktı oluşturan bir kurallar dizisidir. Genellikle iyi tanımlanmış karar ağaçlarıdır. Algoritmalar kara kutular gibi hissettiriyor. Hiç kimse nasıl çalıştıklarından emin değil, hatta çoğu zaman bunları kullanan firmalar. Oh, ve genellikle tescillidirler. Gizemli ve karmaşık yapıları, önyargılı algoritmaların bu kadar sinsi olmasının nedenlerinden biridir. .
Tıpta, İK'da veya finansta yarışı dikkate alan AI algoritmalarını düşünün. Eğer ırk bir faktör ise, algoritma ırksal olarak kör olamaz. Bu teorik değil. Bunun gibi problemler gerçek dünyada yapay zeka kullanılarak keşfedildi. kiralama, yolculuk paylaşımı, kredi başvurusus, ve böbrek nakli.
Sonuç olarak, verileriniz veya algoritmalarınız kötüyse, işe yaramazdan da kötüyse, tehlikeli olabilirler. " diye bir şey varalgoritmik denetim” Amaç, kuruluşların adalet, önyargı ve ayrımcılıkla ilgili olduğu için algoritmayla ilgili potansiyel riskleri belirlemelerine yardımcı olmaktır. başka yerde Facebook AI'daki önyargıyla savaşmak için AI kullanıyor.
İnsanlar Önyargılıdır
Denklemin her iki tarafında da insanlarımız var. İnsanlar analizi hazırlıyor ve insanlar bilgiyi alıyor. Araştırmacılar var, okuyucular var. Herhangi bir iletişimde, iletim veya alımda sorunlar olabilir.
Örneğin hava durumunu ele alalım. "Yağmur ihtimali" ne anlama geliyor? İlk olarak, meteorologlar yağmur ihtimali var derken ne demek istiyorlar? ABD hükümetine göre Ulusal Hava Servisi, yağmur ihtimali veya Yağış Olasılığı (PoP) dedikleri şey, bir hava tahmininde en az anlaşılan unsurlardan biridir. Standart bir tanımı vardır: "Yağış olasılığı, belirtilen zaman aralığında belirli bir alanda belirli bir alanda daha fazla yağışın 0.01 inç [sic] istatistiksel olasılığıdır." "Verilen alan" tahmin alanıdır veya broaddöküm alanı. Bu, resmi Yağış Olasılığının bölgede bir yerde yağmur yağacağına olan güvene ve alanın ıslanacak yüzdesine bağlı olduğu anlamına gelir. Başka bir deyişle, eğer meteorolog tahmin alanında yağmur yağacağından eminse (Güven = %100), o zaman PoP, alanın yağmur alacak kısmını temsil eder.
Paris Caddesi; Yağmurlu gün,Gustave Caillebotte (1848-1894) Chicago Sanat Enstitüsü Public Domain
Yağmur ihtimali hem güvene hem de bölgeye bağlıdır. Bunu bilmiyordum. Diğer insanların da bunu bilmediğinden şüpheleniyorum. Nüfusun yaklaşık %75'i PoP'nin nasıl hesaplandığını veya neyi temsil etmesi gerektiğini tam olarak anlamıyor. Peki biz mi kandırılıyoruz yoksa bu bir algı sorunu mu? Buna yağış algısı diyelim. Hava tahmincisini suçluyor muyuz? Adil olmak gerekirse, bazı karışıklık hava tahmincileri arasında da. Birinde anketAnkete katılan meteorologların %43'ü PoP tanımında çok az tutarlılık olduğunu söyledi.
Analizin Kendisi Taraflı
Beş etkileyen faktörden, analizin kendisi en şaşırtıcı olabilir. Gözden geçirilmiş bir makalenin yayınlanmasıyla sonuçlanan bilimsel araştırmalarda, tipik olarak bir teori varsayılır, hipotezi test etmek için yöntemler tanımlanır, veriler toplanır ve ardından veriler analiz edilir. Yapılan analizin türü ve nasıl yapıldığı, sonuçları nasıl etkilediği konusunda yeterince takdir görmemektedir. İçinde kâğıt Uluslararası Kanser Dergisi'nde bu yılın başlarında (Ocak 2022) yayınlanan yazarlar, randomize kontrollü çalışmaların ve retrospektif gözlemsel çalışmaların sonuçlarının olup olmadığını değerlendirdi. Bulguları şu sonuca varmıştı:
Karşılaştırmalı etkililik araştırmasında analitik seçimleri değiştirerek, zıt sonuçlar elde ettik. Sonuçlarımız, bazı retrospektif gözlemsel çalışmaların, bir tedavinin hastalar için sonuçları iyileştirdiğini bulabileceğini, benzer başka bir çalışmanın ise sadece analitik seçimlere dayalı olarak iyileştirmediğini bulabileceğini düşündürmektedir.
Geçmişte, bilimsel bir dergi makalesini okurken, benim gibiyseniz, sonuçların veya sonuçların tamamen verilerle ilgili olduğunu düşünmüş olabilirsiniz. Şimdi, öyle görünüyor ki, sonuçlar veya ilk hipotezin doğrulanıp doğrulanmadığı da analiz yöntemine bağlı olabilir.
Başka ders çalışma benzer sonuçlar buldu. Makale, Birçok Analist, Tek Veri Seti: Analitik Tercihlerdeki Varyasyonların Sonuçları Nasıl Etkilediğini Şeffaf Hale Getirmek, aynı veri setini analiz etmeleri için 29 farklı takıma nasıl verdiklerini anlatıyor. Veri analizi genellikle tek bir sonuca götüren katı, iyi tanımlanmış bir süreç olarak görülür.
Metodologların itirazlarına rağmen, sonuçların kendisi teori, varsayımlar ve seçim noktaları ile dolu olan seçilen analitik stratejiye bağlı olabileceği gerçeğini gözden kaçırmak kolaydır. Çoğu durumda, bir araştırma sorusuyla ilgili verileri değerlendirmek için birçok makul (ve pek çok mantıksız) yaklaşım vardır.
Araştırmacılar, verilerin analizini kitle kaynaklı olarak yaptı ve tüm araştırmaların, çalışmanın nihai sonucunu etkileyebilecek hangi tür analizlerin kullanılacağı da dahil olmak üzere sübjektif kararlar içerdiği sonucuna vardılar.
başka birinin tavsiyesi araştırmacı Yukarıdaki çalışmayı analiz eden kişi, karar verirken veya sonuç çıkarırken tek bir kağıt kullanırken dikkatli olmalıdır.
Analitikte Önyargıyı Ele Alma
Bu sadece bir uyarı hikayesidir. Bilgi bizi dolandırıcılıkların tuzağına düşmekten koruyabilir. Bir tarayıcının bizi kandırmak için kullanabileceği olası yöntemlerden ne kadar haberdar olursak, diyelim ki bir yankesicinin yanlış yönlendirmesi veya bir Ponzi oyununun yumuşak konuşmasıyla kandırılma olasılığımız o kadar azalır. Dolayısıyla, analitiklerimizi etkileyen potansiyel önyargıları anlamak ve tanımakla olur. Potansiyel etkilerin farkındaysak, hikayeyi daha iyi sunabilir ve nihayetinde daha iyi kararlar verebiliriz.
