Kebohongan Analitik
Bias Analisis
Mark Twain berdebat mengatakan sesuatu seperti, “Ada tiga jenis kebohongan: kebohongan, kebohongan terkutuk dan— analisis. "
Kami menerima begitu saja bahwa analitik memberi kami wawasan yang berguna dan dapat ditindaklanjuti. Apa yang sering tidak kita sadari adalah bagaimana bias kita sendiri dan bias orang lain mempengaruhi jawaban yang diberikan kepada kita bahkan oleh perangkat lunak dan sistem yang paling canggih sekalipun. Terkadang, kita mungkin dimanipulasi secara tidak jujur, tetapi, yang lebih umum, mungkin bias halus dan tidak disadari yang menyusup ke dalam analitik kita. Motivasi di balik analitik bias berlipat ganda. Terkadang hasil yang tidak memihak yang kita harapkan dari sains dipengaruhi oleh 1) pilihan halus dalam cara data disajikan, 2) data yang tidak konsisten atau tidak representatif, 3) bagaimana sistem AI dilatih, 4) ketidaktahuan, ketidakmampuan peneliti atau orang lain yang mencoba untuk bercerita, 5) analisis itu sendiri.
Presentasinya Bias
Beberapa kebohongan lebih mudah dikenali daripada yang lain. Ketika Anda tahu apa yang harus dicari, Anda mungkin lebih mudah mendeteksi potensi grafik dan diagram yang menyesatkan.
Setidaknya ada lima cara untuk menampilkan data secara menyesatkan: 1) Menampilkan kumpulan data terbatas, 2). Menampilkan korelasi yang tidak berhubungan, 3) Menampilkan data secara tidak akurat, 4) Menampilkan data secara tidak konvensional, atau 5). Tampilkan data yang terlalu disederhanakan.
Tampilkan kumpulan data terbatas
Membatasi data, atau memilih bagian data yang tidak acak sering kali dapat menceritakan kisah yang tidak konsisten dengan gambaran besar. Pengambilan sampel yang buruk, atau pemetikan ceri, adalah ketika analis menggunakan sampel yang tidak representatif untuk mewakili kelompok yang lebih besar.
Pada bulan Maret 2020, Departemen Kesehatan Masyarakat Georgia menerbitkan bagan ini sebagai bagian dari laporan status hariannya. Ini sebenarnya menimbulkan lebih banyak pertanyaan daripada jawaban.
Salah satu hal yang hilang adalah konteks. Misalnya, akan sangat membantu untuk mengetahui berapa persentase populasi untuk setiap kelompok umur. Masalah lain dengan diagram lingkaran yang tampak sederhana adalah kelompok usia yang tidak merata. 0-17 memiliki 18 tahun, 18-59 memiliki 42, 60+ terbuka, tetapi memiliki sekitar 40 tahun. Kesimpulannya, berdasarkan grafik ini saja, sebagian besar kasus terjadi pada kelompok usia 18-59 tahun. Kelompok usia 60+ tahun terlihat tidak terlalu terpengaruh oleh kasus COVID. Tapi ini bukan keseluruhan cerita.
Sebagai perbandingan, kumpulan data yang berbeda ini pada Situs web CDC grafik kasus COVID berdasarkan kelompok umur dengan data tambahan persentase Penduduk AS yang ada di setiap rentang usia.
Ini lebih baik. Kami memiliki lebih banyak konteks. Kita dapat melihat bahwa kelompok umur 18-29, 30-39, 40-49 semuanya memiliki persentase kasus yang lebih tinggi daripada persentase kelompok umur dalam populasi. Masih ada beberapa pengelompokan umur yang tidak merata. Mengapa 16-17 adalah kelompok usia yang terpisah? Masih ini bukan keseluruhan cerita, tetapi pakar telah menulis kolom, membuat prediksi dan mandat kurang dari ini. Jelas, dengan COVID, ada banyak variabel selain usia yang mempengaruhi dihitung sebagai kasus positif: status vaksinasi, ketersediaan tes, berapa kali diuji, penyakit penyerta, dan banyak lainnya. Jumlah kasus itu sendiri, memberikan gambaran yang tidak lengkap. Sebagian besar ahli juga melihat Jumlah kematian, atau persentase kematian per 100,000 penduduk, atau kasus kematian untuk melihat bagaimana COVID memengaruhi setiap kelompok usia.
Tunjukkan korelasi yang tidak terkait
Jelas, ada korelasi yang kuat antara pengeluaran AS untuk ilmu pengetahuan, luar angkasa, dan teknologi dan jumlah Bunuh diri dengan cara digantung, dicekik, dan mati lemas. Korelasi adalah 99.79%, hampir cocok.
Namun, siapa yang akan membuat kasus bahwa ini entah bagaimana terkait, atau yang satu menyebabkan yang lain? Ada contoh lain yang kurang ekstrem, tetapi tidak kalah palsu. Ada korelasi kuat yang serupa antara Letters in Winning Word of Scripps National Spelling Bee dan Jumlah Orang yang Dibunuh oleh Laba-laba Berbisa. Kebetulan? Kamu putuskan.
Cara lain untuk memetakan data ini yang mungkin kurang menyesatkan adalah dengan memasukkan nol pada kedua sumbu Y.
Tampilkan data secara tidak akurat
Dari Cara Menampilkan Data dengan Buruk, Negara Bagian Georgia AS mempersembahkan 5 Kabupaten Teratas dengan Jumlah Kasus Terkonfirmasi COVID-19 Terbesar.
Terlihat sah, bukan? Jelas ada tren penurunan kasus COVID-19 yang dikonfirmasi. Bisakah Anda membaca sumbu X? Sumbu X mewakili waktu. Biasanya, tanggal akan bertambah dari kiri ke kanan. Di sini, kita melihat sedikit perjalanan waktu pada sumbu X:
4/28/2020
4/27/2020
4/29/2020
5/1/2020
4/30/2020
5/4/2020
5/6/2020
5/5/2020
5/2/22020 ...
Tunggu? Apa? Sumbu X tidak diurutkan secara kronologis. Jadi, sebagus apa pun trennya, kami tidak bisa menarik kesimpulan apa pun. Jika tanggal diurutkan, batang untuk jumlah kotak menunjukkan lebih banyak pola gigi gergaji daripada jenis tren apa pun.
Perbaikan mudah di sini adalah mengurutkan tanggal seperti kalender.
Tampilkan data secara tidak biasa
Kita semua sibuk. Otak kita telah mengajari kita untuk membuat penilaian cepat berdasarkan asumsi yang telah konsisten di dunia kita. Misalnya, setiap grafik yang pernah saya lihat menunjukkan pertemuan sumbu x dan y pada nol, atau nilai terendah. Melihat grafik ini secara singkat, kesimpulan apa yang dapat Anda tarik tentang efek Florida? “Tegakkan hukum dasar Anda.”? Saya malu untuk mengakuinya, tetapi grafik ini pada awalnya menipu saya. Mata Anda dengan mudah tertarik ke teks dan panah di tengah grafik. Bawah adalah atas dalam grafik ini. Ini mungkin bukan kebohongan – datanya ada di sana. Tapi, saya harus berpikir bahwa itu dimaksudkan untuk menipu. Jika Anda belum melihatnya, nol pada sumbu y ada di atas. Jadi, ketika tren data turun, itu berarti lebih banyak kematian. Bagan ini menunjukkan bahwa jumlah pembunuhan menggunakan senjata api Pada meningkat setelah tahun 2005, ditunjukkan dengan tren yang sedang berlangsung turun.
Tampilkan data yang terlalu disederhanakan
Salah satu contoh penyederhanaan data yang berlebihan dapat dilihat ketika analis memanfaatkan Paradoks Simpson. Ini adalah fenomena yang terjadi ketika data yang dikumpulkan muncul untuk menunjukkan kesimpulan yang berbeda daripada ketika dipisahkan menjadi himpunan bagian. Jebakan ini mudah jatuh ketika melihat persentase agregat tingkat tinggi. Salah satu ilustrasi paling jelas dari Paradoks Simpson di tempat kerja terkait dengan rata-rata pukulan.
Di sini kita melihat bahwa Derek Jeter memiliki rata-rata pukulan keseluruhan yang lebih tinggi daripada David Justice untuk musim 1995 dan 1996. Paradoks muncul ketika kita menyadari bahwa Keadilan mengalahkan Jeter dalam rata-rata pukulan kedua tahun itu. Jika Anda perhatikan baik-baik, masuk akal ketika Anda menyadari bahwa Jeter memiliki sekitar 4x lebih banyak at-bat (penyebut) pada tahun 1996 dengan rata-rata 007 lebih rendah pada tahun 1996. Padahal, Justice memiliki sekitar 10x jumlah at-bats hanya . 003 rata-rata lebih tinggi pada tahun 1995.
Presentasinya tampak lugas, tetapi Paradoks Simpson, disadari atau tidak, telah menyebabkan kesimpulan yang salah. Baru-baru ini, ada contoh Paradoks Simpson di berita dan di media sosial terkait vaksin dan kematian COVID. Satu grafik menunjukkan grafik garis yang membandingkan tingkat kematian antara yang divaksinasi dan tidak divaksinasi untuk orang berusia 10-59 tahun. Grafik menunjukkan bahwa yang tidak divaksinasi secara konsisten memiliki tingkat kematian yang lebih rendah. Apa yang terjadi di sini?
Masalahnya mirip dengan yang kita lihat dengan rata-rata batting. Penyebut dalam hal ini adalah banyaknya individu pada setiap kelompok umur. Grafik menggabungkan kelompok yang memiliki hasil yang berbeda. Jika kita melihat kelompok usia yang lebih tua, 50-59 , secara terpisah, kita melihat bahwa tarif yang divaksinasi lebih baik. Demikian juga, jika kita melihat 10-49, kita juga melihat bahwa tarif yang divaksinasi lebih baik. Paradoksnya, ketika melihat kumpulan gabungan, yang tidak divaksinasi tampaknya memiliki hasil yang lebih buruk. Dengan cara ini, Anda dapat membuat argumen untuk argumen yang berlawanan menggunakan data.
Datanya Bias
Data tidak selalu dapat dipercaya. Bahkan di komunitas ilmiah, lebih dari sepertiga peneliti yang disurvei mengaku “praktik penelitian yang dipertanyakan.” Lain detektif penipuan penelitian mengatakan, “Kemungkinan besar ada lebih banyak penipuan dalam data – tabel, grafik garis, data pengurutan [– daripada yang sebenarnya kami temukan]. Siapa pun yang duduk di meja dapur mereka dapat memasukkan beberapa angka ke dalam spreadsheet dan membuat grafik garis yang terlihat meyakinkan.”
Ini dulu contoh sepertinya seseorang melakukan hal itu. Saya tidak mengatakan ini penipuan, tetapi sebagai survei, itu tidak menghasilkan data apa pun yang berkontribusi pada keputusan yang tepat. Sepertinya survei menanyakan pendapat responden tentang kopi pom bensin, atau peristiwa terkini lainnya yang relevan..
- Hebat
- Besar
- Sangat baik
Saya telah memotong posting Twitter untuk menghapus referensi ke pihak yang bersalah, tetapi ini adalah keseluruhan bagan hasil akhir survei yang sebenarnya. Survei seperti ini tidak jarang. Jelas, bagan apa pun yang dibuat dari data yang dihasilkan dari tanggapan akan menunjukkan kopi yang dimaksud tidak boleh dilewatkan.
Masalahnya adalah jika Anda telah diberikan survei ini dan tidak menemukan jawaban yang sesuai dengan pemikiran Anda, Anda akan melewatkan survei tersebut. Ini mungkin contoh ekstrem tentang bagaimana data yang tidak dapat dipercaya dapat dibuat. Desain survei yang buruk, bagaimanapun, dapat menyebabkan lebih sedikit tanggapan dan mereka yang menanggapi hanya memiliki satu pendapat, itu hanya masalah derajat. Datanya bias.
Contoh bias data kedua ini adalah dari file “Grafik Menyesatkan COVID 19 Terburuk. "
Sekali lagi, ini halus dan tidak sepenuhnya jelas. Grafik batang menunjukkan penurunan yang mulus – hampir terlalu mulus – dalam persentase kasus positif COVID-19 dari waktu ke waktu untuk sebuah kabupaten di Florida. Anda dapat dengan mudah menarik kesimpulan bahwa kasus menurun. Itu bagus, visualisasi secara akurat mewakili data. Masalahnya ada di datanya. Jadi, ini adalah bias yang lebih berbahaya karena Anda tidak dapat melihatnya. Itu dimasukkan ke dalam data. Pertanyaan yang perlu Anda tanyakan, antara lain, siapa yang diuji? Dengan kata lain, apa penyebutnya, atau populasi yang kita lihat dalam persentase. Asumsinya adalah bahwa itu adalah seluruh populasi, atau setidaknya, sampel yang representatif.
Namun, selama periode ini, di kabupaten ini, tes hanya diberikan kepada sejumlah orang terbatas. Mereka harus memiliki gejala seperti COVID, atau baru-baru ini bepergian ke suatu negara dalam daftar hot spot. Selain itu, hasil yang membingungkan adalah kenyataan bahwa setiap tes positif dihitung dan setiap tes negatif dihitung. Biasanya, ketika seseorang dites positif, mereka akan melakukan tes lagi ketika virus telah berjalan dan akan dites negatif. Jadi, dalam arti, untuk setiap kasus positif, ada kasus uji negatif yang membatalkannya. Sebagian besar tes negatif dan tes negatif masing-masing individu dihitung. Anda dapat melihat bagaimana data bias dan tidak terlalu berguna untuk membuat keputusan.
Masukan dan Pelatihan AI Bias
Setidaknya ada dua cara di mana AI dapat menghasilkan hasil yang bias: dimulai dengan data yang bias, atau menggunakan algoritma yang bias untuk memproses data yang valid.
Masukan Bias
Banyak dari kita mendapat kesan bahwa AI dapat dipercaya untuk mengolah angka, menerapkan algoritmenya, dan mengeluarkan analisis data yang andal. Kecerdasan Buatan hanya bisa secerdas itu dilatih. Jika data yang dilatihnya tidak sempurna, hasil atau kesimpulannya juga tidak dapat dipercaya. Serupa dengan kasus bias survei di atas, ada beberapa cara di mana data dapat bias dalam pembelajaran mesin:.
- Bias sampel – kumpulan data pelatihan tidak mewakili seluruh populasi.
- Bias pengecualian – terkadang apa yang tampak sebagai outlier sebenarnya valid, atau, di mana kita menarik garis tentang apa yang harus disertakan (kode pos, tanggal, dll).
- Bias pengukuran – konvensi adalah untuk selalu mengukur dari tengah dan bawah meniskus, misalnya, ketika mengukur cairan dalam labu volumetrik atau tabung reaksi (kecuali merkuri.)
- Recall bias – ketika penelitian bergantung pada ingatan partisipan.
- Bias pengamat – ilmuwan, seperti semua manusia, lebih cenderung melihat apa yang mereka harapkan untuk dilihat.
- Bias seksis dan rasis – jenis kelamin atau ras mungkin berlebihan atau kurang terwakili.
- Bias asosiasi – data memperkuat stereotip
Agar AI memberikan hasil yang andal, data pelatihannya harus mewakili dunia nyata. Seperti yang telah kita bahas di artikel blog sebelumnya, persiapan data sangat penting dan seperti proyek data lainnya. Data yang tidak dapat diandalkan dapat mengajarkan sistem pembelajaran mesin pelajaran yang salah dan akan menghasilkan kesimpulan yang salah. Yang mengatakan, “Semua data bias. Ini bukan paranoid. Ini adalah fakta." - Sanjiv M. Narayan, Fakultas Kedokteran Universitas Stanford.
Menggunakan data yang bias untuk pelatihan telah menyebabkan sejumlah kegagalan AI yang mencolok. (Contoh di sini dan di sini, penelitian di sini..)
Algoritma Bias
Algoritma adalah seperangkat aturan yang menerima input dan menciptakan output untuk menjawab masalah bisnis. Mereka sering kali merupakan pohon keputusan yang terdefinisi dengan baik. Algoritma terasa seperti kotak hitam. Tidak ada yang yakin bagaimana mereka bekerja, seringkali, bahkan tidak perusahaan yang menggunakannya. Oh, dan mereka sering menjadi milik. Sifatnya yang misterius dan kompleks adalah salah satu alasan mengapa algoritma bias sangat berbahaya. .
Pertimbangkan algoritme AI dalam kedokteran, SDM, atau keuangan yang mempertimbangkan ras. Jika ras adalah faktor, algoritma tidak bisa buta ras. Ini tidak teoretis. Masalah seperti ini telah ditemukan di dunia nyata menggunakan AI di mempekerjakan, berbagi tumpangan, aplikasi pinjamans, dan transplantasi ginjal.
Intinya adalah bahwa jika data atau algoritme Anda buruk, lebih buruk daripada tidak berguna, mereka mungkin berbahaya. Ada yang namanya "audit algoritmik.” Tujuannya adalah untuk membantu organisasi mengidentifikasi potensi risiko yang terkait dengan algoritme yang terkait dengan keadilan, bias, dan diskriminasi. Di tempat lain, Facebook menggunakan AI untuk melawan bias di AI.
Orang-orang bias
Kami memiliki orang-orang di kedua sisi persamaan. Orang-orang mempersiapkan analisis dan orang-orang menerima informasi. Ada peneliti dan ada pembaca. Dalam komunikasi apa pun, mungkin ada masalah dalam transmisi atau penerimaan.
Ambil cuaca, misalnya. Apa yang dimaksud dengan "kesempatan hujan"? Pertama, apa maksud para ahli meteorologi ketika mereka mengatakan ada kemungkinan hujan? Menurut pemerintah AS National Weather Service, peluang hujan, atau yang mereka sebut Probability of Precipitation (PoP), adalah salah satu elemen prakiraan cuaca yang paling sedikit dipahami. Itu memang memiliki definisi standar: “Probabilitas presipitasi hanyalah probabilitas statistik 0.01″ inci [sic] dari [sic] lebih banyak presipitasi di area tertentu di area perkiraan yang diberikan dalam periode waktu yang ditentukan.” "Area yang diberikan" adalah area perkiraan, atau broaddaerah cor. Itu berarti bahwa Probabilitas Presipitasi resmi tergantung pada keyakinan bahwa akan turun hujan di suatu tempat di daerah tersebut dan persentase daerah yang akan basah. Dengan kata lain, jika ahli meteorologi yakin akan hujan di daerah yang diramalkan (Keyakinan = 100%), maka PoP mewakili bagian daerah yang akan menerima hujan.
Jalan Paris; Hari hujan,Gustave Caillebotte (1848-1894) Institut Seni Chicago Domain Publik
Peluang hujan tergantung pada kepercayaan diri dan area. Saya tidak tahu hal itu. Saya curiga orang lain juga tidak tahu itu. Sekitar 75% populasi tidak memahami secara akurat bagaimana PoP dihitung, atau apa yang dimaksudkan untuk diwakili. Jadi, apakah kita tertipu, atau, apakah ini masalah persepsi. Sebut saja persepsi presipitasi. Apakah kita menyalahkan peramal cuaca? Agar adil, ada beberapa kebingungan di antara peramal cuaca juga. Jadi satu , 43% ahli meteorologi yang disurvei mengatakan bahwa sangat sedikit konsistensi dalam definisi PoP.
Analisis Itu Sendiri Bias
Dari lima faktor yang mempengaruhi, analisisnya sendiri mungkin yang paling mengejutkan. Dalam penelitian ilmiah yang menghasilkan makalah ulasan yang diterbitkan, biasanya teori dihipotesiskan, metode ditentukan untuk menguji hipotesis, data dikumpulkan, kemudian data dianalisis. Jenis analisis yang dilakukan dan cara melakukannya kurang dihargai dalam hal pengaruhnya terhadap kesimpulan. Di sebuah kertas diterbitkan awal tahun ini (Januari 2022), dalam International Journal of Cancer, penulis mengevaluasi apakah hasil uji coba terkontrol secara acak dan studi observasional retrospektif. Temuan mereka menyimpulkan, bahwa,
Dengan memvariasikan pilihan analitik dalam penelitian efektivitas komparatif, kami menghasilkan hasil yang berlawanan. Hasil kami menunjukkan bahwa beberapa penelitian observasional retrospektif mungkin menemukan pengobatan meningkatkan hasil untuk pasien, sementara penelitian serupa lainnya mungkin tidak, hanya berdasarkan pilihan analitis.
Dulu, ketika membaca artikel jurnal ilmiah, jika Anda seperti saya, mungkin Anda mengira bahwa hasil atau kesimpulan adalah semua tentang data. Sekarang, tampaknya hasil, atau apakah hipotesis awal dikonfirmasi atau disangkal mungkin juga bergantung pada metode analisis.
Lain belajar menemukan hasil yang serupa. Artikel, Banyak Analis, Satu Kumpulan Data: Menjadikan Transparan Bagaimana Variasi dalam Pilihan Analitik Mempengaruhi Hasil, menjelaskan bagaimana mereka memberikan kumpulan data yang sama kepada 29 tim yang berbeda untuk dianalisis. Analisis data sering dilihat sebagai proses yang ketat dan terdefinisi dengan baik yang mengarah pada satu kesimpulan.
Terlepas dari protes para ahli metodologi, mudah untuk mengabaikan fakta bahwa hasil mungkin bergantung pada strategi analitik yang dipilih, yang dengan sendirinya dipenuhi dengan teori, asumsi, dan poin pilihan. Dalam banyak kasus, ada banyak pendekatan yang masuk akal (dan banyak yang tidak masuk akal) untuk mengevaluasi data yang berhubungan dengan pertanyaan penelitian.
Para peneliti mengumpulkan analisis data dan sampai pada kesimpulan bahwa semua penelitian mencakup keputusan subjektif – termasuk jenis analisis yang digunakan – yang dapat mempengaruhi hasil akhir penelitian.
Rekomendasi orang lain peneliti yang menganalisis penelitian di atas adalah berhati-hati ketika menggunakan satu makalah dalam mengambil keputusan atau menarik kesimpulan.
Mengatasi Bias di Analytics
Ini hanya dimaksudkan untuk menjadi kisah peringatan. Pengetahuan dapat melindungi kita dari penipuan. Semakin sadar kemungkinan metode pemindai yang mungkin digunakan untuk menipu kita, semakin kecil kemungkinan kita untuk dibawa ke dalam, katakanlah, oleh, katakanlah, penyesatan pencopet, atau pembicaraan halus dari permainan Ponzi. Begitu pula dengan memahami dan mengenali potensi bias yang memengaruhi analitik kami. Jika kita menyadari pengaruh potensial, kita mungkin dapat menyajikan cerita dengan lebih baik dan pada akhirnya membuat keputusan yang lebih baik.
