שקר אנליטיקס
ההטיה של הניתוח
מארק טוויין אמר במחלוקת משהו כמו, "יש שלושה סוגים של שקרים: שקרים, שקרים ארורים ושקרים. ניתוח".
אנחנו לוקחים כמובן מאליו שאנליטיקה נותנת לנו תובנות מועילות וניתנות לפעולה. מה שלעתים קרובות איננו מבינים כיצד ההטיות שלנו ושל אחרים משפיעות על התשובות שאנו מקבלים אפילו מהתוכנות והמערכות המתוחכמות ביותר. לפעמים, אנחנו עשויים להיות מניפולציות לא ישרות, אבל, יותר נפוץ, זה עשוי להיות הטיות עדינות ולא מודעות שמתגנבות לניתוח שלנו. המניע מאחורי ניתוח מוטה הוא רב. לפעמים התוצאות חסרות פניות שאנו מצפים מהמדע מושפעות מ-1) בחירות עדינות באופן הצגת הנתונים, 2) נתונים לא עקביים או לא מייצגים, 3) איך מאמנים מערכות בינה מלאכותית, 4) הבורות, חוסר היכולת של חוקרים או אחרים המנסים לספר את הסיפור, 5) הניתוח עצמו.
המצגת מוטה
קל יותר לזהות חלק מהשקרים מאחרים. כאשר אתה יודע מה לחפש אתה עשוי לזהות בקלות רבה יותר פוטנציאל גרפים ותרשימים מטעים.
יש לפחות חמש דרכים להציג נתונים באופן מטעה: 1) הצג מערך נתונים מוגבל, 2). הצג מתאמים לא קשורים, 3) הצג נתונים בצורה לא מדויקת, 4) הצג נתונים באופן לא שגרתי, או 5). הצג נתונים בפשטות יתר.
הצג מערך נתונים מוגבל
הגבלת הנתונים, או בחירה ידנית של קטע לא אקראי של הנתונים יכולים לעתים קרובות לספר סיפור שאינו עולה בקנה אחד עם התמונה הגדולה. דגימה גרועה, או קטיף דובדבנים, היא כאשר האנליסט משתמש במדגם לא מייצג כדי לייצג קבוצה גדולה יותר.
במארס 2020, המחלקה לבריאות הציבור של ג'ורג'יה פרסם תרשים זה כחלק מדוח המצב היומי שלו. זה בעצם מעלה יותר שאלות ממה שהוא עונה.
אחד הדברים שחסרים הוא ההקשר. לדוגמה, כדאי לדעת מהו אחוז האוכלוסייה עבור כל קבוצת גיל. בעיה נוספת עם תרשים העוגה הפשוט למראה הוא קבוצות הגיל הלא אחידות. ל-0-17 יש 18 שנים, ל-18-59 יש 42, ל-60+ יש קצה פתוח, אבל יש לו בערך 40 שנים. המסקנה, בהתחשב בתרשים זה בלבד, היא שרוב המקרים הם בקבוצת הגיל 18-59. נראה כי קבוצת הגיל 60+ מושפעת פחות ממקרי COVID. אבל זה לא כל הסיפור.
לשם השוואה, מערך הנתונים השונה הזה על אתר האינטרנט של CDC משרטט מקרים של COVID לפי קבוצת גיל עם הנתונים הנוספים על אחוז האוכלוסייה בארה"ב שנמצא בכל טווח גילאים.
זה יותר טוב. יש לנו יותר הקשר. אנו יכולים לראות כי בקבוצות הגיל 18-29, 30-39, 40-49 יש בכולן אחוז גבוה יותר של מקרים מאשר אחוז קבוצת הגיל באוכלוסייה. יש עדיין כמה קבוצות גיל לא אחידות. מדוע 16-17 היא קבוצת גיל נפרדת? עדיין זה לא כל הסיפור, אבל מומחים כתבו טורים, עשו תחזיות ומנדטים על פחות מזה. ברור, עם COVID, ישנם משתנים רבים בנוסף לגיל שמשפיעים על הנחשב כמקרה חיובי: מצב חיסון, זמינות בדיקות, מספר פעמים שנבדקו, מחלות נלוות ועוד רבים אחרים. מספר המקרים, כשלעצמו, מספק תמונה לא מלאה. רוב המומחים גם בוחנים את מספר מקרי המוות, או אחוזי מקרי המוות לכל 100,000 אוכלוסייה, או מקרי מוות כדי לבדוק כיצד נגיף הקורונה משפיע על כל קבוצת גיל.
הצג מתאמים לא קשורים
ברור שיש א מתאם חזק בין הוצאות ארה"ב על מדע, חלל וטכנולוגיה לבין מספר ההתאבדויות בתלייה, חנק וחנק. המתאם הוא 99.79%, כמעט התאמה מושלמת.
עם זאת, מי יטען שהדברים קשורים איכשהו, או שאחד גורם לשני? יש עוד דוגמאות פחות קיצוניות, אבל לא פחות מזויפות. יש מתאם חזק דומה בין אותיות במילה הזוכה של Scripps National Spelling Bee לבין מספר האנשים שנהרגו על ידי עכבישים ארסיים. יָד הַמִקרֶה? אתה תחליט.
דרך נוספת לשרטט נתונים אלה שעלולים להיות פחות מטעים היא לכלול אפס בשני צירי ה-Y.
הצג נתונים בצורה לא מדויקת
מ כיצד להציג נתונים בצורה גרועה, מדינת ג'ורג'יה האמריקאית הציגה את 5 המחוזות המובילים עם המספר הגדול ביותר של מקרים מאושרים של COVID-19.
נראה לגיטימי, נכון? ברור שיש מגמת ירידה של מקרים מאושרים של COVID-19. האם אתה יכול לקרוא את ציר ה-X? ציר ה-X מייצג זמן. בדרך כלל, התאריכים יגדלו משמאל לימין. כאן, אנו רואים מסע קטן בזמן על ציר ה-X:
4/28/2020
4/27/2020
4/29/2020
5/1/2020
4/30/2020
5/4/2020
5/6/2020
5/5/2020
5/2/22020 ...
לַחֲכוֹת? מה? ציר ה-X אינו ממוין באופן כרונולוגי. אז, עד כמה שהטרנד נראה נחמד, אנחנו לא יכולים להסיק מסקנות. אם התאריכים מסודרים, הפסים של מספר המקרים מראים יותר דפוס שן מאשר כל סוג של טרנד.
התיקון הקל כאן הוא למיין את התאריכים כפי שעושה לוח שנה.
הצג נתונים באופן לא שגרתי
כולנו עסוקים. המוח שלנו לימד אותנו לעשות שיפוט מהיר בהתבסס על הנחות שהיו עקביות בעולמנו. לדוגמה, כל גרף שראיתי אי פעם מציג את צירי ה-X וה-Y נפגשים באפס, או בערכים הנמוכים ביותר. בהסתכלות קצרה על התרשים הזה, אילו מסקנות אתה יכול להסיק לגבי ההשפעה של פלורידה "עמד על חוקי היסוד שלך."? אני מתבייש להודות בזה, אבל הגרף הזה הטעה אותי בהתחלה. העין שלך נמשכת בצורה נוחה לטקסט ולחץ באמצע הגרפיקה. למטה זה למעלה בגרף הזה. אולי זה לא שקר - הנתונים בסדר שם. אבל, אני חייב לחשוב שזה נועד להונות. אם עדיין לא ראיתם אותו, אפס על ציר ה-Y נמצא בחלק העליון. אז, ככל שהנתונים יורדים, זה אומר יותר מקרי מוות. תרשים זה מראה כי מספר מקרי הרצח באמצעות נשק חם גדל לאחר 2005, המעיד על כך שהמגמה הולכת מטה.
הצג את הנתונים בפשטות יתר
דוגמה אחת לפישוט יתר של הנתונים ניתן לראות כאשר אנליסטים מנצלים את הפרדוקס של סימפסון. זוהי תופעה המתרחשת כאשר נראה כי נתונים מצטברים מדגימים מסקנה שונה מאשר כאשר הם מופרדים לתת-קבוצות. קל ליפול למלכודת הזו כאשר מסתכלים על אחוזים מצטברים ברמה גבוהה. אחד האיורים המובהקים של הפרדוקס של סימפסון בעבודה קשור אליו ממוצעי חבטות.
כאן אנו רואים שלדרק ג'טר יש ממוצע חבטות כללי גבוה יותר מדיוויד ג'סטיס בעונות 1995 ו-1996. הפרדוקס מגיע כאשר אנו מבינים שצדק ניצח את ג'טר בממוצע החבטות בשתי השנים הללו. אם אתה מסתכל היטב, זה הגיוני כשאתה מבין שלג'טר היו בערך פי 4 יותר מכות (המכנה) בשנת 1996 בממוצע נמוך של 007 בשנת 1996. בעוד שלצדק היה בערך פי 10 ממספר העטלפים רק ב-. 003 ממוצע גבוה יותר ב-1995.
המצגת נראית פשוטה, אבל הפרדוקס של סימפסון, ביודעין או בלי משים, הוביל למסקנות שגויות. לאחרונה, היו דוגמאות לפרדוקס סימפסון בחדשות וברשתות החברתיות הקשורות לחיסונים ולתמותה מנגיף הקורונה. אחד תרשים מציג גרף קו המשווה את שיעורי התמותה בין מחוסנים לבלתי מחוסנים עבור אנשים בגילאי 10-59. התרשים מראה שללא מחוסנים יש באופן עקבי שיעור תמותה נמוך יותר. מה קורה פה?
הבעיה דומה לזו שאנו רואים עם ממוצעי חבטות. המכנה במקרה זה הוא מספר הפרטים בכל קבוצת גיל. הגרף משלב קבוצות בעלות תוצאות שונות. אם נסתכל על קבוצת הגיל המבוגרת יותר, 50-59, בנפרד, אנו רואים שהחיסון משתלם יותר. כמו כן, אם נסתכל על 10-49, אנו רואים גם שהמחוסנים משתלמים יותר. באופן פרדוקסלי, כאשר מסתכלים על הסט המשולב, נראה כי ללא מחוסנים יש תוצאה גרועה יותר. בדרך זו, אתה יכול להמציא טיעונים מנוגדים באמצעות הנתונים.
הנתונים מוטים
לא תמיד ניתן לסמוך על נתונים. אפילו בקהילה המדעית, יותר משליש מהחוקרים שנשאלו הודו בכך "שיטות מחקר מפוקפקות." אחר בלש מחקר הונאה אומר, "סביר להניח שיש הרבה יותר הונאה בנתונים - טבלאות, גרפי קווים, נתוני רצף [- ממה שאנו מגלים בפועל]. כל מי שיושב ליד שולחן המטבח שלו יכול לשים כמה מספרים בגיליון אלקטרוני וליצור גרף קו שנראה משכנע".
זה הראשון דוגמה נראה שמישהו עשה בדיוק את זה. אני לא אומר שזו הונאה, אבל בתור סקר, זה פשוט לא מייצר שום מידע שתורם להחלטה מושכלת. נראה שהסקר שאל את המשיבים לגבי דעתם על קפה בתחנת דלק, או על אירוע רלוונטי אחר אחר.
- מצוין
- גדול
- טוב מאוד
חתכתי את הפוסט בטוויטר כדי להסיר אזכורים לצד האשם, אבל זה כל התרשים האמיתי של התוצאות הסופיות של הסקר. סקרים כאלה אינם נדירים. ברור שכל תרשים שנוצר מהנתונים הנובעים מהתגובות יראה שאסור לפספס את הקפה המדובר.
הבעיה היא שאם הייתם מקבלים את הסקר הזה ולא מוצאים תשובה שמתאימה לחשיבה שלכם, הייתם מדלגים על הסקר. זו עשויה להיות דוגמה קיצונית לאופן שבו ניתן ליצור נתונים לא מהימנים. עיצוב סקר לקוי, לעומת זאת, יכול להוביל לפחות תגובות ולמי שכן מגיב יש רק דעה אחת, זה רק עניין של מידה. הנתונים מוטים.
הדוגמה השנייה הזו להטיית נתונים היא מהקבצים של "הגרפים המטעים ביותר של COVID 19".
שוב, זה עדין ולא לגמרי ברור. גרף העמודות מציג ירידה חלקה - כמעט חלקה מדי - באחוז מקרי ה-COVID-19 החיוביים לאורך זמן עבור מחוז בפלורידה. אתה יכול בקלות להסיק את המסקנה שהמקרים הולכים ופוחתים. זה נהדר, ההדמיה מייצגת במדויק את הנתונים. הבעיה היא בנתונים. אז, זו הטיה ערמומית יותר כי אתה לא יכול לראות את זה. זה אפוי בנתונים. השאלות שאתה צריך לשאול, כוללות, את מי נבדק? במילים אחרות, מהו המכנה, או האוכלוסייה שבה אנו מסתכלים על אחוז. ההנחה היא שמדובר באוכלוסיה כולה, או לפחות, מדגם מייצג.
עם זאת, במהלך תקופה זו, במחוז זה, ניתנו מבחנים רק למספר מצומצם של אנשים. הם היו צריכים לסבול מתסמינים דמויי COVID, או שהם נסעו לאחרונה למדינה ברשימת הנקודות החמות. בנוסף, המבלבל את התוצאות היא העובדה שכל בדיקה חיובית נספרה וכל בדיקה שלילית נספרה. בדרך כלל, כאשר אדם נבדק חיובי, הם היו בודקים שוב כאשר הנגיף עבר את דרכו ונבדק שלילי. אז, במובן מסוים, לכל מקרה חיובי, יש מקרה מבחן שלילי שמבטל אותו. הרוב המכריע של הבדיקות שליליות והבדיקות השליליות של כל אחד נספרו. אתה יכול לראות כיצד הנתונים מוטים ואינם שימושיים במיוחד לקבלת החלטות.
קלט והדרכה של AI מוטים
ישנן לפחות שתי דרכים שבהן בינה מלאכותית יכולה להוביל לתוצאות מוטות: החל בנתונים מוטים, או שימוש באלגוריתמים מוטים לעיבוד נתונים תקפים.
קלט מוטה
רבים מאיתנו מתרשמים שניתן לסמוך על הבינה המלאכותית שתמצה את המספרים, תחיל את האלגוריתמים שלה וירוקה ניתוח אמין של הנתונים. בינה מלאכותית יכולה להיות חכמה רק כפי שהיא מאומנת. אם הנתונים שעליהם הוא מאומן אינם מושלמים, גם לא ניתן יהיה לסמוך על התוצאות או המסקנות. בדומה למקרה לעיל של הטיית סקר, ישנן מספר דרכים שבהן נתונים יכולים להיות מְשׁוּחָד בלמידת מכונה:.
- הטיית מדגם - מערך ההדרכה אינו מייצג את כלל האוכלוסייה.
- הטיית אי-הכללה - לפעמים מה שנראה כחריגים הוא למעשה תקף, או, איפה אנחנו מותחים את הקו לגבי מה לכלול (מיקוד, תאריכים וכו').
- הטיית מדידה - המוסכמה היא למדוד תמיד ממרכז המניסקוס ומתחתיתו, למשל, בעת מדידת נוזלים בצלוחיות נפח או מבחנות (למעט כספית).
- הטיית היזכרות - כאשר המחקר תלוי בזיכרון של המשתתפים.
- הטיית צופים - מדענים, כמו כל בני האדם, נוטים יותר לראות את מה שהם מצפים לראות.
- הטיה סקסיסטית וגזענית - מין או גזע עשויים להיות מיוצגים יתר על המידה או בתת-ייצוג.
- הטיית אסוציאציות - הנתונים מחזקים סטריאוטיפים
כדי שבינה מלאכותית תחזיר תוצאות אמינות, נתוני האימון שלה צריכים לייצג את העולם האמיתי. כפי שדיברנו במאמר קודם בבלוג, הכנת הנתונים היא קריטית וכמו כל פרויקט נתונים אחר. נתונים לא אמינים יכולים ללמד מערכות למידת מכונה את הלקח הלא נכון ויביאו למסקנה שגויה. עם זאת, "כל הנתונים מוטים. זו לא פרנויה. זו עובדה." – ד"ר סנג'יב מ. נאראיאן, בית הספר לרפואה של אוניברסיטת סטנפורד.
שימוש בנתונים מוטים לאימון הוביל למספר כשלים בולטים של AI. (דוגמאות כאן ו כאן, מחקר כאן..)
אלגוריתמים מוטים
אלגוריתם הוא קבוצה של כללים המקבלים קלט ויוצרים פלט כדי לענות על בעיה עסקית. לעתים קרובות הם עצי החלטה מוגדרים היטב. אלגוריתמים מרגישים כמו קופסאות שחורות. אף אחד לא בטוח איך הם עובדים, לרוב, אפילו לא חברות שמשתמשות בהן. אה, ולעתים קרובות הם קנייניים. האופי המסתורי והמורכב שלהם הוא אחת הסיבות לכך שאלגוריתמים מוטים הם כל כך ערמומיים. .
שקול אלגוריתמים של AI ברפואה, משאבי אנוש או פיננסים שלוקחים בחשבון את הגזע. אם גזע הוא גורם, האלגוריתם לא יכול להיות עיוור גזעי. זה לא תיאורטי. בעיות כמו אלה התגלו בעולם האמיתי באמצעות AI ב שכירה, רכיבה-שיתוף, בקשת הלוואהים, ו השתלות כליה.
השורה התחתונה היא שאם הנתונים או האלגוריתמים שלך גרועים, גרועים מחסרי תועלת, הם עלולים להיות מסוכנים. יש דבר כזה "ביקורת אלגוריתמית." המטרה היא לעזור לארגונים לזהות את הסיכונים הפוטנציאליים הקשורים לאלגוריתם בכל הקשור להוגנות, הטיה ואפליה. בְּמָקוֹם אַחֵר, פייסבוק משתמש בבינה מלאכותית כדי להילחם בהטיות בבינה מלאכותית.
אנשים משוחדים
יש לנו אנשים משני הצדדים של המשוואה. אנשים מכינים את הניתוח ואנשים מקבלים את המידע. יש חוקרים ויש קוראים. בכל תקשורת, יכולות להיות בעיות בשידור או בקבלה.
קחו למשל את מזג האוויר. מה המשמעות של "סיכוי לגשם"? ראשית, למה מתכוונים מטאורולוגים כשהם אומרים שיש סיכוי לגשם? לפי ממשלת ארה"ב שירות מזג אוויר לאומי, סיכוי לגשם, או מה שהם מכנים הסתברות למשקעים (PoP), הוא אחד האלמנטים הפחות מובנים בתחזית מזג האוויר. יש לו הגדרה סטנדרטית: "ההסתברות למשקעים היא פשוט הסתברות סטטיסטית של 0.01 אינץ' [sic] של [sic] יותר של משקעים באזור נתון באזור התחזית הנתון בפרק הזמן שצוין." "השטח הנתון" הוא אזור התחזית, או בroadאזור יצוק. כלומר, ההסתברות הרשמית למשקעים תלויה בביטחון שיירד גשם אי שם באזור ובאחוז השטח שיירטב. במילים אחרות, אם המטאורולוג בטוח שהולך לרדת גשם באזור התחזית (ביטחון = 100%), אז ה-PoP מייצג את החלק של האזור שיקבל גשם.
רחוב פריז; יום גשום,Gustave Caillebotte (1848-1894) מכון האמנות של שיקגו
הסיכוי לגשם תלוי גם בביטחון וגם באזור. אני לא ידעתי ש. אני חושד שגם אנשים אחרים לא יודעים את זה. כ-75% מהאוכלוסייה אינם מבינים במדויק כיצד מחושב PoP, או מה הוא אמור לייצג. אז האם מרמים אותנו, או שזו בעיה של תפיסה. בואו נקרא לזה תפיסת משקעים. האם אנחנו מאשימים את חזאי מזג האוויר? למען ההגינות, יש כאלה בלבול גם בקרב חזאי מזג האוויר. באחד סקר, 43% מהמטאורולוגים שנסקרו אמרו שיש מעט מאוד עקביות בהגדרה של PoP.
הניתוח עצמו מוטה
מבין חמשת הגורמים המשפיעים, הניתוח עצמו עשוי להיות המפתיע ביותר. במחקר מדעי שמביא לפרסום מאמר מסוקר, בדרך כלל משערים תיאוריה, מגדירים שיטות לבדיקת ההשערה, אוספים נתונים ואז מנתחים את הנתונים. סוג הניתוח שנעשה והאופן שבו הוא נעשה אינו מוערך עד כדי כך כיצד הוא משפיע על המסקנות. ב מאמר שפורסם מוקדם יותר השנה (ינואר 2022), ב-International Journal of Cancer, המחברים העריכו אם תוצאות של מחקרים אקראיים מבוקרים ומחקרים תצפיתיים רטרוספקטיביים. ממצאיהם הגיעו למסקנה, כי,
על ידי שינוי בחירות אנליטיות במחקר יעילות השוואתי, יצרנו תוצאות הפוכות. התוצאות שלנו מצביעות על כך שמחקרים תצפיתיים רטרוספקטיביים עשויים למצוא שטיפול משפר את התוצאות עבור מטופלים, בעוד שמחקר דומה אחר עשוי למצוא שלא, רק על סמך בחירות אנליטיות.
בעבר, כשקראת מאמר בכתב עת מדעי, אם אתה כמוני, אולי חשבת שהתוצאות או המסקנות הן כולן על הנתונים. כעת, נראה כי התוצאות, או האם ההשערה הראשונית מאושרת או מופרכת עשויות להיות תלויות גם בשיטת הניתוח.
אחר ללמוד מצאו תוצאות דומות. המאמר, אנליסטים רבים, מערך נתונים אחד: ברור כיצד וריאציות בבחירות האנליטיות משפיעות על התוצאות, מתאר כיצד הם נתנו את אותו סט נתונים ל-29 צוותים שונים לניתוח. ניתוח נתונים נתפס לעתים קרובות כתהליך קפדני ומוגדר היטב המוביל למסקנה אחת.
למרות ההפגנות של המתודולוגים, קל להתעלם מהעובדה שהתוצאות עשויות להיות תלויות באסטרטגיה האנליטית הנבחרת, שבעצמה ספוגה בתיאוריה, הנחות ונקודות בחירה. במקרים רבים, ישנן גישות סבירות רבות (והרבה בלתי סבירות) להערכת נתונים הקשורים לשאלת מחקר.
החוקרים הביאו במקור המונים את ניתוח הנתונים והגיעו למסקנה שכל המחקר כולל החלטות סובייקטיביות - כולל איזה סוג של ניתוח להשתמש - שיכולות להשפיע על התוצאה הסופית של המחקר.
המלצה של אחר חוקר מי שניתח את המחקר לעיל צריך להיות זהיר כאשר משתמשים בנייר בודד בקבלת החלטות או הסקת מסקנות.
טיפול בהטיה באנליטיקס
זה פשוט אמור להיות סיפור אזהרה. ידע יכול להגן עלינו מפני הונאות. ככל שהסורק מודע יותר לשיטות האפשריות שסורק עשוי להשתמש בו כדי לשטות בנו, כך יקטן הסיכוי להיתפס, נניח, על ידי הכוונה שגויה של כייס, או דיבור חלק על מחזה פונזי. כך גם לגבי הבנה וזיהוי של הטיות פוטנציאליות שמשפיעות על הניתוח שלנו. אם אנחנו מודעים להשפעות אפשריות, אולי נוכל להציג את הסיפור טוב יותר ובסופו של דבר לקבל החלטות טובות יותר.
