분석 거짓말

분석의 편향

마크 트웨인은 “거짓말에는 세 가지 종류가 있다: 거짓말, 저주받은 거짓말, 분석. " 

우리는 분석이 유용하고 실행 가능한 통찰력을 제공한다는 사실을 당연하게 여깁니다. 우리가 종종 깨닫지 못하는 것은 우리 자신과 다른 사람들의 편견이 가장 정교한 소프트웨어와 시스템이 제공하는 답변에 어떻게 영향을 미치는지입니다. 때때로 우리는 부정직하게 조작될 수 있지만 더 일반적으로 분석에 스며드는 미묘하고 무의식적인 편견일 수 있습니다. 편향된 분석의 동기는 여러 가지입니다. 때때로 우리가 과학에서 기대하는 공정한 결과는 1) 데이터가 표시되는 방식의 미묘한 선택, 2) 일관성이 없거나 대표성이 없는 데이터, 3) AI 시스템이 훈련되는 방식, 4) 연구원 또는 시도하는 다른 사람의 무지, 무능력에 의해 영향을 받습니다. 이야기를 전하기 위해, 5) 분석 자체.    

프레젠테이션이 편향적임

거짓말 중 일부는 다른 거짓말보다 더 쉽게 발견할 수 있습니다. 무엇을 찾아야 하는지 알면 잠재적으로 더 쉽게 감지할 수 있습니다. 오해의 소지가 있는 그래프 및 차트. 

적어도 데이터를 잘못 표시하는 XNUMX가지 방법: 1) 제한된 데이터 세트 표시, 2). 관련 없는 상관 관계 표시, 3) 부정확한 데이터 표시, 4) 비관습적으로 데이터 표시, 또는 5). 지나치게 단순화된 데이터를 표시합니다.

제한된 데이터 세트 표시

데이터를 제한하거나 데이터의 무작위가 아닌 섹션을 손으로 선택하면 큰 그림과 일치하지 않는 이야기가 나올 수 있습니다. 잘못된 샘플링 또는 체리 피킹은 분석가가 더 큰 그룹을 나타내기 위해 비대표적 샘플을 사용하는 경우입니다. 

3 월 2020, 조지아 공중보건국 이 차트를 일일 상태 보고서의 일부로 게시했습니다. 그것은 실제로 대답보다 더 많은 질문을 제기합니다.  

누락된 것 중 하나는 컨텍스트입니다. 예를 들어, 각 연령대의 인구 비율을 아는 것이 도움이 될 것입니다. 단순해 보이는 원형 차트의 또 다른 문제는 고르지 않은 연령대입니다. 0-17은 18년, 18-59는 42, 60+는 개방형이지만 약 40년이 있습니다. 이 차트만으로 결론은 대부분의 사례가 18-59세 그룹에 있다는 것입니다. 60세 이상 고령층은 코로나XNUMX의 영향을 덜 받는 것으로 보인다. 하지만 이것이 전부는 아닙니다.

비교를 위해 이 다른 데이터 세트는 질병관리본부 웹사이트 각 연령대의 미국 인구 비율에 대한 추가 데이터와 함께 연령대별 COVID 사례를 차트로 표시합니다.  

이게 낫다. 우리는 더 많은 맥락을 가지고 있습니다. 우리는 18-29세, 30-39세, 40-49세 연령 그룹이 모두 인구의 연령 그룹 비율보다 사례 비율이 더 높다는 것을 알 수 있습니다. 아직 고르지 않은 연령대가 있습니다. 16-17세가 별도의 연령 그룹인 이유는 무엇입니까? 여전히 이것이 전체 이야기는 아니지만 전문가들은 이보다 적은 항목에 대해 칼럼을 작성하고 예측을 하고 명령을 내렸습니다. 분명히 COVID의 경우 연령 외에도 예방 접종 상태, 검사 가능 여부, 검사 횟수, 동반 질환 등 양성 사례로 간주되는 데 영향을 미치는 많은 변수가 있습니다. 경우의 수는 그 자체로 불완전한 그림을 제공합니다. 또한 대부분의 전문가들은 코로나100,000가 각 연령대에 어떤 영향을 미치는지 알아보기 위해 사망자 수, 인구 XNUMX명당 사망자 비율 또는 사망자 수를 살펴봅니다.

관련 없는 상관 관계 표시

분명히 있습니다 강한 상관 관계 과학, 우주, 기술에 대한 미국의 지출과 교수형, 교살 및 질식에 의한 자살 건수 사이. 상관 관계는 99.79%로 거의 완벽하게 일치합니다.  

하지만 누가 이것들이 어떤 식으로든 관련이 있다고 주장하거나 하나가 다른 하나를 유발한다고 주장할 것입니까? 덜 극단적인 다른 예가 있지만 덜 가짜는 아닙니다. Winning Word of Scripps National Spelling Bee의 Letters in Letters in Winning Word of Scripps National Spelling Bee와 Number of People Killed by Venomous Spider 사이에는 유사한 강력한 상관 관계가 있습니다. 우연의 일치? 당신이 결정합니다.

오해의 소지가 덜할 수 있는 이 데이터를 차트로 표시하는 또 다른 방법은 두 Y축에 모두 XNUMX을 포함하는 것입니다.

데이터를 부정확하게 표시

~ 데이터를 잘못 표시하는 방법, 미국 조지아주는 COVID-5 확인 사례가 가장 많은 상위 19개 카운티를 발표했습니다.

합법적인 것 같죠? 코로나19 확진자 감소세가 뚜렷하다. X축을 읽을 수 있습니까? X축은 시간을 나타냅니다. 일반적으로 날짜는 왼쪽에서 오른쪽으로 증가합니다. 여기에서 X축에서 약간의 시간 여행을 볼 수 있습니다. 

4/28/2020

4/27/2020

4/29/2020

5/1/2020

4/30/2020

5/4/2020

5/6/2020

5/5/2020

5/2/22020 ...

기다리다? 뭐? X축은 시간순으로 정렬되지 않습니다. 따라서 추세가 아무리 좋아 보여도 결론을 내릴 수 없습니다. 날짜를 정렬하면 케이스 수에 대한 막대가 어떤 종류의 추세보다 톱니 패턴을 더 많이 보여줍니다.

여기서 쉬운 수정은 달력 방식으로 날짜를 정렬하는 것입니다.

비정상적으로 데이터 표시

우리는 모두 바쁘다. 우리의 두뇌는 우리가 세상에서 일관된 가정을 바탕으로 빠른 판단을 내리도록 가르쳤습니다. 예를 들어, 내가 본 모든 그래프는 XNUMX 또는 가장 낮은 값에서 만나는 x축과 y축을 보여줍니다. 이 차트를 간단히 살펴보면 플로리다의 영향에 대해 어떤 결론을 도출할 수 있습니까? “기본법을 지키십시오."? 부끄럽지만 처음에는 이 그래프가 나를 속였습니다. 그래픽 중간에 있는 텍스트와 화살표에 시선이 집중됩니다. 아래는 이 그래프에서 위로입니다. 거짓말이 아닐 수도 있습니다. 데이터가 모두 있습니다. 그러나 나는 그것이 속이기 위한 것이라고 생각해야 합니다. 아직 보지 못했다면 y축의 XNUMX이 맨 위에 있습니다. 따라서 데이터 추세가 감소하면 더 많은 사망자가 발생합니다. 이 차트는 총기를 사용한 살인 건수를 보여줍니다. 증가 2005년 이후의 추세로 나타남 아래 (down).

지나치게 단순화된 데이터 표시

데이터를 지나치게 단순화한 한 가지 예는 분석가가 Simpson의 역설을 활용할 때 볼 수 있습니다. 이는 집계된 데이터가 하위 집합으로 분리될 때와 다른 결론을 나타내는 것처럼 보일 때 발생하는 현상입니다. 이 함정은 높은 수준의 집계 백분율을 볼 때 빠지기 쉽습니다. 직장에서 Simpson's Paradox의 가장 명확한 삽화 중 하나는 다음과 관련이 있습니다. 타율.  

여기서 우리는 Derek Jeter가 1995년과 1996년 시즌에 David Justice보다 더 높은 전체 타율을 가지고 있음을 알 수 있습니다. 저스티스가 두 해 모두 타율에서 지터를 이겼다는 사실을 깨달을 때 역설이 발생합니다. 주의 깊게 살펴보면 4년에 지터가 1996년에 007 더 낮은 평균으로 약 1996배 더 많은 타수(분모)를 가졌다는 것을 깨달을 때 의미가 있습니다. 반면 Justice는 . 10 003년 평균보다 높음.

프레젠테이션은 간단해 보이지만 Simpson's Paradox는 고의로든 무의식적으로든 잘못된 결론으로 ​​이어졌습니다. 최근 뉴스와 소셜 미디어에서 백신 및 코로나 사망률과 관련된 심슨의 역설의 예가 있습니다. 하나 차트 는 10-59세 사이의 사람들에 대한 예방 접종과 백신 접종을 하지 않은 사람들 사이의 사망률을 비교하는 선 그래프를 보여줍니다. 차트는 예방 접종을받지 않은 경우 지속적으로 사망률이 낮다는 것을 보여줍니다. 무슨 일이야?  

문제는 우리가 타율에서 볼 수 있는 것과 유사합니다. 이 경우 분모는 각 연령대의 개인 수입니다. 그래프는 결과가 다른 그룹을 결합합니다. 50~59세 고령층을 따로 보면 예방접종이 더 나은 것을 알 수 있다. 마찬가지로 10-49를 보면 예방접종이 더 나은 것도 알 수 있습니다. 역설적이게도 결합된 세트를 보면 백신을 접종하지 않은 사람들이 더 나쁜 결과를 보이는 것처럼 보입니다. 이런 식으로 데이터를 사용하여 반대 주장에 대한 사례를 만들 수 있습니다.

데이터가 편향됨

데이터를 항상 신뢰할 수는 없습니다. 과학계에서도 조사 대상의 XNUMX분의 XNUMX 이상이 다음과 같은 사실을 인정했습니다. "의심스러운 연구 관행."  다른 연구 사기 탐정 "표, 선 그래프, 시퀀싱 데이터와 같은 데이터에 [우리가 실제로 발견하는 것보다] 훨씬 더 많은 사기가 있을 가능성이 매우 높습니다. 식탁에 앉아 있는 사람은 누구나 스프레드시트에 숫자를 입력하고 설득력 있어 보이는 선 그래프를 만들 수 있습니다.”

이 첫 번째 예 누군가 그렇게 한 것 같습니다. 이것이 사기라고 말하는 것이 아니라 설문조사로서 정보에 입각한 결정에 기여하는 데이터를 생성하지 않습니다. 설문조사에서 응답자에게 주유소 커피 또는 기타 관련 시사 문제에 대한 의견을 묻는 것 같습니다. 

1. 훌륭한 
2. 큰
3. 아주 좋아요 

나는 유죄 당사자에 대한 언급을 제거하기 위해 Twitter 게시물을 잘라냈지만 이것이 설문조사의 최종 결과에 대한 실제 전체 차트입니다. 이와 같은 설문조사는 드문 일이 아닙니다. 분명히 응답에서 얻은 데이터로 만든 차트는 해당 커피를 놓쳐서는 안 된다는 것을 보여줍니다.  

문제는 이 설문조사를 받았는데 생각에 맞는 응답을 찾지 못하면 설문조사를 건너뛰게 된다는 것입니다. 이것은 어떻게 신뢰할 수 없는 데이터가 생성될 수 있는지에 대한 극단적인 예일 수 있습니다. 그러나 설문 조사 설계가 부실하면 응답 수가 줄어들 수 있으며 응답한 사람들은 단 하나의 의견만 가질 수 있습니다. 이는 정도의 문제일 뿐입니다. 데이터가 편향되어 있습니다.

데이터 편향의 두 번째 예는 "최악의 COVID 19 오해의 소지가 있는 그래프. " 

다시 말하지만, 이것은 미묘하고 완전히 명확하지 않습니다. 막대 그래프는 플로리다의 한 카운티에서 시간이 지남에 따라 긍정적인 COVID-19 사례의 비율이 거의 너무 매끄럽게 감소했음을 보여줍니다. 사례가 감소하고 있다는 결론을 쉽게 도출할 수 있습니다. 훌륭합니다. 시각화는 데이터를 정확하게 나타냅니다. 문제는 데이터에 있습니다. 그래서 눈에 보이지 않기 때문에 더 교활한 편향입니다. 데이터에 구워졌습니다. 질문해야 할 질문에는 누가 테스트를 받고 있습니까? 다시 말해, 분모 또는 우리가 백분율로 보고 있는 인구는 무엇입니까? 가정은 그것이 전체 모집단이거나 적어도 대표 표본이라는 것입니다.

그러나 이 기간 동안 이 카운티에서는 제한된 수의 사람들에게만 검사가 주어졌습니다. 이들은 코로나XNUMX와 유사한 증상이 있거나 최근 핫스팟 목록에 있는 국가를 여행한 적이 있어야 합니다. 또한 결과를 혼란스럽게 만드는 것은 각각의 긍정적인 테스트가 계산되고 각각의 부정적인 테스트가 계산된다는 사실입니다. 일반적으로 개인이 양성 판정을 받았을 때 바이러스가 진행되었을 때 다시 검사를 하고 음성 판정을 받았습니다. 따라서 어떤 의미에서는 각각의 긍정적인 경우에 대해 이를 취소하는 부정적인 테스트 사례가 있습니다. 대다수의 검사가 음성이며 각 개인의 음성 검사가 집계되었습니다. 데이터가 어떻게 편향되어 있고 결정을 내리는 데 특히 유용하지 않은지 알 수 있습니다. 

AI 입력 및 교육은 편향됨

AI가 편향된 결과를 초래할 수 있는 방법은 최소한 두 가지가 있습니다. 편향된 데이터로 시작하거나 편향된 알고리즘을 사용하여 유효한 데이터를 처리하는 것입니다.  

편향된 입력

우리 중 많은 사람들은 AI가 숫자를 계산하고 알고리즘을 적용하며 신뢰할 수 있는 데이터 분석을 내놓을 수 있다는 인상을 받고 있습니다. 인공 지능은 훈련된 만큼만 똑똑해질 수 있습니다. 훈련된 데이터가 불완전하면 결과나 결론도 신뢰할 수 없습니다. 위의 조사 편향의 경우와 유사하게 데이터가 치우친 기계 학습:.  

• 표본 편향 – 훈련 데이터 세트가 전체 모집단을 대표하지 않습니다.
• 제외 편향 – 때때로 이상치로 보이는 것이 실제로 유효하거나 포함할 항목(우편번호, 날짜 등)에 대한 선을 그립니다.
• 측정 편향 – 예를 들어 메니스커스(meniscus)의 중심과 바닥에서 항상 측정하는 것이 관례입니다.
• 회상 편향 – 연구가 참가자의 기억에 의존하는 경우.
• 관찰자 편향 – 과학자들은 모든 인간과 마찬가지로 자신이 보고자 하는 것을 보는 경향이 있습니다.
• 성차별적 및 인종차별적 편견 – 성별이나 인종이 과대 또는 과소 대표될 수 있습니다.  
• 연관 편향 - 데이터가 고정 관념을 강화합니다.

AI가 신뢰할 수 있는 결과를 반환하려면 훈련 데이터가 실제 세계를 나타내야 합니다. 이전 블로그 기사에서 논의한 것처럼 데이터 준비는 다른 데이터 프로젝트와 마찬가지로 매우 중요합니다. 신뢰할 수 없는 데이터는 기계 학습 시스템에 잘못된 교훈을 줄 수 있으며 잘못된 결론을 초래할 수 있습니다. 즉, “모든 데이터는 편향되어 있습니다. 이것은 편집증이 아닙니다. 이것은 사실입니다.” – 산지브 M. 나라얀 박사, 스탠포드 대학 의과 대학.

훈련에 편향된 데이터를 사용하는 것은 많은 주목할만한 AI 실패로 이어졌습니다. (예시 여기에서 지금 확인해 보세요. 와 여기에서 지금 확인해 보세요.연구 여기에서 지금 확인해 보세요...)

편향된 알고리즘

알고리즘은 입력을 수락하고 비즈니스 문제에 답하기 위해 출력을 생성하는 일련의 규칙입니다. 그것들은 종종 잘 정의된 의사 결정 트리입니다. 알고리즘은 블랙박스와 같습니다. 아무도 그들이 어떻게 작동하는지 확신하지 못합니다. 그것을 사용하는 기업. 아, 그리고 그것들은 종종 독점적입니다. 그들의 신비하고 복잡한 특성은 편향된 알고리즘이 그렇게 교활한 이유 중 하나입니다. . 

인종을 고려하는 의학, HR 또는 재무 분야의 AI 알고리즘을 고려하십시오. 인종이 요인인 경우 알고리즘은 인종적으로 맹인일 수 없습니다. 이것은 이론적인 것이 아닙니다. 이러한 문제는 실제 세계에서 AI를 사용하여 발견되었습니다. 채용, 승차 공유, 대출 지원서s 님과 신장 이식. 

결론은 데이터나 알고리즘이 나쁘고 쓸모없는 것보다 더 나쁘면 위험할 수 있다는 것입니다. "와 같은 것이 있다.알고리즘 감사.” 목표는 조직이 공정성, 편견 및 차별과 관련된 알고리즘과 관련된 잠재적 위험을 식별하도록 돕는 것입니다. 다른 곳, 페이스북 AI의 편견에 맞서 싸우기 위해 AI를 사용하고 있습니다.

사람들은 편향적이다

우리는 방정식의 양쪽에 사람이 있습니다. 사람들은 분석을 준비하고 있고 사람들은 정보를 받고 있습니다. 연구원이 있고 독자가 있습니다. 어떤 통신이든 송수신에 문제가 있을 수 있습니다.

예를 들어 날씨를 살펴보십시오. "비가 올 확률"은(는) 무슨 뜻인가요? 첫째, 기상학자들이 비가 올 가능성이 있다는 것은 무엇을 의미합니까? 미국 정부에 따르면 국립 기상 서비스, 비가 올 확률 또는 강수 확률(PoP)이라고 부르는 것은 일기 예보에서 가장 잘 이해되지 않는 요소 중 하나입니다. 그것은 표준 정의를 가지고 있습니다. "강수 확률은 단순히 지정된 기간 동안 주어진 예측 지역의 주어진 지역에서 0.01" 인치 [원문 그대로] 더 많은 강수량의 통계적 확률입니다." "주어진 영역"은 예측 영역, 또는 broad캐스팅 지역. 즉, 공식 강수 확률은 해당 지역의 어딘가에 비가 올 것이라는 확신과 젖을 지역의 비율에 따라 달라집니다. 즉, 기상학자가 예보 지역에 비가 올 것이라고 확신하는 경우(신뢰도 = 100%), PoP는 지역에서 비가 내릴 부분을 나타냅니다.  

파리 거리; 비오는 날,Gustave Caillebotte (1848-1894) 시카고 아트 인스티튜트 퍼블릭 도메인

비가 올 확률은 자신감과 지역에 따라 다릅니다. 난 몰랐어. 다른 분들도 모르실 것 같은데요. 인구의 약 75%는 PoP가 계산되는 방식이나 의미하는 바를 정확히 이해하지 못합니다. 그래서, 우리가 속고 있는 것입니까, 아니면 이것은 지각의 문제입니까? 그것을 강수 지각이라고 부르자. 우리는 일기 예보자를 비난합니까? 공평하게, 거기에 약간 혼동 기상캐스터들 사이에서도. 하나의 측량, 설문에 응한 기상학자의 43%는 PoP의 정의에 일관성이 거의 없다고 말했습니다.

분석 자체가 편향됨

XNUMX가지 영향 요인 중 분석 자체가 가장 놀라운 것일 수 있습니다. 검토된 논문이 출판되는 과학 연구에서는 일반적으로 이론이 가정되고, 가설을 테스트하기 위한 방법이 정의되고, 데이터가 수집된 다음 데이터가 분석됩니다. 수행되는 분석 유형과 수행 방법은 결론에 미치는 영향에서 과소 평가됩니다. 안에 종이 올해 초(2022년 XNUMX월) International Journal of Cancer에 발표된 논문에서 저자들은 무작위 대조 시험과 후향적 관찰 연구의 결과를 평가했습니다. 그들의 연구 결과는 다음과 같이 결론지었습니다.

비교 효과 연구에서 분석 선택을 다양화함으로써 우리는 반대 결과를 생성했습니다. 우리의 결과는 일부 후향적 관찰 연구에서 치료가 환자의 결과를 개선한다는 것을 발견할 수 있는 반면 다른 유사한 연구에서는 단순히 분석 선택에 기초하여 그렇지 않다는 것을 발견할 수 있음을 시사합니다.

과거에는 과학 저널 기사를 읽을 때 나와 같은 경우 결과나 결론이 모두 데이터에 관한 것이라고 생각했을 것입니다. 이제 결과나 초기 가설의 확인 또는 반박 여부도 분석 방법에 따라 달라질 수 있을 것으로 보입니다.

다른 공부 유사한 결과를 찾았습니다. 기사, 많은 분석가, 하나의 데이터 세트: 분석 선택의 변화가 결과에 미치는 영향 투명화 동일한 데이터 세트를 29개의 다른 팀에 제공하여 분석하는 방법을 설명합니다. 데이터 분석은 종종 단일 결론으로 ​​이어지는 엄격하고 잘 정의된 프로세스로 간주됩니다.  

방법론자들의 주장에도 불구하고 결과는 이론, 가정 및 선택 포인트로 가득 찬 선택한 분석 전략에 따라 달라질 수 있다는 사실을 간과하기 쉽습니다. 많은 경우 연구 질문과 관련된 데이터를 평가하는 데 합리적인(그리고 많은 비합리적인) 접근 방식이 있습니다.

연구원들은 데이터 분석을 크라우드 소싱했고 모든 연구에는 연구의 궁극적인 결과에 영향을 미칠 수 있는 주관적인 결정(어떤 유형의 분석을 사용할지 포함)이 포함된다는 결론에 도달했습니다.

다른 사람의 추천 연구원 위의 연구를 분석한 사람은 하나의 논문을 사용하여 결정을 내리거나 결론을 내릴 때 주의해야 합니다.

분석의 편향 해결

이것은 단순히 경고하는 이야기입니다. 지식은 사기에 넘어가지 않도록 보호할 수 있습니다. 스캐너가 우리를 속이는 데 사용할 수 있는 가능한 방법을 더 많이 알수록 소매치기의 잘못된 지시나 폰지 유희에 대한 부드러운 이야기에 우리가 빠져들 가능성이 줄어듭니다. 따라서 분석에 영향을 미치는 잠재적인 편향을 이해하고 인식해야 합니다. 우리가 잠재적인 영향을 알고 있다면 이야기를 더 잘 전달할 수 있고 궁극적으로 더 나은 결정을 내릴 수 있습니다.