Mentira Analítica

O viés da análise

Mark Twain disse algo como: “Existem três tipos de mentiras: mentiras, mentiras malditas e analítica. " 

Damos como certo que a análise nos fornece insights úteis e acionáveis. O que muitas vezes não percebemos é como nossos próprios preconceitos e os dos outros influenciam as respostas que recebemos até mesmo pelos softwares e sistemas mais sofisticados. Às vezes, podemos ser manipulados desonestamente, mas, mais comumente, podem ser vieses sutis e inconscientes que se infiltram em nossas análises. A motivação por trás da análise tendenciosa é muitas. Às vezes, os resultados imparciais que esperamos da ciência são influenciados por 1) escolhas sutis na forma como os dados são apresentados, 2) dados inconsistentes ou não representativos, 3) como os sistemas de IA são treinados, 4) a ignorância, incompetência de pesquisadores ou outros tentando para contar a história, 5) a própria análise.    

A apresentação é tendenciosa

Algumas das mentiras são mais fáceis de detectar do que outras. Quando você sabe o que procurar, pode detectar mais facilmente gráficos e tabelas enganosas. 

Existem pelo menos cinco maneiras de exibir dados de forma enganosa: 1) Mostrar um conjunto de dados limitado, 2). Mostrar correlações não relacionadas, 3) Mostrar dados de forma imprecisa, 4) Mostrar dados de forma não convencional, ou 5). Mostrar dados simplificados demais.

Mostrar um conjunto de dados limitado

Limitar os dados ou selecionar manualmente uma seção não aleatória dos dados geralmente pode contar uma história que não é consistente com o quadro geral. Amostragem ruim, ou cherry picking, é quando o analista usa uma amostra não representativa para representar um grupo maior. 

Em março 2020, Departamento de Saúde Pública da Geórgia publicou este gráfico como parte de seu relatório de status diário. Na verdade, levanta mais perguntas do que respostas.  

Uma das coisas que está faltando é o contexto. Por exemplo, seria útil saber qual é a porcentagem da população para cada faixa etária. Outro problema com o gráfico de pizza de aparência simples são as faixas etárias desiguais. O 0-17 tem 18 anos, 18-59 tem 42, 60+ é aberto, mas tem cerca de 40 anos. A conclusão, considerando apenas este gráfico, é que a maioria dos casos está na faixa etária de 18 a 59 anos. A faixa etária de mais de 60 anos parece ser menos afetada pelos casos de COVID. Mas esta não é toda a história.

Para comparação, este conjunto de dados diferente no site do CDC mostra os casos de COVID por faixa etária com dados adicionais sobre a porcentagem da população dos EUA que está em cada faixa etária.  

Isto é melhor. Temos mais contexto. Podemos ver que as faixas etárias de 18 a 29, 30 a 39, 40 a 49 têm uma porcentagem maior de casos do que a porcentagem da faixa etária na população. Ainda existem algumas faixas etárias desiguais. Por que 16-17 é uma faixa etária separada? Ainda assim, esta não é toda a história, mas os especialistas escreveram colunas, fizeram previsões e mandatos em menos do que isso. Obviamente, com a COVID, além da idade, existem muitas variáveis ​​que afetam a contabilização de um caso positivo: estado vacinal, disponibilidade de testes, número de vezes testado, comorbidades e muitas outras. O número de casos, por si só, fornece uma imagem incompleta. A maioria dos especialistas também analisa o número de mortes ou porcentagens de mortes por 100,000 habitantes ou fatalidades de casos para ver como o COVID afeta cada faixa etária.

Mostrar correlações não relacionadas

Obviamente, existe uma forte correlação entre os gastos dos EUA em ciência, espaço e tecnologia e o número de suicídios por enforcamento, estrangulamento e asfixia. A Correlação é de 99.79%, quase uma combinação perfeita.  

Quem, porém, faria o caso de que estes estão de alguma forma relacionados, ou um causa o outro? Há outros exemplos menos extremos, mas não menos espúrios. Existe uma forte correlação similar entre Cartas na Palavra Vencedora do Scripps Ortografia Nacional e Número de Pessoas Mortas por Aranhas Venenosas. Coincidência? Você decide.

Outra maneira de traçar esses dados que pode ser menos enganosa seria incluir zero em ambos os eixos Y.

Mostrar dados imprecisos

De Como exibir dados mal, o estado americano da Geórgia apresentou os 5 principais condados com o maior número de casos confirmados de COVID-19.

Parece legítimo, certo? Há claramente uma tendência de queda de casos confirmados de COVID-19. Você consegue ler o eixo X? O eixo X representa o tempo. Normalmente, as datas aumentam da esquerda para a direita. Aqui, vemos uma pequena viagem no tempo no eixo X: 

4/28/2020

4/27/2020

4/29/2020

5/1/2020

4/30/2020

5/4/2020

5/6/2020

5/5/2020

5/2/22020 ...

Espere? O que? O eixo X não está ordenado cronologicamente. Então, por mais legal que a tendência possa parecer, não podemos tirar nenhuma conclusão. Se as datas forem ordenadas, as barras para o número de casos mostram mais um padrão dente de serra do que qualquer tipo de tendência.

A solução fácil aqui é classificar as datas da maneira que um calendário faz.

Mostrar dados de forma não convencional

Estamos todos ocupados. Nossos cérebros nos ensinaram a fazer julgamentos rápidos com base em suposições consistentes em nosso mundo. Por exemplo, todo gráfico que eu já vi mostra os eixos x e y se encontrando em zero, ou valores mais baixos. Olhando brevemente para este gráfico, que conclusões você pode tirar sobre o efeito da “Aguente sua lei básica.”? Tenho vergonha de admitir, mas esse gráfico me enganou no começo. Seu olho é convenientemente atraído para o texto e a seta no meio do gráfico. Para baixo está para cima neste gráfico. Pode não ser mentira – os dados estão bem ali. Mas, eu tenho que pensar que é para enganar. Se você ainda não viu, o zero no eixo y está no topo. Então, à medida que os dados caem, isso significa mais mortes. Este gráfico mostra que o número de assassinatos com armas de fogo aumentou após 2005, indicado pela tendência de down.

Mostrar os dados simplificados demais

Um exemplo de simplificação excessiva dos dados pode ser visto quando os analistas tiram proveito do Paradoxo de Simpson. Este é um fenômeno que ocorre quando os dados agregados parecem demonstrar uma conclusão diferente do que quando são separados em subconjuntos. Essa armadilha é fácil de cair ao analisar porcentagens agregadas de alto nível. Uma das ilustrações mais claras do Paradoxo de Simpson em ação está relacionada médias de rebatidas.  

Aqui vemos que Derek Jeter tem uma média geral de rebatidas mais alta do que David Justice nas temporadas de 1995 e 1996. O paradoxo surge quando percebemos que Justice superou Jeter na média de rebatidas nesses dois anos. Se você olhar com atenção, faz sentido quando você percebe que Jeter teve cerca de 4x mais rebatidas (o denominador) em 1996, com uma média 007 menor em 1996. Considerando que, Justice teve aproximadamente 10 vezes o número de rebatidas em apenas . 003 média superior em 1995.

A apresentação parece direta, mas o Paradoxo de Simpson, intencionalmente ou não, levou a conclusões incorretas. Recentemente, houve exemplos do Paradoxo de Simpson nas notícias e nas mídias sociais relacionados a vacinas e mortalidade por COVID. Um gráfico mostra um gráfico de linhas comparando as taxas de mortalidade entre vacinados e não vacinados para pessoas de 10 a 59 anos. O gráfico demonstra que os não vacinados têm consistentemente uma menor taxa de mortalidade. O que está acontecendo aqui?  

O problema é semelhante ao que vemos com as médias de rebatidas. O denominador neste caso é o número de indivíduos em cada faixa etária. O gráfico combina grupos que têm resultados diferentes. Se olharmos para a faixa etária mais velha, de 50 a 59 anos, separadamente, vemos que os vacinados se saem melhor. Da mesma forma, se olharmos para 10-49, também vemos que os vacinados se saem melhor. Paradoxalmente, ao olhar para o conjunto combinado, os não vacinados parecem ter um resultado pior. Dessa forma, você pode defender argumentos opostos usando os dados.

Os dados são tendenciosos

Os dados nem sempre são confiáveis. Mesmo na comunidade científica, mais de um terço dos pesquisadores pesquisados ​​admitiram “práticas de pesquisa questionáveis”.  Outro detetive de fraude de pesquisa diz: “É muito provável que haja muito mais fraude nos dados – tabelas, gráficos de linha, dados de sequenciamento [– do que estamos realmente descobrindo]. Qualquer pessoa sentada à mesa da cozinha pode colocar alguns números em uma planilha e fazer um gráfico de linhas que pareça convincente.”

Primeiro exemplo parece que alguém fez exatamente isso. Não estou dizendo que isso é fraude, mas como uma pesquisa, ela simplesmente não gera nenhum dado que contribua para uma decisão informada. Parece que a pesquisa perguntou aos entrevistados sobre sua opinião sobre o café do posto de gasolina ou algum outro evento atual relevante. 

1. Soberbo 
2. Ótimo
3. muito bom 

Cortei o post do Twitter para remover as referências ao culpado, mas este é o gráfico completo dos resultados finais da pesquisa. Pesquisas como essa não são incomuns. Obviamente, qualquer gráfico criado a partir dos dados resultantes das respostas mostrará que o café em questão não deve ser esquecido.  

O problema é que se você tivesse recebido esta pesquisa e não encontrasse uma resposta que se encaixasse em seu pensamento, você pularia a pesquisa. Este pode ser um exemplo extremo de como dados não confiáveis ​​podem ser criados. No entanto, um design de pesquisa ruim pode levar a menos respostas e aqueles que respondem têm apenas uma opinião, é apenas uma questão de grau. Os dados são tendenciosos.

Este segundo exemplo de viés de dados é dos arquivos de “Piores gráficos enganosos do COVID 19. " 

Novamente, isso é sutil e não completamente óbvio. O gráfico de barras mostra um declínio suave – quase suave demais – na porcentagem de casos positivos de COVID-19 ao longo do tempo para um condado da Flórida. Você poderia facilmente tirar a conclusão de que os casos estão diminuindo. Isso é ótimo, a visualização representa com precisão os dados. O problema está nos dados. Então, é um viés mais insidioso porque você não consegue ver. Está embutido nos dados. As perguntas que você precisa fazer incluem: quem está sendo testado? Em outras palavras, qual é o denominador, ou a população da qual estamos analisando uma porcentagem. A suposição é que seja toda a população, ou pelo menos, uma amostra representativa.

No entanto, durante este período, neste concelho, os testes foram realizados apenas a um número limitado de pessoas. Eles tinham que ter sintomas semelhantes aos do COVID ou viajaram recentemente para um país na lista de pontos quentes. Além disso, confundindo os resultados está o fato de que cada teste positivo foi contado e cada teste negativo foi contado. Normalmente, quando um indivíduo testou positivo, ele testou novamente quando o vírus seguiu seu curso e testou negativo. Então, de certa forma, para cada caso positivo, há um caso de teste negativo que o cancela. A grande maioria dos testes é negativa e foram contabilizados os testes negativos de cada indivíduo. Você pode ver como os dados são tendenciosos e não são particularmente úteis para a tomada de decisões. 

A entrada e o treinamento de IA são tendenciosos

Existem pelo menos duas maneiras pelas quais a IA pode levar a resultados tendenciosos: começando com dados tendenciosos ou usando algoritmos tendenciosos para processar dados válidos.  

Entrada tendenciosa

Muitos de nós têm a impressão de que a IA pode ser confiável para processar os números, aplicar seus algoritmos e cuspir uma análise confiável dos dados. A Inteligência Artificial só pode ser tão inteligente quanto treinada. Se os dados nos quais ele é treinado forem imperfeitos, os resultados ou conclusões também não serão confiáveis. Semelhante ao caso acima de viés de pesquisa, há várias maneiras pelas quais os dados podem ser tendencioso em aprendizado de máquina:.  

• Viés de amostra – o conjunto de dados de treinamento não é representativo de toda a população.
• Viés de exclusão – às vezes, o que parece ser valores discrepantes são realmente válidos ou, onde traçamos a linha do que incluir (códigos postais, datas, etc).
• Viés de medição – a convenção é sempre medir a partir do centro e da base do menisco, por exemplo, ao medir líquidos em frascos volumétricos ou tubos de ensaio (exceto mercúrio).
• Viés de recordação – quando a pesquisa depende da memória dos participantes.
• Viés do observador – os cientistas, como todos os humanos, estão mais inclinados a ver o que esperam ver.
• Preconceito sexista e racista – sexo ou raça podem estar super ou sub-representados.  
• Viés de associação – os dados reforçam estereótipos

Para que a IA retorne resultados confiáveis, seus dados de treinamento precisam representar o mundo real. Como discutimos em um artigo anterior do blog, a preparação de dados é crítica e como qualquer outro projeto de dados. Dados não confiáveis ​​podem ensinar aos sistemas de aprendizado de máquina a lição errada e resultar na conclusão errada. Dito isto, “todos os dados são tendenciosos. Isso não é paranóia. Isso é fato." – Dr. Sanjiv M. Narayan, Escola de Medicina da Universidade de Stanford.

O uso de dados tendenciosos para treinamento levou a várias falhas notáveis ​​de IA. (Exemplos SUA PARTICIPAÇÃO FAZ A DIFERENÇA e SUA PARTICIPAÇÃO FAZ A DIFERENÇA, pesquisa SUA PARTICIPAÇÃO FAZ A DIFERENÇA..)

Algoritmos tendenciosos

Um algoritmo é um conjunto de regras que aceita uma entrada e cria uma saída para responder a um problema de negócios. Geralmente são árvores de decisão bem definidas. Algoritmos parecem caixas pretas. Ninguém sabe ao certo como eles funcionam, muitas vezes, nem mesmo os empresas que os utilizam. Ah, e eles geralmente são proprietários. Sua natureza misteriosa e complexa é uma das razões pelas quais os algoritmos tendenciosos são tão insidiosos. . 

Considere algoritmos de IA em medicina, RH ou finanças que levem em consideração a raça. Se a raça é um fator, o algoritmo não pode ser racialmente cego. Isso não é teórico. Problemas como esses foram descobertos no mundo real usando IA em contratação, carona, pedido de empréstimos, e transplantes renais. 

A conclusão é que, se seus dados ou algoritmos são ruins, são piores do que inúteis, eles podem ser perigosos. Existe algo como um “auditoria algorítmica.” O objetivo é ajudar as organizações a identificar os riscos potenciais relacionados ao algoritmo no que se refere à justiça, preconceito e discriminação. Em outro lugar, Facebook está usando a IA para combater o preconceito na IA.

As pessoas são tendenciosas

Temos pessoas nos dois lados da equação. As pessoas estão preparando a análise e as pessoas estão recebendo as informações. Há pesquisadores e há leitores. Em qualquer comunicação, pode haver problemas na transmissão ou recepção.

Veja o clima, por exemplo. O que significa “uma chance de chuva”? Primeiro, o que os meteorologistas querem dizer quando dizem que há chance de chuva? De acordo com o governo dos EUA Serviço Nacional de Meteorologia, uma chance de chuva, ou o que eles chamam de Probabilidade de Precipitação (PoP), é um dos elementos menos compreendidos em uma previsão do tempo. Ele tem uma definição padrão: “A probabilidade de precipitação é simplesmente uma probabilidade estatística de 0.01 polegada [sic] de [sic] a mais de precipitação em uma determinada área na área de previsão dada no período de tempo especificado.” A “área dada” é a área de previsão, ou broadárea de elenco. Isso significa que a probabilidade oficial de precipitação depende da confiança de que choverá em algum lugar da área e da porcentagem da área que ficará molhada. Em outras palavras, se o meteorologista está confiante de que vai chover na área prevista (Confiança = 100%), então o PoP representa a porção da área que vai receber chuva.  

Rua Paris; Dia chuvoso,Gustave Caillebotte (1848-1894) Instituto de Arte de Chicago Domínio público

A chance de chuva depende tanto da confiança quanto da área. Eu não sabia disso. Suspeito que outras pessoas também não saibam disso. Cerca de 75% da população não entende com precisão como o PoP é calculado ou o que ele deve representar. Então, estamos sendo enganados, ou isso é um problema de percepção. Vamos chamá-lo de percepção de precipitação. Culpamos o meteorologista? Para ser justo, há alguns confusão entre os meteorologistas também. Em um vistoria, 43% dos meteorologistas pesquisados ​​disseram que há muito pouca consistência na definição de PoP.

A própria análise é tendenciosa

Dos cinco fatores de influência, a análise em si pode ser o mais surpreendente. Na pesquisa científica que resulta na publicação de um artigo revisado, normalmente uma teoria é formulada, métodos são definidos para testar a hipótese, os dados são coletados e, em seguida, os dados são analisados. O tipo de análise que é feito e como é feito é subestimado em como isso afeta as conclusões. Em um papel publicado no início deste ano (janeiro de 2022), no International Journal of Cancer, os autores avaliaram se os resultados de ensaios clínicos randomizados e estudos observacionais retrospectivos. Suas descobertas concluíram que,

Ao variar as escolhas analíticas na pesquisa de eficácia comparativa, geramos resultados contrários. Nossos resultados sugerem que alguns estudos observacionais retrospectivos podem descobrir que um tratamento melhora os resultados para os pacientes, enquanto outro estudo semelhante pode achar que não, simplesmente com base em escolhas analíticas.

No passado, ao ler um artigo de revista científica, se você for como eu, pode ter pensado que os resultados ou conclusões são sobre os dados. Agora, parece que os resultados, ou se a hipótese inicial é confirmada ou refutada, também podem depender do método de análise.

Outro estudo encontraram resultados semelhantes. O artigo, Muitos analistas, um conjunto de dados: tornando transparente como as variações nas escolhas analíticas afetam os resultados, descreve como eles forneceram o mesmo conjunto de dados a 29 equipes diferentes para análise. A análise de dados é muitas vezes vista como um processo estrito e bem definido que leva a uma única conclusão.  

Apesar dos protestos dos metodologistas, é fácil ignorar o fato de que os resultados podem depender da estratégia analítica escolhida, que está impregnada de teoria, suposições e pontos de escolha. Em muitos casos, existem muitas abordagens razoáveis ​​(e muitas irracionais) para avaliar dados relacionados a uma questão de pesquisa.

Os pesquisadores reuniram a análise dos dados e chegaram à conclusão de que todas as pesquisas incluem decisões subjetivas – incluindo qual tipo de análise usar – o que pode afetar o resultado final do estudo.

A recomendação de outro investigador que analisou o estudo acima deve ser cauteloso ao usar um único artigo para tomar decisões ou tirar conclusões.

Lidando com o viés no Analytics

Isto é simplesmente destinado a ser um conto de advertência. O conhecimento pode nos proteger de sermos enganados por golpes. Quanto mais conscientes dos possíveis métodos que um scanner pode usar para nos enganar, menor a probabilidade de sermos enganados, digamos, por, digamos, o erro de um batedor de carteiras ou a conversa suave de uma peça de Ponzi. Assim é com a compreensão e o reconhecimento de possíveis vieses que afetam nossas análises. Se estivermos cientes de possíveis influências, poderemos apresentar melhor a história e, finalmente, tomar melhores decisões.