terça-feira, 30 de agosto de 2016

Nosso guia de 9 pontos para detectar uma estatística suspeita

www.theguardian.com


por David Spiegelhalter

Eu amo números. Eles nos permitem ter uma noção de grandeza, para medir a mudança, para colocar reivindicações no contexto. Mas apesar de seu exterior arrojado e confiante, os números são coisas delicadas e é por isso que me perturba quando eles são usados de forma inadequada. E uma vez que tem havido uma quantidade razoável de abuso do uso de números acontecendo recentemente, parece um bom momento para ter um olhar para as formas clássicas em que os políticos e lobistas se envolvem com estatísticas. Cada estatístico está familiarizado com a expressão "mentiras, mentiras deslavadas e estatísticas", mas o economista, escritor e apresentador do programa More or Less da Radio 4, Tim Harford, identificou o hábito de alguns políticos não tanto como mentira - mentir significa ter algum conhecimento da verdade - mas como "falar besteira": um desrespeito despreocupado de se o número é adequado ou não. Então, aqui, com alguma ajuda da organização britânica de verificação de fatos Full Fact, está um guia de nove pontos para o que realmente está acontecendo. 

1. Use um número verdadeiro, mas mude o seu significado 

Há quase sempre alguma base para os números que são citadas, mas eles são muitas vezes bastante diferentes do que é reivindicado. Tomemos, por exemplo, os famosos 350  milhões de libras, como no "Enviamos  350  milhões de libras por semana para a União Européia (UE)" reivindicação colocada sobre o ônibus de campanha Brexit. Este é uma verdadeira estatística nacional (ver Tabela 9.9 do livro rosa da ONS de 2015), mas, nas palavras de Sir Andrew Dilnot, presidente do controladora de estatísticas britânicas UK Statistics Authority, "não é uma quantia de dinheiro que o Reino Unido paga à UE". Na verdade, a contribuição líquida do Reino Unido é mais como 250  milhões de libras por semana, quando o desconto da Grã-Bretanha é levado em conta - e muito do que é devolvido na forma de subsídios agrícolas e subsídios para as regiões mais pobres do Reino Unido, reduzindo o número para 136 milhões de libras. Sir Andrew expressou descontamento que esta reivindicação "enganosa" estava sendo feita por ativistas Brexit mas esses descontos não fizeram o ônibus ser redesenhado.

2. Faça o número parecer grande (mas não muito grande)

Por que a campanha Deixe a UE enquadrou a quantidade de dinheiro como "350 milhões de libras por semana", em vez de o equivalente "19 bilhões de libras por ano"? Eles provavelmente perceberam que, uma vez que os números ficam grandes, digamos acima de 10 milhões, todos eles ficam parecendo o mesmo - todos esses zeros extras foram diminuindo o impacto emocional. Bilhões, schmillions, é apenas um número grande. Claro que poderia ter ido para o outro lado e dizer: "50 milhões de libras por dia", mas então as pessoas podem ter percebido que isso é equivalente a cerca de um pacote de batatas fritas para cada um, que não soa tão impressionante. George Osborne, por outro lado, preferiu citar a projeção do Tesouro britânico do custo potencial de sair da UE em 4.300 libras por família por ano, em vez de equivalente 120 bilhões de libras para todo o país. Presumivelmente, ele estava tentando fazer os números parecerem relevantes, mas talvez tivesse sido melhor enquadrar o custo projetado como "2,5 bilhões de libras por semana" de modo a proporcionar uma comparação direta com a campanha de saída de 350 milhões de libras. Provavelmente não teria feito qualquer diferença: o relatório de peso do Tesouro de 200 páginas está a caminho de se tornar um exemplo clássico de estatísticas ignoradas.

3. Casualmente implica a causa da correlação

Em julho de 2015 Jeremy Hunt disse: "Cerca de 6.000 pessoas perdem a vida todos os anos porque não temos um serviço adequado de sete dias em hospitais ..." e em fevereiro de 2016 este tinha aumentado para "um excesso de 11.000 mortes porque não temos pessoal em nosso hospitais adequadamente nos fins de semana ". Essas afirmações categóricas de que as dotações de pessoal nos fins de semana foram responsáveis pelo aumento das taxas de mortalidade de fim de semana foram amplamente criticada na época, especialmente pelas pessoas que tinham feito a investigação propriamente dita. Estudos recentes confirmaram taxas de mortalidade mais elevadas nos fins de semana, mas estes não mostraram nenhuma relação com os níveis de pessoal nos fins de semana.

4. Escolha suas definições cuidadosamente

Em 17 de Dezembro de 2014, o MP (congressista) Tom Blenkinsop disse: "Hoje, existem 2.500 menos enfermeiros em nosso sistema de saude que em maio de 2010", enquanto que, no mesmo dia, David Cameron, afirmou que "Hoje, na verdade, há novos números para fora do sistema de saúde ... há mais 3.000 enfermeiras sob este governo. "Certamente algum deve estar errado? Mas o Sr. Blenkinsop comparou o número de pessoas que trabalham como enfermeiros entre setembro de 2010 e setembro de 2014, enquanto Cameron usou o número de equivalente de enfermeiros em tempo integral, visitadores de saúde e parteiras entre o início do governo em maio de 2010 e setembro de 2014. Assim, eles foram, em sua própria maneira particular, corretas.

5. Use números totais, em vez de proporções (ou do jeito que se adapte ao seu argumento)

Nos últimos três meses de 2014, menos de 93% dos atendimentos na unidades de emergência foram vistos dentro de quatro horas, a menor proporção por 10 anos. E, no entanto Jeremy Hunt conseguiu twittar que "mais pacientes do que nunca foram visto em menos de quatro horas". Que, estritamente falando, era correto, mas apenas porque mais pessoas do que nunca foram assistidos pela emergência. Da mesma forma, quando se trata de emprego, o aumento da população significa que o número de empregados pode subir até mesmo quando a taxa de emprego cai. Full Fact mostrou como os partidos políticos jogam com indicadores, escolhendo qualquer medida que momentaneamente apoie seu ponto de vista.

6. Não forneça qualquer contexto relevante

Em setembro passado, o político de oposição Andy Burnham declarou que "o crime está subindo", e quando pressionado apontou para o registro pela polícia de crimes mais violentos e sexuais do que no ano anterior. Mas dados de criminalidade registrados pela policiais foram des-designados como estatísticas "oficiais" pela UK Statistics Authority em 2014 pois eles eram tão pouco confiável: eles dependem fortemente de como o público escolhe para relatar, e como a polícia optar por registrá-las. Em vez disso, a Crime Survey da Inglaterra e País de Gales é a fonte oficial de dados, uma vez que registra crimes que não são relatados à polícia. E o Crime Survey mostra uma redução constante no scrime por mais de 20 anos, e que não há nenhuma evidência de um aumento no ano passado nos crimes violentos e sexuais.

 7. Exagere a importância de uma mudança, possivelmente ilusória

Da próxima vez que você ouvir um político ostentando que o desemprego caiu em 30.000 pessoas em relação ao trimestre anterior, basta lembrar que esta é uma estimativa baseada em uma amostra. E essa estimativa tem uma margem de erro de +/- 80.000, o que significa que o desemprego pode muito bem ter ido para baixo, mas pode ter subido - o melhor que se pode dizer é que ele não mudou muito, mas isso não faz um discurso. E para ser justo, o político, provavelmente não tem idéia de que esta é uma estimativa e não uma contagem total.

8. Anuncie prematuramente o sucesso de uma iniciativa política usando dados não oficiais selecionados

Em junho de 2008, apenas um ano após o início do programa de ação Tackling Knifes (TKAP), o gabinete do primeiro ministro fez o Ministério do Interior emitir um comunicado de imprensa dizendo que "o número de adolescentes internados por faca ou instrumento cortante ferindo em nove ... áreas da polícia caiu em 27% de acordo com novos dados publicados hoje ". Mas isso usou dados não oficiais e não verificados, e foi contra o conselho explícito de estatísticos oficiais. Eles atrairam publicidade, mas também um sério desmentido do UK Statistics Authority, que acusou o primeiro ministro de fazer um anúncio de que era "corrosivo da confiança do público nas estatísticas oficiais". A conclusão final sobre o TKAP era que a violência grave de juvens tinha diminuído no país, mas não mais em áreas TKAP que em outros lugares.

9. Se tudo isso falhar, basta inventar os números

Em novembro passado, Donald Trump twittou uma imagem reciclada, que incluiu a afirmação de que "brancos mortos por negros - 81%", citando  o Crime Statistics Bureau de San Francisco. O site de verificação de fatos americanos Politifact identificou a frase como completamente fabricada - o "Bureau" não existia, e o número real é de cerca de 15%. Quando confrontado com isso, Trump deu de ombros e disse: "Preciso verificar cada estatística?" Nem todos os políticos são tão descuidado com as estatísticas, e é claro que é completamente razoável para eles apelar aos nossos sentimentos e valores. Mas existem alguns criminosos em série que recrutam números inocentes, puramente para fornecer retórica aos seus argumentos. Nós merecemos ter evidências estatísticas apresentadas de uma forma justa e equilibrada, e é só por escrutínio público e da exposição que algo irá mudar. Há nobres esforços de represar a enxurrada de números impertinentes. O programa More or Less da BBC descarta dados desonestos, organizações como Full Fact e FactCheck do Channel 4 expõe abusos flagrantes, e  UK Statistics Authority escreve cartas de admoestação. A Royal Statistical Society oferece treinamento estatístico para membros do parlamento, e a biblioteca da Câmara dos Comuns publica um guia de alfabetização estatística: como identificar uso inadequado de estatísticas. Estão todos fazendo um grande trabalho, mas as estatísticas questionáveis continuam vindo. Talvez esses nove pontos possam fornecer uma lista de verificação, ou mesmo a base para uma competição - quantos pontos o seu ministro favorito marca? Nos meus momentos de mais raiva eu ​​sinto que o abuso no uso de números deve ser criminalizado. Mas isso é uma lei improvável de ser aprovada pelos políticos.

=====================================
Texto publicado em www.theguardian.com/science/2016/jul/17/politicians-dodgy-statistics-tricks-guide?&tc=eml

Nenhum comentário:

Postar um comentário