www.fraud-magazine.com
O título desta postagem é uma alusão a uma matéria publicada no mês passada no jornal Folha de São Paulo. O estudo referido foi realizado por uma equipe de estatísticos do DataFolha, instituto ligado à Folha de São Paulo que cuida de pesquisas de opinião. Esse estudo procurou levantar indícios de fraudes a partir dos resultados das provas realizadas.
O estudo é baseado em contas usando probabilidade sobre as chances de coincidências. Como exemplo, imagine uma única questão com 5 opções de resposta e que as chances de qualquer candidato responder as 5 opções são as mesmas (a seguir revisaremos essa hipótese). Em assim sendo, 2 candidatos quaisquer que não interajam podem ambos responder a opção A com probabilidade 4% (= 20% x 20%). Contas similares que fazem comparação de padrões são rotineiramente feitas para testar comportamento suspeito em eleições mundo afora. Um exemplo dessas contas foram tratadas em uma postagem recente aqui no StatPop, por causa das suspeições levantadas sobre a famosa urna 7 das eleições presidenciais do clube Vasco da Gama no ano passado.
Se pensarmos em uma questão fácil e/ou em candidatos com boa proficiência, é claro que as chances de responder corretamente a questão subirão bastante, dos 20% para algo possivelmente acima dos 50%. Quanto mais fácil for a questão, maiores são as chances de um bom candidato acertar a questão. Analogamente, quanto mais habilitado for o candidato maiores são as chances dele acertar a uma questão fácil.
Pensando em um bom candidato com uma chance de acertar uma questão fácil em 60%, as chances de 2 candidatos quaisquer errarem a essa questão é de 16% (= 40% x 40%). Já as chances de ambos errarem com a mesma resposta (dentre as 4 opções de erro) caem para 1% (=10% x 10%). Nesses casos, a chance de coincidência de acerto é 16 vezes mais provável que as chances de coincidência de erro. Aplicando essa mesma idéia a 8 questões fáceis, as chances de 2 bons candidatos quaisquer errarem exatamente da mesma forma exatamente essas questões caem para desprezíveis 0,00000000000001% (= 1% x 1% x 1% x 1% x 1% x 1% x 1% x 1%). Ou seja, isso acontece em média 1 vez a cada 10.000.000.000.000.000 de pares de candidatos.
Para quantificar essas comparações, imagine que candidatos bons são aqueles com desempenho entre os 10% melhores. [E faz sentido focar nesse universo pois são os que disputam as vagas em carreiras mais concorridas, como Medicina e Engenharia.] Para um universo de 4 milhões de candidatos, isso dá uma sub-população de 400.000 candidatos e portanto tem-se um total de 80.000.000.000 (= 400.000 x 400.000 /2 ) pares de bons candidatos. Esse número de pares é 250.000 vezes menor do que o número de possíveis pares necessários para se ter em média 1 coincidência desse tipo. Ou seja, é extremamente improvável que 2 candidatos bons errem da mesma maneira a 8 questões fáceis. Se isso acontece com alguma frequência, ainda que baixa, o mais provável é que haja alguma forma de dependência entre os padrões de resposta e fraudes surgem como uma possibilidade a ser investigada.
Para quantificar essas comparações, imagine que candidatos bons são aqueles com desempenho entre os 10% melhores. [E faz sentido focar nesse universo pois são os que disputam as vagas em carreiras mais concorridas, como Medicina e Engenharia.] Para um universo de 4 milhões de candidatos, isso dá uma sub-população de 400.000 candidatos e portanto tem-se um total de 80.000.000.000 (= 400.000 x 400.000 /2 ) pares de bons candidatos. Esse número de pares é 250.000 vezes menor do que o número de possíveis pares necessários para se ter em média 1 coincidência desse tipo. Ou seja, é extremamente improvável que 2 candidatos bons errem da mesma maneira a 8 questões fáceis. Se isso acontece com alguma frequência, ainda que baixa, o mais provável é que haja alguma forma de dependência entre os padrões de resposta e fraudes surgem como uma possibilidade a ser investigada.
Essas contas simples são uma possível base para os cálculos feitos para esse tipo de situação. Pensem agora na situação real onde ao invés de 8 questões, trabalha-se no ENEM com um universo de 180 questões. Os números sobre a probabilidade de coincidência de padrões são ainda mais baixas mesmo se considerarmos coincidências incompletas (por exemplo, permitindo discordâncias em até 10 das 180 questões).
É claro que existe muito espaço para aprimoramento dessas contas para acomodar adequadamente os efeitos do nível de facilidade da questão e da habilidade do candidato. Nessa parte, entrou o expertise dos estatísticos do DataFolha. Infelizmente, a matéria fala muito pouco sobre como essa acomodação foi feita e o próprio site do DataFolha também é lacônico no que diz respeito à metodologia utilizada. A informação é fornecida apenas na forma qualitativa descrita acima, embora também faça menção à metodologia usada na empresa Caveon, especializada em tecnologia de segurança.
A forma coloquial de apresentação usada pelo jornalista que redigiu a matéria também causou algum incômodo em alguns estatísticos pelo uso impreciso de alguns conceitos. Isso é perfeitamente compreensível tendo em vista o perfil esperado do leitor dessa matéria. Mas não me parece que a matéria tenha cometido algum pecado capital. De todo modo, cabe aos estatísticos supervisionar para que excessos que possam ser usados por leigos não deturpem o sentido original do trabalho realizado.
A forma coloquial de apresentação usada pelo jornalista que redigiu a matéria também causou algum incômodo em alguns estatísticos pelo uso impreciso de alguns conceitos. Isso é perfeitamente compreensível tendo em vista o perfil esperado do leitor dessa matéria. Mas não me parece que a matéria tenha cometido algum pecado capital. De todo modo, cabe aos estatísticos supervisionar para que excessos que possam ser usados por leigos não deturpem o sentido original do trabalho realizado.
Nenhum comentário:
Postar um comentário