Fonte: André Coelho/ Folhapress
Esse assunto é uma ótima fonte de vários debates que tem tudo a ver com o espírito do StatPop. Para começo de conversa, vale esclarecer que as notas do ENEM são baseadas na aplicação da Teoria de Resposta ao Ítem (TRI) aos resultados de provas de múltipla escolha do ENEM, assunto já tratado e explicado aqui. O que não foi dito lá, pois não era o foco daquela postagem, é que a análise do TRI estima as proficiências, que compõe a nota do ENEM após uma renormalização. A palavra estima não foi sublinhada por acaso: qualquer processo de estimação envolve erro. Esse erro pode e deve ser mensurado mas raramente é fornecido nas milhares de utilizações da TRI ao redor do mundo e as apenas estimativas obtidas são reportadas, dando a errônea impressão que representam um valor exato. Existe um acordo tácito em torno da utilização desse estimador pontual como se fosse o reflexo da verdade sem questionamentos, que seriam infindáveis.
Não tenho dúvida que qualquer técnico do INEP sabe disso mas esse ponto precisa ser lembrado para entender o questionamento do momento. Ocorre que foi descoberto um subconjunto de cerca de 6.000 alunos cujos resultados da prova estavam errados (foram corrigidos com uma lista errada de respostas certas). Esse fato deu origem a uma série de questionamentos até jurídicos e que chegaram ao Superior Tribunal de Justiça. Houve suspensão da divulgação dos resultados e discussões sobre o que fazer com esses alunos. No final, as notas deles foram corrigidas e os resultados foram divulgados.
A ligação disso com a TRI, segundo a matéria foi a forma como foram calculados as características das questões do ENEM que não haviam sido pre-testadas. Nesse caso, as próprias provas do ENEM fizeram a estimação dessas características e das notas dos candidatos. Isso não tem nada de errado do ponto de vista técnico. Para tanto, foi selecionada uma amostra grande (100.000 candidatos) para fazer a estimação das características dos ítens.
Note que trata-se de um tamanho bastante alto, garantindo uma estimação bastante precisa. Entretanto, alguns dos 6.000 candidatos "problemáticos" entraram na amostra (cerca de 100, segundo a FSP). Obviamente não se deve fazer nenhum procedimento estatístico com dados reconhecidamente errados e o correto seria refazer as contas sem os resultados desses candidatos. É nesse contexto que se insere o questionamento dos técnicos do INEP, aludido do título da matéria.
Entretanto, havia uma premência de tempo não trivial. Esses resultados precisavam ser divulgados bem antes do início das aulas para fazer a alocação dos alunos nos diferentes cursos de graduação em todo o país. Refazer todas as contas sem esses poucos alunos e recalcular as notas demandaria um tempo que o INEP não parecia dispor. Lembre-se que estamos falando de cerca de 4 milhões de candidatos.
Felizmente, os erros gerados por esse procedimento inadequado são desprezíveis. Estamos falando de 100 indivíduos em uma amostra de 100.000 alunos. Trata-se de uma percentagem desprezível da ordem de 0,1%, ou seja, afetando apenas a 4a casa decimal! Como nem todos os itens foram calibrados, o peso de um possível ajuste na nota final seria ainda menor. Considerando os vários outros erros já aludidos acima, o efeito é muito pequeno, mesmo em carreiras mais concorridas onde a colocação é decidida nos últimos algarismos significativos.
Não tenho dúvida que qualquer técnico do INEP sabe disso mas esse ponto precisa ser lembrado para entender o questionamento do momento. Ocorre que foi descoberto um subconjunto de cerca de 6.000 alunos cujos resultados da prova estavam errados (foram corrigidos com uma lista errada de respostas certas). Esse fato deu origem a uma série de questionamentos até jurídicos e que chegaram ao Superior Tribunal de Justiça. Houve suspensão da divulgação dos resultados e discussões sobre o que fazer com esses alunos. No final, as notas deles foram corrigidas e os resultados foram divulgados.
A ligação disso com a TRI, segundo a matéria foi a forma como foram calculados as características das questões do ENEM que não haviam sido pre-testadas. Nesse caso, as próprias provas do ENEM fizeram a estimação dessas características e das notas dos candidatos. Isso não tem nada de errado do ponto de vista técnico. Para tanto, foi selecionada uma amostra grande (100.000 candidatos) para fazer a estimação das características dos ítens.
Note que trata-se de um tamanho bastante alto, garantindo uma estimação bastante precisa. Entretanto, alguns dos 6.000 candidatos "problemáticos" entraram na amostra (cerca de 100, segundo a FSP). Obviamente não se deve fazer nenhum procedimento estatístico com dados reconhecidamente errados e o correto seria refazer as contas sem os resultados desses candidatos. É nesse contexto que se insere o questionamento dos técnicos do INEP, aludido do título da matéria.
Entretanto, havia uma premência de tempo não trivial. Esses resultados precisavam ser divulgados bem antes do início das aulas para fazer a alocação dos alunos nos diferentes cursos de graduação em todo o país. Refazer todas as contas sem esses poucos alunos e recalcular as notas demandaria um tempo que o INEP não parecia dispor. Lembre-se que estamos falando de cerca de 4 milhões de candidatos.
Felizmente, os erros gerados por esse procedimento inadequado são desprezíveis. Estamos falando de 100 indivíduos em uma amostra de 100.000 alunos. Trata-se de uma percentagem desprezível da ordem de 0,1%, ou seja, afetando apenas a 4a casa decimal! Como nem todos os itens foram calibrados, o peso de um possível ajuste na nota final seria ainda menor. Considerando os vários outros erros já aludidos acima, o efeito é muito pequeno, mesmo em carreiras mais concorridas onde a colocação é decidida nos últimos algarismos significativos.
Enfim, acho a preocupação dos técnicos procedente. Entretanto, neste texto foram mencionadas várias fontes de incerteza presentes (mas não aparentes) no cálculo das notas do ENEM, incluindo arredondamentos das notas. Assim, acredito que o efeito dessa possível fonte de imperfeição nas notas de algum aluno sejam desprezíveis, se é que existam, como assegurou o próprio Prof. Dalton Andrade, consultor do INEP e um dos responsáveis pela introdução da TRI nos cálculos do ENEM. Assim, os candidatos que participaram dessa edição do ENEM podem ficar tranquilos: o ENEM segue tão confiável quanto sempre foi!
Nenhum comentário:
Postar um comentário