TRI e PISA

www.oecd.org

PISA é a sigla de Programme for International Student Assessment (Programa para Avaliação Internacional de Estudantes). Esse programa é uma avaliação internacional sobe os níveis educacionais em diversos países. Ela é realizada a cada 3 anos pela Organisation for Economic Co-operation and Development (OECD), uma instituição de cerca de 50 anos voltada para a promoção de desenvolvimento no mundo. 

Recentemente, a OECD divulgou os resultados do PISA2012. Esse teste envolveu centenas de milhares de estudantes de 65 países distribuídos em todos os continentes. A avaliação envolveu conteúdos de Matemática, Ciências e Português (para alunos do Brasil). Houve muita discussão sobre esses resultados no mundo todo, inclusive no Brasil. Uma amostra da diversidade e importância das reações pode ser dada pelos órgãos públicos (representados aqui pelo INEP e pela página da Dilma no facebook) e pela mídia (representada aqui pela revista VEJA e pelo jornal O Globo).

Prefiro não me ater aqui aos resultados e as antagônicas interpretações acima mas me concentrar sobre algumas questões metodológicas do processo de análise e compilação dos testes realizados. A metodologia usada pela OECD está descrita em extenso relatório técnico. Embora eu não tenha acessado essa publicação, ela foi analisada pela comunidade científica de Estatística. Em particular, um sumário dessa análise foi disponilizado no blog Understanding Uncertainty.

Segundo o blog, os resultados dos testes de múltipla escolha foram analisados com o modelo de Rasch com imputação de dados para as questões que não foram respondidas. Gostaria de me concentrar nesses 2 pontos:

• o modelo de Rasch é o mais simples dos possíveis modelos usados em Teoria de Resposta ao Ítem (TRI). Esse modelo não contempla a possibilidade de diferentes capacidades de discriminação ném de acerto casual das questões. Essas características são parte integral da maioria das avaliações educacionais de larga escala, como o ENEM. Assim, os resultados são gerados de um modelo que provavelmente é muito simplista;
• não acho que a imputação de dados não faça sentido no contexto de estimação de proficiências, procedimento crucial para reportar resultados da TRI. Imputação de dados é a técnica usada para gerar valores para dados que não foram observados. Posteriormente, a OECD introduz uma inflação da incerteza para refletir o real desconhecimento dos dados artificialmente imputados. Essa lógica de supor conhecido o que não é conhecido e depois compensar os resultados obtidos pelo fato de que a incerteza foi subdimensionada simplesmente não faz sentido para mim. Além disso, é muito difícil que essa compensação seja corretamente dimensionada, mesmo quando feita com base no modelo usado para imputação.

Outo ponto relacionado ao primeiro (escolha do modelo) é que mesmo o modelo mais completo da TRI, que é tradicionalmente usado em avaliações educacionais de larga escala, não é adequado. Existem evidências substanciais¹ sobre a existência de comportamento diferencial dos itens (DIF) no PISA. O que a DIF faz é incorporar diferenças socio-culturais na análise, crucial para correta determinação das proficiências. Isso é de se esperar em estudos multinacionais, como o PISA, onde importantes diferenças entre os países estão presentes. Esse ponto já foi levantado aqui no blog na análise de cotas sociais nas universidades de um país tão diversificado culturalmente como o Brasil.

Assim, apesar de reconhecer o enorme esforço realizado pela OECD para realização e análise dos resultados do PISA, existem questões metodológicas que precisam ser melhor consideradas para que os seus resultados possam ser considerados representações confiáveis dos níveis educacionais nacionais que se deseja mensurar.

------------------------------------------------------------------------------------------------------------

¹ - GAMERMAN, D., SOARES, T. M.  e GONCALVES, F. B. (2010). Bayesian analysis in Item Response Theory applied to a large-scale educational assessment. Em Oxford Handbook of Applied Bayesian Analysis (Eds.: Anthony O' Hagan e Mike West). OUP, 624-652.