Amostragem em questionamento no cenário nacional

https://www1.folha.uol.com.br

Nos últimos dias, algumas decisões governamentais ligadas à amostragem atraíram a atenção em áreas distintas. Iremos a seguir falar um pouco sobre elas e existem diferenças importantes entre elas. Mas em ambos os casos o cerne da questão foi o mesmo: a informação fornecida por uma amostra pode substituir a informação trazida pela população? 

O contraponto fundamental a essa discussão é o custo envolvido com essa operação. E é isso que está em jogo. A situação ideal é a coleta de informação em toda a população alvo. Tipicamente, quanto maior a amostra maior o custo e a conta que o governo precisa fazer é quanto deve investir na busca de informação. Ou seja, a pergunta a ser respondida é: quanto custa a informação?

O primeiro caso foi a avaliação governamental sobre o nível de alfabetização no Brasil, feita pelo INEP, órgão do Ministério da Educação. Ela foi amplamente noticiada pela mídia. O governo resolveu avaliar o nível de alfabetização dos alunos do 2o ano letivo do ensino fundamental. Para economizar custos, o governo resolveu fazer essa avaliação por amostragem. A medida foi alvo de críticas por motivos óbvios: a informação trazida pela amostra será sempre incompleta, qualquer que seja (o tamanho d)a amostra. Entretanto, essas críticas não consideram ou não verbalizaram consideração sobre os custos envolvidos. 

E os custos não são baixos. O sistema que faz essa avaliação é o Sistema de Avaliação do Ensino Básico (SAEB) e seus custos anuais são da ordem de 500 milhões de reais (apesar do ministro da Educação ter falado em 500 mil reais). Assim, a argumentação das críticas fica desprovida de sustentação sobre sua razoabilidade. 

Outra crítica que me parece mais consistente acabou sendo relegada a um segundo plano mas não foi esquecida pela mídia. O governo resolveu quebrar o padrão que vinha sendo adotado de avaliar alunos da 3a série. Com isso, tornou-se muito difícil, senão impossível, fazer afirmações sobre possíveis melhoras ou pioras no nível de alfabetização do país. Eu imagino que a mudança tenha sido proposta para que a avaliação fosse feita o mais próximo possível do término da alfabetização. Mas a perda de comparabilidade tem um custo difícil de mensurar.

Grande parte da crítica pode ser colocada na linha genérica que "não se pode usar amostras em situações importantes" como é o caso da alfabetização. Acho esse argumento falacioso dependendo do objetivo da avaliação. Obviamente para todo e qualquer aluno é preciso fazer a avaliação do seu rendimento escolar. Mas acredito que isso continuará sendo feito. A questão é saber avaliar a nível mais agregado de escola, bairro, município ou microrregião. Neste caso, me parece que uma boa amostragem poderia fornecer relativamente bem subsídios úteis a formulação de políticas públicas. 

O segundo caso foi o anuncio da direção do IBGE de sua intenção de reduzir os custos do Censo Demográfico de 2020 em 25% e também encontrou repercussão na mídia. O custo do censo é de cerca de R$3,4 bilhões e portanto está se falando de uma economia em torno de 850 milhões de reais. Não é pouco. Por outro lado, encontra-se a discussão sobre o que se perde de informação com essa economia. 

Antes disso é importante destacar que o censo já é parcialmente realizado com amostragem de parte da população recenseada. É certo que o censo coleta informação básica sobre toda a população, caso contrário não seria um censo. Entretanto, um sub-grupo da população é sorteado para responder a um questionário (bem) mais extenso. Acho que essa amostra representa cerca de 10% da população e num passado não muito distante era de 25%.

Assim, a questão aqui não é se deve se coletar dados completos de toda a população mas se a amostra atualmente usada pode ser reduzida ainda mais. Várias opções de economia estão sendo estudadas pela direção do IBGE. Entre elas se encontram redução da amostra com manutenção do formulário e redução do formulário completo com manutenção da amostra. Creio que uma solução de compromisso poderia ser obtida com a combinação das 2 reduções descritas acima. Mas isso exigiria um maior investimento em metodologia, para saber com tratar dados assim obtidos de forma "desbalanceada", e em treinamento, para que os recenseadores não se confundirem no preenchimento dos questionários.

De todo modo, críticas vem sendo veiculadas em diversos meios, feitas por associações de funcionários e por ex-presidentes do IBGE, entre outros. Não deve ser por acaso que o Diretor de Pesquisa, setor do IBGE responsável pelo Censo 2020, foi exonerado ontem. Essas críticas merecem ser estudadas pois contem contextualizações importantes mas também contem argumentos na linha de que "não se pode usar amostras em situações importantes"  que podem ser refutadas através do uso de um bom esquema amostral. [Certa feita, ao dar uma palestra sobre o assunto para uma platéia de professores da rede pública fui interpelado por um deles que, indignado, dizia não acreditar em nenhuma pesquisa de opinião por ele nunca ter sido entrevistado em uma delas.]

Acho que tanto o INEP quanto o IBGE são órgãos com corpos técnicos qualificados e com larga experiência em elaboração de esquemas amostrais eficientes. Portanto, estão qualificados para essa tarefa e poderão até avançar o estado de conhecimento da área com soluções inovadoras e mais eficientes economicamente para o país.