Bibliometria - usar ou não usar?

kib.ki.se

A postagem da semana passada retomou o assunto do uso de índices bibliométricos como instrumento de avaliação acadêmica. A postagem apresentou a meia-vida de citação como mais um índice, além dos já famosos fator de impacto de periódicos e os diferentes números para medir citações de um artigo. Isso só serve para ilustrar a quantidade de índices disponíveis para a tarefa de avaliação de unidades de produção científica, sejam elas pesquisadores, departamentos, universidades ou países. A figura acima, extraída do site de uma conceituada instituição científica, parodia a confusão na qual estamos todos propensos a mergulhar ao se envolver com o tema.

Entre os pontos a favor, estão a facilidade de comparação que esses índices fornecem e a possibilidade de implementação imediata e até mesmo de automatização do processo. Entre os pontos contra estão a supressão de elementos qualitativos, que em muitos casos são fundamentais. Gostaria de tentar elencar, detalhar e discutir os argumentos acima para tentar extrair alguma avaliação isenta, se é que isso é possível.

O mundo acadêmico tem assistido um crescente avanço no sentido de geração de índices de produtividade científica e o número de avaliações cresce junto. Isso torna mais importante a existência de mecanismos que possam auxiliar na sempre dificil tarefa de avaliação. Temos milhares de pesquisadores e centenas de programas de pós-graduação sendo rotineiramente avaliados. Embora desejável, torna-se difícil que avaliações individualizadas sejam utilizadas em todos os casos. Simplesmente não há tempo. Assim, é tentador usar medidas que possam auxiliar ou mesmo realizar a tarefa se elas forem capazes de oferecer alguma credibilidade. Considero inclusive provável a operacionalização de avaliação automatizada em um futuro não muito distante. Os sistemas de avaliação em curso estão sendo cada vez mais municiados com bases de dados contendo esses ítens.

Por que então não fazê-lo? Os frutos mais usuais de uma produção científica são os artigos científicos. Tratá-los como componentes meramente quantitativos pode levar a sérios e grosseiros erros. Dois artigos no mesmo periódico podem ter qualidade substancialmente diferente. Uma das formas de padronizar seria dividindo pelo número de autores e pelo numero de páginas. Mas nem mesmo isso seria suficiente. Os autores de um artigo podem estar contribuindo de forma muito diferente para o achado científico em pauta. Além disso, a padronização pelo número de citações, artificio muito usado para medir relevância de um artigo, pode ser enganosa. Como já dito aqui antes, Alguns artigos atingem alto número de citações mas essas citações estão muitas vezes concentradas em periódicos de menor circulação e portanto atestam a baixa relevância da contribuição. 

Todos esses argumentos a favor e contra são de conhecimento da comunidade científica e acredito que ajudam a ilustrar a complexidade do tema e a dificuldade de definir por uma ou outra forma de avaliação. O que não se deve é agir como se um dos dois lados dessa moeda fosse desconhecido e, portanto, descartado. A Ciência só teria a perder com isso. Soluções de compromisso entre os extremos meramente quantitativos e meramente qualitativos precisam ser buscadas.