Essa é mais uma postagem da série valor dos números e vem do mundo da pesquisa científica. Um dos métodos mais utilizados para avaliar a qualidade de um periódico é a quantidade de citações que os artigos lá publicados tem. A lógica usada é que um artigo é tão relevante quanto ele for usado por outros autores e uma forma rápida de atestar o uso é a citação. Claro que esse raciocínio tem falhas: ser citado não significa ter sido usado; muitas vezes, cita-se um artigo para ilustrar o que não deve ser feito! Mas a grosso modo essa sistemática tem uma certa lógica e tem sido seguida. Num mundo cada vez mais populado de números, o direcionamento da produção científica de pesquisadores acaba sendo influenciada por esses índices. E com ela, muitos mecanismos de avaliação da pesquisa, apesar de questionamentos.
É claro que toda área tem seus periódicos de excelência e eles são conhecidos universalmente. Na área de Estatística, existe um reconhecimento quase unânime que os periódicos de topo são JASA (Journal of the American Statistical Association), JRSSB (Journal of the Royal Statistical Society, Series B), Biometrika e Annals of Statistics. Mas abaixo deles existe uma quantidade muito grande de periódicos com nível variável de qualidade e fica difícil para as maioria das pessoas ter total conhecimento sobre essa variação.
Assim, esses números, conhecidos como fatores de impacto, vem sendo compilados nos Journal Citation Reports (JCR) da empresa Thomson Reuters e receberam muita relevância nos dias de hoje. Tornou-se importante para os administradores de periódicos garantir o maior fator de impacto possível. O caminho canônico é garantir a publicação de artigos de melhor nível possível. Mas isso pode ser difícil para periódicos que se situam mais abaixo na cadeia de importância da área em questão.
Editores mais afoitos de alguns periódicos tem se valido de outros métodos menos, digamos, canônicos para inflar seus fatores de impacto. Uma das técnicas mais simples e comuns é artificialmente inflar as citações dos artigos. Editores incentivam autores de artigos aceitos a rechearem, às vezes exageradamente, seus artigos de citações a outros artigos desse mesmo periódico. Essa técnica pode ser refinada com citações cruzadas artificiais onde editores de periódicos recheiam artigos com citações de artigos de periódicos amigos. Isso obviamente desacredita a própria relevância dos fatores de impacto e vem sendo combatido.
A figura acima, retirada de um relatório da Thomson, ilustra esse tipo de comportamento anômalo de periódicos com uma substancial modificação no padrão de citações de um dado periódico. Note que, a partir de 2009, tanto a proporção quanto a quantidade de auto-citações mudaram drasticamente. No caso desse periódico da figura, a detecção é clara por inspeção visual. Em outros casos, não é tão fácil a identificação de mudança de padrão. Nesses casos, técnicas estatísticas projetadas para detecção de mudança de padrão deveriam ser utilizadas.
De qualquer forma, a reação da Thomson veio através da supressão de 67 periódicos (dentre os quais 5 brasileiros) de sua listagem de fatores de impacto devido a suspeitas de comportamento atípico. Uma cuidadosa mas simples análise de dados permitiu a detecção de comportamentos fora do normal desses periódicos. O relatório aponta as técnicas simples utilizadas para determinar quais periódicos foram suprimidos. Métodos estatísticos poderiam ter sido usados para detectar muitos outros periódicos.
Claro que isso é só uma ponta de um iceberg científico. Mas já é um sinal de alerta para editores gananciosos agirem de forma correta e pensarem muito bem antes de tomarem esse tipo de atitude questionável. Ela só depõe contra a reputação do periódico. Além disso, como ficamos agora sabendo pela atitude da Thomson Reuters, só fizeram piorar as coisas para o periódico.
Dani, vi um documentário que falava sobre QBism, que seria o emprego da estatística bayesiana na explicação de fenômenos quânticos. O que você acha disso? Grande abraço! Edson
ResponderExcluirEsta história da inflação de citações apoia minha visão da humanidade: em qualquer atividade humana, legal ou ilegal, boa ou má, sempre haverá alguém extremamente bom em executá-la e sempre haverá os que encontrarão meios de cortar o caminho para o sucesso em executá-la. Se precisamso de citações, então vamos criá-las! Por outro lado,pode demorar, mas quase sempre os fraudadores são descobertos, criandooportunidades para os novos fraudadores se aperfeiçoarem, ao estudarem seus métodos. E assim caminha a humanidade. Abração!
ResponderExcluir