Há uma necessidade premente de melhorar as maneiras pelas quais a produção de pesquisa científica é avaliada por agências de financiamento, instituições acadêmicas e outras partes. Para abordar esta questão, um grupo de editores e editores de periódicos acadêmicos se reuniu durante a Reunião Anual do American Society for Cell Biology (ASCB) em San Francisco, CA, em 16 de dezembro de 2012. O grupo desenvolveu um conjunto de recomendações, referido como a Declaração de San Francisco sobre Avaliação de Pesquisa. Convidamos as partes interessadas em todas as disciplinas científicas a indicar seu apoio, adicionando seus nomes a esta Declaração. Esta é uma tradução livre da Declaração.

Os resultados da pesquisa científica são muitos e variados, incluindo: artigos de pesquisa relatando novos conhecimentos, dados, reagentes e software; propriedade intelectual; e jovens cientistas altamente treinados. Agências de financiamento, instituições que empregam cientistas e os próprios cientistas têm o desejo e a necessidade de avaliar a qualidade e o impacto dos resultados científicos. Portanto, é imperativo que a produção científica seja medida com precisão e avaliada com sabedoria.

O fator de impacto do periódico é frequentemente usado como o parâmetro principal para comparar a produção científica de indivíduos e instituições. O Journal Impact Factor, calculado pela Thomson Reuters *, foi originalmente criado como uma ferramenta para ajudar os bibliotecários a identificar os periódicos a serem comprados, não como uma medida da qualidade científica da pesquisa em um artigo. Com isso em mente, é fundamental entender que o Fator de Impacto do Jornal tem uma série de deficiências bem documentadas como ferramenta para avaliação de pesquisas. Essas limitações incluem: A) as distribuições de citações dentro de periódicos são altamente distorcidas [1–3]; B) as propriedades do Journal Impact Factor são específicas de campo: é uma composição de vários tipos de artigos altamente diversos, incluindo artigos de pesquisa primária e revisões [1, 4]; C) Fatores de impacto de periódicos podem ser manipulados (ou “manipulados”) pela política editorial [5]; e D) os dados usados ​​para calcular os Fatores de Impacto do Jornal não são transparentes nem abertamente disponíveis ao público [4, 6, 7]. A seguir, fazemos uma série de recomendações para melhorar a maneira como a qualidade da produção de pesquisa é avaliada. Produtos que não sejam artigos de pesquisa crescerão em importância na avaliação da eficácia da pesquisa no futuro, mas o artigo de pesquisa revisado por pares continuará sendo um resultado de pesquisa central que informa a avaliação da pesquisa. Nossas recomendações, portanto, se concentram principalmente em práticas relacionadas a artigos de pesquisa publicados em periódicos revisados ​​por pares, mas podem e devem ser estendidas pelo reconhecimento de produtos adicionais, como conjuntos de dados, como resultados de pesquisa importantes. Essas recomendações são destinadas a agências de financiamento,

Vários temas percorrem essas recomendações:

• a necessidade de eliminar o uso de métricas baseadas em periódicos, como Fatores de impacto de periódicos, em considerações de financiamento, nomeação e promoção;
• a necessidade de avaliar a pesquisa por seus próprios méritos, e não com base no periódico em que a pesquisa foi publicada; e
• a necessidade de capitalizar as oportunidades oferecidas pela publicação online (como relaxar limites desnecessários no número de palavras, figuras e referências em artigos e explorar novos indicadores de significância e impacto).

Reconhecemos que muitas agências de financiamento, instituições, editoras e pesquisadores já estão incentivando práticas aprimoradas de avaliação de pesquisas. Essas etapas estão começando a aumentar o ímpeto em direção a abordagens mais sofisticadas e significativas para avaliação de pesquisa que agora podem ser construídas e adotadas por todos os principais constituintes envolvidos.

Os signatários da Declaração de São Francisco sobre Avaliação de Pesquisa apóiam a adoção das seguintes práticas na avaliação de pesquisa.

Recomendação Geral

1. Não use métricas baseadas em periódicos, como Fatores de impacto de periódicos, como medida substituta da qualidade de artigos de pesquisa individuais, para avaliar as contribuições de um cientista individual ou em decisões de contratação, promoção ou financiamento.

Para agências de financiamento

2. Seja explícito sobre os critérios usados ​​na avaliação da produtividade científica dos candidatos a bolsas e destaque claramente, especialmente para os pesquisadores em estágio inicial, que o conteúdo científico de um artigo é muito mais importante do que as métricas de publicação ou a identidade do periódico no qual ele foi publicado.

3. Para fins de avaliação de pesquisa, considere o valor e o impacto de todos os resultados da pesquisa (incluindo conjuntos de dados e software), além das publicações de pesquisa, e considere uma ampla gama de medidas de impacto, incluindo indicadores qualitativos do impacto da pesquisa, como influência na política e pratique.

Para instituições

4. Seja explícito sobre os critérios usados ​​para chegar a decisões de contratação, estabilidade e promoção, destacando claramente, especialmente para os investigadores em estágio inicial, que o conteúdo científico de um artigo é muito mais importante do que as métricas de publicação ou a identidade do periódico no qual foi publicado.

5. Para fins de avaliação de pesquisa, considere o valor e o impacto de todos
os resultados da pesquisa (incluindo conjuntos de dados e software), além das publicações de pesquisa, e considere uma ampla gama de medidas de impacto, incluindo indicadores qualitativos do impacto da pesquisa, como a influência na política e pratique.

Para editores

6. Reduza bastante a ênfase no fator de impacto do periódico como ferramenta promocional, de preferência deixando de promover o fator de impacto ou apresentando a métrica no contexto de uma variedade de métricas baseadas no periódico (por exemplo, fator de impacto de 5 anos, EigenFactor [ 8], SCImago [9], índice h, tempo editorial e de publicação, etc.) que fornecem uma visão mais rica do desempenho do periódico.

7. Disponibilizar uma gama de métricas no nível do artigo para encorajar uma mudança em direção à avaliação com base no conteúdo científico de um artigo, em vez de métricas de publicação do periódico em que foi publicado.

8. Incentivar práticas de autoria responsável e o fornecimento de informações sobre as contribuições específicas de cada autor.

9. Quer o periódico seja de acesso aberto ou baseado em assinatura, remova todas as limitações de reutilização das listas de referência em artigos de pesquisa e disponibilize-os sob a Creative Commons Public Domain Dedication [10].

10. Remova ou reduza as restrições ao número de referências em artigos de pesquisa e, quando apropriado, ordene a citação da literatura primária em favor das revisões, a fim de dar crédito ao (s) grupo (s) que primeiro relataram uma descoberta.

Para organizações que fornecem métricas

11. Seja aberto e transparente, fornecendo dados e métodos usados ​​para calcular todas as métricas.

12. Fornece os dados sob uma licença que permite a reutilização irrestrita e fornece acesso computacional aos dados, quando possível.

13. Deixe claro que a manipulação inadequada de métricas não será tolerada; seja explícito sobre o que constitui manipulação inadequada e quais medidas serão tomadas para combatê-la.

14. Considere a variação nos tipos de artigos (por exemplo, revisões versus artigos de pesquisa) e em diferentes áreas temáticas quando as métricas são usadas, agregadas ou comparadas.

Para pesquisadores

15. Quando estiver envolvido em comitês que tomam decisões sobre financiamento, contratação, mandato ou promoção, faça avaliações com base no conteúdo científico, em vez de métricas de publicação.

16. Sempre que apropriado, cite a literatura primária na qual as observações são relatadas primeiro, em vez de revisões, a fim de dar crédito onde o crédito é devido.

17. Use uma série de métricas e indicadores de artigos em declarações pessoais / de apoio, como evidência do impacto de artigos individuais publicados e outros resultados de pesquisa [11].

18. Desafie as práticas de avaliação de pesquisa que dependem inadequadamente dos Fatores de impacto do periódico e promova e ensine as melhores práticas que enfoquem o valor e a influência de resultados de pesquisa específicos.

Referências

1. Adler, R., Ewing, J. e Taylor, P. (2008) Citation statistics. Um relatório da União Matemática Internacional.
2. Seglen, PO (1997) Por que o fator de impacto de periódicos não deve ser usado para avaliar pesquisas. BMJ 314, 498–502.
3. Editorial (2005). Impacto não tão profundo. Nature 435, 1003–1004.
4. Vanclay, JK (2012) Impact Factor: Artefato desatualizado ou trampolim para a certificação de periódico. Scientometric 92, 211–238.
5. The PLoS Medicine Editors (2006). O jogo do fator de impacto. PLoS Med 3 (6): e291 doi: 10.1371 / journal.pmed.0030291.
6. Rossner, M., Van Epps, H., Hill, E. (2007). Mostre-me os dados. J. Cell Biol. 179, 1091–1092.
7. Rossner M., Van Epps H. e Hill E. (2008). Resultados irreproduzíveis: uma resposta à Thomson Scientific. J. Cell Biol. 180, 254–255.
8. http://www.eigenfactor.org/
9. http://www.scimagojr.com/
10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
11. http://altmetrics.org/tools/

* O fator de impacto do jornal agora é publicado pela Clarivate Analytics.