.

O que são métricas responsáveis?

De acordo com o Relatório The Metric Tide , “Métricas responsáveis” referem-se ao uso ético e apropriado de métricas baseadas em citações (por exemplo, contagens de citações, fator de impacto do jornal, índice H), altmetria (por exemplo, quantas vezes a pesquisa é mencionada, usada, salva e compartilhada em blogs, mídia social e serviços de bookmarking social) e outros meios quantitativos de avaliação de pesquisas.

Aplica-se a todos os envolvidos no uso ou produção dessas métricas, por exemplo:

• pesquisadores
• financiadores
• instituições (ou seja, universidades e outros órgãos que empregam pesquisadores)
• editores
• organizações que fornecem métricas

A ideia é oferecer diretrizes de boas práticas que ajudem a prevenir cenários como:

• um artigo de revista sendo julgado apenas pelo revista em que foi publicado e não por seu próprio mérito
• universidades que buscam melhorar seu lugar em uma lista de classificação, quando a completude dos dados e a adequação das medidas que a lista usa são contestadas
• empregadores usando limites métricos arbitrários para contratar e / ou demitir funcionários
• a avaliação da pesquisa em geral sendo distorcida pelo fato de que as métricas podem ser manipuladas e / ou levar a consequências indesejadas

A adoção de uma abordagem de métrica responsável é vista como uma boa prática em toda a comunidade de pesquisa.

The Metric Tide  é um relatório importante publicado em 2015, que ajudou a promover e a enquadrar a discussão de métricas responsáveis ​​(pelo menos no Reino Unido). Afirma:

“Métricas responsáveis ​​podem ser entendidas em termos de uma série de dimensões:

Robustez: basear as métricas nos melhores dados possíveis em termos de precisão e escopo;

Humildade: reconhecer que a avaliação quantitativa deve apoiar – mas não suplantar – a avaliação qualitativa de especialistas;

Transparência: manter os processos de coleta e análise de dados abertos e transparentes, para que os avaliados possam testar e verificar os resultados;

Diversidade: contabilizando a variação por campo e usando uma gama de indicadores para refletir e apoiar uma pluralidade de trajetórias de pesquisa e de pesquisa em todo o sistema;

Reflexividade: reconhecer e antecipar os efeitos sistêmicos e potenciais dos indicadores e atualizá-los em resposta “

Outros marcos importantes em métricas responsáveis ​​incluem a  Declaração de San Francisco sobre Avaliação de Pesquisa (DORA) , um conjunto de 18 recomendações direcionadas a diferentes partes da comunidade de pesquisa, reconhecendo a necessidade de mudança sistêmica nas práticas de avaliação, formulada em 2012, e o Manifesto de Leiden para métricas de pesquisa, um conjunto de 10 princípios práticos e orientados para a ação que orientam as melhores práticas na avaliação de pesquisas baseadas em métricas, publicado em 2015.

Selecione as métricas apropriadas

“A situação ideal, ao tomar decisões de gerenciamento de pesquisa, é ter três tipos de entrada: revisão por pares, opinião de especialistas e informações de uma base de evidências quantitativa. Quando essas abordagens complementares ‘triangulam’ para fornecer mensagens semelhantes, você pode ter certeza de que sua decisão é sólida. Mensagens conflitantes são um alerta útil de que uma investigação mais aprofundada é provavelmente necessária. Da mesma forma que geralmente é solicitada mais de uma revisão por pares, o uso de várias métricas também garantirá que quaisquer descobertas sejam tão confiáveis ​​quanto possível” [2]

Seja claro na pergunta que você está fazendo

O objetivo de usar dados e métricas como entrada na tomada de decisão é que quaisquer diferenças observadas devem refletir as diferenças de desempenho. Você deve garantir que:

• A pergunta que está sendo feita é claramente articulada
• Você está ciente de outros fatores, além do desempenho, que podem influenciar o valor de uma métrica

Alguns tipos de perguntas normalmente se enquadram em três grupos:

Esteja ciente dos fatores que afetam o valor da métrica

Existem seis fatores, além do desempenho, que podem afetar o valor de uma métrica:

• Tamanho da instituição
• Disciplina – área de conhecimento
• Tipo de publicação
• Cobertura de banco de dados
• Manipulação
• Período de tempo considerado

Institutos de pesquisa em todo o mundo desenvolveram declarações sobre o uso de métricas [3]. Aqui estão alguns exemplos dessas Declarações: