Especialistas analisam riscos e vantagens de usar inteligência artificial para medir desempenho de pesquisadores

Estudo utilizou aprendizado de máquina para analisar currículos e prever quem receberia bolsa do CNPq, segundo Revista Pesquisa Fapesp

Ferramentas de inteligência artificial (IA) poderiam executar tarefas em processos de avaliação científica que hoje são confiadas apenas a revisores humanos, propõe um estudo publicado em novembro no Journal of Informetrics. O objetivo do artigo, assinado por pesquisadores da Universidade Federal do Rio Grande do Sul (UFRGS), era identificar critérios e atributos capazes de definir se um pesquisador será premiado com uma Bolsa de Produtividade em Pesquisa (PQ) do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). Essas bolsas, distribuídas atualmente a cerca de 15 mil pesquisadores, oferecem uma complementação à remuneração que eles recebem em suas instituições como reconhecimento a sua produção destacada e ao trabalho de orientar estudantes.

Foram analisados os currículos Lattes de 133 mil pesquisadores, 14.138 dos quais foram agraciados com as bolsas PQ entre 2005 e 2022. Os autores do estudo utilizaram um conjunto de técnicas de aprendizado de máquina aplicado aos currículos de candidatos a bolsas que conseguiu apontar, com razoável grau de acerto, quais pesquisadores seriam contemplados. A precisão chegou a 80% em uma das categorias de bolsistas, a PQ-2, voltada a pesquisadores mais jovens e que considera principalmente o número de artigos publicados e de orientações de alunos. “Para os demais níveis, a ferramenta se portou bem, mas com menos acurácia, pois a definição depende de uma análise mais qualitativa”, disse um dos autores do estudo, Denis Borenstein, da Escola de Administração da UFRGS.

Segundo o pesquisador, só foi possível criar o modelo porque há um grande volume de dados sobre a produção dos pesquisadores na Plataforma Lattes, utilizado para treinar os algoritmos de aprendizado de máquina. Na sua avaliação, a ferramenta seria útil ao menos para fazer uma triagem dos candidatos e poupar trabalho dos avaliadores. “Os revisores poderiam analisar um volume menor de propostas de forma mais tranquila e cuidadosa”, afirma Borenstein, um especialista em pesquisa operacional aplicada, abordagem interdisciplinar que utiliza algoritmos e métodos matemáticos e estatísticos para auxiliar em tomada de decisões.

Leia na íntegra: Revista Pesquisa Fapesp