O uso de inteligência artificial na pesquisa científica pode trazer uma perspectiva alarmante sobre o uso deste tipo de tecnologia. A utilização de ChatGPT e outras ferramentas de IA na revisão por pares de trabalhos científicos está gerando uma onda de preocupações e questionamentos sobre a integridade deste processo fundamental para a validação do conhecimento científico.
Um estudo divulgado em março no servidor de pré-publicação arXiv (nesta plataforma, o artigo pode ser divulgado sem ter sido revisado por pares, tanto de forma definitiva quanto enquanto aguardam a revisão) analisou as revisões por pares de conferências significativas na área de ciência da computação, revelando que até 17% desses relatórios podem ter sido substancialmente alterados com a ajuda de chatbots. Esta descoberta levanta uma questão crucial: estamos diante de uma evolução natural na maneira como conduzimos a revisão da pesquisa científica por pares ou testemunhando uma erosão de sua confiabilidade?
A prática da revisão por pares é um aspecto fundamental da validação da publicação científica, assegurando que os trabalhos submetidos sejam rigorosamente avaliados por especialistas no campo antes de serem publicados. O fato de chatbots, que ocasionalmente podem gerar informações enganosas ou fabricadas, estarem envolvidos neste processo é, para muitos, uma violação da expectativa de que uma avaliação humana e criteriosa é essencial para garantir a qualidade e a integridade do conhecimento científico.
Debora Weber-Wulff, cientista da computação na HTW Berlin–University of Applied Sciences na Alemanha, expressa um choque compreensível frente a essa tendência, destacando os riscos associados à “alucinação” de sistemas de IA, isto é, sua propensão para gerar conteúdo sem fundamento em fatos reais ou sem uma lógica consistente. A ocorrência dessa variável inconstante no processo de revisão por pares é vista por muitos acadêmicos como potencialmente prejudicial à credibilidade e à robustez da pesquisa científica.
A análise do estudo concentrou-se na identificação de adjetivos-chave, utilizados com mais frequência por IA do que humanos, em mais de 146.000 relatórios de revisão. Termos como “commendable” (louvável), “innovative” (inovador), “meticulous” (meticuloso) e outros surgiram com uma frequência significativamente maior nas revisões após a popularização do ChatGPT, sugerindo uma infiltração do uso de IA no processo.
Interessante notar que revisões mais críticas, submetidas perto dos prazos de entrega ou menos propensas a receber resposta dos autores, apresentaram uma maior incidência desses adjetivos, indicando uma possível recorrência ao uso de chatbots sob pressão de tempo ou para tarefas consideradas menos prioritárias pelos revisores.
Enquanto isso, uma pesquisa realizada pela revista Nature em 2023 revelou que quase 30% dos mais de 1.600 cientistas consultados utilizaram IA generativa para escrever artigos, e aproximadamente 15% a empregaram em revisões literárias e na redação de propostas de financiamento. Esses números ressaltam a crescente penetração das ferramentas de IA no domínio da pesquisa científica, sugerindo uma mudança paradigmática na maneira como a pesquisa científica é documentada e revisada.
Obstáculos para a pesquisa científica?
Diante desses desenvolvimentos, surge uma questão premente sobre a transparência e a autenticidade no uso de IA na revisão por pares. A falta de clareza sobre como essas ferramentas são empregadas pelos revisores levanta preocupações significativas sobre a possibilidade de comprometimento da confiança no processo. Andrew Gray, da University College London, compartilha essa preocupação, apontando para a dificuldade em discernir a extensão e a natureza do uso de IA nas revisões, dada a ausência de transparência dos autores.
A editora Springer Nature, por sua vez, adotou uma postura cautelosa, aconselhando contra o carregamento de manuscritos em ferramentas de IA generativa por parte dos revisores, citando “limitações consideráveis” e potenciais riscos associados à manipulação de informações sensíveis ou proprietárias. No entanto, a editora também explora a possibilidade de oferecer aos revisores ferramentas de IA “seguras” que possam auxiliar na avaliação, apontando para um futuro onde o uso de IA na revisão por pares poderia ser mais controlado e transparente.
Você pode saber mais sobre as ferramentas para revisão da pesquisa científica clicando aqui!
O dilema sobre o uso de IA na revisão por pares pode representar um avanço na eficiência e na acessibilidade do processo, mas também traz o risco de comprometer a integridade e a confiabilidade do que é produzido na academia, o que pode colocar obstáculos significativos no desenvolvimento da pesquisa científica. Quais seriam as consequências disso para aquisição de financiamento, por exemplo? Como saber se recursos estão sendo direcionados para pesquisas idôneas? Quais mais dificuldades vão se colocar para adquirir incentivos e o quanto isso vai atrasar o progresso da ciência? Não são questões fáceis de serem respondidas.
Nesse contexto, a discussão em torno do uso de ChatGPT e ferramentas semelhantes na revisão científica pode apontar para problemas para além da tecnologia, transitando entre valores fundamentais relacionados à pesquisa científica. Será que a pressão por volume de publicações não está gerando um impacto oposto do que é esperado? No lugar de mais conhecimento, diante das possibilidades com a IA, estaríamos diante do comprometimento da qualidade em favor da quantidade?
Fonte: Nature
