O ChatGPT está sendo usado de maneira desonesta por pesquisadores e o uso controverso da IA Generativa gera grandes preocupações também no ambiente acadêmico. Artigos de autores que usaram essas ferramentas estão sendo publicados sem que esse uso seja declarado.
Uma revista chamada Physica Scripta publicou um artigo que estava fazendo o de sempre – discutindo soluções para uma equação matemática complexa. Sem novidade até Guillaume Cabanac, um detetive científico da Universidade de Toulouse identificar uma expressão suspeita na terceira página: ‘Regenerate response’. Para quem está acostumado, sabe que é um botão em destaque no ChatGPT. Que gafe!
Antes de começar a falar de LLMs na academia, você conhece o “ChatGPT acadêmico” e outros ferramentas que podem facilitar a vida dos pesquisadores? Clica aqui e vem conhecer quais são elas.
Cabanac levou a situação a público com um post no PubPeer. Pense no PubPeer como a rede social dos cientistas. É lá que eles trocam ideias, compartilham pensamentos e, às vezes, discutem essas descobertas bombásticas.
Os autores do artigo admitiram para a revista que algumas vezes tiveram uma da ajuda da inteligência artificial. Essa confissão levou a editora, IOP Publishing, a retirar o artigo do ar. Demorou dois meses para a anomalia ser detectada, período em que passou por revisão por pares (o artigo foi submetido em maio e uma versão revisada enviada em julho) e composição tipográfica.
Isso não foi um simples erro isolado. Cabanac encontrou mais de uma dúzia de artigos com frases típicas do ChatGPT, e esses artigos não eram de qualquer revista, mas de nomes com grande credibilidade como Elsevier e Springer Nature. Essas editoras, por sinal, não são contra o uso de ferramentas LLM, mas estabelecem a necessidade de declarar claramente como e quando ferramentas desse tipo foram usadas.
Os desafios do uso do ChatGPT e de outras ferramentas de LLM
Isto tudo é apenas a ponta do iceberg. Pode haver um monte de artigos por aí coescritos por inteligência artificial e é muito difícil identificar isso. No passado, artigos escritos por computador eram fáceis de identificar, mas as ferramentas de LLM produzem conteúdos impecáveis se retirados as frases e termos padrão. É quase impossível distinguir do trabalho humano.
Elisabeth Bik, microbiologista e consultora independente de integridade de pesquisa em São Francisco, Califórnia, traz uma reflexão inquietante: Com o surgimento de ferramentas de inteligência artificial com modelo de linguagem LLM, como o ChatGPT, os riscos potenciais são enormes, tais como produzir artigos falsos à velocidade da luz, criando um verdadeiro ecossistema de vendas de artigos falsos para pesquisadores que querem aumentar sua produção.
David Bimler, um psicólogo aposentado que trabalhou anteriormente na Universidade Massey, em Palmerston North, Nova Zelândia, usa o pseudônimo ‘Smut Clyde’ para descobrir artigos científicos falsos, e fez uma observação muito pertinente sobre o estado da academia, destacando que há tanta pressão para publicar que os revisores não conseguem ter uma dedicação suficiente para identificar como deveriam o uso das ferramentas de inteligência artificial LLM.
Um grande alerta para os revisores é que quando um artigo cita uma pesquisa que não existe, por isso verificar com dedicação as referências se faz muito importante. O ChatGPT e os LLM em geral, apesar de produzirem resultados incríveis, às vezes inventam referências. As tão mencionadas alucinações são bastante criativas, uma vez que o modelo tem como principal objetivo entregar uma resposta, independente de ela ser verdade ou não.
O mundo acadêmico está se vendo obrigado a revistar suas políticas para incorporar essa tecnologia de uma forma que ajuda os pesquisadores sem, contudo, perder sua credibilidade.
A universidade de Yale trouxe perspectivas interessantes sobre suas políticas em relação ao uso da inteligência artificial e algumas questões se colocam antes da ferramenta em si: o comportamento humano e a tendência ao plágio anterior à IA. Clica aqui para ler mais sobre o assunto.
A intimidade necessária para conhecer minuciosamente essas ferramentas inteligentes de LLM demanda uma aproximação intensa, e uma proibição parece ser inútil, à medida que esses recursos se tornam mais eficientes e presentes.
O Russel Group foi um dos pioneiros a tratar do assunto das LLM dentro da academia, pensando a situação de forma coletiva e preocupada com democratizar acesso e promover o uso consciente e responsável. Clica aqui para ver!
O uso indevido do ChatGPT é só uma das possibilidades de grandes problemas da IA para a academia. A verdade é que a inteligência artificial está cada vez mais presente e os modelos LLM, embora assustem pelos problemas intrínsecos, trazem oportunidades para uma quantidade muito maior de conteúdo rico. Talvez o maior problema não esteja na ferramenta em si, mas no fluxo de publicação exigido, como se quantidade superasse a qualidade.
Fonte: Nature
