O ChatGPT já gerou muitas discussões quanto à integridade acadêmica. Em um estudo recente do Cell Reports Physical Science, foi demonstrado um detector de ChatGPT, encarada como uma ferramenta inovadora para discernir entre a escrita humana e a produzida por inteligência artificial.
A capacidade do ChatGPT de compor papers científicos com uma destreza quase indistinguível da nossa gerou muito alvoroço dentro e fora da academia. Em resposta, pesquisadores projetaram um detector com uma lente aguçada para precisão, focado em textos de química.
Segundo a coautora Heather Desaire, química da Universidade do Kansas, em Lawrence, um problema do campo de análise de texto é buscar um detector que seja abrangente, e possa ser usado em todos os tipos de texto. Ao escolherem segmentar a ação da ferramenta de detecção em um campo específico de conhecimento, os pesquisadores buscavam precisão. Esse instrumento desafia os detectores existentes de IA, superando-os ao visar especificamente o estilo da escrita acadêmica.
Em junho, a ideia inicial foi posta à prova com artigos de opinião da renomada revista Science. Utilizando o poder do aprendizado de máquina, o detector analisa 20 elementos distintos do estilo, buscando identificar a diversidade na estrutura das frases, no uso das palavras e até no ritmo ditado pela pontuação. O núcleo de sua função se baseia em uma premissa relativamente simples: um conjunto de impressões digitais estilísticas que podem ser distintamente humanas ou obra de uma IA sofisticada como o ChatGPT.
A recente pesquisa envolveu o desenvolvimento de seções introdutórias de dez periódicos de química da American Chemical Society (ACS). Essa seção específica foi escolhida porque a introdução é eficiente como proposta para a geração de conteúdo pela IA se a ferramenta tiver acesso à literatura de referência.
O treinamento envolveu 100 introduções escritas por humanos, contrastadas com 200 geradas por IA, meticulosamente redigidas no estilo dos periódicos da ACS. O ChatGPT-3.5, se saiu bem na tarefa, criando introduções a partir de títulos e resumos fornecidos.
O detector teve sucesso em sua tarefa, podendo dizer com uma precisão de 100% quando se tratava de introduções baseadas em títulos. Nas baseadas em resumos, a eficácia foi de 98%. A ferramenta funcionou tão bem no GPT-4 quanto no seu antecessor, o GPT-3.5, se saindo melhor se comparada ao detector de IA ZeroGP, que identificou introduções geradas por IA com acerto entre 35-65%, a depender da versão do ChatGPT usada e se a introdução foi gerada a partir do título ou do resumo do artigo. Outra ferramenta, da própria OpenAI (criadora do ChatGPT), também foi mal, detectando entre 10–55% das introduções feitas por IA.
Em julho, a OpenAI assumiu a sua dificuldade para detectar textos produzidos por IA. Clica aqui pra ver!
Outro aspecto interessante deste detector é a versatilidade. Ele não se limitou ao que foi treinado, indo além, identificando com sucesso introduções geradas por inteligência artificial de periódicos nos quais não foi treinado e respondendo a uma variedade de prompts, alguns projetados intencionalmente para confundir detectores de IA.
Limitações do detector de ChatGPT
Por outro lado, quando confrontado com artigos de jornais universitários, o novo detector entrou em território desconhecido, confundindo a criatividade humana com a inteligência artificial. É um lembrete de que essa ferramenta, embora afiada, é feita para um nicho específico — artigos de revistas científicas.
Para além da técnica, Debora Weber-Wulff, cientista da computação que estuda plágio acadêmico na Universidade de Ciências Aplicadas HTW de Berlim lembra que o uso de IA na academia é apenas a ponta de um iceberg de questões mais profundas. A pressão para publicar e a subestimação do processo de escrita são problemas intrínsecos que um algoritmo por si só não pode resolver. Assim, esta inovação, apesar de ser uma arma poderosa na detecção de textos gerados por IA, não é uma solução mágica para os dilemas mais humanos da ciência.
É um fato que o advento do detector de ChatGPT acena com a promessa de um novo capítulo na integridade das publicações científicas, mas há mais para refletir sobre o ambiente acadêmico, que necessita de tais salvaguardas. Equilibrar a competência humana com os avanços da tecnologia pode ser o mapa para um território acadêmico mais ético e transparente, onde a verdadeira essência da pesquisa científica pode prosperar.
Fonte: Nature
