Por mais que a IA traga muitas possibilidades, e os resultados dos LLM (Grandes Modelos de Linguagem) sejam surpreendentes, mesmo com a constante evolução, essa tecnologia tem seus limites.
Cientistas de todo o mundo estão quebrando a cabeça para otimizar a precisão e a capacidade de raciocínio desses modelos. Imagine que esses LLMs são como super cérebros digitais tentando ficar cada vez mais inteligentes.
Uma das estratégias que se destaca é a “autocorreção“, onde o próprio modelo refina suas respostas. É basicamente como se o LLM tentasse dar uma resposta e depois pensasse: “Hmm, será que eu acertei? Vou conferir novamente”. Esse processo também pode ser conhecido por outros nomes, como “autocrítica”, “auto-refinamento” ou “autoaperfeiçoamento”.
Um estudo recente, fruto da parceria entre o Google DeepMind e a Universidade de Illinois, trouxe à tona alguns desafios dessa técnica. O sucesso desse processo muitas vezes depende do tipo de tarefa que o modelo está tentando executar. Para as que exigem raciocínio mais aprofundado, a autocorreção geralmente só dá certo quando os LLMs conseguem recorrer a algum tipo de recurso externo, seja um feedback humano, ferramentas como calculadoras ou até bases de conhecimento mais extensas.
Os cientistas descobriram que, sem esse feedback externo, os LLMs muitas vezes falham na própria tentativa de se corrigir, e às vezes essa autocorreção pode até piorar a resposta inicial do modelo!
Outro ponto de atenção é que nem sempre esses modelos terão um feedback de alta qualidade à disposição, por isso, é vital entender até onde vão as habilidades inatas desses LLMs e quanto da auto-correção vem do próprio conhecimento do modelo.
Os pesquisadores até introduziram um termo bem interessante para isso: “autocorreção intrínseca“, que é a capacidade do LLM de tentar corrigir suas respostas iniciais usando apenas o que já sabe, sem qualquer ajuda externa.
Clica aqui para entender as aplicações e os limites dos modelos LLMs!
A autocorreção dos LLM em tarefas de raciocínio
Os pesquisadores decidiram aplicar a auto-correção em benchmarks específicos, testando os modelos em problemas matemáticos descritivos, questões de múltipla escolha e problemas que exigem uma resposta mais elaborada.
Eles adotaram um processo de três etapas: primeiro, pediam uma resposta; depois, solicitavam que o modelo revisasse o que tinha dito; e, por fim, pediam uma resposta novamente, considerando o feedback gerado por ele mesmo. Um verdadeiro exercício de introspecção para essas máquinas!
Quando os modelos tinham acesso às respostas corretas dos benchmarks, os chamados de “ground-truth labels”, a autocorreção funcionava maravilhosamente bem, o algoritmo sabia exatamente quando parar e evitar alterações em uma resposta que já estava correta, mas essa condição não reflete o nosso dia a dia, onde nem sempre sabemos a resposta certa de antemão, e então a performance desses modelos começou a mostrar algumas fragilidades.
O mais curioso é que, em muitos casos, os modelos acertavam de primeira, mas, após a autocorreção, mudavam para uma resposta errada. Fazendo uma comparação com o nosso cotidiano, é como se você estivesse em uma prova, tivesse marcado a alternativa certa, mas, ao revisar, mudasse para a errada. Inclusive, um modelo específico, o GPT-3.5-Turbo (o que é usado na versão gratuita do ChatGPT), teve sua performance quase reduzida pela metade quando o processo de autocorreção foi aplicado em um determinado conjunto de dados.
Os pesquisadores defendem que se o modelo estiver bem calibrado e com uma instrução inicial bem formulada, a resposta inicial deveria ser a mais adequada, e ao inserir feedback nesse processo, pode-se estar, inadvertidamente, desviando a resposta do modelo do que seria ideal. Resumindo: às vezes, menos é mais.
Outra coisa super interessante é a aplicação da autocorreção em situações com múltiplos LLMs, como se fossem vários especialistas debatendo um tema. Por exemplo, um agente gera um código, enquanto outro verifica possíveis erros, mas ao invés de melhorar as respostas através desse “debate”, o que acontece é uma espécie de “autoconsistência”: os agentes dão respostas múltiplas e, em seguida, fazem uma espécie de votação para escolher a melhor.
Os pesquisadores concluem que, nesse contexto, talvez seja mais apropriado enxergar esse processo não como um “debate”, mas como uma forma de alcançar “consistência” entre as respostas dos modelos.
O melhor tipo de solicitação aos LLMs
Quando falamos em “post-hoc prompting” e “pre-hoc prompting”, estamos nos referindo a quando e como damos instruções a um modelo de linguagem, como o LLM.
Imagine que você tenha um assistente robô. Se você lhe der uma tarefa e depois, com base no que ele fez, der feedback para que ele ajuste seu trabalho, isso é o que chamamos de “post-hoc prompting“. É como se você estivesse corrigindo o trabalho dele depois que ele já tivesse começado ou terminado.
Agora, imagine que, em vez de corrigi-lo depois, você desse todas as instruções detalhadas desde o início para que ele fizesse o trabalho exatamente como você queria. Isso é o que chamamos de “pre-hoc prompting”.
E mesmo que a autocorreção possa não melhorar o raciocínio, vemos que não é apenas uma questão de “corrigir erros”, mas também pode ser extremamente eficaz em tarefas como modificar o estilo de saída do modelo ou tornar a resposta mais segura. Isso acontece no “post-hoc prompting”.
A autocorreção se mostra então como útil e valiosa neste momento após a resposta inicial gerada, porque oferece instruções ou feedbacks que não seriam possíveis com a solicitação feita antes da resposta, no “pre-hoc prompting”.
Mas é crucial lembrar que às vezes, a melhoria que vemos devido à autocorreção pode ser, ironicamente, o resultado de uma instrução inicial mal formulada. Ou seja, quando um feedback bem elaborado supera uma instrução inicial mais fraca.
Isso sugere que em vez de depender de prompts post-hoc, deveríamos investir um pouco mais de esforço e atenção na construção de uma boa instrução inicial, no “pre-hoc prompt”. Isso não só pode trazer resultados melhores como também é mais eficiente em termos de custos inferenciais. E, para sermos justos na comparação, o ideal é que dediquemos o mesmo empenho tanto na criação dos prompts pré-resposta quanto nos pós-resposta.
Em suma, a autocorreção é ótima, mas não é tão eficaz quanto simplesmente dar melhores instruções desde o início.
Os especialistas querem que a comunidade científica olhe para a autocorreção com um olhar mais crítico, aplicando-a com discernimento, enfatizando que é imperativo para pesquisadores e profissionais abordar o conceito de autocorreção com uma perspectiva criteriosa, reconhecendo tanto seu potencial quanto seus limites. Isso é crucial para que possamos direcionar a evolução desses modelos LLM para maior precisão e confiabilidade.
Fonte: Tech Talks
