Os modelos de linguagem de grande escala (LLMs), como o ChatGPT, estão cada vez mais presentes em nossas vidas. Estas ferramentas avançadas de inteligência artificial têm a capacidade notável de gerar respostas convincentes e articuladas a uma infinidade de perguntas e prompts, tornando-as ferramentas inestimáveis em diversos setores. No entanto, junto com seu potencial revolucionário, surgem questões cruciais relacionadas à veracidade das informações que elas proporcionam.
Quer saber em detalhe oportunidades e desafios dos LLM? Clica aqui e fica por dentro de tudo sobre o assunto!
Recentemente, um grupo de cientistas de diversas universidades e instituições se uniu para aprofundar essa questão, produzindo uma análise abrangente que lança luz sobre os desafios que enfrentamos. O estudo evidencia que, mesmo com as melhores intenções, os LLMs podem, inadvertidamente, propagar informações não confiáveis. Essa falha não é uma consequência de uma programação defeituosa ou de uma intenção maligna, mas sim um reflexo dos vastos conjuntos de dados nos quais esses modelos foram treinados. Esses dados, muitas vezes, incluem informações imprecisas ou distorcidas, o que pode levar a respostas enganosas.
A ameaça não se limita apenas à disseminação inadvertida de informações falsas. O estudo destaca um risco ainda mais alarmante: o uso malicioso de chatbots de IA. Há uma preocupação crescente com indivíduos e entidades que podem utilizar essas ferramentas para fins nefastos, como redigir e-mails de golpes, disseminar desinformação ou manipular feeds de bots para promover agendas prejudiciais. Essas práticas não só minam a confiança nas tecnologias de IA, mas também representam riscos significativos à integridade de nossas comunicações digitais e à segurança da informação.
Diante desses desafios, o estudo sublinha que as estratégias atuais para mitigar esses riscos são insuficientes. À medida que os LLMs se tornam cada vez mais presentes em várias áreas de nossa vida cotidiana, há uma necessidade premente de desenvolver abordagens mais robustas para assegurar a veracidade das informações fornecidas por esses modelos e prevenir seu uso indevido. Estamos em um ponto crucial, e o caminho que escolhermos agora definirá como navegaremos na complexa paisagem da informação na era da inteligência artificial.
Um exemplo disso foi a ordem executiva dada pelo governo dos EUA para enfrentar os desafios decorrentes da inteligência artificial. Clica aqui para ver!
Alucinações dos LLMs
As alucinações dos LLMs não são apenas um contratempo, e representam um desafio significativo, especialmente quando consideramos a dificuldade em discernir um fato de uma ficção em conteúdos gerados pelas ferramentas de LLM.
O estudo em questão traz à luz a complexidade deste problema, categorizando as alucinações em dois tipos principais: fidelidade e factualidade. As alucinações de fidelidade ocorrem quando o texto gerado desvia do contexto de entrada, enquanto as de factualidade dizem respeito a situações em que a saída contradiz o conhecimento estabelecido sobre o mundo. Cada tipo de alucinação acarreta seu próprio conjunto de consequências negativas, afetando a integridade da informação fornecida.
Os pesquisadores vão além, descrevendo os LLMs como “mentirosos autoritários”, devido à sua tendência de manter um tom confiante, mesmo quando as informações fornecidas são incorretas. Esta característica torna a tarefa de avaliar a veracidade das informações ainda mais desafiadora para os usuários, que podem ser levados a acreditar em respostas equivocadas devido à eloquência e à autoconfiança do modelo.
A introdução dos LLMs no cenário digital acrescenta uma nova camada de complexidade ao antigo problema da desinformação na internet. Suas interações tão próximas das interações humanas e a facilidade de uso tornam-nas ferramentas atraentes, mas também levantam preocupações significativas, especialmente em campos críticos e sensíveis. Tomemos, por exemplo, os chatbots de saúde, que estão se tornando cada vez mais populares para tarefas de busca de informações e respostas a perguntas. Muitas pessoas podem achar mais fácil receber conselhos de saúde de um chatbot do que de um médico, ressaltando os riscos potenciais em áreas delicadas.
Além disso, os pesquisadores alertam para o “efeito halo“, onde a proficiência de um modelo em um tópico pode levar os usuários a superestimar suas capacidades em outras conversas de domínio aberto, resultando em uma confiança indevida nas respostas do modelo, independentemente do tópico em questão.
Também é vital destacar que os formatos de resposta dos LLMs diferem significativamente dos métodos tradicionais de recuperação de informações online. As respostas são apresentadas na forma de respostas diretas, em vez de uma coleção de links diversos que oferecem diferentes perspectivas. Isso pode resultar em informações imprecisas ou tendenciosas. Portanto, é imprescindível que os usuários compreendam como os LLMs funcionam e não confiem cegamente nas respostas geradas por eles.
Os usos perigosos dos LLMs
A possibilidade de uso mal-intencionado dos LLMs é uma grande preocupação, representando um terreno fértil para a disseminação de desinformação e a execução de ataques de engenharia social. A manipulação astuta de conversas em andamento para gerar textos nocivos em larga escala é uma realidade que não podemos nos dar ao luxo de subestimar.
Dentro desse universo de desafios, a capacidade dos LLMs de imitar estilos de escrita individuais abre portas para a criação de conteúdo personalizado e enganosamente persuasivo, com o potencial de comprometer a credibilidade de usuários nas redes sociais. Ao mesmo tempo, a habilidade desses modelos de burlar os métodos tradicionais de verificação de fatos, gerando variantes de conteúdo, destaca a necessidade de repensarmos nossas estratégias de combate à desinformação.
Em meio a essa enxurrada de desafios, não podemos ignorar o papel dos agentes automatizados empregando LLMs para imitar personalidades específicas. Estes podem ser implementados em larga escala com relativa facilidade, inflamando discussões online sobre tópicos sensíveis e tornando cada vez mais tênue a linha entre o real e o gerado por inteligência artificial.
As alternativas para superar os desafios dos LLMs
Diante deste cenário, os pesquisadores exploram uma gama de soluções potenciais. Entre elas, técnicas de alinhamento como o aprendizado por reforço a partir do feedback humano (RLHF), que visam treinar o modelo para evitar a geração de conteúdo malicioso e alucinações. No entanto, a eficácia desses esforços pode ser seriamente limitada diante da disponibilidade de LLMs de código aberto.
Você pode ler mais sobre os desafios do RLHF a serem superados clicando aqui!
Outra abordagem promissora é a geração aumentada por recuperação, o RAG (do inglês “retrieval augmented generation“), que busca aprimorar a precisão factual dos outputs dos LLMs através da incorporação de conteúdo de documentos relevantes. Tal método, no entanto, exige a recuperação eficiente de textos fundamentados em larga escala e uma avaliação robusta.
Os avanços em métricas de avaliação como GPTScore e G-Eval são passos importantes nessa direção, mostrando correlações razoáveis com avaliações humanas em diversas tarefas. Ainda assim, existe um espaço significativo para aprimoramento, especialmente no que tange à avaliação da factualidade.
A personalização de instruções de factualidade para domínios específicos, como medicina ou direito, surge como uma estratégia promissora, potencializando a precisão nas avaliações de factualidade. Além disso, a criação de padrões para comprovar a proveniência e autenticidade do conteúdo textual é uma medida essencial, importante para restringir a disseminação de conteúdo falso antes que atinja um grande número de pessoas.
Embora estejamos tendo que lidar com uma rápida evolução no cenário dos LLMs, a regulação se apresenta como uma solução potencial, ainda que seja uma iniciativa complexa e desafiadora. O controle dos LLMs e seus usuários é uma tarefa árdua, comparável ao desafio de lidar com indivíduos envolvidos em desinformação e phishing (ataque cibernético na qual os agressores se disfarçam de entidades confiáveis para que os destinatários revelem informações pessoais sensíveis ou cliquem em links maliciosos).
Por fim, mas não menos importante, a educação emerge como um pilar central para a construção de uma sociedade mais resiliente diante dos desafios impostos pelos LLMs. A promoção da alfabetização em inteligência artificial para todas as idades, a integração da educação em IA com ênfase em ética nos currículos de pós-graduação e a sensibilização dos consumidores digitais para os potenciais perigos da IA generativa são passos cruciais nesse caminho.
Embora os LLMs abram um leque de possibilidades inovadoras e transformadoras, eles também carregam consigo desafios e riscos significativos. O pensamento crítico é fundamental para entendermos caso a caso quais são as melhores práticas com essa tecnologia.
Veja o caso das alucinações: Muitos atribuem a esta característica citada como inconveniente por muitos uma oportunidade para estimular a criatividade. Clica aqui e pra entender melhor isso.
No fim, parece que nosso repertório e nossa ação deliberada não serão substituídos quando o assunto for usar melhor os modelos LLM. E é por isso que precisamos nos aproximar dessa tecnologia com abertos a entender como se encaixa melhor em cada contexto.
Fonte: TechTalks
