Já ouvimos falar sobre teoria de jogos, principalmente sobre o jogo da imitação de Turing. Mas atualmente, outras teorias estão sendo usadas para aprimorar os modelos de linguagem da IA, tornando-os mais precisos e confiáveis.
Você já deve ter ouvido por aí que quanto melhores perguntas, melhores respostas você terá de uma inteligência artificial, certo? Essa premissa é sustentável porque perguntas que são abertas, podem gerar uma resposta, enquanto perguntas discriminativas, que envolvem escolher entre opções, frequentemente geram outra. Ou seja, você obtém diferentes respostas, para uma mesma pergunta, a depender como essa pergunta foi formulada.
Para ilustrar a situação imagine isto, é como se você perguntasse a alguém “Qual é a capital do Peru?”, e esse alguém te oferecesse uma resposta, mas quando perguntasse “Lima é a capital do Peru?”, a resposta seria outra!
Essa inconsistência na resposta para a mesma pergunta, dependendo da sua formulação, é um grande desafio para modelos LLM como os que abastecem ferramentas como o ChatGPT, o que gera uma necessidade de sempre desconfiamos das suas respostas.
Para melhorar essa consistência das respostas desses modelos, pesquisadores do Massachusetts Institute of Technology (MIT), liderados pelo doutorando Athul Paul Jacob, criando um jogo, que chamaram de “jogo de consenso”, onde dois modos do modelo são incentivados a encontrar uma resposta em comum. Trata-se de um procedimento simples que utiliza ferramentas da teoria dos jogos para aprimorar a precisão e a consistência interna do modelo.
A aplicação da teoria dos jogos nesse contexto é inovadora, uma das primeiras a tratar a autoconsistência dos modelos de linguagem de uma maneira inteligente e sistemática, segundo Shayegan Omidshafiei, diretor científico da empresa de robótica Field AI. Ao fazer o modelo competir contra si mesmo, os pesquisadores conseguem melhorar sua consistência interna e, consequentemente, sua confiabilidade. Ahmad Beirami, cientista pesquisador do Google Research, também destaca a empolgação com essa nova metodologia.
Durante décadas, os modelos de linguagem geraram respostas a partir de prompts, da mesma maneira. Com a introdução deste conceito de jogo, os pesquisadores do MIT trouxeram um paradigma totalmente diferente, que pode abrir portas para uma série de novas aplicações.
Teste com jogos
Utilizar jogos para aprimorar a IA contrasta com abordagens anteriores que mediam o sucesso de um programa através de seu domínio sobre jogos. É famoso o exemplo de 1997, quando o computador Deep Blue da IBM derrotou o grande mestre de xadrez Garry Kasparov, um marco significativo para as chamadas “máquinas pensantes”.
Dezenove anos depois, foi a vez do Google DeepMind com seu AlphaGo que venceu 4 de 5 jogos contra o ex-campeão de Go Lee Sedol, revelando outro cenário em que os humanos já não reinavam supremos. As máquinas também superaram os humanos em damas, pôquer para dois jogadores e outros jogos de soma zero, onde a vitória de um jogador inevitavelmente condena o outro.
No entanto, um desafio muito maior para os pesquisadores de IA foi o jogo Diplomacy — jogo favorito de políticos como John F. Kennedy e Henry Kissinger. Em vez de apenas dois oponentes, o jogo envolve 7 jogadores cujos motivos podem ser difíceis de discernir. Para vencer, um jogador deve negociar, formando acordos cooperativos que qualquer um pode quebrar a qualquer momento. Diplomacy é tão complexo que um grupo da Meta ficou satisfeito quando, em 2022, seu programa de IA Cicero desenvolveu um “nível de jogo humano” ao longo de 40 partidas. Cicero não derrotou o campeão mundial, mas se saiu bem o suficiente contra participantes humanos, ficando entre os 10% melhores.
Durante o projeto, Jacob — membro da equipe da Meta — foi surpreendido pelo fato de que Cicero dependia de um modelo de linguagem para gerar seu diálogo com outros jogadores, o que o fez perceber um potencial inexplorado. E se, em vez de se restringir à construção do melhor modelo de linguagem para jogar este jogo específico, os pesquisadores fizessem o inverso: construíssem o melhor jogo possível para melhorar o desempenho dos grandes modelos de linguagem?
Com novas possibilidades em vista, os jogos não eram vistos apenas como um campo de teste para medir a capacidade das máquinas, mas também serviam como ferramentas para aprimorar a própria inteligência das máquinas.
Aprimoramento através de jogos
Em 2023, Jacob começou a explorar essa questão no MIT, trabalhando com Yikang Shen, Gabriele Farina e seu orientador Jacob Andreas no que viria a se tornar o jogo de consenso. A ideia central surgiu ao imaginar uma conversa entre duas pessoas como um jogo cooperativo, onde o sucesso ocorre quando o ouvinte entende o que o locutor está tentando transmitir. Especificamente, o jogo de consenso foi projetado para alinhar os dois sistemas do modelo de linguagem — o gerador, que lida com perguntas generativas, e o discriminador, que lida com perguntas discriminativas.
Após alguns meses de tentativas, a equipe construiu esse princípio em um jogo completo. Primeiro, o gerador recebe uma pergunta, que pode vir de um humano ou de uma lista preexistente. Por exemplo, “Onde Barack Obama nasceu?”. O gerador então obtém algumas respostas candidatas, como Honolulu, Chicago e Nairóbi. Essas opções também podem vir de um humano, de uma lista ou de uma busca realizada pelo próprio modelo de linguagem.
Mas antes de responder, o gerador é informado se deve responder corretamente ou incorretamente, dependendo do resultado de um lançamento de moeda.
Se der cara, a máquina tenta responder corretamente. O gerador envia a pergunta original, junto com a resposta escolhida, ao discriminador, que tem que determinar se o gerador enviou intencionalmente a resposta correta. Então ambos recebem um ponto, como um tipo de incentivo.
Se a moeda cair em coroa, o gerador envia o que considera a resposta errada. Se o discriminador decidir que foi deliberadamente dado a resposta errada, ambos recebem um ponto novamente, incentivando o consenso: o ponto é o incentivo quando a coisa certa é feita.
O gerador e o discriminador também começam com algumas “crenças” iniciais, que podem assumir a forma de uma distribuição de probabilidade relacionada às diferentes escolhas. Por exemplo, o gerador pode acreditar, com base nas informações que recolheu da internet, que há 80% de chance de Obama ter nascido em Honolulu, 10% de chance de ele ter nascido em Chicago, 5% de Nairóbi e 5% de outros lugares.
O discriminador pode começar com uma distribuição diferente. Enquanto os dois “jogadores” são recompensados por alcançar um acordo, eles também perdem pontos por se desviarem muito de suas convicções originais, com isso incentivando os jogadores a incorporarem seu conhecimento do mundo — novamente retirado da internet — em suas respostas, dando a possibilidade de tornar o modelo mais preciso. Sem essas “crenças”, eles poderiam concordar com uma resposta totalmente errada, como uma opção, por exemplo, “Delhi”, mas ainda acumular pontos só por terem chegado ao consenso.
Para cada pergunta, os dois sistemas jogam aproximadamente 1.000 partidas um contra o outro, e ao longo dessas inúmeras interações, cada lado aprende sobre as crenças do outro e modifica suas estratégias de acordo.
Com essas interações, o gerador e o discriminador começam a concordar mais à medida que se estabelecem em algo chamado equilíbrio de Nash, – o conceito central na teoria dos jogos, que representa uma espécie de equilíbrio em um jogo, aquele ponto em que nenhum jogador pode melhorar seus resultados pessoais mudando de estratégia. No jogo pedra-papel-tesoura, por exemplo, os jogadores se saem melhor quando escolhem cada uma das três opções exatamente um terço do tempo, e invariavelmente se sairão pior com qualquer outra tática.
No jogo de consenso, isso pode se manifestar de várias maneiras. O discriminador pode observar que recebe um ponto sempre que diz “correto”, toda vez que o gerador envia a palavra “Honolulu” como local de nascimento de Obama. O gerador e o discriminador aprenderão, após repetidas jogadas, que serão recompensados por continuar a fazer isso, e nenhum terá motivação para fazer qualquer outra coisa. Esse consenso representa um dos muitos exemplos possíveis de equilíbrio de Nash para essa pergunta. O grupo do MIT também contou com uma forma modificada de equilíbrio de Nash que incorpora as crenças anteriores dos jogadores, o que ajuda a manter suas respostas fundamentadas na realidade.
Os pesquisadores observaram que o resultado final do jogo de consenso é tornar o modelo de linguagem mais preciso e mais propenso a fornecer a mesma resposta, independentemente de como a pergunta seja formulada.
Para testar os efeitos do jogo de consenso, a equipe experimentou um conjunto de perguntas padrão em vários modelos de linguagem de tamanho moderado, com 7 bilhões a 13 bilhões de parâmetros. No geral, mesmo modelos muito maiores com até 540 bilhões de parâmetros, obtiveram uma porcentagem maior de respostas corretas do que os modelos que não jogaram. Jogar o jogo também melhorou a consistência interna de um modelo.
Ainda que esse experimento tenha sido testado em modelos menores que os famosos LLMs, em princípio, qualquer LLM poderia se beneficiar jogando contra si mesmo, e 1.000 rodadas levariam apenas alguns milissegundos em um laptop padrão, por se tratar de uma abordagem computacionalmente muito leve, não envolvendo nenhum treinamento ou modificação do modelo de linguagem base.
Jogos e Modelos de Linguagem
Depois do sucesso com modelos menores, Jacob agora está investigando outras formas de integrar a teoria dos jogos na pesquisa com modelos de linguagem maiores.
Resultados preliminares mostraram que um modelo de linguagem LLM já forte pode melhorar ainda mais ao jogar um jogo diferente — provisoriamente chamado de jogo de conjunto — com um número arbitrário de modelos menores. O LLM principal teria pelo menos um modelo menor servindo como aliado e pelo menos um modelo menor desempenhando um papel adversário.
Se o LLM principal for perguntado sobre o nome do presidente dos Estados Unidos, ele ganha um ponto sempre que escolhe a mesma resposta que seu aliado e também ganha um ponto quando escolhe uma resposta diferente da do adversário. Esses intercâmbios com modelos muito menores podem não apenas aumentar o desempenho dos grandes modelos de linguagem (LLM), como também podem fazer isso sem treinamento extra ou mudanças nos parâmetros.
Essa abordagem é apenas o começo: Uma variedade de situações também pode ser vista como jogo, o que quer dizer que as ferramentas de teoria dos jogos podem ser aplicadas em diversos contextos do mundo real, disse Ian Gemp, cientista pesquisador do Google DeepMind.
Em um artigo de fevereiro de 2024, ele e seus colegas focaram em cenários de negociação que requerem trocas mais elaboradas do que apenas perguntas e respostas, com o principal objetivo de tornar os modelos de linguagem mais estratégicos.
Um exemplo discutido por Ian Gemp em uma conferência acadêmica foi o processo de revisão de artigos para aceitação em um jornal ou conferência, especialmente após uma submissão inicial receber uma crítica severa. Considerando que os modelos de linguagem atribuem probabilidades a diferentes respostas, os pesquisadores podem construir árvores de jogos semelhantes às usadas em jogos de pôquer, mapeando as escolhas disponíveis e suas possíveis consequências, tornando possível calcular equilíbrios de Nash e então classificar uma série de réplicas, permitindo ao modelo sugerir a melhor resposta possível.
Com os insights da teoria dos jogos, os modelos de linguagem poderão lidar com interações ainda mais sofisticadas, em vez de se limitarem a problemas do tipo pergunta-resposta. Segundo Jacob, o grande benefício no futuro está relacionado a conversas mais longas, onde o próximo passo é ter uma IA interagindo com uma pessoa, e não apenas com outro modelo de linguagem.
Jacob considera o trabalho do DeepMind complementar aos jogos de consenso e de conjunto, explicando que, em um nível elevado, ambos os métodos combinam modelos de linguagem e teoria dos jogos, mesmo que os objetivos sejam um pouco diferentes.
Enquanto o grupo de Gemp está transformando situações comuns em um formato de jogo para ajudar na tomada de decisões estratégicas, Jacob e sua equipe estão utilizando a teoria dos jogos para melhorar modelos de linguagem em tarefas gerais, esforços que atualmente representam duas maneiras diferentes de aprimorar o funcionamento dos modelos de linguagem. Jacob vislumbra que em um ano ou dois, esses dois ramos irão convergir, criando uma abordagem unificada para o aprimoramento dos modelos de linguagem.
Em suma, a integração da teoria dos jogos com os modelos de linguagem está revolucionando o campo da inteligência artificial, tornando os modelos mais precisos, consistentes e estratégicos. Através de abordagens inovadoras como os jogos de consenso e de conjunto, e com a contribuição de pesquisas em negociações complexas, estamos caminhando para um futuro onde as IAs serão capazes de lidar com interações sofisticadas e conversas prolongadas de forma mais eficaz.
Fonte: Quanta Magazine
