A Inteligência Artificial demanda um treinamento através de dados, certo? E agora, as gigantes tech estão buscando novos caminhos para suprir a necessidade de maior volume e qualidade desses dados para fazer seus modelos generativos evoluírem.
Vamos entender isso aí!
Empresas como Microsoft, OpenAI e Cohere estão de olho em dados sintéticos para desenvolver seus modelos de inteligência artificial, conhecidos como “modelos de linguagem em larga escala” (LLMs, em inglês). O motivo? Acredite, essas gigantes estão esbarrando nos limites do que é criado por nós, humanos.
Os LLMs que dão poder a assistentes virtuais, que são modelos IAs generativas, como o ChatGPT da OpenAI e o Bard do Google, são treinados, principalmente, com informações provenientes da internet. Desde livros digitalizados, artigos de notícias, blogs, postagens no Twitter e Reddit, vídeos do YouTube, imagens do Flickr e muitos outros conteúdos. Depois dessa coleta do material online, nós, humanos, entramos em cena para dar feedback e preencher as lacunas de informações em um processo conhecido como aprendizado por reforço por feedback humano (RLHF, em inglês).
Mas, à medida que os softwares generativos evoluem, até mesmo as empresas que têm muito capital estão ficando sem informações facilmente acessíveis e de alta qualidade para treinamento. E, enquanto isso, estão sob pressão de reguladores e organizações de mídia em todo o mundo sobre o volume e a origem dos dados pessoais consumidos por essa tecnologia.
As informações genéricas da web já não são suficientes para impulsionar o desempenho dos modelos de inteligência artificial. Uma necessidade de buscar novas fontes para o treinamento de máquina começa a surgir. De acordo com os desenvolvedores, a web é confusa, tem muito ruído nas informações, e nem sempre contempla a quantidade e qualidade de informações necessárias para otimizar a IA.
Daí entram os dados sintéticos, uma nova tendência que supre a demanda por informações caras produzidos por humanos. As empresas podem usar modelos de inteligência artificial para produzir texto, códigos ou informações mais complexas, como as relacionadas à saúde, desafios da ciência ou fraude financeira que são usadas para treinar os LLMs, tornando-os cada vez mais eficazes.
Essas informações complexas que melhoram significativamente o desempenho das máquinas demandam especialistas mundiais, – sejam corporações ou pessoas – , por isso são caras, e o que há hoje disponível na web simplesmente não é mais o suficiente, segundo Aidan Gomez, executivo-chefe da Cohere, uma start-up LLM de US$ 2 bilhões.
Inteligência artificial que gera inteligência artificial?
É isso aí. De uma maneira bem simples, é a máquina ensinando a máquina. Ou seja, imagine uma situação onde dois modelos LLM estão “conversando” entre si, onde um atua como tutor de matemática e o outro como aluno. Eles estão tendo uma conversa sobre trigonometria… e é tudo sintético, tudo imaginado pelo modelo. E aí, um humano olha essa conversa e corrige se o modelo disser algo errado.
Você já viu o que aconteceu quando cientistas usaram o ChatGPT para construir um artigo científico do zero? Clica aqui para conferir se isso deu certo!
Hoje tem até empresas como a Scale AI e Gretel.ai surgindo para fornecer dados sintéticos como serviço. A Gretel, por exemplo, trabalha com empresas como Google, HSBC, Riot Games e Illumina para complementar seus dados existentes com versões sintéticas que podem ajudar a treinar melhor as máquinas.
O interessante é que os dados sintéticos preservam a privacidade de todos os indivíduos em um conjunto de dados, enquanto ainda mantêm sua integridade estatística. Os dados sintéticos bem elaborados também podem remover vieses e desequilíbrios nas informações existentes, segundo o executivo-chefe da Gretel, Ali Golshan.
A disputa entre as gigantes da IA vai acelerar a evolução dessa tecnologia e a demanda por mais fontes para abastercer seus modelos é um efeito óbvio. A questão é como isso será feito e as consequências dessas iniciativas.
Os riscos estão aí…
Pesquisas de Universidades como de Oxford e Cambridge sinalizam que a formação de modelos de inteligência artificial baseada em suas próprias produções primárias, que têm potencial para incluir imprecisões ou alucinações de máquina podem atrapalhar o progresso dessa tecnologia, gerando “falhas irreparáveis”.
Críticos indicam que não necessariamente todo dado sintético será meticulosamente curado para espelhar ou aprimorar os informações existentes no mundo real. Com a proliferação na internet de textos e imagens criados por essa tecnologia, pode ser que as empresas de IA, na busca incessante por dados para treinamento, acabem recorrendo a informações inacabadas geradas por versões mais rudimentares de seus próprios modelos – um acontecimento conhecido como “dog-fooding“.
Golshan está de acordo de que a questão do treinamento em dados sintéticos ruins pode complicar as coisas, atrasando o progresso dos sistemas de IA. Por outro lado, Gomez aponta o potencial que isso tem para acelerar o caminho para sistemas superinteligentes.
A verdade é que com a evolução dessa tecnologia, a necessidade de novos dados é uma consequência previsível. Agora resta saber como as gigantes tech vão garantir a qualidade dos outputs gerados pela IA.
Fonte: Financial Times
