Os LLM (Large Language Model) têm se destacado nos últimos anos no vasto mundo da Inteligência Artificial e do aprendizado de máquina.
Mas o que exatamente é um LLM? Por que ele tem ganhado tanta atenção e qual é a sua relevância no cenário atual da tecnologia? Quais as aplicações? Quais as limitações?
Já falamos um pouco sobre isso, você pode ver clicando aqui. E agora vamos mergulhar fundo nos detalhes para que não fique dúvida sobre essas três letrinhas que têm dado o que falar.
Antes de nos aprofundarmos no que é um LLM, é essencial entender o que é um modelo de linguagem. Em sua essência, um modelo de linguagem é uma ferramenta matemática que visa prever a próxima palavra em uma sequência de palavras. Por exemplo, se lhe fosse dada a frase “O gato está no…”, um modelo de linguagem poderia sugerir que a próxima palavra seja “telhado” ou “sofá”. Esta capacidade é particularmente útil para uma série de aplicações, como tradução automática, autocorreção em teclados e, claro, assistentes virtuais, e é o que permite que possamos perceber a inteligência artificial com uma certa “criatividade”.
Depois dessa breve introdução, vamos começar a aprofundar o assunto. Para isso, vamos passar por alguns pontos importantes:
- O que torna um modelo de linguagem “grande”?
- Por que os LLMs são relevantes?
- 16 limitações
- 11 aplicações
O que torna um modelo de linguagem “grande”?
A diferença entre um modelo de linguagem convencional e um LLM está na quantidade de parâmetros e dados que ele possui. Estes parâmetros são, basicamente, ajustes no modelo que são otimizados durante o treinamento para prever com precisão a próxima palavra em uma sequência, são como se fossem as regras para que ele possa executar sua tarefa, é o que dita “como agir”. E os dados são os conteúdos que usam para aprender sobre as coisas.
Os LLMs, como o nome sugere, são modelos gigantes, contendo bilhões, ou até trilhões, de parâmetros e de dados que são utilizados para “ensinar” os sistemas. Estas escala monumentais permitem que esses modelos capturem nuances complexas da linguagem e entendam uma variedade incrivelmente ampla de tópicos.
Por que os LLMs são relevantes?
Os LLMs não são apenas impressionantes por seu tamanho. Eles têm demonstrado uma capacidade notável de compreender, gerar e interagir usando a linguagem humana de maneira muito mais sofisticada do que os modelos anteriores. Isto os torna extremamente úteis para uma diversidade enorme de aplicações, desde simples chatbots a sistemas avançados de pesquisa e análise de texto.
Além disso, com o treinamento certo, esses modelos podem operar em diversas línguas, entender contextos culturais e até mesmo realizar tarefas além do processamento de linguagem, como responder a perguntas sobre conhecimentos gerais ou ajudar na programação. Ou seja, são muito bons para simular uma conversa casual e em aspectos técnicos específicos.
Claro que ferramentas assim tão poderosas trazem junto muitos desafios a serem superados, limites do uso e do não-uso, questões éticas, legais, de empregabilidade, e muitos outros. Mas aqui não vamos nos aprofundar nessas questões e focaremos na parte prática buscando entender como essa tecnologia pode melhorar nosso dia-a-dia.
Aqui queremos falar precisamente onde esses modelos de linguagem são aplicados e quais as limitações. É a partir desse entendimento que se torna possível saber com mais clareza se e até que ponto a inteligência artificial, e mais especificamente, os modelos que usam o LLM podem melhorar a produtividade e nossa rotina.
Um estudo realizado por pesquisadores de instituições renomadas como as Universidades de Cambridge e de Londres buscando identificar desafios não resolvidos, conhecer as aplicações e limitações dos modelos atuais, considerando as questões éticas nos colocam diante de conclusões importantes para fazer o melhor uso desse modelo de linguagem inovador.
16 limitações dos LLMs
Vamos resumir todos os limites apontados pelos pesquisadores no documento para que você fique fera em saber até que ponto pode confiar nesses sistemas LLM.
- Conjuntos de dados insondáveis
Esses modelos requerem quantidades massivas de dados para treinamento, o que pode ser difícil de obter e também de processar, e isso pode levar a vieses nos dados, além de tornar desafiador entender como o modelo está tomando decisões. É o que é chamado de caixa-preta.
- Dependência de tokenização
Tokenização é o ato de dividir um texto em pedaços menores, chamados “tokens”, para que os modelos possam entender e processar um texto, permitindo lidar bem com palavras raras ou desconhecidas sem sobrecarregar o sistema.
Os LLMs dependem fortemente da tokenização, o que pode levar a erros e imprecisões nos outputs, o que pode ser especialmente problemático ao lidar com linguagem complexa ou ambígua.
- Altos custos de pré-treinamento
Os altos custos que envolvem esse treinamento de máquina podem tornar o processo menos acessível a pesquisadores e organizações com recursos limitados desenvolverem e usarem esses modelos de forma eficaz.
- Sobrecarga de ajuste fino
Basicamente, o ajuste fino é pegar um modelo que já aprendeu algo e treiná-lo um pouco mais em um conjunto de dados menor é específico, para adaptá-lo a uma nova tarefa ou área de conhecimento.
Esse processo de treinamento para tarefas específicas pode ser demorado e exigir grandes quantidades de dados.
- Alta latência de inferência
Latência de inferência é o tempo que um modelo de aprendizado de máquina leva para receber uma informação, processá-la e dar uma resposta. Quando essa latência é alta, pode atrapalhar a experiência do usuário, que precisa de respostas rápidas e/ou em tempo real, como vemos principalmente em conversas com chatbots. LLMs podem ter essa latência alta por dois motivos: eles são muito grandes e complexos, e muitas vezes processam as informações um pedacinho por vez, em vez de tudo de uma vez.
- Comprimento de contexto limitado
Esses modelos têm limitações na quantidade de contexto que podem considerar ao gerar os outputs, e isso pode dificultar a interação por meio de linguagens complexas ou sutis, limitando sua capacidade de gerar respostas precisas ou úteis.
- Fragilidade de prompt
Os prompts são as nossas solicitações às máquinas, o que perguntamos ao ChatGPT, por exemplo, e as pequenas modificações no que escrevemos em pode resultar em saídas drasticamente diferentes, tornando difícil avaliar o desempenho desses modelos.
- Alucinações
Há uma possibilidade de que esses modelos gerem, literalmente, alucinações, coisas sem nenhuma âncora na verdade ou na realidade, produzindo produzir informações falsas, ou fornecer fatos inventados.
Imagina o tamanho do problema de usar essa tecnologia em aplicações de alta responsabilidade, como saúde ou justiça criminal.
- Comportamento desalinhado
Os LLM podem exibir comportamentos que não estão alinhados com as expectativas ou valores humanos, devido a vieses nos dados ou na arquitetura do modelo, e pode levar a consequências prejudiciais ou não intencionais.
- Conhecimento desatualizado
Informações desatualizadas ou incorretas podem resultar em respostas imprecisas ou tendenciosas, o que seria um problema em várias aplicações, mas ainda mais sério onde a precisão é crítica, como pesquisa científica ou diagnóstico médico.
- Avaliações frágeis
Avaliar um LLM de forma abrangente e com certeza pode ser difícil, pois eles têm capacidades variáveis e podem apresentar comportamentos inesperados.Isso significa que são necessários critérios rigorosos para identificar fraquezas diante de uma ampla variedade de entradas. E aqui vale considerar a já mencionada fragilidade em relação aos prompts de entrada.
- Avaliações baseadas em verdades básicas estáticas escritas por humanos
A avaliação desses modelos frequentemente depende de textos de ‘verdade básica’ escritos por humanos, que podem ser escassos ou depender de conhecimento especializado, o que também compromete muito a avaliação do desempenho desses modelos em domínios onde tal texto não está disponível, podendo também limitar a capacidade de comparar o desempenho desses sistemas ao desempenho humano.
- Indistinguibilidade entre texto gerado e texto escrito por humanos
Os textos gerados pela inteligência artificial podem ser indistinguíveis de textos escritos por humanos, não sendo possível saber sua origem, fica muito mais difícil saber se são informações falsas ou enganosas, isso pode ser ainda mais perigoso quando a precisão e a confiabilidade são críticas.
Algumas iniciativas como a marca d’água já estão sendo discutidas até na Casa Branca. Clica aqui pra ver 6 perguntas respondidas sobre a eficácia deste recurso.
- Tarefas não solucionáveis por escala
Como esses modelos podem não ser capazes de resolver certas tarefas ou problemas, mesmo com enormes quantidades de dados e recursos computacionais, a aplicabilidade fica limitada em certos domínios, e pode exigir o desenvolvimento de abordagens alternativas.
- Falta de projetos experimentais
Para avaliar essa tecnologia de forma eficiente, é preciso que haja projetos experimentais rigorosos e bem controlados, sem os quais as conclusões consistentes sobre seu desempenho pode limitar a capacidade de comparar diferentes modelos ou abordagens.
- Falta de Reprodutibilidade
Esses modelos podem ser difíceis de reproduzir, por precisarem de recursos computacionais robustos e hardware especializado. Por isso, pesquisadores podem encontrar dificuldade em verificar os resultados de estudos anteriores e comparar seus próprios resultados aos de outros.
11 aplicações dos LLMs
Entendidos os limites, para compreender como podem nos ajudar, vamos te mostrar onde podemos encontrar os LLMs sendo usados.
- Chatbots
Apesar de serem muita diferença em aplicações como atendimento ao cliente e assistentes pessoais, existem preocupações sobre a possibilidade desses modelos gerarem informações falsas ou enganosas, e a necessidade de uma avaliação e teste cuidadosos antes que possam ser de fato implementados.
- Biologia computacional
Neste tipo de aplicação existe o potencial de melhorar nosso entendimento sobre sistemas biológicos e desenvolver novos tratamentos para doenças, ajudando, por exemplo, em aspectos como previsão de dobramento de proteínas e descoberta de medicamentos
- Programação de computadores
Esses modelos têm se mostrado grandes aliados dos desenvolvedores para geração e detecção de erros em códigos, oferecendo potencial de melhorar a eficiência e precisão do desenvolvimento de software e tornar a programação mais acessível a um público mais amplo.
- Trabalho criativo
Esses sistemas geram poesia, música e artes visuais, por exemplo. No entanto, é preciso atenção na qualidade desta produção, além do potencial desses modelos substituírem a criatividade humana, podendo gerar muitos problemas no ambiente profissional e artístico.
- Trabalho de conhecimento específico
LLMs têm mostrado potencial em trabalhos na área jurídica e médica, por exemplo. É provável que essas aplicações sejam encontradas em todo o mercado de trabalho, com estimativas de que 80% da força de trabalho dos EUA esteja em funções nas quais pelo menos 10% das tarefas possam ser afetadas pelos LLMs.
- Direito
Podem ser usados para análise de documentos legais e revisão de contratos, por exemplo. No entanto, existem preocupações sobre o potencial desses modelos substituírem advogados humanos e a necessidade de transparência e responsabilidade em sua tomada de decisão.
- Medicina
Podem ser usados em diagnóstico médico e descoberta de medicamentos, mas existe potencial de erros e informações falsas. Portanto, há necessidade de avaliação e teste rigorosos antes que possam ser usados em ambientes clínicos.
- Raciocínio
Esses modelos se saem bem em responder perguntas e resolver quebra-cabeças, mas isso não exclui a validação da qualidade e credibilidade dos outputs.
Alguns experimentos sugerem que essa tecnologia se aproxima muito dos processos cognitivos humanos. Mas será que os superam? Clica aqui para ver o que os especialistas dizem.
- Robótica e agentes incorporados
Agentes incorporados são projetados para interagir com seu ambiente, assim como os humanos e os animais, e podem se apresentar em várias formas, como robôs, agentes virtuais ou avatares.
Os LLM atuam de forma a permitir a comunicação em linguagem natural com essas máquinas, melhorando a interação humano-robô e tornando os robôs mais acessíveis a mais usuários.
- Ciências sociais e psicologia
Esses modelos podem participar na análise de sentimento e previsão de personalidade, mas é preciso ter cuidado na perpetuação de vieses e estereótipos, demandando rigor ao considerar usar essa tecnologia nessas áreas.
- Geração de dados sintéticos
Com a capacidade de gerar conjuntos de dados sintéticos para treinar modelos específicos de domínios menores, pode ser uma alternativa eficaz em termos de custo se comparada à rotulação humana, além de pode melhorar o desempenho desses modelos em domínios específicos.
Ufa!
Falamos bastante e acredite, isso ainda não é nem a ponta do iceberg do que existe no mundo da inteligência artificial. O que fizemos aqui foi tentar jogar luz sobre os LLMs, para que possamos entender juntos o quanto essa tecnologia nos ajudar, mas também como fica muito claro que o lugar do ser humano não pode ser tomado por nenhuma máquina, porque a chance de isso dar ruim é grande, e a gente te mostrou os argumentos para isso!
Ia ser demais se você nos contasse o que achou deste artigo, se foi útil, se ficou dúvida ou até se quiser ver algo que ainda não colocamos aqui. Que tal? Vai lá nas nossas redes sociais, no LinkedIn, no Instagram, no Threads, no Twitter, no Tik Tok… onde quiser! A gente quer muito te ouvir!
Cola lá!
