Modelos de linguagem grandes (Large Linguage Models – LLMs) – como por exemplo, o BERT, GPT-3, – e os chatbots como ChatGPT, são impressionantes. Nos próximos anos, eles levarão a um desenvolvimento de uma série de ferramentas e aplicativos. Eles podem anunciar a próxima revolução da IA. Mas, quanto mais eles nos aproximam do tipo de inteligência geral que, apenas os humanos tem, como podemos separar seu verdadeiro significado e valor do hype que os acompanha?
Vou comentar isso a partir de dois artigos diferentes abordaram essas questões.
“O sucesso dos modelos de linguagem neural em muitas tarefas de NLP [Natural Language Processing] é empolgante”, escrito pelos professores de linguística Emiliy Bender e Alexander Koller em seu artigo de 2020 “ClimbingwardsNLU: On Meaning, Form, and Understanding in the Age of Data.” “Isso levou a reivindicações, tanto em publicações acadêmicas quanto populares, de que tais modelos entendem ou compreendem a linguagem natural ou aprendem seu significado. Do nosso ponto de vista, essas são afirmações exageradas causadas por um mal-entendido da relação entre forma linguística e significado”.
Em seu artigo, Bender e Koller explicam por que LLMs como o GPT-3 provavelmente se tornarão ferramentas de linguagem inovadoras – como corretores ortográficos ou processadores de texto altamente avançados – enquanto descartam as alegações de que eles têm a capacidade de raciocinar e entender o significado de a linguagem que estão gerando. Suas explicações são expressas em conceitos linguísticos que eles definem cuidadosamente: forma, intenção comunicativa, significado e compreensão.
A forma refere-se a como a linguagem é expressa de fato, ou seja, como texto quando expressa em um documento físico ou digital, ou como sons quando expressa em uma conversa ou palestra;
A intenção comunicativa é o propósito que um falante pretende alcançar por meio da linguagem, como transmitir alguma informação a outra pessoa, pedir que ela faça algo ou apenas socializar;
O significado é a relação entre a forma na qual a linguagem é expressa e a intenção comunicativa que está sendo usada para evocar no ouvinte ou leitor; e
A compreensão é a capacidade do ouvinte de captar o significado que o falante pretendia transmitir.
“Intenções comunicativas são sobre algo que está fora da linguagem. Quando dizemos Abra a janela! ou Quando ‘Malala Yousafzai’ nasceu?, a intenção comunicativa é fundamentada no mundo real que o falante e o ouvinte habitam juntos.” Transmitir significado por meio da linguagem e evocar a intenção de comunicação no leitor exige um conhecimento do mundo físico e social ao nosso redor. “Em contraste com alguns exageros atuais, o significado não pode ser aprendido apenas com a forma”, disseram os autores. “Isso significa que os grandes modelos de linguagem, como o BERT, não aprendem o significado; eles aprendem alguma reflexão do significado na forma linguística, o que é muito útil nas aplicações”.
O texto gerado por um LM ou chatbot não carrega nenhuma intenção comunicativa ou entende o modelo do estado de espírito do leitor, porque não foi para isso que eles foram treinados. “Isso pode parecer contra-intuitivo, dadas as qualidades cada vez mais fluentes do texto gerado automaticamente, mas temos que levar em consideração o fato de que nossa percepção do texto em linguagem natural, independentemente de como foi gerado, é mediada por nossa própria competência linguística e nossa predisposição para interpretar atos comunicativos como transmitindo significado e intenção coerentes, quer o façam ou não”.
Em “A A.I. está dominando a linguagem. Devemos confiar no que ela diz?”, um artigo da NY Times Magazine publicado em abril de 2022, o escritor de ciência Steven Johnson, escreveu sobre o GPT-3, – tanto sobre o seu desempenho, quanto possíveis armadilhas. “Nas primeiras vezes que usei o GPT-3, … fiquei emocionado”, escreveu ele. “Parecia quase impossível que uma máquina pudesse gerar um texto tão lúcido e responsivo baseado inteiramente no treinamento elementar da previsão da próxima palavra.”
“Desde o lançamento do GPT-3, a internet foi inundada com as facilidades do software – junto com suas fraquezas e outras tendências mais sinistras”, disse Johnson. “Até agora, os experimentos com os LLMs foram basicamente: experimentos de busca de sinais de verdadeira inteligência, explorando seus usos criativos e expondo seus vieses. Mas o potencial comercial final é enorme. Se a trajetória continuar, um software como o GPT-3 poderá revolucionar a forma como buscamos informações nos próximos anos. … O atendimento ao cliente pode ser totalmente transformado: qualquer empresa com um produto que atualmente exija uma equipe humana de suporte técnico pode treinar um L.L.M. para isso”.
Ao mesmo tempo, GPT-3 e outros LLMs estão atraindo críticas de que são capazes de imitar os padrões sintáticos da linguagem humana, mas incapazes de gerar suas próprias ideias, tomar decisões complexas e em amadurecer algo que se assemelhe à inteligência humana. “Para esses críticos, o GPT-3 é apenas o mais recente objeto da longa história de hype I.A., canalizando dólares de pesquisa e atenção para o que acabará por se revelar um beco sem saída, impedindo que outras abordagens promissoras amadureçam. Outros críticos ainda acreditam que software como o GPT-3 permanecerá para sempre comprometido pelos preconceitos, propaganda e desinformação nos dados em que foi treinado, o que significa que usá-lo para qualquer coisa além de truques de salão sempre será irresponsável.”
O artigo de Johnson levanta uma série de pontos de advertência sobre os LLMs e vou brevemente comentar algumas de suas advertências.
LLMs são apenas papagaios. O termo papagaio foi mencionado em um artigo de março de 2021, “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?”, por Emily Bender e Timnit Gebru. O artigo deles argumentou que os LLMs estão apenas repetindo o enorme número de frases de autoria humana usadas em seu treinamento. Sua capacidade impressionante de gerar frases convincentes e articuladas nos dá a ilusão de que estamos lidando com um ser humano bem educado e inteligente, e não com um papagaio que só repete palavras e que não tem uma compreensão humana das ideias subjacentes às frases que está reunindo.
Falta de conhecimento de bom senso. Os LLMs carecem do conhecimento de bom senso sobre o mundo físico e social do qual a inteligência humana está inserida, incluindo as habilidades de raciocínio intuitivo que nossos cérebros biológicos consideram normais. Nascemos com a capacidade de aprender rapidamente e nos adaptar ao ambiente social ao nosso redor. “Um dos segredos do aprendizado das crianças é que elas constroem modelos ou teorias do mundo”, escreveu a psicóloga da UC Berkeley, Alison Gopney, em “The Ultimate Learning Machines”, um ensaio do WSJ de 2019. “O futuro da inteligência artificial depende do desenvolvimento de computadores que possam pensar e explorar os mesmos recursos que os bebês.”
Vieses nos dados de treinamento do LLM. Uma das principais descobertas do relatório do índice de IA de 2022 foi que, embora os LLMs como o GPT-3 estejam estabelecendo novos recordes em benchmarks técnicos, eles também são mais propensos a refletir os vieses que podem ter sido incluídos em seus dados de treinamento, incluindo temas racistas, sexistas, linguagem extremista e outras coisas nocivas, bem como padrões de linguagem abusivas e ideologias nocivas.
LLMs são caixas pretas. É muito difícil explicar em termos humanos por que um LLM escolheu uma resposta entre tantas outras. Os LLMs têm um grande número de parâmetros em suas complexas redes neurais, tornando muito difícil avaliar as contribuições individuais para uma decisão em termos de como um ser humano entenderá.
LLMs podem ser confiáveis? Os LLMs são muito bons em gerar textos, mas não possuem mecanismos para verificar a veracidade do que eles geram. Eles podem ser propensos a variações, inventando frases que parecem plausíveis, mas não fazem o menor sentido e não enganariam os humanos. “O debate mais acalorado sobre os LMMs não gira em torno da questão de saber se eles podem ser treinados para entender o mundo. Gira em torno de saber se eles são confiáveis”.
“O problema de treinamento será resolvido nos próximos anos e GPT-3 e seus pares deixam uma coisa muito clara: as máquinas adquiriram linguagem”, escreveu Johnson em conclusão. “Se você passar bastante tempo com o GPT-3, tentando explorar suas capacidades e falhas, acabará se sentindo como se estivesse interagindo com uma espécie de criança prodígio cujo brilhantismo é obscurecido por algumas limitações óbvias: capaz de respostas surpreendentes; possuindo profundo conhecimento e domínio em uma vasta quantidade de temas, mas também sem noção sobre muitos fatos básicos; propenso a respostas estranhas e sem sentido; livre de etiqueta e normas sociais”.
