Código aberto e Sistemas de IA

“Os sistemas de IA não operam como software tradicional – eles exigem processos distintos e dependem de recursos especializados, que atualmente são caros e estão nas mãos de algumas grandes empresas de tecnologia”, escreveram David Gray Widder, Meredith Whittaker e Sarah Myers West, no artigo: “Open (for Business): Big Tech, Concentrated Power, and the Political Economy of Open AI”. “Mesmo assim, muitas das promessas originais do movimento de Open Source,  estão sendo projetadas na IA 'aberta'. Uma das promessas, era de que o código aberto ou o Open Source poderia democratizar o desenvolvimento de software, na perspectiva de que, o código aberto nivela a competição, permitindo que os mais inovadores consigam destaque. O Open Source já fez muito pela comunidade da Internet, em várias modalidades e instâncias. Mas com a IA 'aberta', a história é diferente.”

Estou pessoalmente envolvido com Open Source, projetos livres de licenças e outras iniciativas relacionadas nas últimas décadas. No final da década de 1990, liderei iniciativas para uso de sistemas e aplicações de código aberto em escolas e empresas, o que, na época, ajudou a fomentar o uso da Internet e da World Wide Web. Já, no início dos anos 2000, liderei iniciativas Linux Day, que desempenham, até hoje, um papel importante na divulgação e uso de soluções de código aberto tanto para usuários domésticos quanto para empresas, que ajudam a desenvolver e a divulgar a Linux Foundation.

Ao tentar entender como as promessas originais do Open Source agora se aplicam a esta nova geração de sistemas de IA, achei o artigo acima citado, bastante útil e aqui seguem meus comentários:

O que é (e o que não é) aberto na IA de código aberto

O artigo observa que o código aberto na IA é um conceito difícil de definir, em parte, porque a própria IA não está claramente definida, o que é "aberto" em sistemas altamente complexos como a IA. "De fato, ainda não há uma definição clara de IA 'aberta' ou 'de código aberto', mesmo que a atenção ao tópico tenha aumentado muito", observam os autores.

A inteligência artificial surgiu pela primeira vez em meados da década de 1950 como uma nova disciplina acadêmica que visava desenvolver máquinas inteligentes capazes de lidar com tarefas semelhantes às humanas, como processamento de linguagem natural. A IA se tornou uma das áreas mais empolgantes nas ciências da computação nas décadas de 1960, 1970 e 1980, mas depois de anos de promessas não cumpridas e exageros, houve um inverno da IA, com interesses e financiamentos reduzidos, que quase matou está área de estudo.

A IA renasceu na década de 1990 com um paradigma totalmente diferente baseado na análise de grandes quantidades de dados com algoritmos sofisticados e computadores poderosos. Esse paradigma de IA centrado em dados continuou a avançar nos últimos 20 anos com grandes inovações em diversas áreas como big data, análise preditiva, aprendizado de máquina e, recentemente, os grandes odelos de linguagem (LLMs) e chatbots generativos. A IA agora tem uma das, se não a principal tecnologia definidora do século XXI.

“Como os sistemas de IA grandes e generativos, são os que mais claramente perturbam os limites e questionam as ideologias tradicionais de Open Source e ciência aberta, focamos principalmente nesses sistemas, neste artigo”, escreveram os autores. “Quando usamos o termo IA, estamos usando-o para nos referir a esses grandes sistemas.”

“De modo geral, os termos 'aberto' e 'código aberto' são usados ​​no contexto da IA ​​de várias maneiras para se referir a capacidades que podem ser amplamente agrupadas como: (1) atributos de oferta de transparência — a capacidade de acessar e examinar código-fonte, documentação e dados; (2) reutilização — a capacidade e o licenciamento necessários para permitir que terceiros reutilizem código-fonte e/ou dados; e (3) extensibilidade — a capacidade de construir sobre modelos prontos existentes, 'ajustando-os' para um ou outro propósito específico.

Os termos 'aberto' e 'código aberto' são usados ​​de forma variável para se referir a esses atributos, na prática há diferentes graus de 'abertura' que oferecem níveis de acesso muito diferentes.”

“Embora existam alguns sistemas de IA abertos ao máximo, que oferecem transparência intencional e extensa — os recursos necessários para construir IA do zero e implantar grandes sistemas de IA em escala permanecem 'fechados' — disponíveis apenas para empresas com recursos significativos (quase sempre corporativos).” O artigo ainda faz referência a outro artigo “The Gradient of Generative AI Release: Methods and Considerations”, que define seis pontos principais de abertura em sistemas de IA generativos atuais.

Os argumentos a favor e contra a IA 'aberta'

“A IA aberta está sendo referenciada atualmente por atores poderosos, com discursos políticos para moldar a trajetória regulatória em torno da IA”, observam os autores. “Conversas sobre IA 'aberta' têm implicações significativas e de alto risco além dos termos restritos de licenças e mecanismos de transparência estão sendo implantados para moldar o cenário geral da política de IA. Como em qualquer situação de lobby e influência, a retórica em torno da defesa da política de IA 'aberta' está sendo lida à luz dos interesses particulares da entidade que os faz. E, como no passado, a abertura está sendo usada hoje por empresas na forma de uma política retórica para fazer lobby, consolidar e reforçar suas posições.”

A adoção do Linux por grandes empresas nos anos 2000 foi acompanhada por desafios semelhantes a estes recentes da IA. Algumas das empresas que viam o Linux como uma ameaça competitiva atacaram fortemente as empresas que usavam Linux, bem como a comunidade Linux em geral. Ameaças contra o Linux e contra as empresas que o adotaram continuaram por anos, chegando a processos multimilionarios.

O artigo Open IA discutiu algumas das alegações feitas a favor e contra a IA de código aberto. E aqui estão duas das alegações, uma a favor: segurança por meio da transparência; e uma contra: aumento da insegurança .

A IA aberta cria segurança por meio da transparência

No final da década de 1990, algumas empresas americanas, que passaram a fazer uso de soluções de software Open Source em sistemas altamente sensíveis, criaram um Painel de discussão sobre Software Open Source, que incluía representantes de universidades, agências federais, laboratórios de pesquisas e fornecedores de supercomputação. O Painel realizou uma série de reuniões e na sequência, divulgou seu relatório em outubro de 2000 e as descobertas são particularmente relevantes para as discussões atuais:

“Acreditamos que o modelo de desenvolvimento Open Source representa uma estratégia viável para produzir software de alta qualidade por meio de uma mistura de parcerias públicas, privadas e acadêmicas. … O software Open Source pode oferecer potenciais vantagens de segurança sobre o modelo de desenvolvimento proprietário tradicional. Especificamente, o acesso dos desenvolvedores ao código fonte, que permite um exame completo e que diminui potencial falhas de segurança. Além disso, o modelo de código aberto aumenta o número de programadores buscando por bugs e, subsequentemente, desenvolvendo correções, reduzindo assim áreas potenciais para exploração maliciosas.”

Da mesma forma, o artigo Open AI observa que “a IA Open Source promove a segurança ao permitir que pesquisadores e autoridades auditem o desempenho do modelo, identifiquem riscos e estabeleçam mitigações ou contramedidas”. No entanto, os autores acrescentam que “a eficácia da auditoria como medida de segurança é fortemente baseada em garantir que recursos estejam disponíveis e incentivos alinhados de forma que auditorias realmente ocorram e sejam robustas o suficiente para levar em conta os riscos reais representados pela implantação de modelos de IA”.

IA aberta aumenta a insegurança

“Argumentos na direção oposta posicionam a IA Open Source como uma fonte de insegurança, ao tornar uma tecnologia tão poderosa amplamente disponível para reutilização, potencialmente colocando-a nas mãos de maus atores.”

“Preocupações sobre a insegurança da proliferação de modelos de IA Open Source são justificadas, entre outras razões, porque os modelos de código aberto permitem que a IA seja ajustada em pequena escala sem uma curva de aprendizado. Há poucos comentários e poucos claros sobre esse argumento, especialmente considerando aqueles que o fazem; é por que o acesso aos mesmos modelos ou modelos igualmente poderosos aos obtidos por meio de um contrato de nuvem da Microsoft ou Google — que é o padrão atual — representa menos perigo do que reutilizar um modelo de IA lançado abertamente. … Um pequeno número de empresas gigantes não garante, por si só, uma IA mais segura.”

Conclusão

“Mesmo em suas máximas instâncias, nas quais sistemas de IA 'abertos' fornecem transparência robusta, reutilização e extensibilidade, tais características não garantem, por si só, acesso democrático ou competição significativa em IA”, escreveram os autores na conclusão. “Nem tendo uma IA aberta sozinha resolve o problema da informação democrática ou segura. Mesmo assim, a retórica e a promessa de abertura em sistemas de IA estão sendo tratadas por empresas poderosas que tentam reforçar suas posições diante do crescente interesse na regulamentação da IA.”

“Os formuladores de políticas precisam abordar a regulamentação da IA com uma compreensão clara de coisas que a IA 'é' e 'não é', e com um reconhecimento fundamentado do que a IA 'aberta' pode e não pode entregar. Isso produzirá uma imagem muito diferente das possibilidades da IA ​​'aberta' do que aquela que está sendo desenhada atualmente. Também exigirá foco nas diferenças significativas entre software de código aberto e IA 'aberta', e reconhecimento de que os processos de desenvolvimento, requisitos de recursos e centralização inerente da IA ​​significam que ela não pode ser facilmente descrita ou definida em termos forjados originalmente para promover e definir software de código aberto.”

Produtividade: crescimento lento x avanços tecnológicos vertiginosos

A produtividade, na economia, é considerada a relação entre aquilo o que é produzido e os meios empregados (mão-de-obra, materiais, energia, etc.). Produtividade tem a ver com eficiência e tempo: quanto menor for o tempo levado para obter o resultado pretendido, mais produtivo será o sistema.

“Um dos quebra-cabeças mais difíceis de se resolver nas últimas décadas é a desaceleração no crescimento da produtividade em nações industrializadas, apesar dos avanços vertiginosos nas tecnologias de informação e comunicação (TIC) e na eletrônica”, escreveram os economistas Daron Acemoglu, David Autor e Christina Patterson em seu artigo Bottlenecks: Sectoral Imbalance and the US Productivity Paradox.

Nas últimas três décadas, as patentes de TIC e eletrônica e o crescimento da produtividade têm se movido em direções totalmente opostas. O número total de patentes concedidas entre 1990 e 2010 cresceu de 99.000 para 208.000, com as patentes de TIC e eletrônica respondendo por 80% desse aumento. E, enquanto o Fator Total de Produtividade (FTP), — geralmente considerada o principal contribuinte para o crescimento do PIB, — cresceu 1,7% nos EUA entre 1997 e 2005, sendo o crescimento mínimo, cerca de 0,4% desde 2005. Veja o gráfico dos últimos 10 anos.

“Como esses fatos antagônicos podem ser resolvidos?”, perguntam os autores. Estamos em uma “nova era de abundância impulsionada por nossas máquinas cada vez mais inteligentes?” Ou entramos em “uma era de crescimento mais lento porque as tecnologias de maior impacto já foram desenvolvidas e exploradas?”

Em artigo de 2018, The Productivity J-Curve, Erik Brynjolfsson, Daniel Rock e Chad Syverson explicam que tecnologias transformadoras — por exemplo, a máquina a vapor, eletricidade, semicondutores, internet, IA — são tecnologias definidoras de seus tempos. Mas, historicamente, alguns padrões nos dizem que há um atraso entre a aceitação do mercado de uma tecnologia transformadora e seu impacto mais amplo nas indústrias, economias e sociedades. Embora essas tecnologias tenham grande potencial desde o início, perceber esse potencial requer grandes investimentos, incluindo o redesenho de processos de negócios; novos produtos, aplicativos e modelos de negócios inovadores; a requalificação da força de trabalho; e um repensar da própria natureza da produção.

Em seu artigo, Acemoglu, Autor e Patterson ofereceram uma estrutura conceitual que explica as tendências conflitantes entre avanços tecnológicos e crescimento da produtividade: avanços tecnológicos e inovação em qualquer indústria dependem de inovações complementares nos insumos e ideias das indústrias fornecedoras em seu setor. Quando a inovação está desequilibrada em um setor, ela retém o crescimento da produtividade e gera obstáculos à inovação. “Nossa estrutura conceitual, portanto, enfatiza que uma distribuição equilibrada de avanços tecnológicos entre setores é importante para a viabilidade de inovações futuras. … Nossa perspectiva também enfatiza como uma distribuição mais equilibrada do progresso tecnológico (e pesquisa e desenvolvimento) pode melhorar o desempenho da produtividade.”

O artigo ilustra como os obstáculos surgem e como sua resolução acelera a inovação e o crescimento, com exemplos concretos de três tecnologias relativamente recentes: baterias recarregáveis, transistores e GPS.

Baterias recarregáveis. Baterias recarregáveis desempenharam um papel importante na alimentação de laptops, dispositivos móveis pessoais, carros elétricos e outras inovações importantes do século XXI. Baterias recarregáveis ​​foram um obstáculo tecnológico até a década de 1970 porque, por mais de cem anos, as melhores baterias disponíveis, baterias de chumbo, tinham baixa densidade de energia, uma taxa de carregamento lenta, um ciclo de vida curto e o potencial de liberar gás hidrogênio explosivo durante a recarga. O gargalo da bateria recarregável foi finalmente superado pelas baterias de íons de lítio, inventadas em 1973 e melhoradas ao longo da década de 1980. Em 1991, a Sony começou a produzir e vender as primeiras baterias de íons de lítio recarregáveis ​​do mundo.

Transistores. Embora na década de 1950, dispositivos eletrônicos, linhas telefônicas, rádios, transmissores, amplificadores de áudio e os primeiros computadores fossem grandes, frágeis e lentos porque os interruptores eletromecânicos e válvulas de vácuo que esses produtos usavam eram tecnologias de gargalo. O transistor, inventado nos Laboratórios Bell da ATT em 1947, foi comercializado pela primeira vez na década de 1950 em produtos simples como rádios transistorizados. Os transistores então permitiram o rápido crescimento dos computadores a partir da década de 1960. A Lei de Moore captura sucintamente os avanços impressionantes dos transistores e circuitos integrados nas décadas seguintes. "Estima-se que o transistor seja o dispositivo mais fabricado na história, com 13 sextilhões (10²¹) de unidades até o momento, com bilhões a mais produzidos a cada dia."

Sistema de Posicionamento Global. “A navegação tradicional foi complementada com sistemas de posicionamento de rádio na década de 1970, mas essas ferramentas sofriam de baixa precisão ou cobertura geográfica limitada e, portanto, não iam além das aplicações de transporte militar e comercial.” O GPS foi desenvolvido pelos militares dos EUA para superar essas deficiências. Os satélites GPS foram lançados pela primeira vez em 1978 e abertos ao uso público mundial em 1983. Ao longo dos anos, o GPS permitiu uma série de inovações importantes, incluindo “agricultura de precisão, mineração e exploração de petróleo; informações de tempo de precisão atômica para sincronização de sistemas de transmissão de energia; levantamento remoto para geologia e previsão do tempo; e inúmeros serviços voltados para o consumidor, como transporte por aplicativo, publicidade direcionada e rastreadores de objetos.”

Os autores desenvolveram um modelo matemático para formalizar sua estrutura conceitual, a saber, que o crescimento lento decorre em parte de uma distribuição desequilibrada de inovação. Eles então validaram empiricamente sua hipótese usando dados de uma variedade de fontes, incluindo links de citação, patentes e dados de crescimento de produtividade de 462 indústrias de manufatura e 42 indústrias não manufatureiras e aqui estão suas principais descobertas.

• “Por meio de uma variedade de abordagens de medição, resultados de produtividade e países, verificamos a previsão primária desta hipótese: o crescimento da produtividade de uma indústria é aumentado pelo crescimento médio da produtividade de seus fornecedores (medido pelo PTF ou inovação) e, crucialmente, é prejudicado pela variância do crescimento de sua produtividade.”

• Há uma ligação poderosa entre a capacidade de inovação de um setor ou empresa e os desequilíbrios que ela enfrenta em seus setores a montante (ideia-fornecedor). Quanto maior a dispersão, ou seja, a variação ou a distribuição do crescimento da produtividade entre os fornecedores de uma indústria, maior a influência negativa que ela tem nas oportunidades de crescimento dessa indústria. Dobrar a variação do crescimento do FTP dos fornecedores em um setor está associado a um crescimento de produtividade aproximadamente 0,9 ponto percentual mais lento para esse setor.

• “A dispersão do crescimento do FTP entre as principais indústrias aumentou significativamente nas últimas décadas.” Essa dispersão maior explica essencialmente toda a desaceleração da produtividade agregada na manufatura entre as décadas de 1970 e 2007. Por exemplo, se a variação no crescimento do FTP na manufatura tivesse permanecido em seu nível de 1977–1987 nas duas décadas subsequentes, a produtividade da manufatura dos EUA teria crescido duas vezes mais rápido em 1997–2007 do que cresceu.

• “A variação do FTP do fornecedor na indústria aumentou durante este período, tanto porque as indústrias atrasadas não conseguiram crescer quanto porque as indústrias líderes se afastaram das demais.”

As indústrias de crescimento mais rápido, definidas como aquelas que tiveram o maior impacto na variação do FTP do fornecedor entre 1997 e 2007, incluem computadores eletrônicos, dispositivos de armazenamento de computador e semicondutores. As indústrias de crescimento lento que se tornaram os maiores gargalos no mesmo período incluem refinarias de petróleo, preparação farmacêutica, montagem de circuitos impressos e geradores de turbina. E as indústrias com mais gargalos, definidas como aquelas retidas pela inovação desigual entre seus fornecedores, incluem instrumentos cirúrgicos e médicos, motores a gás e válvulas industriais. 

Esses resultados empíricos valem para toda a economia e, dentro do setor de manufatura (onde o FTP é melhor medido), eles estão presentes em diferentes sub períodos e com medidas alternativas de dispersão de produtividade. “Também verificamos que esses padrões não são impulsionados por outliers, nem são exclusivamente devidos aos rápidos avanços nos setores de computadores e eletrônicos (embora esses setores desempenhem um papel central em nossos resultados).” Além disso, “documentamos padrões análogos usando dados internacionais e estabelecemos que a dispersão na produtividade entre as principais indústrias fornecedoras nacionais e internacionais também tem sido um grande impedimento ao crescimento da produtividade para várias economias líderes da OCDE.”

“Vemos nossos resultados como sugestivos de uma ligação potencialmente importante entre gargalos de produtividade e crescimento de produtividade. … Nossa análise sugere ainda que, após avanços em setores que atuam como gargalos, deve haver uma aceleração do crescimento da produtividade agregada e da indústria.”

O valor do conhecimento humano x IA ​​generativa

No início de 2021, o então editor e contribuidor da Wikipédia Jon Gertner viu algo na internet que lhe chamou a atenção: a ascensão do GPT-3, um precursor dos novos chatbots da OpenAI, e ele decidiu escrever o artigo “Wikipedia's Moment of Truth”, para a NY Times Magazine . “Quando experimentei a nova tecnologia, me pareceu não tão confiável. O bot misturava elementos fictícios em respostas factuais e coerentes. Mas não tive dúvidas sobre seu potencial.”

O artigo chamou minha atenção porque há muito tempo uso a Wikipédia como meu site de referência para pesquisar tópicos sobre os quais quero aprender, além de usar links para artigos da Wikipédia como referências nos blog que publico desde 2005.

Na última década, a Wikipédia se tornou muito mais do que uma enciclopédia, — “um tipo de comunidade que mantém todo o mundo digital unido”. Google, Bing, Siri, Alexa e outros mecanismos de busca e assistentes digitais frequentemente contam com a Wikipédia para obter as informações necessárias para responder às perguntas dos usuários. A Wikipédia também tem sido uma das maiores fontes de dados, — estimada em cerca de 3% a 5%, — para treinamento de Large Language Models (LLMs) e chatbots relacionados. A Wikipédia tem desempenhado um papel importante no mundo digital porque suas grandes quantidades de dados são gratuitas, facilmente acessíveis, de alta qualidade e bem selecionadas.

Depois de experimentar o ChatGPT em 2021, um outro usuário, escreveu um ensaio com o título “Morte da Wikipédia”, no qual ele cita como a Wikipédia poderia perder seu lugar como a enciclopédia digital dominante. “Para alguma outra enciclopédia vencer a Wikipédia, ela teria que ser capaz de igualar algumas das vantagens construídas ao longo dos anos. Ou seja, que ter milhões de artigos e que esses artigos sejam atualizados rapidamente.”

Ele acrescentou que era improvável que uma enciclopédia sucessora tivesse os compromissos da Wikipédia com a transparência, objetivos não comerciais e a livre reutilização de seu conteúdo por meio de sua licença. “Esses valores ajudam na reputação e criam valor para os leitores no mundo todo.”

Eu, particularmente falando, não acreditava ser provável alcançar os feitos humanos da Wikipedia. Mas agora acredito que a inteligência artificial pode. A IA está melhorando exponencialmente a cada dia. No momento em que escrevo este artigo, já testei ser capaz de escrever um texto bastante competente, usando a IA. A longo prazo a IA pode substituir a Wikipédia e seus editores humanos, assim como a Wikipédia venceu a Enciclopédia Britånica.

“Na comunidade da Wikipédia, há cautela quando se fala em IA. Se administrada corretamente, ajudará a organização a melhorar em vez de quebrar”, citação do artigo da NYT Magazine . “Mesmo que os editores vençam a curto prazo, as máquinas vencerão no final”

Já houveram outras previsões sobre o fim da Wikipédia desde que foi fundada em 2001. Em comemoração ao 20º aniversário da Wikipédia, o professor Joseph Reagle da Northeastern University escreveu “As muitas (relatadas) mortes da Wikipédia”, um ensaio que explorou como a Wikipedia teve sua morte anunciada repetidas vezes nas últimas duas décadas e como ela encontrou maneiras de se adaptar e perdurar.

Reagle observou que, em seus primeiros anos, os críticos da Wikipédia e seus fundadores, exemplificaram três maneiras de pensar sobre o futuro:

1. Eles olharam para projetos de enciclopédia semelhantes para ter uma ideia do que é viável e aprenderam que, mesmo projetos bem financiados, como o Encarta da Microsoft, falharam em criar uma enciclopédia on-line sustentável.

2. Eles presumiram que os primeiros meses seriam muito difíceis - como no caso da Wikipédia.

“O único modelo que não usamos foi justamente o crescimento exponencial, que caracterizou a criação de artigos da Wikipédia até 2007”, escreveu Reagle. 

Em seu primeiro ano, a Wikipedia esperava ter, um dia, 100.000 artigos, o que seria um pouco maior do que a maioria das enciclopédias impressas. Eles estimaram que se produzissem 1.000 artigos por mês, chegariam perto da meta em sete anos. E em 2007, a Wikipédia atingiu o inimaginável feito de ter dois milhões de artigos, — 20 vezes a estimativa original.

Mas em 2009, a inserção de novos artigos na Wikipédia diminuiu ou estagnou-se, e a atividade passou a tender cada vez para editores experientes em vez de continuar atraindo novos editores. O número de editores ativos caiu de 53.000 em 2007 para 30.000 em 2014.

A Wikipédia pode sobreviver?, perguntou um outro artigo de opinião do NYT de 2015. Sim. "Parece que o número de editores ativos tem se mantido estável desde 2014, não caindo abaixo de 29 mil", escreveu Reagle.

“A única previsão que eu arriscaria para os próximos dez anos é que a Wikipédia ainda existirá”, ele acrescentou. “A plataforma e a comunidade têm um ímpeto que nenhuma alternativa, a curto prazo, vencerá. A comunidade Wikipédia sem dúvida enfrentará desafios e crises, como sempre enfrentou.”

Em setembro de 2023, a Wikipédia tinha mais de 6,7 milhões de artigos e mais de 118.000 editores ativos — que fizeram uma ou mais edições nos últimos 30 dias. E, de acordo com o artigo da Gertner na NYT Magazine , “a Wikipédia tem versões em 334 idiomas e um total de mais de 61 milhões de artigos. Ela está classificada entre os 10 sites mais visitados do mundo, no seleto grupo cujos líderes habituais, que são Google, YouTube e Facebook, mas é única em evitar o motivo lucro.”

O valor mais crítico da Wikipédia para a IA Generativa é o fato de que seu conhecimento é criado por humanos.

"Os chatbots de IA geralmente só vomitam o que engoliram da Wikipédia”, escreveu Gertner. “Incorporado em suas respostas o conhecimento que foi compilado ao longo de anos de trabalho meticuloso por colaboradores humanos.” 

Garantir que os sistemas de IA generativos sejam treinados com conteúdo meticulosamente criado por humanos é muito mais do que um caso de idealismo humano anti-IA. Acontece que, sem dados de treinamento gerados por humanos, os sistemas de IA inevitavelmente não funcionarão bem. Um outro artigo publicado em maio de 2023 definiu esse fenômeno em detalhes e o nomeou colapso do modelo.

Encontrei uma explicação mais simples sobre o colapso do modelo em um artigo recente da TechTarget “O colapso do modelo explicado: como os dados de treinamento sintético quebram a IA ”.

“O colapso do modelo ocorre quando novos modelos generativos treinam em conteúdo gerado por IA e gradualmente degeneram seus resultados. Nesse cenário, os modelos começam literalmente a esquecer a verdadeira distribuição de dados. Isso significa que os modelos perdem a referência de informações sobre os aspectos menos comuns — mas ainda importantes — dos dados. À medida que as gerações de modelos de IA progridem, os modelos começam a produzir saídas cada vez mais semelhantes e menos diversas.”

“Modelos de IA generativa precisam treinar em dados produzidos por humanos para funcionar de forma adequada. Quando treinados em conteúdo gerado por modelos, esses novos modelos exibem defeitos irreversíveis. Suas saídas se tornam cada vez mais 'erradas' e homogêneas. Pesquisadores descobriram que, mesmo nas melhores condições de aprendizado, o colapso do modelo era inevitável.”

" Estudar e entender o colapso do modelo é importante porque a IA generativa está pronta para trazer mudanças significativas no mundo digital. Mais e mais comunicações online estão sendo geradas usando ferramentas de IA. E esse fenômeno tem o potencial de criar poluição de dados em larga escala. Embora a criação de grandes quantidades de texto seja mais eficiente do que nunca, o estudo do colapso do modelo afirma que nenhum desses dados será valioso para treinar a próxima geração de modelos de IA.”