Código aberto e Sistemas de IA

“Os sistemas de IA não operam como software tradicional – eles exigem processos distintos e dependem de recursos especializados, que atualmente são caros e estão nas mãos de algumas grandes empresas de tecnologia”, escreveram David Gray Widder, Meredith Whittaker e Sarah Myers West, no artigo: “Open (for Business): Big Tech, Concentrated Power, and the Political Economy of Open AI”. “Mesmo assim, muitas das promessas originais do movimento de Open Source,  estão sendo projetadas na IA 'aberta'. Uma das promessas, era de que o código aberto ou o Open Source poderia democratizar o desenvolvimento de software, na perspectiva de que, o código aberto nivela a competição, permitindo que os mais inovadores consigam destaque. O Open Source já fez muito pela comunidade da Internet, em várias modalidades e instâncias. Mas com a IA 'aberta', a história é diferente.”

Estou pessoalmente envolvido com Open Source, projetos livres de licenças e outras iniciativas relacionadas nas últimas décadas. No final da década de 1990, liderei iniciativas para uso de sistemas e aplicações de código aberto em escolas e empresas, o que, na época, ajudou a fomentar o uso da Internet e da World Wide Web. Já, no início dos anos 2000, liderei iniciativas Linux Day, que desempenham, até hoje, um papel importante na divulgação e uso de soluções de código aberto tanto para usuários domésticos quanto para empresas, que ajudam a desenvolver e a divulgar a Linux Foundation.

Ao tentar entender como as promessas originais do Open Source agora se aplicam a esta nova geração de sistemas de IA, achei o artigo acima citado, bastante útil e aqui seguem meus comentários:

O que é (e o que não é) aberto na IA de código aberto

O artigo observa que o código aberto na IA é um conceito difícil de definir, em parte, porque a própria IA não está claramente definida, o que é "aberto" em sistemas altamente complexos como a IA. "De fato, ainda não há uma definição clara de IA 'aberta' ou 'de código aberto', mesmo que a atenção ao tópico tenha aumentado muito", observam os autores.

A inteligência artificial surgiu pela primeira vez em meados da década de 1950 como uma nova disciplina acadêmica que visava desenvolver máquinas inteligentes capazes de lidar com tarefas semelhantes às humanas, como processamento de linguagem natural. A IA se tornou uma das áreas mais empolgantes nas ciências da computação nas décadas de 1960, 1970 e 1980, mas depois de anos de promessas não cumpridas e exageros, houve um inverno da IA, com interesses e financiamentos reduzidos, que quase matou está área de estudo.

A IA renasceu na década de 1990 com um paradigma totalmente diferente baseado na análise de grandes quantidades de dados com algoritmos sofisticados e computadores poderosos. Esse paradigma de IA centrado em dados continuou a avançar nos últimos 20 anos com grandes inovações em diversas áreas como big data, análise preditiva, aprendizado de máquina e, recentemente, os grandes odelos de linguagem (LLMs) e chatbots generativos. A IA agora tem uma das, se não a principal tecnologia definidora do século XXI.

“Como os sistemas de IA grandes e generativos, são os que mais claramente perturbam os limites e questionam as ideologias tradicionais de Open Source e ciência aberta, focamos principalmente nesses sistemas, neste artigo”, escreveram os autores. “Quando usamos o termo IA, estamos usando-o para nos referir a esses grandes sistemas.”

“De modo geral, os termos 'aberto' e 'código aberto' são usados ​​no contexto da IA ​​de várias maneiras para se referir a capacidades que podem ser amplamente agrupadas como: (1) atributos de oferta de transparência — a capacidade de acessar e examinar código-fonte, documentação e dados; (2) reutilização — a capacidade e o licenciamento necessários para permitir que terceiros reutilizem código-fonte e/ou dados; e (3) extensibilidade — a capacidade de construir sobre modelos prontos existentes, 'ajustando-os' para um ou outro propósito específico.

Os termos 'aberto' e 'código aberto' são usados ​​de forma variável para se referir a esses atributos, na prática há diferentes graus de 'abertura' que oferecem níveis de acesso muito diferentes.”

“Embora existam alguns sistemas de IA abertos ao máximo, que oferecem transparência intencional e extensa — os recursos necessários para construir IA do zero e implantar grandes sistemas de IA em escala permanecem 'fechados' — disponíveis apenas para empresas com recursos significativos (quase sempre corporativos).” O artigo ainda faz referência a outro artigo “The Gradient of Generative AI Release: Methods and Considerations”, que define seis pontos principais de abertura em sistemas de IA generativos atuais.

Os argumentos a favor e contra a IA 'aberta'

“A IA aberta está sendo referenciada atualmente por atores poderosos, com discursos políticos para moldar a trajetória regulatória em torno da IA”, observam os autores. “Conversas sobre IA 'aberta' têm implicações significativas e de alto risco além dos termos restritos de licenças e mecanismos de transparência estão sendo implantados para moldar o cenário geral da política de IA. Como em qualquer situação de lobby e influência, a retórica em torno da defesa da política de IA 'aberta' está sendo lida à luz dos interesses particulares da entidade que os faz. E, como no passado, a abertura está sendo usada hoje por empresas na forma de uma política retórica para fazer lobby, consolidar e reforçar suas posições.”

A adoção do Linux por grandes empresas nos anos 2000 foi acompanhada por desafios semelhantes a estes recentes da IA. Algumas das empresas que viam o Linux como uma ameaça competitiva atacaram fortemente as empresas que usavam Linux, bem como a comunidade Linux em geral. Ameaças contra o Linux e contra as empresas que o adotaram continuaram por anos, chegando a processos multimilionarios.

O artigo Open IA discutiu algumas das alegações feitas a favor e contra a IA de código aberto. E aqui estão duas das alegações, uma a favor: segurança por meio da transparência; e uma contra: aumento da insegurança .

A IA aberta cria segurança por meio da transparência

No final da década de 1990, algumas empresas americanas, que passaram a fazer uso de soluções de software Open Source em sistemas altamente sensíveis, criaram um Painel de discussão sobre Software Open Source, que incluía representantes de universidades, agências federais, laboratórios de pesquisas e fornecedores de supercomputação. O Painel realizou uma série de reuniões e na sequência, divulgou seu relatório em outubro de 2000 e as descobertas são particularmente relevantes para as discussões atuais:

“Acreditamos que o modelo de desenvolvimento Open Source representa uma estratégia viável para produzir software de alta qualidade por meio de uma mistura de parcerias públicas, privadas e acadêmicas. … O software Open Source pode oferecer potenciais vantagens de segurança sobre o modelo de desenvolvimento proprietário tradicional. Especificamente, o acesso dos desenvolvedores ao código fonte, que permite um exame completo e que diminui potencial falhas de segurança. Além disso, o modelo de código aberto aumenta o número de programadores buscando por bugs e, subsequentemente, desenvolvendo correções, reduzindo assim áreas potenciais para exploração maliciosas.”

Da mesma forma, o artigo Open AI observa que “a IA Open Source promove a segurança ao permitir que pesquisadores e autoridades auditem o desempenho do modelo, identifiquem riscos e estabeleçam mitigações ou contramedidas”. No entanto, os autores acrescentam que “a eficácia da auditoria como medida de segurança é fortemente baseada em garantir que recursos estejam disponíveis e incentivos alinhados de forma que auditorias realmente ocorram e sejam robustas o suficiente para levar em conta os riscos reais representados pela implantação de modelos de IA”.

IA aberta aumenta a insegurança

“Argumentos na direção oposta posicionam a IA Open Source como uma fonte de insegurança, ao tornar uma tecnologia tão poderosa amplamente disponível para reutilização, potencialmente colocando-a nas mãos de maus atores.”

“Preocupações sobre a insegurança da proliferação de modelos de IA Open Source são justificadas, entre outras razões, porque os modelos de código aberto permitem que a IA seja ajustada em pequena escala sem uma curva de aprendizado. Há poucos comentários e poucos claros sobre esse argumento, especialmente considerando aqueles que o fazem; é por que o acesso aos mesmos modelos ou modelos igualmente poderosos aos obtidos por meio de um contrato de nuvem da Microsoft ou Google — que é o padrão atual — representa menos perigo do que reutilizar um modelo de IA lançado abertamente. … Um pequeno número de empresas gigantes não garante, por si só, uma IA mais segura.”

Conclusão

“Mesmo em suas máximas instâncias, nas quais sistemas de IA 'abertos' fornecem transparência robusta, reutilização e extensibilidade, tais características não garantem, por si só, acesso democrático ou competição significativa em IA”, escreveram os autores na conclusão. “Nem tendo uma IA aberta sozinha resolve o problema da informação democrática ou segura. Mesmo assim, a retórica e a promessa de abertura em sistemas de IA estão sendo tratadas por empresas poderosas que tentam reforçar suas posições diante do crescente interesse na regulamentação da IA.”

“Os formuladores de políticas precisam abordar a regulamentação da IA com uma compreensão clara de coisas que a IA 'é' e 'não é', e com um reconhecimento fundamentado do que a IA 'aberta' pode e não pode entregar. Isso produzirá uma imagem muito diferente das possibilidades da IA ​​'aberta' do que aquela que está sendo desenhada atualmente. Também exigirá foco nas diferenças significativas entre software de código aberto e IA 'aberta', e reconhecimento de que os processos de desenvolvimento, requisitos de recursos e centralização inerente da IA ​​significam que ela não pode ser facilmente descrita ou definida em termos forjados originalmente para promover e definir software de código aberto.”

Os dois lados da IA

Tenho acompanhado a evolução da IA nos últimos anos e já temos dois momentos bem distintos da recente história da IA; e o segundo momento – é muito recente e vivenciado por todos nós. Desde que a OpenAI lançou o ChatGPT e incentivou o público em geral a experimentá-lo, presenciamos artigos, lives e discussões sobre suas capacidades e potenciais riscos. Porém, as questões mais recentes sobre o estado da IA nas empresas, mostram que a maioria delas ainda se encontram em fases iniciais de implementação e, talvez por isso, ainda não alcançaram resultados mais significativos.

Por exemplo, o Relatório do Índice de IA de 2022 publicado por Stanford reportou que as indústrias estão envolvidas com o desenvolvimento dos grandes modelos de linguagem, como GPT-4, e chatbots, como ChatGPT. E um outro relatório, mais recente – o relatório da McKinsey, mostra que, embora as empresas continuem a progredir, o número de adoção da IA estagnou.

A pesquisa entitulada de “O estado da IA em 2022 — e meia década em análise”, marca o quinto ano consecutivo em que a McKinsey analisa o impacto da IA nas empresas de todo o mundo. O relatório de 2022 baseia-se em um estudo a quase 1.500 empresas de diversas regiões, indústrias e tamanhos. Apenas cerca de metade dos entrevistados disseram que a sua organização adotou a IA em pelo menos uma função.

As principais conclusões do relatório foram:

1) A adoção da IA mais que dobrou nos últimos cinco anos. Em 2017, 20% dos entrevistados afirmaram ter adotado IA em pelo menos uma área de negócio. Em 2021, a adoção da IA nas empresas, chegou a 50%, mas depois disso, estabilizou-se, entre 50% e 60%.

2) O número médio de projetos de IA nas organizações, passou de 1,9 em 2018 para 3,8 em 2022. Os projetos de IA mais comuns são:

(I) automação de processos robóticos, — 39%;

(II) visão computacional — 34%;

(III) compreensão de texto em linguagem natural —33%;

(IV) interfaces conversacionais — 33%; e

(V) aprendizagem profunda – 30%.

3) Os principais casos de uso permaneceram estáveis nos últimos anos, com a otimização das operações de serviço em 24%; novos produtos baseados em IA — 20%; análise de atendimento ao cliente – 19%; segmentação de clientes — 19%; Aprimoramento de produtos com base em IA – 19%; e aquisição de clientes – 17%.

O investimento em IA aumentou juntamente com a sua crescente adoção. Em 2018, 40% dos entrevistados que utilizam IA relataram que mais de 5% dos seus orçamentos digitais foram para IA. Em 2022, o valor equivalente era de 52%. E 63% dos entrevistados esperam que os investimentos das suas organizações em IA aumentem nos próximos três anos.

4) As organizações que adotaram a IA obtiveram benefícios significativos em receitas e custos. Em 2021, 63% das organizações que adotaram IA relataram um impacto significativo nas receitas em diversas áreas, com marketing e vendas mencionados por 70%; desenvolvimento de produtos e serviços — 70%; estratégia e finanças corporativas — 65%; gestão da cadeia de abastecimento — 63%; e manufatura – 61%.

Ao mesmo tempo, 32% das organizações relataram benefícios de custos significativos, com gestão da cadeia de abastecimento — 52%; operações de serviços — 45%; gestão de risco — 43%; estratégia e finanças corporativas — 43%; e manufatura – 42%.

Embora a utilização da IA tenha aumentado, não houve aumentos substanciais nas mitigações comunicadas dos riscos relacionados com a IA. Os riscos que as organizações que adotam a IA consideram mais importantes para mitigar são a segurança cibernética – 51%; conformidade regulatória — 36%; privacidade pessoal e individual — 28%; explicabilidade — 22%; e reputação organizacional — 22%.

A pesquisa da McKinsey de 2022 também descobriu que os profissionais de alto desempenho em IA expandiram sua vantagem competitiva nos últimos cinco anos e examinaram de perto o que esses líderes de IA fazem de diferente.

A proporção de profissionais de alto desempenho em IA permaneceu estável em cerca de 8%. A McKinsey definiu empresas de alto desempenho em IA como aquelas organizações que estão vendo um impacto de 20% ou mais nos resultados financeiros de sua adoção de IA, conforme medido pelo lucro antes dos juros e impostos (EBIT). Estes líderes em IA estão a alcançar resultados superiores principalmente através do aumento das receitas, e não através de reduções de custos, embora a IA também tenha ajudado a diminuir os seus custos.

Os profissionais de alto desempenho têm maior probabilidade de aproveitar a IA em suas principais práticas de negócios. Suas principais práticas comerciais incluem vincular iniciativas de IA ao valor comercial em toda a organização; ter uma estratégia de IA alinhada com a estratégia corporativa geral; uma visão e estratégia de IA claramente definidas; e uma equipe de gerenciamento sênior comprometida com a estratégia de IA da organização.

Além disso, os profissionais de IA de alto desempenho lideraram o desenvolvimento e a implantação de IA em escala em toda a organização. “No ano passado, os profissionais de alto desempenho tornaram-se ainda mais propensos do que outras organizações a seguir práticas avançadas de escalonamento, como o uso de conjuntos de ferramentas padronizadas para criar pipelines de dados prontos para produção e o uso de uma plataforma ponto a ponto para dados relacionados à IA. ciência, engenharia de dados e desenvolvimento de aplicativos que eles desenvolveram internamente.”

Os profissionais de elevado desempenho também lideram a gestão de riscos relacionados com a IA, como a privacidade pessoal, a equidade e a justiça. Também é mais provável que se envolvam em práticas de mitigação de riscos, como governança de dados, processos e protocolos padronizados e controle automatizado de qualidade de dados.

Os profissionais de alto desempenho em IA continuam a gastar mais do que outras organizações. Os profissionais de elevado desempenho têm quase oito vezes mais probabilidades do que outros de afirmar que gastam pelo menos 20% dos seus orçamentos de tecnologia digital em projetos relacionados com a IA. Além disso, têm cinco vezes mais probabilidades de reportar que as suas organizações gastam mais de 20% das receitas de toda a empresa em tecnologias digitais.

O relatório da McKinsey também inclui uma visão detalhada do quadro geral de talentos em IA, incluindo as estratégias que a organização usa para adquirir os talentos necessários.

As organizações deixaram de experimentar a IA e passaram a incorporá-la ativamente em aplicações empresariais. As respostas da pesquisa mostram que as organizações com habilidades em IA que contratam com mais frequência são engenheiros de software – 39%; seguido por engenheiros de dados — 35%; Cientistas de dados de IA – 33%; engenheiros de aprendizado de máquina – 30%; e arquitetos de dados – 28%.

Contratar é um desafio, mas nem tanto para profissionais de alto desempenho. “Todas as organizações relatam que a contratação de talentos em IA, especialmente cientistas de dados, continua difícil. Os profissionais de alto desempenho em IA relatam um pouco menos de dificuldade e contrataram algumas funções, como engenheiros de aprendizado de máquina, com mais frequência do que outras organizações.” Os profissionais de alto desempenho estão particularmente focados na contratação para implantação de IA e otimização do valor comercial.

A escassez de talentos tecnológicos não mostra sinais de diminuir, com a maioria dos entrevistados relatando dificuldade em contratar competências relacionadas à IA. Os cientistas de dados de IA continuam particularmente escassos, com 32% dos entrevistados afirmando que contratá-los foi muito difícil; seguido por engenheiros de aprendizado de máquina, — 28%; especialistas em tradução automática — 27%; e arquitetos de dados de IA — 25%.

Os profissionais de alto desempenho em IA relatam terceirizar talentos relacionados à IA de uma variedade mais ampla de maneiras do que outras organizações. A principal fonte de talentos em IA para profissionais de alto desempenho são as universidades técnicas de alto nível – 58%; seguido pela requalificação dos colaboradores internos — 47%; empresas globais de tecnologia de primeira linha — 46%; outras empresas de tecnologia — 39%; e outras universidades — 37%.

Por fim, o relatório da McKinsey de 2022 explorou o nível de diversidade na IA e concluiu que há espaço significativo para melhorias na maioria das organizações. A percentagem média de mulheres nas equipas de IA é de 27% e a percentagem média de minorias raciais ou étnicas nas equipas de IA é de 25%. 46% dos entrevistados da AI afirmaram que as suas organizações têm programas activos para aumentar a diversidade de género, enquanto 33% disseram que têm programas semelhantes para aumentar a diversidade racial e étnica.

Tal como em estudos anteriores da McKinsey, a investigação mostra que existe uma correlação entre diversidade e desempenho da IA. As organizações que afirmam que pelo menos 25% dos funcionários envolvidos em IA são mulheres têm 3,2 vezes mais probabilidade do que outras de serem de alto desempenho em IA, e as organizações nas quais pelo menos 25% são minorias raciais ou étnicas têm duas vezes mais probabilidade de serem IA de alto desempenho.

“Durante a última meia década, na qual conduzimos nossa pesquisa global, vimos o inverno da IA se transformar em uma primavera de IA”, disse Michael Chui, Partner do McKinsey Global Institute. “No entanto, após um início exuberante, parecemos ter atingido um patamar, que observamos com outras tecnologias nos seus primeiros anos de adoção. Poderemos estar vendo a realidade em algumas organizações sobre o nível de mudança organizacional necessária para incorporar esta tecnologia com sucesso.”

Ferramentas como o ChatGPT são realmente inteligentes?

Modelos de linguagem grandes (Large Linguage Models – LLMs) – como por exemplo, o BERT, GPT-3, – e os chatbots como ChatGPT, são impressionantes. Nos próximos anos, eles levarão a um desenvolvimento de uma série de ferramentas e aplicativos. Eles podem anunciar a próxima revolução da IA. Mas, quanto mais eles nos aproximam do tipo de inteligência geral que, apenas os humanos tem, como podemos separar seu verdadeiro significado e valor do hype que os acompanha?

Vou comentar isso a partir de dois artigos diferentes abordaram essas questões.

“O sucesso dos modelos de linguagem neural em muitas tarefas de NLP [Natural Language Processing] é empolgante”, escrito pelos professores de linguística Emiliy Bender e Alexander Koller em seu artigo de 2020 “ClimbingwardsNLU: On Meaning, Form, and Understanding in the Age of Data.” “Isso levou a reivindicações, tanto em publicações acadêmicas quanto populares, de que tais modelos entendem ou compreendem a linguagem natural ou aprendem seu significado. Do nosso ponto de vista, essas são afirmações exageradas causadas por um mal-entendido da relação entre forma linguística e significado”.

Em seu artigo, Bender e Koller explicam por que LLMs como o GPT-3 provavelmente se tornarão ferramentas de linguagem inovadoras – como corretores ortográficos ou processadores de texto altamente avançados – enquanto descartam as alegações de que eles têm a capacidade de raciocinar e entender o significado de a linguagem que estão gerando. Suas explicações são expressas em conceitos linguísticos que eles definem cuidadosamente: forma, intenção comunicativa, significado e compreensão.

A forma refere-se a como a linguagem é expressa de fato, ou seja, como texto quando expressa em um documento físico ou digital, ou como sons quando expressa em uma conversa ou palestra;

A intenção comunicativa é o propósito que um falante pretende alcançar por meio da linguagem, como transmitir alguma informação a outra pessoa, pedir que ela faça algo ou apenas socializar;

O significado é a relação entre a forma na qual a linguagem é expressa e a intenção comunicativa que está sendo usada para evocar no ouvinte ou leitor; e

A compreensão é a capacidade do ouvinte de captar o significado que o falante pretendia transmitir.

“Intenções comunicativas são sobre algo que está fora da linguagem. Quando dizemos Abra a janela! ou Quando ‘Malala Yousafzai’ nasceu?, a intenção comunicativa é fundamentada no mundo real que o falante e o ouvinte habitam juntos.” Transmitir significado por meio da linguagem e evocar a intenção de comunicação no leitor exige um conhecimento do mundo físico e social ao nosso redor. “Em contraste com alguns exageros atuais, o significado não pode ser aprendido apenas com a forma”, disseram os autores. “Isso significa que os grandes modelos de linguagem, como o BERT, não aprendem o significado; eles aprendem alguma reflexão do significado na forma linguística, o que é muito útil nas aplicações”.

O texto gerado por um LM ou chatbot não carrega nenhuma intenção comunicativa ou entende o modelo do estado de espírito do leitor, porque não foi para isso que eles foram treinados. “Isso pode parecer contra-intuitivo, dadas as qualidades cada vez mais fluentes do texto gerado automaticamente, mas temos que levar em consideração o fato de que nossa percepção do texto em linguagem natural, independentemente de como foi gerado, é mediada por nossa própria competência linguística e nossa predisposição para interpretar atos comunicativos como transmitindo significado e intenção coerentes, quer o façam ou não”.

Em “A A.I. está dominando a linguagem. Devemos confiar no que ela diz?”, um artigo da NY Times Magazine publicado em abril de 2022, o escritor de ciência Steven Johnson, escreveu sobre o GPT-3, – tanto sobre o seu desempenho, quanto possíveis armadilhas. “Nas primeiras vezes que usei o GPT-3, … fiquei emocionado”, escreveu ele. “Parecia quase impossível que uma máquina pudesse gerar um texto tão lúcido e responsivo baseado inteiramente no treinamento elementar da previsão da próxima palavra.”

“Desde o lançamento do GPT-3, a internet foi inundada com as facilidades do software – junto com suas fraquezas e outras tendências mais sinistras”, disse Johnson. “Até agora, os experimentos com os LLMs foram basicamente: experimentos de busca de sinais de verdadeira inteligência, explorando seus usos criativos e expondo seus vieses. Mas o potencial comercial final é enorme. Se a trajetória continuar, um software como o GPT-3 poderá revolucionar a forma como buscamos informações nos próximos anos. … O atendimento ao cliente pode ser totalmente transformado: qualquer empresa com um produto que atualmente exija uma equipe humana de suporte técnico pode treinar um L.L.M. para isso”.

Ao mesmo tempo, GPT-3 e outros LLMs estão atraindo críticas de que são capazes de imitar os padrões sintáticos da linguagem humana, mas incapazes de gerar suas próprias ideias, tomar decisões complexas e em amadurecer algo que se assemelhe à inteligência humana. “Para esses críticos, o GPT-3 é apenas o mais recente objeto da longa história de hype I.A., canalizando dólares de pesquisa e atenção para o que acabará por se revelar um beco sem saída, impedindo que outras abordagens promissoras amadureçam. Outros críticos ainda acreditam que software como o GPT-3 permanecerá para sempre comprometido pelos preconceitos, propaganda e desinformação nos dados em que foi treinado, o que significa que usá-lo para qualquer coisa além de truques de salão sempre será irresponsável.”

O artigo de Johnson levanta uma série de pontos de advertência sobre os LLMs e vou brevemente comentar algumas de suas advertências.

LLMs são apenas papagaios. O termo papagaio foi mencionado em um artigo de março de 2021, “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?”, por Emily Bender e Timnit Gebru. O artigo deles argumentou que os LLMs estão apenas repetindo o enorme número de frases de autoria humana usadas em seu treinamento. Sua capacidade impressionante de gerar frases convincentes e articuladas nos dá a ilusão de que estamos lidando com um ser humano bem educado e inteligente, e não com um papagaio que só repete palavras e que não tem uma compreensão humana das ideias subjacentes às frases que está reunindo.

Falta de conhecimento de bom senso. Os LLMs carecem do conhecimento de bom senso sobre o mundo físico e social do qual a inteligência humana está inserida, incluindo as habilidades de raciocínio intuitivo que nossos cérebros biológicos consideram normais. Nascemos com a capacidade de aprender rapidamente e nos adaptar ao ambiente social ao nosso redor. “Um dos segredos do aprendizado das crianças é que elas constroem modelos ou teorias do mundo”, escreveu a psicóloga da UC Berkeley, Alison Gopney, em “The Ultimate Learning Machines”, um ensaio do WSJ de 2019. “O futuro da inteligência artificial depende do desenvolvimento de computadores que possam pensar e explorar os mesmos recursos que os bebês.”

Vieses nos dados de treinamento do LLM. Uma das principais descobertas do relatório do índice de IA de 2022 foi que, embora os LLMs como o GPT-3 estejam estabelecendo novos recordes em benchmarks técnicos, eles também são mais propensos a refletir os vieses que podem ter sido incluídos em seus dados de treinamento, incluindo temas racistas, sexistas, linguagem extremista e outras coisas nocivas, bem como padrões de linguagem abusivas e ideologias nocivas.

LLMs são caixas pretas. É muito difícil explicar em termos humanos por que um LLM escolheu uma resposta entre tantas outras. Os LLMs têm um grande número de parâmetros em suas complexas redes neurais, tornando muito difícil avaliar as contribuições individuais para uma decisão em termos de como um ser humano entenderá.

LLMs podem ser confiáveis? Os LLMs são muito bons em gerar textos, mas não possuem mecanismos para verificar a veracidade do que eles geram. Eles podem ser propensos a variações, inventando frases que parecem plausíveis, mas não fazem o menor sentido e não enganariam os humanos. “O debate mais acalorado sobre os LMMs não gira em torno da questão de saber se eles podem ser treinados para entender o mundo. Gira em torno de saber se eles são confiáveis”.

“O problema de treinamento será resolvido nos próximos anos e GPT-3 e seus pares deixam uma coisa muito clara: as máquinas adquiriram linguagem”, escreveu Johnson em conclusão. “Se você passar bastante tempo com o GPT-3, tentando explorar suas capacidades e falhas, acabará se sentindo como se estivesse interagindo com uma espécie de criança prodígio cujo brilhantismo é obscurecido por algumas limitações óbvias: capaz de respostas surpreendentes; possuindo profundo conhecimento e domínio em uma vasta quantidade de temas, mas também sem noção sobre muitos fatos básicos; propenso a respostas estranhas e sem sentido; livre de etiqueta e normas sociais”.

Pode um sistema de IA exibir inteligência de senso comum?

“Uma das limitações da IA pode ser caracterizada como a sua falta de inteligência de senso comum: a capacidade de raciocinar intuitivamente sobre situações e eventos cotidianos, o que requer um rico conhecimento prévio sobre como o mundo físico e social funciona”, escreveu Yejin Choi, professor da Universidade de Washington. Choi em “The Curious Case of Commonsense Intelligence”, um ensaio publica em 2022 pela Dædalus. “É trivial aos humanos, adquirir inteligência de bom senso; porém para a IA isso tem sido considerado um objetivo quase impossível, acrescentou Choi.”

O que é inteligência de senso comum?

Em uma apresentação de 2020, Choi definiu senso comum como “o nível básico de conhecimento prático e raciocínio sobre situações e eventos cotidianos que são comumente compartilhados pela maioria das pessoas”. O bom senso é essencial para os humanos “viverem e interagirem uns com os outros de maneira razoável e segura” e, para um sistema de IA, o bom senso é essencial “para entender melhor as necessidades e ações humanas”. Ela explicou ainda mais a diferença entre o raciocínio de senso comum intuitivo e o raciocínio racional analítico, discutindo a pesquisa pioneira de Daniel Kahneman, – Princeton Professor Emérito e ganhador do Prêmio Nobel de Economia de 2002, – e seu colaborador de longa data Amos Tversky, que morreu em 1996.

Em seu livro, Thinking, Fast and Slow, Kahneman explica que nossa mente é composta de dois sistemas de pensamento muito diferentes, o Sistema 1 e o Sistema 2. O Sistema 1 é a parte intuitiva, inconsciente, rápida e sem esforço da mente. Os pensamentos vêm de forma automática e muito rapidamente, sem que façamos nada para fazê-los acontecer.

O Sistema 1 normalmente funciona de forma coerente com base em suas percepções do que está acontecendo ao redor, preenchendo lacunas, usando sua vasta quantidade de conhecimento de senso comum sobre como o mundo físico funciona e como as pessoas geralmente se comportam. Nossas mentes estão constantemente desenvolvendo coisas intuitivas sempre que percebemos um evento, incluindo o que causou o evento, o que acontecerá depois, bem como as motivações e estados emocionais de qualquer pessoa envolvida no evento. Essas coisas nos ajudam a lidar com eficiência com as inúmeras situações simples que encontramos na vida cotidiana. Mas, embora nos permita agir rapidamente, as coisas simples e coerentes que o Sistema 1 apresenta podem estar erradas e nos levar a erros.

Já o Sistema 2 é a parte mais lenta, lógica, deliberada e esforçada da mente. É onde avaliamos e escolhemos entre várias opções. Mas ele também é lento e se cansa facilmente, então geralmente não invocamos o Sistema 2, a menos que seja necessário um pensamento racional rigoroso e exigente para atividades como resolver quebra-cabeças, ler e escrever artigos, resolver problemas de matemática ou fazer um teste.

O senso comum é moldado pela biologia evolutiva e pelo contexto social. Nascemos com a capacidade de aprender rapidamente e nos adaptar ao ambiente social ao nosso redor. Em “The Ultimate Learning Machines”, um ensaio do WSJ de 2019, a psicóloga da UC Berkeley, Alison Gopney, observou que, embora o treinamento de algoritmos de aprendizado profundo para reconhecer cães e gatos exija um grande número de imagens rotuladas, crianças pequenas “podem aprender isso com apenas um pequeno número de exemplos. Algumas fotos de livros de histórias podem ensiná-las não apenas sobre cães e gatos, mas também sobre onças, rinocerontes e unicórnios.”

“Um dos segredos do aprendizado das crianças é que elas constroem modelos ou teorias do mundo”, acrescentou. “Crianças pequenas podem não aprender a jogar xadrez, mas desenvolvem ideias de bom senso sobre física …, mesmo que nunca tenham visto um carro ou uma parede antes.” Um grande desafio em IA é como construir sistemas que possam pensar, aprender e entender como o mundo funciona, como uma criança de 18 meses.

A pesquisa de IA nas décadas de 1960, 70 e 80 se concentrou no desenvolvimento de representações simbólicas do mundo com estruturas de conhecimento como redes semânticas e linguagens de programação baseadas em lógica como LISP e Prolog para desenvolver sistemas de raciocínio. “Mas, apesar de seu apelo intelectual, os formalismos baseados na lógica se mostraram muito frágeis para escalar além dos problemas experimentais de brinquedos”, escreveu Choi em seu ensaio Dædalus.

Os métodos lógicos formais são mais apropriados para problemas cuja solução pode ser obtida a partir de suas premissas iniciais por meio de inferências dedutivas, como a demonstração de um teorema matemático. Mas o raciocínio intuitivo e de bom senso é bem diferente. “O objetivo do raciocínio intuitivo é antecipar e prever o que pode ser uma explicação plausível para nossas observações parciais, para que possamos ler nas entrelinhas do texto e ver além do quadro da imagem”, explicou Choi. Além disso, o raciocínio intuitivo extrai de nosso conhecimento de senso comum sobre o mundo, para preencher os espaços em branco e, portanto, é anulado, ou seja, à medida que entendemos melhor o contexto real da situação, as explicações corretas podem ser bem diferentes daquelas originalmente fornecidas por nossa intuição.

A escala é outra razão importante pela qual a lógica formal falha quando aplicada ao raciocínio intuitivo e de bom senso. “A estrutura de raciocínio, para ser útil na prática, deve estar pronta para cobrir todo o espectro de conceitos e composições de conceitos que encontramos em nossas interações físicas e sociais cotidianas com o mundo. Além disso, o mundo real está repleto de situações inéditas, que exigem geração criativa de hipóteses, novas composições de conceitos e novas descobertas de regras de raciocínio”.

Choi acrescentou que “os formalismos baseados na linguagem, apesar de sua aparente imprecisão e variabilidade, são suficientemente expressivos e robustos para abranger o vasto número de fatos e regras de senso comum sobre como o mundo funciona. Afinal, é a linguagem, e não as formas lógicas, por meio da qual os humanos adquirem conhecimento sobre o mundo.”

Os Foundation Models, como o GPT-3, são um desses formalismos baseados em linguagem. Embora baseados em tecnologias de aprendizado profundo (DL), esses modelos de linguagem grandes (LLMs) contornaram as limitações anteriores de DL, aproveitando dois avanços recentes, grande escala e aprendizado de transferência. Os modelos de fundação são treinados com mais de 10 vezes mais dados do que os modelos DL anteriores, incluindo grandes blocos de informações na Internet, bem como livros digitais, artigos, relatórios e outras mídias digitais. E, ao contrário do treinamento específico para tarefas dos sistemas de IA anteriores, o aprendizado por transferência pega o conhecimento aprendido no treinamento de uma tarefa e o aplica a tarefas diferentes, mas relacionadas.

Pouco depois que o GPT-3 foi colocado online em 2020, seus criadores na empresa de pesquisa de IA, a OpenAI descobriram que o GPT-3 não apenas poderia gerar frases e parágrafos inteiros em inglês em uma variedade de estilos, mas também desenvolveu habilidades surpreendentes em escrever software de computador, mesmo embora os dados de treinamento estivessem focados no idioma inglês, não em exemplos de código de computador. Mas, como se viu, as vastas quantidades de dados usadas em seu treinamento incluíam muitos exemplos de programação de computador acompanhados de descrições do que o código foi projetado para fazer, permitindo assim que o GPT-3 aprendesse a programar sozinho. Da mesma forma, o GPT-3 aprendeu sozinho várias outras tarefas, como gerar documentos legais.

Choi lidera o Mosaic, um projeto do Allen Institute que está construindo um protótipo baseado em linguagem de conhecimento de senso comum e sistema de raciocínio intuitivo. O protótipo não poderia ser baseado em grandes modelos de linguagem existentes, como o GPT-3, porque esses modelos são normalmente treinados para gerar a próxima palavra, frase ou parágrafo em inglês sequencialmente da esquerda para a direita, uma técnica que não funciona para modelos de senso comum.

O GPT-3 funciona muito bem para gerar texto sequencial em inglês sobre muitos tópicos e estilos em resposta a uma pergunta ou solicitação. Mas a cognição humana cotidiana está longe de ser sequencial e requer um raciocínio flexível sobre eventos que podem não ter ocorrido sequencialmente, como o raciocínio contrafactual, — que envolve a consideração de alternativas possíveis para um evento que já ocorreu, e o raciocínio abdutivo — um tipo de raciocínio que busca a conclusão mais simples e provável para uma observação.

“Embora a maior parte do nosso raciocínio seja uma forma de raciocínio abdutivo, ele é menos conhecido pela maioria das pessoas. Por exemplo, Conan Doyle, o autor do cânone de Sherlock Holmes, erroneamente escreveu que Sherlock usou o raciocínio dedutivo para resolver seus casos. Pelo contrário, a chave para resolver os mistérios de Holmes era quase sempre o raciocínio abdutivo, que requer uma dose não trivial de imaginação e raciocínio causal para gerar hipóteses explicativas que podem não parecer óbvias para os outros”.

Como parte de sua pesquisa sobre IA de senso comum, Choi e seus colegas desenvolveram uma série de sistemas inovadores baseados em linguagem como o ATOMIC, uma coleção de descrição textual de regras e fatos de senso comum sobre objetos e eventos cotidianos e novos algoritmos de inferência que podem incorporar de forma flexível a natureza não sequencial do raciocínio intuitivo.

“Embora a pesquisa demonstre novos caminhos em potencial, estamos longe de resolver a IA de senso comum”, escreveu Choi em conclusão. “Muitas questões ainda permanecem abertas, incluindo mecanismos computacionais para garantir consistência e interpretação do conhecimento e raciocínio de senso comum, integração profunda entre linguagem e percepção para raciocínio multimodal, novos paradigmas de aprendizagem para abstração e analogias e métodos avançados de aprendizagem para aprendizagem interativa e ao longo da vida de conhecimento e raciocínio”.

A IA aberta e o ecossistema de dados

“A disponibilidade de software Open Source (OSS) de nível empresarial está mudando a forma como as organizações desenvolvem, mantêm e entregam produtos”, escreveu Ibrahim Haddad no relatório, Artificial Intelligence and Data in Open Source. Haddad é vice-presidente de programas estratégicos da Linux Foundation (LF) e diretor executivo da iniciativa LF AI & Data. “Adotar e usar OSS pode oferecer muitos benefícios, incluindo custos de desenvolvimento reduzidos, desenvolvimento mais rápido de produtos, padrões de qualidade de código e muito mais. A metodologia Open Source Software oferece benefícios importantes e exclusivos para os domínios de IA e dados, especificamente em áreas de justiça, robustez, explicabilidade, linhagem, disponibilidade de dados e governança.”

No início deste ano, Stanford divulgou o relatório 2022 AI Index, seu quinto estudo anual sobre o impacto e o progresso da IA. O relatório de Stanford observa que “2021 foi o ano em que a IA passou de uma tecnologia emergente para uma tecnologia madura – não estamos mais lidando com uma parte especulativa da pesquisa científica, mas com algo que tem impacto no mundo real, tanto positivo quanto negativo.”

Algumas semanas atrás eu escrevi sobre o escopo da Linux Foundation. O LF suporta um grande e crescente número de projetos Open Source em uma ampla variedade de áreas. A IA não é diferente de outros domínios de tecnologia, portanto, não é de surpreender que o Open Source Software agora desempenhe um papel importante, pois a IA está sendo cada vez mais integrada à economia.

“O ecossistema de dados e IA Open Source apresenta várias oportunidades para P&D, startups e inovações”, disse Haddad. “A infusão de IA em produtos e serviços criou oportunidades para melhorar a vida das pessoas em todo o mundo. Ele também levantou preocupações sobre a justiça, explicabilidade e segurança desses aplicativos e sistemas. Várias iniciativas nacionais e globais estão trabalhando para lidar com essas preocupações. A LF AI & Data e suas organizações membros consideram a IA confiável e responsável como um domínio crítico e como um grupo global que trabalha em políticas, diretrizes e casos de uso para garantir o desenvolvimento de sistemas e processos de IA confiáveis.”

O relatório se concentrou em seis áreas de IA e dados onde as metodologias de código aberto podem trazer benefícios exclusivos:Justiça. “Métodos para detectar e mitigar viés em conjuntos de dados e modelos, por exemplo, preconceito contra populações protegidas conhecidas”;

Robustez. “Métodos para detectar alterações e adulterações em conjuntos de dados e modelos, por exemplo, modificações de ataques adversários conhecidos”;

Explicabilidade. “Métodos para melhorar a capacidade da persona ou da função de entender e interpretar resultados, decisões e recomendações do modelo de IA, por exemplo, classificação e debate de resultados e opções”;

Linhagem. “Métodos para garantir a proveniência de conjuntos de dados e modelos de IA, por exemplo, reprodutibilidade de conjuntos de dados gerados e modelos de IA”;

Dados. “As licenças específicas de dados de código aberto tornam os dados livremente acessíveis para uso sem mecanismos de controle”; e

Governança. “Uma estrutura de governança e ferramentas para limpar, classificar, marcar, rastrear e controlar dados e conjuntos de dados.”

Deixe-me discutir brevemente três dessas áreas: justiça, explicabilidade e dados.

Justiça. Uma grande descoberta do Relatório de Índice de IA de 2022 foi que, embora grandes modelos de linguagem como GPT-3 e BERT estejam estabelecendo novos recordes em benchmarks técnicos, eles também são mais propensos a refletir os vieses que podem ter sido incluídos em seus dados de treinamento, incluindo racistas, sexistas, extremistas e outras linguagens nocivas, bem como padrões de linguagem abertamente abusivos e ideologias nocivas. É por isso que métodos para reduzir preconceitos e comportamentos abusivos são tão importantes.

O AI Fairness 360, por exemplo, é um kit de ferramentas de código aberto para ajudar a examinar, relatar e mitigar a discriminação e o preconceito em modelos de aprendizado de máquina em todo o ciclo de vida do aplicativo de IA. “O pacote AI Fairness 360 Python inclui um conjunto abrangente de métricas para conjuntos de dados e modelos para testar vieses, explicações para essas métricas e algoritmos para mitigar o viés em conjuntos de dados e modelos. A demonstração interativa do AI Fairness 360 fornece uma introdução suave aos conceitos e recursos. Os tutoriais e outros notebooks oferecem uma introdução mais profunda e orientada para os cientistas de dados.”

Explicabilidade. Apesar de sua ampla adoção, os modelos de ML permanecem principalmente caixas pretas. Os métodos por trás de uma previsão de ML – ajustes sutis nos pesos numéricos que interligam seu grande número de neurônios artificiais – são muito difíceis de explicar porque são muito diferentes dos métodos usados por humanos. Quanto maior o conjunto de dados de treinamento, mais precisa a previsão, mas mais difícil será fornecer uma explicação detalhada e compreensível para um humano de como a previsão foi feita. Compreender as razões por trás das previsões é muito importante para avaliar se deve-se confiar em um modelo de ML, o que é fundamental se alguém planeja realizar ações importantes com base na previsão, como um diagnóstico médico ou uma decisão judicial.

O AI Explanability 360 é uma biblioteca de código aberto que oferece suporte à interpretabilidade e explicabilidade de conjuntos de dados e modelos de aprendizado de máquina em todo o ciclo de vida do aplicativo de IA. “A demonstração interativa do AI Explainability 360 fornece uma introdução suave aos conceitos e recursos, percorrendo um exemplo de caso de uso da perspectiva de diferentes personas do consumidor. Os tutoriais e outros notebooks oferecem uma introdução mais profunda e orientada para os cientistas de dados.”

Dados. “Estamos todos familiarizados com a expressão, lixo dentro, lixo fora, referindo-se à importância de inserir bons dados para obter informações valiosas. Com a digitalização global e a transformação de indústrias e economias, os dados se tornaram bastante abundantes; o desafio mudou da localização de dados para a seleção de dados de qualidade, mineração eficiente dos dados para insights acionáveis e conversão eficaz desses insights em valor comercial. A comunidade LF AI & Data reconhece a importância dos dados e está interessada em hospedar e apoiar projetos-chave que abrangem linhagem de dados, formato, armazenamento, operações, engenharia de recursos, governança, processamento de fluxo e gerenciamento de pipeline.”

As comunidades de software de código aberto mostraram o poder da colaboração aberta para a construção de algumas das infraestruturas mais importantes do mundo. As comunidades de IA também procuram construir conjuntos de dados abertos de forma colaborativa que podem ser compartilhados. Isso é particularmente importante devido à enorme quantidade de dados de treinamento necessários para novos avanços de IA de ponta, como modelos de base. No entanto, a propriedade intelectual de dados geralmente é tratada de maneira diferente do que a propriedade intelectual de software. Como resultado, as licenças de software Open Source não podem ser aplicadas prontamente aos dados.

Um dos projetos de IA e dados mais importantes é o Community Data License Agreement (CDLA). CDLA é uma estrutura legal para o desenvolvimento de contratos de licença para permitir o acesso, compartilhamento e uso de dados abertamente entre indivíduos e organizações. O CDLA-Permissive-2.0, por exemplo, é “um contrato de licença curto, facilmente compreensível para cientistas de dados e advogados, para permitir que os destinatários usem, analisem, modifiquem e compartilhem dados amplamente. … Os conjuntos de dados proprietários continuarão a existir, mas a disponibilidade de dados sob as licenças CDLA (existem duas versões) deve permitir que todos criem produtos confiáveis, incluindo players menores.”

“O código aberto já ganhou em IA e dados”, escreveu Haddad em conclusão. “Somos muito mais inovadores em colaboração do que isoladamente. Evidente pelos dados disponíveis para nós hoje, o código aberto como metodologia e prática alimentou nossos enormes avanços em IA. Estamos passando agora pelo processo de IA de código aberto dominando o mundo do software. Essa situação é o novo normal. Vamos celebrá-lo e continuar nossa busca por avanços tecnológicos de maneira justa, transparente e ética”.

Podemos confiar nas previsões dos grandes modelos de aprendizado de máquina?

A inteligência artificial emergiu como a tecnologia definidora de nossa era, tão transformadora ao longo do tempo quanto a máquina a vapor, a eletricidade, os computadores e a Internet. As tecnologias de Inteligência Artificial estão se aproximando ou superando os níveis humanos de desempenho em visão, reconhecimento de fala, tradução de idiomas e outros domínios humanos. Os avanços do aprendizado de máquina (Machine Learn), como o aprendizado profundo (Deep Learn), desempenharam um papel central nas conquistas recentes da Inteligência Artificial, dando aos computadores a capacidade de serem treinados ingerindo e analisando grandes quantidades de dados em vez de serem programados explicitamente.

O aprendizado profundo é uma técnica estatística poderosa para classificar padrões usando grandes conjuntos de dados de treinamento e redes neurais de IA de várias camadas. Cada unidade neural artificial é conectada a muitas outras unidades, e os links podem ser estatisticamente reforçados ou diminuídos com base nos dados usados para treinar o sistema. Mas esses métodos estatísticos não são igualmente adequados para todas as tarefas. Tarefas particularmente adequadas para aprendizado de máquina exibem vários critérios importantes, como a disponibilidade de grandes conjuntos de dados de pares de entrada-saída bem definidos para treinamento de classificadores de Machine Learn, – por exemplo, imagens de gato e não-gato cuidadosamente rotuladas para classificadores de reconhecimento de gato e pares de documentos inglês-francês para algoritmos de tradução automática.

Os métodos por trás de uma previsão de aprendizado de máquina – ajustes sutis nos pesos numéricos que interconectam seu grande número de neurônios artificiais – são muito difíceis de explicar porque são muito diferentes dos métodos usados por humanos. Quanto maior o conjunto de dados de treinamento, mais precisa será a previsão, mas mais difícil será fornecer uma explicação detalhada e compreensível para um humano de como a previsão foi feita.

Algumas semanas atrás, participei do seminário on-line, – Como você pode confiar no aprendizado de máquina? Ministrado pelo professor de Stanford Carlos Guestrin, – sobre a dificuldade de entender as previsões de aprendizado de máquina. O seminário de Guestrin foi baseado em um artigo de 2016 que ele escreveu em coautoria com Marco Tulio Ribeiro e Sameer Singh, “Why Should I Trust You?” (Por que eu deveria acreditar em você?).

“Apesar da ampla adoção, os modelos de aprendizado de máquina permanecem principalmente caixas pretas”, disse o artigo. “Entender as razões por trás das previsões é, no entanto, muito importante para avaliar a confiança, que é fundamental se alguém planeja agir com base em uma previsão ou ao escolher se deseja implantar um novo modelo. Esse entendimento também fornece insights sobre o modelo, que pode ser usado para transformar um modelo ou previsão não confiável em um modelo confiável.”

“Infelizmente, o importante papel dos humanos é um aspecto muitas vezes esquecido no campo. Se os humanos estão usando classificadores de aprendizado de máquina diretamente como ferramentas ou implantando modelos em outros produtos, uma preocupação vital permanece: se os usuários não confiarem em um modelo ou previsão, eles não o usarão”.

É importante entender a diferença entre um modelo e as várias previsões individuais que esse modelo pode fazer. Um usuário confiará em uma previsão individual o suficiente para tomar alguma ação se confiar que o modelo que fez a previsão está se comportando de maneira razoável.

“Ambos são diretamente impactados pelo quanto o humano entende o comportamento de um modelo, em vez de vê-lo como uma caixa preta”.

Determinar se uma previsão é confiável é particularmente importante quando um modelo de aprendizado de máquina é usado em diagnóstico médico, diretrizes de condenação, detecção de terrorismo e aplicativos semelhantes que exigem julgamento humano. Nesses casos, as consequências de não entender o comportamento do modelo e apenas agir em sua previsão com base na fé cega podem ser muito graves.

“Além de confiar nas previsões individuais, também é necessário avaliar o modelo como um todo antes de implantá-lo na natureza. Para tomar essa decisão, os usuários precisam estar confiantes de que o modelo terá um bom desempenho em dados do mundo real, de acordo com as métricas de interesse. Atualmente, os modelos são avaliados usando métricas de precisão em um conjunto de dados de validação disponível. No entanto, os dados do mundo real geralmente são significativamente diferentes e, além disso, a métrica de avaliação pode não ser indicativa do objetivo do produto. Inspecionar previsões individuais e suas explicações é uma solução que vale a pena, além de tais métricas. Nesse caso, é importante ajudar os usuários sugerindo quais instâncias devem ser inspecionadas, especialmente para grandes conjuntos de dados.”

O artigo apresenta o LIME, – Local Interpretable Model-Agnostic Explanations, – um novo método para explicar as previsões de qualquer classificador de Machine Learn para aumentar a confiança e o entendimento humanos.

“Ao explicar uma previsão, queremos dizer apresentar artefatos textuais ou visuais que fornecem compreensão qualitativa da relação entre os componentes da instância (por exemplo, palavras em texto, patches em uma imagem) e a previsão do modelo.”

Usando o LIME, você pode aproximar o comportamento de qualquer modelo de aprendizado de máquina, por mais complexo que seja, com uma série de modelos locais mais simples cujas previsões são semelhantes às do modelo original. E você pode selecionar os modelos locais perturbando ou variando as entradas, vendo como as previsões mudam e, em seguida, selecionando os modelos locais mais simples cujas previsões estão mais próximas da previsão do modelo original. Sendo consideravelmente mais simples, os modelos locais devem ser compreensíveis e fazer sentido para os seres humanos. Assim, embora entender o modelo de aprendizado de máquina original seja uma tarefa assustadora, deve ser muito mais fácil entender os modelos locais mais simples cujas previsões são semelhantes ao original.

Para uma explicação detalhada do LIME, assista ao seminário de Guestrin aqui.

De acordo com o artigo, uma explicação eficaz deve apresentar quatro características principais:Para garantir que as explicações do LIME sejam compreensíveis e aumentem a confiança, os autores validaram a utilidade do LIME. “através de novos experimentos, tanto simulados quanto com seres humanos, em vários cenários que exigem confiança: decidir se devemos confiar em uma previsão, escolher entre modelos, melhorar um classificador não confiável e identificar por que um classificador não deve ser confiável”.

Interpretável. A explicação deve fornecer um entendimento qualitativo e compreensível entre as variáveis de entrada e a previsão, que leve em consideração as limitações do público-alvo. “Por exemplo, se centenas ou milhares de recursos contribuem significativamente para uma previsão, não é razoável esperar que qualquer usuário compreenda por que a previsão foi feita, mesmo que pesos individuais possam ser inspecionados”.

Fidelidade local. Este é o conceito central do LIME. “Embora muitas vezes seja impossível que uma explicação seja completamente fiel a menos que seja a descrição completa do próprio modelo, para que uma explicação seja significativa ela deve ser pelo menos localmente fiel, ou seja, deve corresponder a como o modelo se comporta na vizinhança da instância que está sendo prevista. … características que são globalmente importantes podem não ser importantes no contexto local e vice-versa.”

Modelo-agnóstico. O método de explicação deve tratar o modelo original de aprendizado de máquina como uma caixa preta e, assim, ser capaz de explicar qualquer modelo existente e futuro.

Perspectiva global. Em vez de explicar apenas uma previsão, várias explicações representativas do modelo geral devem ser apresentadas ao usuário.

Para garantir que as explicações do LIME sejam compreensíveis e aumentem a confiança, os autores validaram a utilidade do LIME “através de novos experimentos, tanto simulados quanto com seres humanos, em vários cenários que exigem confiança: decidir se devemos confiar em uma previsão, escolher entre modelos, melhorar um classificador não confiável e identificar por que um classificador não deve ser confiável”.

Como a IA melhora a tomada de decisão humana?

“Inteligência Artificial (IA) é a mais nova tecnologia de uso geral (GPT)”, escreveram Sukwoong Choia, Namil Kim, Junsik Kim e Hyo Kang no artigo, How Does AI Improve Human Decision-Making? Evidence from the AI-Powered Go Program.

“Uma característica notável da IA é sua capacidade de fornecer aos humanos previsões de alta qualidade a um custo relativamente baixo e automatizar uma ampla gama de previsões. A IA já superou os profissionais humanos em muitos domínios – incluindo jogabilidade estratégica, diagnóstico médico e desenvolvimento de medicamentos.”

“Além disso, o rápido desenvolvimento e adoção da IA levantam uma questão interessante, mas urgente, sobre como a IA afeta as tarefas humanas nesses vários domínios. Estudos de IA e capital humano, por exemplo, examinaram a diferença de desempenho entre humanos e IA, destacando o potencial da IA para substituir empregos”.

No entanto, devemos ter em mente que as novas tecnologias vêm substituindo os trabalhadores e transformando as economias há mais de dois séculos. Mas, com o tempo, essas mesmas tecnologias levaram à criação de novas indústrias e novos empregos, aumentando a produtividade e a produção econômica, aumentando os ganhos e aumentando a demanda por trabalho.

Os trabalhadores podem aumentar sua produtividade e desempenho quando auxiliados em seus trabalhos por ferramentas baseadas em IA. Mas além de seu papel de assistente, a IA pode desempenhar um importante papel instrucional ao treinar profissionais humanos para tomar melhores decisões. Os avanços tecnológicos recentes melhoraram significativamente a qualidade e reduziram o custo das previsões baseadas em IA.

O artigo levanta uma série de questões importantes sobre o uso da IA para melhorar a tomada de decisões humanas:Podemos mostrar evidências quantitativas de que as previsões baseadas em IA realmente melhoram a qualidade das decisões humanas?

Em caso afirmativo, por quais mecanismos as decisões humanas baseadas em IA são melhoradas?

E as melhorias variam dependendo da atitude em relação às decisões baseadas em IA?

Para esclarecer essas questões, os autores criaram uma abordagem muito inovadora: analisaram o impacto recente da IA com jogadores profissionais de Go.

O jogo de Go foi inventado na China há mais de 2.500 anos. É o jogo de tabuleiro mais antigo continuamente jogado até os dias atuais. O Go é jogado em todo o leste asiático, ocupando aproximadamente a mesma posição que o xadrez no Ocidente. É particularmente popular na China, Japão, Coreia do Sul e Taiwan. Existem grandes torneios profissionais ao longo do ano em cada um desses países, muitos oferecendo prêmios substanciais e patrocínios por grandes corporações.

Embora as regras de Go sejam muito simples, o número de jogos que podem ser jogados em sua grade/matriz de linhas e colunas de 19×19 é enorme, mais de 10^170, um número muito maior do que o número de átomos no universo observável, estimado em torno de 10^80.

[Acredita-se que nenhuma partida de “Go” tenha sido repetida uma única vez! Isso pode ser verdade já que o um tabuleiro de Go tem 19×19 posições, que podem proporcionar cerca de 10^174 (1 seguido de 174 zeros) combinações possíveis, ou seja, 10^100 vezes mais combinações do que o xadrez (um googol). O termo Google tem origem na matemática, que é o número 10^100, ou seja, o dígito 1 seguido de cem zeros, que representa algo imenso ou infinito, e devido a sua magnitude, os fundadores da empresa Google resolveram adaptar o termo para dar o nome a sua empresa].

Avanços recentes em algoritmos de aprendizado profundo levaram a grandes melhorias nos programas Go com inteligência artificial (APGs). Em vez de ter que avaliar cada movimento potencial possível, os algoritmos de aprendizado profundo podem reduzir significativamente os movimentos que um APG deve considerar com base em sua análise de um grande número de jogos anteriores e de posições do tabuleiro, ajudando-o a prever melhor o movimento com, maior probabilidade de vitória.

O AlphaGo, desenvolvido pelo Google Deep Mind, foi o APG inicial baseado em algoritmos de aprendizado profundo. A equipe da Deep Mind treinou o AlphaGo, dando-lhe acesso a 30 milhões de posições no tabuleiro de um repositório online de jogos, e foi basicamente informado “Use isso para descobrir como vencer” detectando padrões sutis entre ações e resultados usando seus algoritmos altamente sofisticados. Além disso, o AlphaGo também jogou muitos jogos contra si mesmo, gerando outras 30 milhões de posições no tabuleiro, que depois analisou e aprendeu.

Embora o programa tenha se mostrado muito promissor durante sua fase de desenvolvimento e teste, os especialistas sentiram que levaria vários anos para o AlphaGo derrotar os principais jogadores profissionais humanos. Mas, em uma partida histórica em março de 2016, o AlphaGo inesperadamente venceu Lee Sedol, – um dos melhores jogadores de Go do mundo, – por uma grande margem. Este foi um marco importante na história da IA, com a vitória igualmente inesperada do Deep Blue da IBM sobre o então campeão mundial de xadrez Garry Kasparov em 1997.

Um APG gratuito e de código aberto baseado em versões aprimoradas do Alpha Go, chamado Leela, foi lançado em 2017. Desde seu lançamento, jogadores profissionais de Go usaram Leela e outros APGs avançados em seu treinamento. Isso possibilitou estudar o impacto da IA na tomada de decisão humana, analisando todas as decisões dos jogadores profissionais de Go, tanto entre 2015 e 2017, – os dois anos anteriores ao lançamento dos APGs, – quanto entre 2017 e 2010, – os dois anos após Leela estar disponível para treinamento, – já que todo o histórico de movimentos de todos os principais jogos profissionais está bem arquivado e mantido.

“Além disso, usando a melhor solução do APG como referência, podemos calcular a probabilidade de vitória para cada movimento (ou seja, 750.990 decisões) por 1.242 jogadores profissionais de Go em 25.033 grandes jogos realizados de 2015 a 2019; observe que isso pode ser feito até mesmo para os jogos jogados antes do lançamento do APG”, escreveram os autores. “Em seguida, comparamos a probabilidade de ganhar em nível de movimento com a melhor solução do APG.”

E aqui está um resumo das principais descobertas do estudo.

Os APGs melhoram a qualidade dos movimentos dos jogadores profissionais de Go?

Os resultados mostraram que a qualidade dos movimentos dos jogadores melhorou substancialmente após o lançamento dos APGs em 2017.

“Antes do lançamento, a probabilidade de vitória de cada movimento dos jogadores profissionais de Go era em média 2,47 pontos percentuais menor do que os movimentos do APG. Essa diferença diminuiu cerca de 0,756 pontos percentuais (ou 30,5%) após o lançamento do APG. Análises adicionais indicam que a melhoria na qualidade dos movimentos eventualmente leva à vitória final do jogo.”

A melhoria é maior para os primeiros 30 lances do jogo, onde a incerteza é maior e, portanto, há mais oportunidades para os jogadores aprenderem com o APG. A melhoria diminui gradualmente à medida que o jogo avança para os estágios intermediários, onde a incerteza é reduzida e fica mais fácil para os jogadores avaliarem movimentos potenciais e tomarem suas decisões sem o conselho de um APG.

Como os APGs ajudam os jogadores a alcançar uma maior probabilidade de ganhar?

“[I]melhorias na qualidade dos movimentos são impulsionadas principalmente pela redução do número de erros (movimentos em que a probabilidade de vitória cai 10 ou mais pontos percentuais em comparação com o movimento imediatamente anterior por um jogador focal) e pela redução da magnitude do erro mais crítico (a maior queda na probabilidade de vitória durante o jogo). Especificamente, o número de erros por jogo diminuiu 0,15-0,50 e a magnitude do erro mais crítico diminuiu 4-7 pontos percentuais.”

Existem efeitos diferenciais da adoção e utilização da IA por idade?

Vários estudos sugeriram que a idade é um fator importante para reconhecer o valor das novas tecnologias, adotá-las e aplicá-las às tarefas profissionais.

“Evidências empíricas indicam que os jogadores mais jovens são mais qualificados e mais propensos a adotar novas tecnologias de informação e comunicação.”

É o caso dos APGs? As melhorias variam de acordo com a idade?

A idade mediana de todos os jogadores considerados no estudo foi de 28 anos. As melhorias de desempenho devido aos APGs foram consistentemente maiores para jogadores mais jovens do que a idade média, cuja qualidade dos movimentos foi 11% maior do que a dos jogadores mais velhos do que a idade média.

O artigo sugere algumas razões potenciais que podem explicar essas diferenças de idade.APGs e IA em geral são tecnologias relativamente novas e não comprovadas. Jogadores profissionais mais velhos com carreiras estabelecidas são mais propensos a ver o uso desses novos produtos baseados em IA como mais arriscado do que profissionais mais jovens, que são menos avessos ao risco e mais abertos a considerar novas tecnologias experimentais.

Além disso, os jogadores profissionais seniores tendem a confiar no conhecimento e nas experiências que acumularam ao longo dos muitos anos de jogo, a chamada inteligência cristalizada. Em contraste, a inteligência fluida, – a capacidade de aprender rapidamente novas habilidades e se adaptar a novos ambientes, – geralmente atinge o pico em nossos 20 anos e começa a diminuir à medida que envelhecemos. Os jogadores mais jovens são, portanto, naturalmente mais abertos a adotar e utilizar APGs em seu treinamento e tomada de decisões.

“As descobertas da IA em jogos Go profissionais fornecem implicações importantes e oportunas para decisões e conhecimento humanos”, concluíram os autores. “A IA revela que o que os humanos acreditam ser a melhor solução pode não ser a melhor; A IA pode trazer avanços no conhecimento humano, heurísticas ou rotinas que foram desenvolvidas e aprimoradas ao longo do tempo. Nesse sentido, a IA deve ter efeitos mais amplos (além da mera substituição ou assistência às tarefas humanas) nas práticas e no desempenho de indivíduos e organizações; podendo abrir caminhos para novos paradigmas.”

É Possível estabelecer normas e responsabilidades do no Ciberespaço?

Em dezembro de 2021, o Council One Foreign Relations patrocinou um debate virtual com Joseph Nye, – ex-reitor da Kennedy School of Government de Harvard, – para discutir seu recente artigo de Relações Exteriores The End of Anarchy?: How to Build a New Digital Order. O professor Nye tem sido considerado um dos mais proeminentes pensadores estratégicos e cientistas políticos da América. Na década de 1970, ele presidiu o Grupo do Conselho de Segurança Nacional sobre a Não Proliferação de Armas Nucleares e, na última década, trouxe sua experiência para o estudo de conflitos e dissuasão no ciberespaço.

A segurança cibernética é um aspecto cada vez mais importante da estratégia de segurança nacional dos EUA, incluindo o comércio global e a proteção das infraestruturas críticas. Em junho de 2021, o diretor do FBI, Christopher Wray, comparou o perigo de ataques de ransomware a empresas americanas por grupos criminosos russos aos ataques terroristas de 11 de setembro. E, em um editorial de julho, o NY Times disse que os ataques de ransomware surgiram como “uma ameaça potencial à segurança nacional”, dada “sua capacidade de perturbar seriamente as economias e violar empresas ou agências estrategicamente críticas”, instando os governos que “essa é uma guerra que precisa ser travada e vencida.”

Em uma conferência do MIT em fevereiro de 2019, perguntaram ao ex-secretário de Estado dos EUA Henry Kissinger se precisamos de acordos de controle de segurança cibernética com Rússia, China e outras nações; semelhantes aos acordos de controle de armas nucleares que ele passou tanto tempo negociando durante a Guerra Fria. O Dr. Kissinger respondeu que para que o controle de armas fosse eficaz, os dois lados precisavam compartilhar informações e concordar com as inspeções. Mas esses mecanismos são mais difíceis de aplicar no mundo digital, porque a transparência que era essencial para o controle de armas seria muito difícil de estabelecer para ameaças cibernéticas. Além disso, embora os controles de armas físicas sejam relativamente explicáveis e negociáveis, a variedade e a velocidade dos ataques cibernéticos tornam muito mais difícil de se desenvolver acordos e controles adequados.

“Ataques de ransomware, interferência em eleições, espionagem corporativa, ameaças às redes elétricas: com base nas manchetes atuais, parece haver pouca esperança de trazer ordem à anarquia do ciberespaço”, escreveu Nye em The End of Anarchy. “As implacáveis notícias ruins pintam um quadro de um mundo online sem governo que está se tornando mais perigoso a cada dia – com implicações sombrias não apenas para o próprio ciberespaço, mas também para economias, geopolítica, sociedades democráticas e questões básicas de guerra e paz.”

Os ataques cibernéticos são um novo tipo de conflito. Embora as defesas inadequadas do setor privado possam impactar significativamente a segurança nacional, os sistemas de TI são, em sua maioria, de propriedade privada e, ao contrário das armas convencionais ou nucleares, os militares não os controlam. Além de setores regulamentados, como finanças e assistência médica, cabe às empresas tomar decisões sobre seus investimentos e controles de segurança cibernética.

“A dissuasão deve ser parte das abordagens, mas a dissuasão cibernética parece ser diferente das formas mais tradicionais e familiares de dissuasão que Washington pratica há décadas. Um ataque nuclear é um evento singular, e o objetivo da dissuasão nuclear é evitar sua ocorrência. Em contraste, os ataques cibernéticos são numerosos e constantes, e dissuadi-los é mais como dissuadir o crime comum: o objetivo é mantê-lo dentro dos limites. As autoridades detêm o crime não apenas prendendo e punindo pessoas, mas também por meio do efeito educacional de leis e normas, patrulhando bairros e policiamento comunitário. Dissuadir o crime não requer a ameaça de uma nuvem de cogumelo atômico.”

Dadas essas realidades, “qualquer sugestão de que é possível criar regras de trânsito no ciberespaço tende a ser recebida com ceticismo: os atributos centrais do ciberespaço, tornam quase impossível impor quaisquer normas ou mesmo saber se elas estão sendo violados em primeiro lugar”, disse Nye. “Os Estados que declaram seu apoio às normas cibernéticas realizam simultaneamente operações cibernéticas em larga escala contra seus adversários.” Para os céticos, isso é uma evidência de que “estabelecer normas para o comportamento responsável do Estado no ciberespaço é um sonho impossível. No entanto, esse ceticismo revela um mal-entendido sobre como as normas funcionam e são fortalecidas ao longo do tempo”.

As normas sociais são os entendimentos não escritos e informais que governam o comportamento dos membros de um grupo ou cultura. Mesmo que não explicitamente codificadas em regras ou leis, as normas sociais fornecem ordem e previsibilidade.

É possível estabelecer normas para o comportamento responsável do Estado?

Sim, argumenta Nye. “As normas criam expectativas sobre o comportamento que tornam possível responsabilizar outros Estados. As normas também ajudam a legitimar as ações sociais e ajudam os estados a recrutar aliados quando decidem responder a uma violação. E as normas não aparecem de repente ou começam a funcionar da noite para o dia. A história mostra que as sociedades levam tempo para aprender como responder às grandes mudanças tecnológicas disruptivas e estabelecer regras que tornem o mundo mais seguro contra novos perigos.”

O artigo cita vários exemplos de normas de comportamento do Estado ao longo da história: depois de muitas décadas, a Europa e os EUA desenvolveram normas contra a escravidão no século XIX; em 1963, o Tratado de Proibição Parcial de Testes Nucleares proibiu testes de armas nucleares na atmosfera, debaixo d’água e no espaço sideral; e em 1975, a Convenção de Armas Biológicas proibiu o desenvolvimento, produção e uso de armas biológicas.

“Embora a cibertecnologia apresente desafios únicos, as normas internacionais para reger seu uso parecem estar se desenvolvendo da maneira usual: lenta mas constantemente, ao longo de décadas. À medida que se firmarem, essas normas serão cada vez mais críticas para reduzir o risco que os avanços da cibertecnologia podem representar para a ordem internacional, especialmente se Washington e seus aliados e parceiros reforçarem essas normas com outros métodos de dissuasão. Embora alguns analistas argumentem que a dissuasão não funciona no ciberespaço, essa conclusão é simplista: funciona de maneiras diferentes do que no domínio nuclear.”

Por que os estados abraçariam tais normas de comportamento?

Nye cita várias razões: coordenação, prudência, custos de reputação e pressão dos pares.

Coordenação. “Expectativas comuns inscritas em leis, normas e princípios ajudam os estados a coordenar seus esforços.” Por exemplo, embora não ratificada universalmente, quase todos os estados tratam a Convenção das Nações Unidas sobre o Direito do Mar como direito internacional consuetudinário para resolver disputas em águas internacionais. Os benefícios da cooperação no ciberespaço ficaram evidentes nas poucas ocasiões em que a ICANN, – o sistema de nomes de domínio da Internet, – foi hackeada. Embora os estados possam controlar o acesso à Internet dentro de seus limites, eles se abstiveram de colocar em risco a estabilidade básica da Internet global.

Prudência. “A prudência resulta do medo de criar consequências não intencionais em sistemas imprevisíveis.” Por exemplo, a crise dos mísseis cubanos de 1962, que levou o mundo à beira de uma guerra nuclear, foi um fator importante no Tratado de Proibição Parcial de Testes Nucleares de 1963.

Custos de reputação. “Preocupações com danos à reputação e poder brando de um país também podem produzir contenção voluntária… e aumentar os custos de usar ou mesmo possuir uma arma que pode causar danos maciços.” Vimos isso com as condenações generalizadas dos regimes de Saddam Hussein do Iraque, Bashar a-Assad da Síria e Kim Jong-un da Coreia do Norte. “É difícil imaginar o surgimento de um tabu semelhante contra o uso de armas cibernéticas… Um tabu mais provável é aquele que proíbe o uso de armas cibernéticas contra alvos específicos, como hospitais ou sistemas de saúde”, semelhante aos tabus existentes contra o uso de armas convencionais em civis.

Pressão dos pares. “Depois de um certo período de gestação, algumas normas chegam a um ponto de inflexão, quando cascatas de aceitação se traduzem em uma crença generalizada e os líderes descobrem que pagariam um preço alto por rejeitá-la.” Nye cita a disseminação da preocupação com os direitos humanos universais após 1945, que, embora nem sempre bem-sucedidas, pressionaram Estados autoritários a reduzir suas violações de direitos humanos. Da mesma forma, nas últimas duas décadas, a pressão dos colegas levou ao aumento da aceitação da igualdade no casamento em todo o mundo.

O que deve ser feito quando ‘o cyberespaco’ de um país for atacado/invadido?

Acordos sobre ‘onde e como traçar linhas fronteiriças’ e o que fazer quando forem cruzadas, são difíceis de alcançar. “Ao invés de fazer uma pergunta sim ou não, os críticos argumentam que o foco (e qualquer advertência subsequente contra tais ações) deveria estar na quantidade de dano causado, não nas linhas precisas que foram cruzadas ou como as violações foram realizadas.”

“No ciberespaço, o ‘tamanho único’ não serve para todos”, escreveu Nye em conclusão. “Grupos de democracias podem estabelecer um padrão mais alto para si mesmos, concordando com normas relacionadas à privacidade, vigilância e liberdade de expressão e aplicando-as por meio de acordos comerciais especiais que dariam preferência àqueles que atendem aos padrões mais altos. A diplomacia entre as democracias sobre essas questões não será fácil, mas será uma parte importante da estratégia… Essa estratégia também deve incluir o desenvolvimento de normas com o objetivo de longo prazo para proteger ‘o velho teto de vidro’ da democracia, das novas pedras da era da Internet.”

Novas formas de compreender o comportamento humano

“Costuma-se dizer que nenhuma pessoa é uma ilha e é preciso uma aldeia para criar uma criança*, mas a psicologia carece de evidências científicas para quantificar e caracterizar esses aforismos”, escreveu o professor do MIT Alex (Sandy) Pentland em Contextualizing Human Psychology, – um artigo publicado na edição de agosto de 2020 da Technology, Mind and Behavior, uma revista da American Psychological Association. “Como resultado, o foco experimental geralmente está em traços e comportamentos individuais mais facilmente quantificáveis”.

“Na última década, no entanto, os dados digitais de interações online, telefones celulares e cartões de crédito nos permitiram quantificar com precisão o comportamento social em larga escala em um nível muito minucioso de detalhes. A trilha de migalhas de dados que deixamos para trás, em nossas interações digitais, enquanto nos movemos pelo mundo estão permitindo novas maneiras de entender o comportamento humano, dando origem à disciplina emergente da ciência social computacional. “[Estas] novas ferramentas podem ajudar a relacionar traços individuais ao contexto social e, assim, explicar melhor os resultados da vida e as características sociais”.

O artigo ilustra os avanços e desafios das previsões baseadas em dados discutindo um experimento de colaboração em massa de 2017. O experimento pediu a cada uma das 160 equipes acadêmicas, prever seis resultados comportamentais de vida, – como a média de notas de uma criança e se uma família seria despejada de sua casa. Foram analisados dados de mais de 4.200 crianças em risco de Famílias Frágeis. Esses dados foram coletados por meio de entrevistas, ao longo de mais de 15 anos, bem como outras avaliações, incluindo educação infantil e as pontuações das crianças em uma variedade de testes padrão. Informações adicionais foram fornecidas sobre os pais, incluindo históricos médicos, de emprego e de encarceramento, religião e práticas de cuidados infantis. Quase 13.000 medições foram feitas para cada criança e sua família.

As equipes acadêmicas competiram usando os dados para prever os resultados comportamentais de vida dessas crianças usando qualquer modelo de sua escolha. As equipes foram julgadas pela precisão de suas previsões, cujos valores reais estavam disponíveis apenas para os organizadores do desafio. A equipe de pesquisa do MIT de Pentland foi um dos grupos acadêmicos que participaram do experimento. Essa equipe conquistou o primeiro lugar ao produzir as previsões mais precisas em três das categorias e o segundo lugar em uma quarta categoria.

“Apesar do rico conjunto de dados e dos métodos estatísticos de última geração, no entanto, nossas melhores previsões para esses resultados de vida não foram muito precisas e, na verdade, foram apenas um pouco melhores do que as de uma referência simples”, escreveu Pentland. “A conclusão desconfortável é que não se pode prever os resultados da vida das crianças a partir de nenhum dos testes padrão ou métodos de entrevista aplicados às crianças ou suas famílias.”

Embora não tenham um bom desempenho na previsão de resultados de vida individual, os modelos foram capazes de identificar propriedades agregadas, por exemplo, o efeito da educação sobre os rendimentos e diferenças raciais no desempenho escolar. Como se vê, “pode-se prever pelo menos alguns resultados de vida a partir de dados sobre o bairro em que as crianças e suas famílias vivem”.

“Muitas das análises de dados em larga escala usando as ferramentas da ciência social computacional fornecem evidências de que, ao procurar entender como os traços de comportamento afetam os resultados da vida, é melhor conceber os humanos como uma espécie que está em busca contínua de novas oportunidades. ideias e que as redes sociais ao redor servem como um recurso importante, e talvez o maior, para encontrar oportunidades”, escreveu Pentland. “Os seres humanos são como todas as outras espécies sociais: nossas vidas consistem em um equilíbrio entre os hábitos que nos permitem ganhar a vida explorando nosso ambiente e explorando para encontrar novas oportunidades. Na literatura animal, isso é conhecido como comportamento de forrageamento”.

O que explica esses princípios comportamentais universais?

A resposta provavelmente está na biologia evolutiva. A sobrevivência é claramente um imperativo evolutivo chave. E sobreviver em um ambiente em mudança requer uma combinação de aprendizado social e novas ideias. Os seres humanos evoluíram assim com o impulso de aprender uns com os outros. Mas, ao mesmo tempo, mutações e inovações irão variar entre os diferentes grupos, com a seleção natural favorecendo os grupos humanos mais capazes de se adaptar às mudanças nas condições explorando seu ambiente.

“Uma interpretação dos resultados da Família Frágil que é consistente com esses resultados semelhantes na literatura de ciências sociais computacionais é que o aprendizado social muito precoce estabelece o padrão de forrageamento das crianças. É útil pensar nesse tipo de ‘programação social’ em relação ao pensamento rápido e lento, como proposto pelo psicólogo Daniel Kahneman.”

Na década de 1970, a visão predominante entre os cientistas sociais era que as pessoas eram geralmente racionais e controlavam a maneira como pensam e tomam decisões. Mas, o trabalho pioneiro do professor emérito de Princeton Daniel Kahneman e seu colaborador de longa data Amos Tversky, – que morreu em 1996, – desafiou essas suposições. Em seu best-seller de 2011 Pensando, Rápido e Devagar, Kahneman explicou a pesquisa que eles conduziram e que levaram ao nosso entendimento atual de julgamento e tomada de decisões, – pelo qual ele recebeu o Prêmio Nobel de Economia de 2002.

A tese central do livro é que nossa mente é composta por dois sistemas de pensamento muito diferentes, o Sistema 1 e o Sistema 2. O Sistema 1 é a parte intuitiva, rápida e emocional de nossa mente. Os pensamentos chegam automática e rapidamente ao Sistema 1 sem que façamos nada para que eles aconteçam. O Sistema 2 é a parte mais lenta, lógica e racional da mente. É onde avaliamos e escolhemos entre várias opções, porque apenas o Sistema 2 pode pensar em várias coisas ao mesmo tempo e mudar sua atenção entre elas. O Sistema 1 normalmente funciona desenvolvendo uma história coerente com base nas observações e fatos à sua disposição. Isso nos ajuda a lidar eficientemente com as inúmeras situações simples que encontramos na vida cotidiana.

A pesquisa mostrou que o intuitivo Sistema 1 é realmente mais influente em nossas decisões, escolhas e julgamentos do que geralmente percebemos. O Sistema 1 é moldado tanto pela biologia evolutiva quanto pelo contexto social. Nascemos com a capacidade de aprender e nos adaptar à nossa tribo – uma espécie de impressão social. É por isso que os bebês aprendem rapidamente a reconhecer gatos e outros animais a partir de relativamente poucos exemplos, enquanto são necessárias grandes quantidades de dados para treinar de maneira semelhante um algoritmo de aprendizado de máquina. Enquanto o impacto do contexto social enfraquece à medida que envelhecemos e o Sistema 2 se desenvolve, o Sistema 1 continua a desempenhar um papel importante ao longo de nossa vida.

“A ciência social computacional sugere que a mente rápida é o repositório de normas culturais, uma espécie de mente tribal construída em grande parte inconscientemente pela integração de observações sobre como outras pessoas se comportam com restrições e tendências biológicas”, escreveu Pentland. “Em contraste, o pensamento lento é construído com base em crenças adquiridas pelo raciocínio individual e observações que parecem interessantes – fatos e comportamentos que um dia podem ser úteis. Como o pensamento lento é baseado em regras e reflexivo, ele fornece uma maneira segura de conjecturar novas ideias e normas sem evidências diretas. A linguagem e o pensamento lento estão fortemente acoplados e, portanto, histórias memoráveis podem atuar como uma espécie de ‘realidade virtual’ social que nos permite aprender fatos e comportamentos úteis sem ter que observá-los diretamente.”

“No exemplo das Famílias Frágeis, parece que a experiência muito precoce define a estrutura básica para as normas e hábitos de raciocínio rápido das crianças. Características como a tendência de explorar versus esconder, perseverar versus desistir e assumir a agência pessoal parecem ser estabelecidas muito cedo, pela observação e interação com outras crianças e adultos. As faculdades de pensamento lento amadurecem em cima dessa base e têm apenas uma capacidade limitada de modificá-la. Os hábitos são difíceis de quebrar, mesmo quando obviamente causam danos e mudar os hábitos de forrageamento social é ainda mais difícil porque as desvantagens de um repertório falho de raciocínio rápido geralmente são bastante sutis e difíceis de focar.”

“O que a ciência social computacional sugere é que o modelo de ‘indivíduo racional’ se refere principalmente à nossa mente de pensamento lento e é uma descrição pobre de como as pessoas incorporam novas ações e hábitos em seu comportamento diário de pensamento rápido. O principal fracasso não é a limitação da racionalidade; é que a mente de pensamento rápido não maximiza as necessidades do indivíduo. Em vez disso, nossa mente de pensamento rápido, que é responsável pela maioria de nossos comportamentos cotidianos, está ligada à cultura, maximizando de acordo com as normas sociais, benefícios do grupo e restrições biológicas, muitas vezes contra os interesses do indivíduo”.

“A ideia de que o pensamento rápido é principalmente ligado à cultura, em vez de ser impulsionado pelo pensamento e reflexão individuais, significa que o pensamento rápido é coletivamente racional e não individualmente racional. Os seres humanos se envolvem continuamente em comportamento exploratório para encontrar novos comportamentos adaptativos e a maioria desses novos comportamentos vem da imitação de outras pessoas. Como ilustram as Famílias Frágeis, a diversidade e estudos semelhantes, parece ser a amplitude do comportamento exploratório de uma pessoa, e não seus traços cognitivos individuais, que geralmente dominam os resultados da vida e a evolução das características sociais”.

* É preciso uma aldeia para se educar uma criança. Ė um provérbio africano, que faz referência a que nenhuma pessoa aprende e se desenvolve somente a partir dos valores da sua família nuclear, mas também em acordo com toda a comunidade em que vive e se relaciona.