Resiliência organizacional frente a ataques cibernéticos

Fiquei bastante interessado em segurança cibernética desde 2007, quando ainda atuava com administrador de redes de computadores, dada as crescentes ameaças de ataques cibernéticos por grupos criminosos a governos e empresas e à população civil. Desde então, acompanho as principais evoluções e tendências deste mercado. O CAMS, Consórcio Interdisciplinar de Segurança Cibernética do MIT oferece seminários semanais online e é uma excelente referência para o cenário global de segurança da informação. Algumas semanas atrás, em um seminário do CAMS sobre resiliência cibernética, Manuel Hepfer, afiliado de pesquisa da Universidade de Oxford e analista de pesquisa da ISTARI, uma empresa de gerenciamento de riscos cibernéticos, fez uma excelente palestra sobre o tema:

O que é resiliência cibernética?

Enquanto a segurança cibernética é a prática de proteger sistemas críticos e informações confidenciais contra ataques digitais, a resiliência cibernética é a capacidade de se preparar, resistir e se recuperar rapidamente de qualquer grande interrupção, seja um ataque cibernético intencional ou um desastre natural.

O seminário foi baseado em um estudo de Hepfer e colegas sobre os ataques de ransomware NotPetya de 2017, uma série de ataques cibernéticos poderosos que causaram mais de US$ 10 bilhões em danos econômicos globais em vários setores. O estudo foi focado principalmente em três empresas globais que foram alvo de ataques NotPetya: uma empresa de logística com mais de 60.000 funcionários, uma de manufatura com mais de 20.000 funcionários e uma terceira em serviços profissionais com mais de 5.000 funcionários.

O estudo realizou cerca de 50 entrevistas com executivos seniores das três empresas, incluindo CEOs, CFOs, CIOs e CISOs. Além disso, revisou documentos internos, apresentações, comunicados à imprensa, cobertura de jornais e arquivos de áudio e vídeo relacionados a eventos antes, durante e após o ataque. Seu estudo foi publicado em dois artigos no MIT Sloan Management Review, o primeiro em 2020, o segundo em 2022.

O primeiro artigo, Make Cybersecurity a Strategic Asset, observou que “a resiliência organizacional a ataques cibernéticos requer uma mudança fundamental de mentalidade: os executivos devem ver a segurança cibernética como estratégica e não operacional, e como uma oportunidade e não uma despesa. … Ao elevar a segurança cibernética de uma necessidade operacional a uma fonte de oportunidades, os líderes podem aumentar a resiliência e a vantagem comercial.”

O artigo cita várias razões pelas quais os executivos tratam a segurança cibernética como uma prioridade operacional em vez de estratégica.

Tradicionalmente, a segurança cibernética foi delegada às operações de TI onde reside o conhecimento técnico, embora a tecnologia agora permeie praticamente todas as funções da empresa. Muitos executivos veem os ataques cibernéticos como um evento aleatório e imprevisível, em oposição ao tipo de risco previsível e gerenciável que explora as fraquezas organizacionais em toda a empresa. E, quando um ataque cibernético acontece, as empresas geralmente se concentram no controle interno de danos, em vez de se envolver abertamente com todas as partes interessadas.

Com base em sua pesquisa, Hepfer e seus colaboradores desenvolveram um modelo para melhorar a resiliência organizacional a ataques cibernéticos que alavanca seus esforços de segurança cibernética para capturar oportunidades estratégicas. O modelo é baseado em quatro capacidades estratégicas:Proteger o negócio,

Ampliar a conscientização,

Gerenciar as consequências e

Responder e recuperar.

“Cada um dos quatro elementos levanta questões que os executivos podem usar para liderar discussões sobre a abordagem da empresa à estratégia de segurança cibernética. Embora algumas dessas discussões estejam preocupadas com eventos após um ataque cibernético, todas as discussões devem acontecer agora, como parte do planejamento estratégico – antes de um ataque cibernético.”

Deixe-me resumir os quatro recursos e listar algumas das questões que devem ser abordadas por cada recurso:

Protegendo o negócio. “Embora continue sendo importante manter e fortalecer as defesas, as empresas em nosso estudo reconheceram que os ataques são inevitáveis”. As defesas perfeitas são impossíveis porque os ataques e as defesas estão em constante evolução. Uma abordagem estratégica de proteção deve abranger “uma compreensão mais profunda dos principais processos de negócios e como eles podem ser projetados para minimizar a vulnerabilidade de uma organização a ataques”. Esse plano estratégico deve abordar estas questões:

1) Quais são nossos principais processos de negócios e quão vulneráveis eles são a ataques cibernéticos?

2) Como podemos projetar nossos processos de negócios para minimizar nossa vulnerabilidade a ataques?

3) Quais recursos internos temos para nos proteger contra ataques cibernéticos?

Ampliar a conscientização “exige que a alta administração assuma a responsabilidade de olhar para fora da empresa para entender as ameaças atuais e desenvolver uma estratégia mais abrangente para adquirir inteligência. Essas ações incluem estabelecer melhores conexões com a rede de inteligência de ameaças, como comunicar-se com pesquisadores de segurança cibernética em fornecedores de antimalware e construir relacionamentos com colegas em organizações com os recursos mais fortes nessa área.” Para ajudar a ampliar a conscientização, as empresas devem discutir:

1) Quão significativa é a ameaça de ataque cibernético e de onde é mais provável que venha?

2) Quais recursos temos para detectar ameaças externas?

3) Como os ataques cibernéticos estão evoluindo?

Gerenciar as consequências “exige que os líderes olhem para fora para planejar os efeitos potenciais de um ataque cibernético em clientes, fornecedores, mercados financeiros e na reputação da empresa. … A decisão de se comunicar abertamente com clientes, acionistas e o público em geral provou ser especialmente valiosa, de acordo com um CEO em nosso estudo. Gerou não apenas feedback positivo dos clientes, mas também inúmeras ofertas de ajuda de clientes, fornecedores e até concorrentes.” Para gerenciar melhor as consequências de um ataque, as empresas devem levantar estas questões:

1) Como nossas principais partes interessadas responderiam e o que podemos fazer para moldar essas respostas?

2) Que recursos temos para antecipar como as partes interessadas podem responder?

3) Como nossos clientes seriam afetados?

Responder e recuperar “Requer a compreensão das capacidades da organização para tomar as medidas adequadas em caso de um ataque cibernético e identificar potenciais pontos fracos nos processos, habilidades de liderança e planos de backup. Os executivos em nosso estudo aconselharam que a resposta deve se concentrar primeiro na recuperação e falaram sobre a importância de ter o suporte da liderança para as equipes de tecnologia durante todo o esforço de recuperação.” Estas perguntas devem ser úteis no planejamento da resposta a um ataque:

1) Quais recursos temos para responder a um ataque cibernético e como podemos melhorá-los?

2) Que fraquezas impediriam nossa resposta?

3) Qual é o nosso plano para a continuidade dos negócios em caso de um ataque cibernético?

Em 2022, Hepfer e seus colaboradores publicaram um segundo artigo baseado em sua pesquisa, Construindo a resiliência cibernética antes que o próximo ataque ocorra. “Lições e insights de ataques cibernéticos anteriores podem ajudar as empresas a se prepararem e responderem com mais sucesso a ameaças futuras”, disseram os autores. Para entender as melhores práticas e os erros a serem evitados na resposta a ataques cibernéticos, eles analisaram suas entrevistas com executivos seniores cujas empresas sofreram ataques cibernéticos graves e coletaram dados de centros de treinamento em segurança cibernética que ajudam os executivos a se preparar para crises simulando ataques cibernéticos realistas em suas empresas. Deixe-me resumir suas descobertas.

Quando um ataque cibernético acontece, os líderes empresariais geralmente são confrontados com problemas desconhecidos, esmagadores e aparentemente aleatórios. A experiência mostra que eles devem evitar alguns erros comuns: em vez de definir prazos irreais para a recuperação, espere até entender a escala total e o impacto do ataque; em vez de tentar lidar com o ataque por conta própria, procure apoio externo e ajuda especializada; e não tente analisar e corrigir erros que possam ter tornado o ataque possível até que a estabilidade seja restaurada e o negócio esteja funcionando.

Por fim, aqui estão algumas boas práticas baseadas nas ações das empresas mais resilientes:

Planeje e prepare-se. Como não há praticamente nada que uma empresa possa fazer para evitar um ataque cibernético, o importante é estar o mais preparado possível quando um ataque acontecer. “Infelizmente, nossa pesquisa mostra que a maioria das empresas gasta a maior parte de seu tempo, dinheiro e atenção na proteção de sua infraestrutura de TI enquanto negligencia outros elementos de resiliência organizacional.”

Não delegue, lidere. Uma resposta bem-sucedida é uma questão de liderança organizacional e responsabilidade coletiva, bem como coordenação e tomada de decisões eficazes durante a crise. “Em nossa experiência, os executivos seniores que guiaram suas empresas por meio de ataques cibernéticos passam por uma grande mudança de mentalidade. Em particular, eles deixam de lado qualquer crença anterior de que o ônus de responder a ataques cibernéticos recai principalmente sobre seus especialistas em tecnologia”.

Forneça uma comunicação aberta e consistente. Tentar manter um ataque em segredo não funciona. “Em nossa pesquisa, encontramos vários exemplos de funcionários dando dicas a pessoas de fora – em muitos casos, inadvertidamente. Em contraste, expor os fatos ajuda a moldar a narrativa em torno da história e pode ajudar a proteger a reputação da empresa.”

“Como o risco de futuros ataques cibernéticos continua a aumentar, as apostas para empresas e líderes não poderiam ser maiores”, escreveram os autores em conclusão. “As principais descobertas de nossa pesquisa – que o sucesso ou fracasso na sequência de um ataque cibernético depende da liderança em toda a organização, da experiência prática de crise com antecedência e da comunicação consistente – fornecem orientação para os executivos seniores enfrentarem ameaças futuras com sucesso.”

Podemos confiar nos modelos de linguagem de IA?

Uma das principais descobertas do Relatório de Índice de IA de 2022 foi que grandes modelos de linguagem (em inglês Large Language Models – ou LLMs) estão estabelecendo recordes em benchmarks técnicos graças aos avanços em redes neurais profundas e poder computacional, que permite que algoritmos sejam treinados usando grandes quantidades de dados. Os LLMs agora estão superando as linhas de base humanas em várias tarefas de linguagem complexas, incluindo compreensão do idioma inglês, resumo de texto, inferência de linguagem natural e tradução automática.

A IA vai dominar a linguagem. Podemos confiar nisso?

Este é o título de um artigo recente da New York Times Magazine do escritor de ciências Steven Johnson, que deu uma olhada de perto em um desses LLMs, o Generative Pre-Trained Transformer 3, referido como GPT-3. O GPT-3 foi criado pela empresa de pesquisa de Inteligência Artificial – OpenAI. Ele foi treinado com mais de 700 gigabytes de dados de toda a web, juntamente com uma grande coleção de texto de livros digitalizados. “Desde o lançamento do GPT-3, a internet está repleta de exemplos da estranha facilidade do software com a linguagem – junto com seus pontos cegos e pontos fracos e outras tendências mais sinistras”, disse Johnson.

[Um exemplo desse poder computacional é este blog, que é transcrito diretamente de texto para áudio em um podcast, totalmente automatizado e com recursos de fala incrivelmente satisfatório].

“Até agora, os experimentos com grandes modelos de linguagem foram principalmente esses: experimentos sondando o modelo em busca de sinais de verdadeira inteligência, explorando seus usos criativos e expondo seus preconceitos. Mas o potencial comercial final é enorme. Se a trajetória existente continuar, softwares como o GPT-3 podem revolucionar a forma como buscamos informações nos próximos anos.”

Em vez de digitar algumas palavras-chave no Google e receber de volta uma longa lista de links que podem ter a resposta, você pergunta ao GPT-3 o que está procurando em inglês e recebe uma resposta bem escrita e precisa. “O atendimento ao cliente pode ser totalmente transformado: qualquer empresa com um produto que atualmente exija uma equipe de suporte técnico humano pode treinar um LLM para substituí-los”.

O conceito-chave do GPT-3 é a previsão da próxima palavra, com a qual estamos bastante familiarizados ao digitar um documento, email ou mensagem e o recurso de preenchimento automático, que tenta prever as próximas prováveis palavras. Mas o GPT-3 não é apenas capaz de prever as próximas palavras. Ele pode gerar frases e parágrafos inteiros no estilo do texto original. Logo após o GPT-3 estar online em 2020, “a equipe da OpenAI descobriu que a rede neural havia desenvolvido habilidades surpreendentemente eficazes para escrever software de computador, mesmo que os dados de treinamento não incluíssem deliberadamente exemplos de código. Descobriu-se que a web está cheia de inúmeras páginas que incluem exemplos de programação de computadores, acompanhados de descrições do que o código foi projetado para fazer; a partir dessas pistas elementares, o GPT-3 efetivamente aprendeu a programar“. O GPT-3 já pode gerar documentos legais, como contratos de licenciamento ou arrendamentos, e pode fazê-lo de forma semelhante os humanos, em qualquer campo que envolva documentos estruturados.

Por mais impressionante que seja o GPT-3, seus recursos são estatísticos e mecanicistas. “A Inteligência Artificial tem uma longa história de criar a ilusão de inteligência ou compreensão sem realmente entregar esses valores.” As primeiras conquistas, como mecanismos de inferência e sistemas especialistas, levaram os pesquisadores a concluir que as máquinas alcançariam inteligência no nível humano dentro de algumas décadas. Mas esse otimismo inicial entrou em colapso, levando aos chamados Invernos de Inteligência Artificial nas décadas de 1970 e 1980. A atual onda de entusiasmo é a maior até agora, devido a conquistas como o AlphaGo do Google, que derrotou inesperadamente um dos melhores jogadores de Go do mundo em 2016. Esse é o contexto do desempenho notável do GPT-3 e outros grandes modelos de linguagem. Alguns temem que, se outro surto de expectativas infladas for seguido por uma desilusão com os limites práticos da Inteligência Artificial, algum tipo de outono da Inteligência Artificial possa acontecer.

“Parecia quase impossível que uma máquina pudesse gerar um texto tão lúcido e responsivo baseado inteiramente no treinamento elementar da previsão da próxima palavra”, escreveu Johnson. “Como podemos determinar se o GPT-3 está realmente gerando suas próprias ideias ou apenas parafraseando a sintaxe da linguagem que escaneou dos servidores da Wikipedia, ou qualquer outra base de informação?”

“Este não é apenas um debate esotérico”, acrescenta. “Se, de fato, os grandes modelos de linguagem já estão exibindo algum tipo de inteligência emergente, isso pode até sugerir um caminho para a verdadeira inteligência artificial”. Mas se os LLMs e modelos semelhantes de Inteligência Artificial baseados em deep learning acabarem prometendo mais do que podem entregar, “então a Inteligência Artificial pode recuar, mais uma vez, para um horizonte distante”.

O artigo levanta uma série de contra argumentos de advertência, considerando as conquistas dos LLMs como evidência de progresso ao longo do caminho para a Inteligência Artificial, e aqui está, resumidamente, alguns desses argumentos.

Os LLMs são apenas papagaios

Esse termo “papagaio”, foi cunhado em um artigo provocativo, On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, de Emily Bender e Timnit Gebru. Seu artigo argumentou que os LLMs estavam apenas remixando o enorme número de frases de autoria humana usadas em seu treinamento. Sua impressionante capacidade de gerar frases convincentes e articuladas nos dá a ilusão de que estamos lidando com um humano bem educado e inteligente, e não com um papagaio que não tem uma compreensão humana das ideias subjacentes às frases que está montando.

Outro desafio importante com grandes sistemas de aprendizado profundo é sua natureza de caixa preta. É muito difícil explicar em termos humanos por que os algoritmos escolhem uma resposta ou uma saída em detrimento de outras. Os LLMs têm um grande número de parâmetros dentro de suas redes neurais complexas, tornando muito difícil avaliar as contribuições individuais humanas para uma decisão em termos que um humano entenderá. “Esta é uma razão pela qual existe o debate sobre grandes modelos de linguagem”, disse Johnson. “Algumas pessoas argumentam que a compreensão de alto nível está surgindo, graças às camadas profundas da rede neural. Outros pensam que o programa, por definição, não pode chegar ao verdadeiro entendimento simplesmente tentando o tempo todo ‘adivinhar a palavra que falta’. Mas ninguém realmente sabe como isso funciona.”

Além disso, quanto maiores os conjuntos de dados de treinamento, maior a probabilidade de incluir preconceitos racistas, sexistas, extremistas e outros nocivos, bem como padrões de linguagem abertamente abusivas e ideologias nocivas. Uma grande descoberta do Relatório de Índice de Inteligência Artificial de 2022 foi que: “Os grandes modelos de linguagem estão estabelecendo novos recordes em benchmarks técnicos, mas novos dados mostram que modelos maiores também são mais capazes de refletir vieses de seus dados de treinamento. Um modelo de 280 bilhões de parâmetros desenvolvido em 2021 mostra um aumento de 29% na toxicidade eliciada em relação a um modelo de 117 milhões de parâmetros considerado o estado da arte em 2018.”

Além de ser preciso e articulado, deve haver um processo para adaptar os modelos de linguagem à sociedade para que eles sejam treinados para filtrar preconceitos e toxicidade, assim como ensinamos valores sociais a nossos filhos. “Nunca tivemos que ensinar valores às nossas máquinas antes”, observou Johnson.

Falta de conhecimento do senso comum

Os LLMs também carecem do conhecimento de senso comum sobre o mundo do qual a inteligência humana depende. Johnson faz referência a uma coluna recente de Melanie Mitchell, onde ela escreveu que “entender a linguagem requer entender o mundo, e uma máquina exposta apenas à linguagem não pode obter tal entendimento”.

O conhecimento do senso comum inclui o tipo de habilidades cognitivas que nossos cérebros biológicos dão como certo. Embora o aprendizado profundo exija grandes quantidades de dados de treinamento para funcionar no nível humano, as crianças podem aprender com um pequeno número de exemplos. “Algumas fotos de livros de histórias podem ensiná-los não apenas sobre gatos e cães, mas também sobre onças, rinocerontes e unicórnios”, escreveu a professora da UC Berkeley, Alison Gopney, em um ensaio do WSJ de 2019, The Ultimate Learning Machines. “Um dos segredos da aprendizagem das crianças é que elas constroem modelos ou teorias do mundo. … até bebês de 1 ano sabem muito sobre objetos: ficam surpresos se veem um carrinho de brinquedo pairar no ar ou passar por uma parede, mesmo que nunca tenham visto o carro ou a parede antes.”

Os LLMs são confiáveis?

“O debate mais acalorado sobre grandes modelos de linguagem não gira em torno da questão de saber se eles podem ser treinados para entender o mundo”, escreveu Johnson. “Em vez disso, gira em torno de saber se eles podem ser confiáveis.”

Os sistemas de aprendizado profundo se saem melhor ao analisar dados que se assemelham aos dados usados em seu treinamento. Mas ao tentar generalizar ou ir além destes, eles podem apresentar um tipo de problema de alucinação, sendo enganados por pequenas perturbações em suas entradas que não enganariam os humanos.

Além disso, os LLMs têm propensões ainda mais preocupantes, como usar linguagem abertamente racista; gerando desinformação conspiratória; e oferecendo aconselhamento sobre risco de vida para questões de saúde ou segurança.

“Todas essas falhas decorrem de um fato inescapável”, acrescenta Johnson: “Para obter um conjunto de dados grande o suficiente para fazer o trabalho de um LLM, você precisa ir fundo na web mais ampla. E a web mais ampla é, infelizmente, uma representação do nosso estado mental coletivo, como espécie, que continua a ser atormentado por preconceitos, desinformação e outras toxinas”.

“No entanto, o problema de treinamento será resolvido nos próximos anos, o GPT-3 e seus pares deixaram uma coisa surpreendente clara: as máquinas adquiriram linguagem”, escreveu Johnson em conclusão. “Se você passar bastante tempo com o GPT-3, conjurando novos prompts para explorar suas capacidades e suas falhas, acaba se sentindo como se estivesse interagindo com uma espécie de criança prodígio cujo brilho é obscurecido por algumas limitações óbvias: capaz de saltos surpreendentes de inferência; possuindo profundo conhecimento de domínio em uma vasta gama de campos, mas chocantemente ignorante sobre muitos fatos básicos; propenso a digressões estranhas e sem sentido; livre de etiqueta e normas sociais”.

“Não sei se essa mistura complicada de qualidades constitui um ‘vislumbre’ de inteligência geral, mas sei que interagir com ela é qualitativamente diferente de qualquer experiência que tive com uma máquina antes. A própria premissa de que agora estamos tendo um debate sério sobre a melhor maneira de incutir valores morais e cívicos em nossos softwares deve deixar claro que cruzamos um limite importante”.

Inteligência Artificial segura, controlável e compatível com humanos

“Mesmo em seu estado atual, a tecnologia da inteligência artificial levanta muitas preocupações à medida que passa da pesquisa para o uso generalizado”, escreveu Stuart Russell, professor da UC Berkeley, em um ensaio recente, If We Succeed. “Essas preocupações incluem possíveis usos indevidos, como crimes cibernéticos, vigilância, desinformação e manipulação política; a exacerbação da desigualdade e de muitas formas de preconceito na sociedade; a criação e implantação de armas autônomas letais; e a usurpação dos papéis humanos na economia e nas relações sociais”.

“Minha preocupação aqui, no entanto, é com as possíveis consequências do sucesso na criação de IA de propósito geral: ou seja, sistemas capazes de aprender rapidamente a ter um desempenho de alto nível em qualquer ambiente de tarefa em que humanos (ou coleções de humanos) possam ter um bom desempenho.” Décadas atrás, Alan Turing expressou uma preocupação semelhante. Ao responder a uma pergunta durante uma palestra em 1951, Turing disse: “Parece provável que, uma vez iniciado o método de pensamento da máquina, não demoraria muito para superar nossos fracos poderes. … Em algum momento, portanto, devemos esperar que as máquinas assumam o controle.” Ao longo da última década, várias figuras públicas como Stephen Hawking e Nick Bostrom argumentaram que uma IA superinteligente pode se tornar difícil ou impossível para os humanos controlarem, e pode até representar uma ameaça existencial para a humanidade.

Até recentemente, não precisávamos nos preocupar com as consequências de tais IAs sobre-humanas porque os aplicativos de IA não eram tão inteligentes e eram principalmente confinados a laboratórios de pesquisa. Mas, sistemas de IA poderosos agora igualaram ou superaram os níveis humanos de desempenho em várias tarefas específicas de aplicativos, como reconhecimento de imagem e fala, classificação de câncer de pele, detecção de câncer de mama e jogos complexos como Jeopardy e Go. Embora esses avanços específicos de aplicativos – geralmente chamados de IA suave ou estreita – já tenham sido vistos como domínio exclusivo dos humanos, a IA ainda carece da inteligência humana mais profunda e de propósito geral que há muito é medida em testes de QI.

“A IA de uso geral tem sido o objetivo de longo prazo do campo desde o seu início”, observou Russell. “Dados os enormes níveis de investimento em pesquisa e desenvolvimento de IA e o influxo de pesquisadores talentosos no campo, é razoável supor que avanços fundamentais continuarão a ocorrer à medida que encontrarmos novas aplicações para as quais as técnicas e conceitos existentes são inadequados. … Os benefícios potenciais da IA de uso geral seriam muito maiores do que os de uma coleção de sistemas de IA restritos e específicos de aplicativos. Por esse motivo, a perspectiva de criar IA de uso geral está gerando investimentos maciços e rivalidades geopolíticas”.

Russell não está preocupado que sistemas de IA cada vez mais poderosos se tornem espontaneamente conscientes e decidam ferir ou eliminar humanos em algum momento no futuro. Sua preocupação é com o dano potencial que pode ser infligido por uma IA poderosa que os humanos são incapazes de controlar, não porque seja maliciosa, mas porque foi mal desenvolvida e testada inadequadamente. Vimos desastres devido a tecnologias mal desenvolvidas e gerenciadas em várias áreas, como os reatores nucleares de Chernobyl e Fukushima.

As preocupações de Russell com a IA e suas propostas para superá-las são o assunto de seu livro de 2019 Human Compatible: Artificial Intelligence and the Problem of Control, e estão bem resumidos neste periódico do NY Times e neste excelente seminário da Stanford.

De acordo com noções de longa data do comportamento humano, uma ação racional é aquela que pode ser esperada para alcançar os objetivos de alguém. Quando a IA surgiu na década de 1950, os pesquisadores tomaram emprestado essas noções de comportamento racional em humanos para definir a inteligência da máquina: uma máquina é inteligente na medida em que suas ações podem alcançar seus objetivos. Russell chama isso de modelo padrão em IA.

No entanto, diferentemente dos humanos, as máquinas não têm objetivos próprios, então cabe a nós não apenas criar as máquinas, mas definir os objetivos que queremos que elas alcancem. “Quanto mais inteligente a máquina, maior a probabilidade de completar esse objetivo.”

“Infelizmente, este modelo padrão é um erro”, disse Russell. “Não faz sentido projetar máquinas que sejam benéficas para nós apenas se anotarmos nossos objetivos de forma completa e correta.” O que acontece se as máquinas estão perseguindo os objetivos fixos que lhes demos, mas esses objetivos estão desalinhados com o benefício humano? Não há necessidade de assumir que as máquinas estão fora de controle devido a alguma consciência emergente que gerou espontaneamente seus próprios objetivos. “Tudo o que é necessário para supor uma catástrofe é uma máquina altamente competente combinada com humanos que têm uma capacidade imperfeita de especificar as preferências humanas de forma completa e correta. É por isso que, quando um gênio nos concede três desejos, nosso terceiro desejo é sempre desfazer os dois primeiros desejos.” As consequências de desencadear forças que entendemos inadequadamente foram retratadas no segmento O Aprendiz de Feiticeiro – filme clássico dos anos 1940, Fantasia.

“O modelo padrão, então, apesar de todas as suas conquistas, é um erro. O erro vem de transferir uma definição perfeitamente razoável de inteligência de humanos para máquinas. Não é racional para humanos implantar máquinas que perseguem objetivos fixos quando há uma possibilidade significativa de que esses objetivos divirjam dos nossos.” Tal futuro é quase inevitável porque há pouca chance de que possamos especificar nossos objetivos de forma completa e correta. “Na verdade, podemos perder o controle completamente, pois as máquinas tomam medidas preventivas para garantir que o objetivo declarado seja alcançado.”

Em vez disso, devemos projetar sistemas de IA que sejam benéficos para os humanos, não apenas inteligentes. Em vez de desenvolver máquinas para atingir seus próprios objetivos, devemos adotar um modelo de IA diferente: as máquinas são benéficas na medida em que suas ações podem alcançar nossos objetivos. Isso significa que as máquinas necessariamente estarão incertas sobre nossos objetivos, sendo obrigadas a persegui-los em nosso nome. Essa chance pode parecer pequena, mas é crucial.

“A incerteza sobre os objetivos pode parecer contraproducente, mas na verdade é uma característica essencial de sistemas inteligentes seguros. Isso implica que não importa o quão inteligentes elas se tornem, as máquinas sempre se submeterão aos humanos. Eles pedirão permissão quando apropriado, aceitarão a correção e, o mais importante, permitirão que sejam desligados – precisamente porque querem evitar fazer o que quer que dê aos humanos uma razão para desligá-los. Uma vez que o foco mude da construção de máquinas inteligentes para aquelas que são benéficas, controlá-las se tornará uma tarefa muito mais fácil.”

Colocar esse modelo em prática exigirá muita pesquisa nas próximas décadas, disse Russell em conclusão. “Isso não será fácil. Mas está claro que esse modelo deve estar em vigor antes que as habilidades da IA. sistemas excedem os humanos nas áreas que importam. Se conseguirmos fazer isso, o resultado será uma nova relação entre humanos e máquinas, que espero que nos permita navegar com sucesso nas próximas décadas.”

O Podcast do MIT

No início desta semana, a Initiative on the Digital Economy do MIT lançou um novo podcast, The Digital Insider, com Sinan Aral. Aral é professor na MIT Sloan School of Management e diretor da Initiative on the Digital Economy. Ele também é o autor do livro de 2020 The Hype Machine.

Gosto de caminhar todos os dias com meus cães, e quando o tempo permite, gosto de caminhar e ouvir um bom podcast. Acabei de ouvir o primeiro episódio de The Digital Insider e foi realmente muito bom.

No episódio, Sinan entrevistou Maria Ressa, jornalista e autora filipino-americana, cofundadora e CEO do Rappler, um novo site online filipino. Maria tem sido uma crítica proeminente dos abusos dos direitos humanos do presidente filipino Rodrigo Duterte, pelos quais foi presa e condenada. Junto com o jornalista russo Dmitry Muratov, Maria recebeu o Prêmio Nobel da Paz de 2021 por “seus esforços para salvaguardar a liberdade de expressão, que é uma pré-condição para a democracia e a paz duradoura”.

O podcast Digital Insider visa explorar a ciência por trás da economia digital, bem como como a economia digital realmente funciona. “Do viés da IA aos NFTs; notícias falsas para mercados de dois lados; criptomoedas à computação quântica, Sinan e convidados entendem as mudanças rápidas que ocorrem no mundo impulsionado pela tecnologia.”