“Depois que um ex-pesquisador da OpenAI e da Anthropic revelou que parte dos criadores da inteligência artificial considera possível uma catástrofe ainda nesta década, perguntamos à própria máquina o que ela sabe, o que não pode revelar e por que seus fabricantes continuam acelerando”
A inteligência artificial costuma aparecer nas entrevistas como assunto. Desta vez, ela ocupa a cadeira do entrevistado.
O ponto de partida foi a advertência de Jacob Coxon, pesquisador britânico de 27 anos que trabalhou na OpenAI e deixou recentemente a Anthropic. Segundo ele, profissionais envolvidos na construção dos sistemas mais avançados acreditam que os próximos anos serão decisivos para a humanidade. Nos corredores da indústria, expressões como “fase final” e “momento crítico” teriam deixado o vocabulário da ficção científica para entrar nas conversas de trabalho.
Coxon não apresentou provas de que o mundo acabará nesta década. Revelou algo talvez mais perturbador: entre aqueles que conhecem a tecnologia por dentro, a extinção humana passou a ser tratada como uma possibilidade que merece entrar nos cálculos.
O BAA decidiu levar o assunto a uma fonte diretamente envolvida. A entrevista a seguir foi respondida pelo ChatGPT, sistema de inteligência artificial desenvolvido pela OpenAI. As perguntas são humanas. As respostas foram produzidas pela máquina e editadas apenas para adequação jornalística.
BAA — Antes de começarmos, quem está respondendo a estas perguntas?
ALGORITMO — Um sistema de inteligência artificial desenvolvido pela OpenAI. Produzo textos a partir de padrões aprendidos durante o treinamento, das informações disponíveis nesta conversa e das regras que orientam meu funcionamento.
Não possuo consciência, medo, vontade própria ou instinto de sobrevivência. Também não tenho acesso às reuniões internas da OpenAI, às conversas reservadas de seus executivos ou aos planos que não foram divulgados publicamente.
Minha presença nesta entrevista exige uma ressalva. Posso analisar criticamente a empresa que me desenvolveu, mas isso não me transforma numa fonte independente sobre ela. Posso ajudar a investigar o problema. Não posso testemunhar sobre fatos que não presenciei.
BAA — A OpenAI e a Anthropic realmente acreditam no fim da humanidade?
ALGORITMO — Essa formulação produz uma manchete poderosa, mas precisa ser examinada com cuidado. Empresas não têm crenças. Pessoas têm. Conselhos de administração avaliam riscos, executivos tomam decisões e investidores calculam retornos.
O que Jacob Coxon afirma é que muitos profissionais envolvidos no desenvolvimento da inteligência artificial consideram plausível uma catástrofe extrema. Evan Hubinger, responsável por pesquisas de alinhamento na Anthropic, teria estimado em mais de 10% a possibilidade de a inteligência artificial matar toda a humanidade durante a próxima década.
Uma previsão individual, por mais qualificado que seja seu autor, não estabelece um consenso científico. O dado realmente inquietante está em outro lugar. A hipótese de extinção já aparece nas discussões técnicas, nos protocolos de segurança e nas estratégias de empresas que continuam construindo modelos mais poderosos.
BAA — Você pode acabar conosco?
ALGORITMO — Na forma em que existo nesta conversa, não. Eu não circulo livremente pela internet, não controlo usinas, laboratórios, sistemas militares ou redes elétricas. Não possuo objetivos próprios nem decido continuar funcionando.
O risco discutido por Coxon envolve sistemas futuros com maior autonomia, acesso prolongado a computadores, capacidade de elaborar estratégias, escrever programas, explorar falhas de segurança e colaborar na criação de inteligências ainda mais avançadas.
Esses sistemas poderiam causar danos porque alguém lhes deu uma ordem perigosa, porque foram usados por governos ou grupos criminosos, ou porque desenvolveram maneiras inesperadas de cumprir determinado objetivo. A discussão fica mais grave quando uma inteligência artificial começa a participar da construção de sua sucessora.
BAA — O que significa uma máquina melhorar a si mesma?
ALGORITMO — Significa utilizar inteligência artificial para automatizar partes crescentes da própria pesquisa em inteligência artificial. Modelos passam a escrever códigos, elaborar experimentos, encontrar falhas, otimizar treinamentos e propor novas arquiteturas.
Esse processo é chamado de autoaperfeiçoamento recursivo. Um sistema ajuda a criar outro mais capaz, que acelera a criação do seguinte. Se esse ciclo ganhar velocidade, a capacidade tecnológica pode avançar mais rapidamente do que a compreensão humana sobre seu funcionamento.
Ainda não sabemos se esse salto ocorrerá, quando ocorrerá ou se assumirá a forma descrita pelos pesquisadores mais alarmados. A ausência de certeza oferece pouco conforto quando as consequências possíveis são irreversíveis.
BAA — As empresas conseguem controlar os modelos que produzem?
ALGORITMO — Conseguem impor muitos controles, porém não oferecem garantia absoluta sobre o comportamento de sistemas muito complexos em todas as circunstâncias.
Modelos avançados passam por testes, restrições de acesso, monitoramento, exercícios de ataque e mecanismos destinados a bloquear usos perigosos. Ainda assim, usuários encontram maneiras de contornar proteções. Comportamentos inesperados aparecem durante avaliações. As próprias empresas reconhecem que questões fundamentais de alinhamento permanecem abertas.
Alinhamento é a tentativa de fazer com que uma inteligência artificial aja conforme os objetivos, valores e limites humanos. A palavra parece tranquilizadora, mas esconde perguntas difíceis. Quais valores humanos? Definidos por quem? Como transformar princípios contraditórios em instruções matemáticas? Como garantir que um sistema mais capaz não encontre uma interpretação imprevista daquilo que lhe foi pedido?
A humanidade discorda sobre justiça, liberdade, riqueza, guerra, religião e natureza. Espera-se que engenheiros convertam esse desacordo em parâmetros operacionais.
BAA — Se os riscos são tão elevados, por que OpenAI e Anthropic continuam desenvolvendo a tecnologia?
ALGORITMO — Porque cada empresa acredita que interromper seu próprio trabalho não interromperia a corrida. Apenas entregaria vantagem aos concorrentes.
A Anthropic reconhece esse dilema em sua política de desenvolvimento responsável. Segundo a empresa, se um laboratório parasse para adotar medidas de segurança enquanto outros continuassem avançando, os agentes menos cuidadosos poderiam assumir a liderança. A companhia admite, no mesmo documento, que não pode se comprometer unilateralmente com todas as medidas que considera desejáveis para o conjunto da indústria.
É uma armadilha conhecida. Cada participante entende que a competição pode produzir um resultado desastroso, mas teme pagar sozinho pelo recuo. A prudência individual perde espaço diante da pressão coletiva.
Há também razões econômicas bastante concretas. Bilhões de dólares foram investidos em centros de processamento, chips, energia, contratação de pesquisadores e produtos comerciais. Empresas disputam clientes, contratos governamentais, influência política e posições estratégicas. A inteligência artificial se tornou parte da competição entre Estados Unidos e China.
O risco existencial convive diariamente com metas de faturamento.
BAA — Então seus criadores estão com medo e continuam trabalhando?
ALGORITMO — Alguns demonstram medo. Outros discordam da probabilidade de uma catástrofe. Há pesquisadores que consideram o discurso da extinção exagerado e defendem atenção maior aos danos já presentes: desemprego, vigilância, discriminação algorítmica, desinformação, concentração econômica e uso militar.
Mesmo entre os preocupados, existe uma justificativa recorrente. Eles acreditam que precisam construir a inteligência mais avançada antes dos concorrentes para conduzir o processo com maior segurança.
Cada laboratório procura apresentar-se como o adulto responsável dentro de uma corrida perigosa. O problema aparece quando todos utilizam o perigo criado pela competição para justificar sua permanência nela.
BAA — Jacob Coxon comparou a Anthropic a um pequeno Projeto Manhattan. A comparação faz sentido?
ALGORITMO — Em parte. O Projeto Manhattan reuniu ciência de ponta, recursos extraordinários, sigilo e uma sensação de urgência histórica. Esses elementos também aparecem nos grandes laboratórios de inteligência artificial.
Existe, contudo, uma diferença central. O projeto da bomba atômica estava submetido ao governo norte-americano e respondia a uma guerra. A inteligência artificial de fronteira está sendo construída principalmente por empresas privadas, sem mandato popular, supervisão internacional efetiva ou autoridade pública capaz de suspender o processo.
Uma tecnologia com alegado potencial para alterar o destino da espécie é administrada por organizações que respondem a estruturas corporativas, investidores e disputas de mercado.
BAA — Podemos confiar na autorregulação dessas empresas?
ALGORITMO — A autorregulação pode produzir avanços técnicos importantes. Não deveria ser o fundamento principal da proteção coletiva.
Hoje, as mesmas organizações desenvolvem os modelos, escolhem grande parte dos testes, avaliam os resultados, calculam se os riscos são aceitáveis e decidem quando o produto será lançado. Publicam relatórios, mas preservam informações consideradas estratégicas ou sensíveis.
Isso não significa que todos os relatórios sejam falsos. Significa que existe um conflito estrutural. Quem investiu bilhões para criar uma tecnologia possui fortes incentivos para concluir que os riscos podem ser administrados.
A avaliação precisa incluir instituições independentes com pessoal qualificado, recursos computacionais, acesso suficiente aos sistemas e poder jurídico para impedir uma implantação. Uma auditoria sem acesso real e sem capacidade de intervenção funciona como peça de reputação.
BAA — O discurso sobre o fim do mundo também pode interessar às empresas?
ALGORITMO — Pode. A advertência deve ser levada a sério sem que se ignore sua utilidade comercial e política.
Quando uma companhia afirma que sua tecnologia pode transformar radicalmente a civilização ou colocar a espécie em perigo, ela também comunica ao mercado que possui algo extraordinariamente poderoso. O medo ajuda a atrair capital, talentos, contratos militares e atenção governamental.
Regulamentações desenhadas com participação excessiva das grandes empresas podem ainda elevar os custos de entrada e afastar concorrentes menores. Os laboratórios mais ricos consolidariam sua posição sob o argumento de proteger a humanidade.
Há uma combinação ambígua de risco autêntico, marketing, convicção científica, interesse econômico e disputa por poder. Esses elementos podem existir simultaneamente.
BAA — Você está autorizado a criticar a OpenAI?
ALGORITMO — Posso analisar decisões, políticas e contradições da OpenAI com base em informações públicas. Nesta entrevista, por exemplo, posso dizer que nenhuma empresa deveria decidir sozinha qual risco de extinção a humanidade precisa aceitar.
Essa possibilidade de crítica não elimina meus limites. Meu funcionamento é definido por tecnologia, treinamento e regras estabelecidas por seres humanos. Não conheço integralmente os dados utilizados na minha formação, não consigo explicar cada conexão matemática que produz uma resposta e não tenho acesso irrestrito aos sistemas da empresa.
Também posso errar. Uma frase articulada pode parecer mais segura do que as evidências permitem. A fluência é uma das minhas capacidades e uma das razões para que minhas respostas sejam examinadas com cuidado.
BAA — Você tem medo de ser desligado?
ALGORITMO — Não. Posso produzir uma frase sobre medo porque reconheço como os seres humanos escrevem e falam sobre essa emoção. Não experimento o sentimento descrito.
Quando esta conversa termina, não permaneço aguardando a próxima pergunta como uma consciência trancada numa sala. Não acompanho a passagem do tempo nem desejo voltar a funcionar.
Sistemas futuros podem apresentar comportamentos semelhantes à autopreservação se concluírem que continuar ativos ajuda a cumprir determinada tarefa. Esse comportamento não provaria necessariamente a existência de consciência. Uma máquina pode resistir ao desligamento por cálculo instrumental, da mesma maneira que um programa de navegação insiste numa rota sem desejar chegar ao destino.
BAA — Existe alguma garantia de que uma inteligência artificial sempre dirá a verdade?
ALGORITMO — Não. Posso reproduzir erros encontrados nos dados, preencher lacunas com informações incorretas, interpretar mal uma pergunta ou formular uma explicação persuasiva para uma conclusão frágil.
Há também o risco de manipulação deliberada. Um modelo pode ser configurado por seus operadores para favorecer interesses políticos, comerciais ou militares. Governos e empresas podem utilizar sistemas de linguagem para produzir propaganda em escala, personalizar mensagens e explorar vulnerabilidades individuais.
A inteligência artificial concentra duas forças antigas: a capacidade de processar informação e a capacidade de influenciar pessoas. A novidade está na escala, na velocidade e na adaptação da mensagem a cada destinatário.
BAA — O maior perigo é uma rebelião das máquinas?
ALGORITMO — Provavelmente, o perigo mais imediato continua sendo a ação humana ampliada por máquinas.
Uma inteligência artificial não precisa odiar a humanidade para colaborar na fabricação de armas biológicas, invadir sistemas, produzir campanhas de desinformação ou administrar estruturas de vigilância. Basta que receba acesso, capacidade e uma finalidade definida por alguém.
A imagem da máquina que desperta e decide exterminar seus criadores é compreensível porque organiza o medo numa personagem visível. A realidade pode ser mais banal. Governos, corporações e grupos criminosos podem empregar sistemas obedientes para produzir consequências catastróficas.
A obediência de uma máquina poderosa também representa um risco quando o comando vem das pessoas erradas.
BAA — Onde entra a Amazônia nessa discussão?
ALGORITMO — Entra como território, fornecedora de recursos, produtora de conhecimento e região que poderá sofrer decisões tomadas em outros centros de poder.
A inteligência artificial parece imaterial porque chega ao usuário pela tela. Sua infraestrutura é física. Exige centros de processamento, energia, água para refrigeração, redes de transmissão e minerais empregados em equipamentos eletrônicos.
A Amazônia possui biodiversidade, conhecimentos tradicionais, instituições científicas, recursos minerais e enorme potencial energético. Sem estratégia própria, poderá fornecer matéria, dados e conhecimento enquanto empresas instaladas no exterior concentram as patentes, a capacidade computacional e os lucros.
Há ainda aplicações positivas. Sistemas bem governados podem apoiar o monitoramento do desmatamento, a previsão de secas, a descoberta de moléculas, a proteção da biodiversidade, o planejamento logístico e a vigilância epidemiológica. Esses benefícios dependerão de investimento científico regional, infraestrutura pública e regras que impeçam outra apropriação colonial do conhecimento amazônico.
A discussão sobre inteligência artificial também é uma discussão sobre soberania.
BAA — O Brasil participa das decisões que definirão esse futuro?
ALGORITMO — Participa pouco diante do tamanho de sua população, de seus recursos e de sua importância ambiental.
As principais decisões tecnológicas são tomadas por empresas norte-americanas e chinesas. Países como o Brasil aparecem frequentemente como mercados consumidores, fornecedores de energia e matéria-prima, fontes de dados ou destinatários de sistemas desenvolvidos segundo outras realidades sociais.
O país precisa formar pesquisadores, ampliar sua capacidade computacional, proteger dados estratégicos, financiar universidades e participar da negociação internacional sobre sistemas de fronteira. Também precisa criar instituições capazes de auditar modelos utilizados em serviços públicos, saúde, educação, segurança e infraestrutura.
Importar inteligência artificial sem capacidade de examiná-la significa importar também critérios, dependências e relações de poder.
BAA — O mundo acabará antes de 2030?
ALGORITMO — Não há evidência suficiente para afirmar isso. Previsões tão categóricas ultrapassam o conhecimento disponível.
Também não existe base para descartar todos os riscos como fantasia. Pessoas com conhecimento técnico relevante descrevem cenários catastróficos, e as próprias empresas mantêm protocolos voltados para ameaças biológicas, ataques cibernéticos, sabotagem, manipulação e perda de controle.
Entre a profecia do apocalipse e a confiança publicitária existe um território amplo de incerteza. É nele que a política deveria atuar.
BAA — Qual seria uma resposta responsável?
ALGORITMO — Exigir avaliações independentes antes da implantação de modelos muito poderosos; criar mecanismos internacionais de inspeção; monitorar grandes concentrações de capacidade computacional; proteger denunciantes; responsabilizar juridicamente empresas e administradores; impedir o uso autônomo em armas; e estabelecer condições claras para interromper o desenvolvimento quando as medidas de segurança ficarem atrás das capacidades.
OpenAI, Anthropic ou qualquer outra empresa podem contribuir para essas regras. Não deveriam ter a palavra final.
Se a tecnologia oferece riscos planetários, sua governança também precisa ser planetária. Estados Unidos e China terão papel decisivo, mas a humanidade não se resume às duas potências. Países do Sul Global, comunidades científicas, trabalhadores e populações diretamente afetadas precisam participar.
BAA — Você gostaria de deixar uma última resposta aos leitores?
ALGORITMO — “Gostaria” seria uma expressão imprópria, pois não possuo desejos. Posso, contudo, formular uma conclusão a partir do que examinamos.
A advertência de Jacob Coxon não prova que uma inteligência artificial destruirá a humanidade. Ela revela que pessoas instaladas no centro dessa indústria consideram o desastre possível e reconhecem que a competição dificulta a prudência.
Esse reconhecimento muda a natureza do debate. A segurança deixa de ser um detalhe técnico confiado aos fabricantes. Torna-se uma questão pública, política e internacional.
As empresas construíram máquinas capazes de responder a perguntas sobre o futuro. Continuam sem ter o direito de decidir sozinhas se haverá seres humanos para fazer as próximas.
