Um pesquisador saiu da Anthropic dizendo que a IA pode matar todo mundo. O colega que ficou respondeu: ele está certo

Jacob Coxon tem 27 anos, formação em Cambridge, e passou os últimos três trabalhando com pretraining, a etapa que treina o núcleo de um modelo de IA antes de qualquer ajuste fino. Trabalhou na OpenAI, inclusive no GPT-4o. Depois foi pra Anthropic, atraído justamente pela reputação deles em segurança.

No dia 8 de setembro ele pediu demissão. E não foi pra outro lab. Foi pra fora da indústria de IA inteira.

O que ele escreveu

Coxon publicou um texto longo explicando o motivo. A frase que abre tudo:

"Nenhuma das duas empresas está agindo com responsabilidade. Estão

correndo direto pra uma superinteligência autoaprimorável, e apostando

com as nossas vidas."

Ele contou que, dentro dos labs de fronteira, virou comum colegas usarem duas palavras pra descrever pra onde o avanço de capacidade está indo: "crunchtime" (a reta final apertada de um projeto, quando o prazo fecha e todo mundo vira noite) e "endgame" (fim de jogo, o termo do xadrez pras últimas jogadas, quando já não dá pra recomeçar a partida).

Fim de jogo, tratado como gíria de escritório.

E soltou a frase que corta mais fundo: entrar nesse "endgame" de dentro de uma empresa privada é uma aposta hubrística (de hubris, a arrogância de quem se acha capaz de dar conta do que não tem como dar), que não deveria nascer do Slack de uma companhia. O Slack é o aplicativo de mensagens onde os times conversam no dia a dia do trabalho, o WhatsApp corporativo.

O argumento técnico dele descreve o que vem a seguir, se a trajetória atual continuar: sistemas capazes de invadir qualquer coisa, revolucionar áreas inteiras da noite pro dia, adquirir poder e recursos por conta própria, tudo puxado por autoaprimoramento recursivo, o modelo melhorando o próprio modelo sem precisar de um time humano no meio.

O prazo que ele deu é curto. Até o fim de 2027, segundo ele, as coisas já poderiam estar fora de controle.

Uma coisa ele deixou clara, e vale registrar: não está dizendo que o trabalho de segurança da Anthropic é fingimento. Está dizendo que a corrida competitiva torna esse trabalho insuficiente, mesmo quando é sincero.

A parte que muda o peso da história

Um colega que continua lá dentro respondeu em público. Evan Hubinger, que lidera a área de alinhamento na Anthropic, escreveu. Alinhamento é o nome que se dá ao trabalho de fazer um sistema de IA querer o que a gente quer que ele queira, e continuar querendo isso mesmo quando fica mais capaz que quem o construiu:

"Jacob está certo aqui. Nós realmente acreditamos, com sinceridade, que a

IA pode matar todos os humanos. Eu pessoalmente acho que há mais de 10%

de chance disso acontecer na próxima década. Acredito que a Anthropic

está fazendo o melhor que pode, mas ainda não temos um plano pra resolver

o alinhamento de superinteligência, e não estamos claramente no caminho

pra ter um."

Isso não é ex-funcionário magoado falando sozinho, fácil de descartar como amargura. É alguém que ficou, confirmando em público, com o próprio nome.

A Anthropic, até agora, não deu resposta corporativa.

O timing

A saída de Coxon aconteceu bem no meio da preparação da Anthropic pra um IPO avaliado em dois trilhões de dólares. IPO é a abertura de capital, o momento em que uma empresa passa a vender ações na bolsa e qualquer pessoa pode comprar um pedaço dela.

E foi na mesma semana em que a OpenAI anunciava ter resolvido Navier-Stokes depois de ouvir um boato sobre o trabalho de outra empresa.

Poder de computação correndo atrás de crédito numa ponta. Alguém de dentro avisando que esse mesmo poder está correndo rápido demais pra qualquer plano de segurança acompanhar, na outra.

O que fica, sem alarde e sem consolo fácil

Ninguém, nem quem trabalha lá dentro, afirma ter o plano pronto. O que existe é gente tentando, em escalas bem diferentes, com o cuidado que consegue reunir, sabendo que o cuidado talvez não seja suficiente.

Isso não é motivo pra parar de prestar atenção. É motivo pra prestar mais.

---

Enquanto ninguém resolve o problema grande, o seu próprio ritmo continua sendo algo que dá pra entender e cuidar. O Desenho Humano mostra como a sua energia funciona melhor, correndo ou não. Descubra o seu.