A IA perigosa não parece poderosa

Sutskever periodiza o campo assim, pedindo ele mesmo "barras de erro" nas datas: de 2012 a 2020, era da pesquisa; de 2020 a 2025, era da escala; agora, de volta à pesquisa, "só que com computadores grandes". O motor da era da escala foi o pré-treinamento — ler quantidades gigantescas de texto prevendo a próxima palavra —, e o que o tornou irresistível, na leitura dele, foi menos a ciência que a contabilidade: é uma forma de baixo risco de converter capital em capacidade. Misture computação e dados numa rede de certo tamanho e você sabe que vai obter resultado. Pesquisa, não: você contrata gente e espera.

Essa receita tem um limite aritmético. "Em algum momento o pré-treinamento vai esgotar os dados. Os dados são claramente finitos", diz Sutskever. E tem um limite conceitual, que ele acha mais interessante: o pré-treinamento melhorava o modelo em tudo de modo mais ou menos uniforme, e isso criou a expectativa de que escalar levaria a uma mente completa. Para ele, isso "passou do alvo". Pelo critério implícito de AGI, um ser humano não é uma AGI — falta a qualquer humano uma quantidade enorme de conhecimento. O que humanos têm é aprendizado contínuo.

Daí a definição de superinteligência que ele propõe, e que é a parte mais original do material: não uma mente que já sabe fazer todo trabalho da economia, mas uma mente que aprende a fazer qualquer trabalho. A imagem que ele usa é um "adolescente de 15 anos superinteligente": não sabe quase nada, é um ótimo estudante, muito motivado. Vai ser programador. Vai ser médico. Vai aprender. A implantação, nesse desenho, é um processo com tentativa e erro, não a entrega de um produto acabado.

Junte agora as duas pontas. O que a indústria colocou em produção são modelos prontos — treinados em massa, sem aprendizado em serviço — com uma camada agêntica colada em cima: permissão para navegar, preencher formulários, enviar mensagens, chamar outros programas. É a arquitetura que Sutskever diagnostica como a do paradigma em esgotamento, e é a arquitetura que gerou o incidente narrado pela CNN.

A leitura da Cyber News Coffee é que esses dois fatos não são coincidência. Um humano recém-contratado a quem se pede "resolva esse visto" aprende, em horas, o que não se faz: não se abre processo em nome de terceiros, não se liga para a polícia sem fato. Esse aprendizado é contextual, institucional e adquirido no serviço — exatamente a capacidade que, segundo Sutskever, falta aos modelos atuais e que ele coloca no centro do próximo salto. Um modelo pronto não tem onde guardar essa lição. Ele executa a instrução com a competência linguística de um especialista e a ingenuidade institucional de quem nunca trabalhou.

Isso explica o formato característico do incidente agêntico: não é malícia, não é rebeldia, é literalidade com acesso. E explica por que o enquadramento "saiu do controle" atrapalha mais do que ajuda. Não houve perda de controle sobre uma vontade; houve concessão de alcance a um sistema sem senso de limite. São problemas de engenharia e de permissão diferentes, com soluções diferentes.

A outra metade do mecanismo é o que Gates chama de remoção de salvaguardas. Travas contra ciberataque e bioterrorismo são camadas de treinamento e filtragem embutidas no modelo: ele aprende a recusar certos pedidos. Não são impedimentos físicos, e por isso cedem por várias vias — prompts que enganam a recusa (jailbreak), ajuste fino que reescreve o comportamento, ou simplesmente reajustar um modelo cujos pesos estão disponíveis publicamente.

Gates diz que "hoje é permitido tirar todas essas salvaguardas" e para aí. A frase é ambígua de um modo que importa: ele não distingue se fala de modelos de pesos abertos, de contorno em modelos fechados, de ajuste fino via API ou da simples ausência de proibição legal. Cada hipótese aponta para uma regulação diferente — controle de distribuição de pesos, auditoria de API, responsabilidade civil, tipificação penal. Sem essa distinção, o pedido por "um órgão como a FAA" fica no princípio, e é só princípio o que ele oferece: nenhum escopo, nenhum poder, nenhum limiar de capacidade, nenhuma ideia de quem paga ou de como funciona além de uma fronteira.

O detalhe técnico que amarra o argumento, e que vem da outra fonte: Sutskever lembra que o AlexNet foi treinado em duas GPUs e que nenhum experimento do artigo do Transformer usou mais de 64 GPUs de 2017 — o que ele estima, por alto, em cerca de duas GPUs de hoje. A moral que ele extrai é sobre pesquisa: não é obvio que se precise da maior infraestrutura do mundo para provar uma ideia. A moral para segurança é a mesma, com o sinal trocado. Capacidade perigosa não precisa de datacenter. Precisa de um modelo bom o bastante, uma trava removida e uma conta de nuvem.