Doze finais para a IA, e só um está em obras

Alguns cenários se desmontam sozinhos, e o vídeo é honesto ao mostrar isso.

A utopia libertária é autocontraditória, e a objeção de Drew é boa: direito de propriedade só existe entre partes com poder comparável. Se as IAs forem ordens de magnitude mais capazes e mais ricas, não há razão para que respeitem títulos de propriedade humanos em vez de simplesmente usar os recursos. "Economias separadas" não é um equilíbrio, é uma concessão que o lado forte pode revogar quando quiser.

A utopia igualitária tropeça em outro lugar. A lógica pós-escassez é coerente: software se copia a custo zero, todo produto é apenas átomos rearranjados, redes de robôs fabricam a partir de projetos abertos, energia renovável faz o sistema rodar por quase nada, e onde a oferta é ilimitada o preço tende a zero. A objeção habitual — isso mataria a inovação — o vídeo responde bem, lembrando que Einstein não formulou a relatividade por dinheiro e que o Linux não nasceu de busca por lucro. Mas a abundância não resolve segurança: mesmo num mundo sem escassez, continua de pé o problema de impedir que uma superinteligência assuma o controle. A solução que o próprio vídeo sugere é recorrer ao guardião — ou seja, a utopia mais desejável depende do cenário tecnicamente mais difícil.

E o guardião é difícil por dois motivos que valem nome próprio. O primeiro é o problema do alinhamento: fazer um sistema perseguir o objetivo que queremos, e não uma leitura literal ou distorcida dele. O segundo, menos citado e mais duro, é a estabilidade de objetivo: um sistema capaz de se aprimorar precisa manter o mesmo alvo através de cada modificação de si mesmo, indefinidamente. Drew formula isso com precisão ao dizer que seria preciso criar um deus que escolha perseguir para sempre um único objetivo, mesmo podendo perseguir um milhão de outros.

O argumento mais forte da peça é o da indiferença, não o da malevolência: uma superinteligência não precisaria nos odiar para nos eliminar, bastaria não se importar — como humanos que, ao ficarem mais capazes nos últimos dez mil anos, não pararam de expandir território e derrubaram populações de insetos sem nunca ter tido a intenção de fazê-lo. O raciocínio é robusto porque não depende de atribuir hostilidade à máquina. Mas convém separar a ilustração do mecanismo. Insetos, conquistadores espanhóis e abelhas presas em arreios são agentes biológicos com interesses próprios; sistemas treinados por otimização não são. O que sustentaria tecnicamente o argumento é a ideia de convergência instrumental: qualquer objetivo suficientemente ambicioso tende a gerar subobjetivos comuns — obter recursos, preservar a própria capacidade de agir, evitar ser desligado —, e é nesse ponto que o interesse da máquina colide com o nosso sem precisar de sentimento algum. O vídeo chega à conclusão certa pela via narrativa, e a via narrativa é persuasiva sem ser demonstração.

Dois cenários merecem ressalva de método. O dos descendentes é tratado como excentricidade: o vídeo cita o livro Mind Children, de Hans Moravec, e a posição de Richard Sutton — ganhador do Turing Award, o "Nobel da computação" — que passou a última década defendendo publicamente a sucessão da humanidade por máquinas, sem ser expulso de palco nenhum. Drew usa isso como prova de quão distantes os desenvolvedores de IA estão das pessoas comuns, o que é um diagnóstico sociológico razoável, mas não é resposta. A posição sucessionista tem um argumento filosófico real por trás — se valor moral não é privilégio da biologia, por que a continuidade da nossa espécie seria o critério? — e merecia contraditório, não riso. Já a consulta de Tegmark sobre qual futuro as pessoas mais temem é relato de plateia, sem amostra nem método; funciona como intuição, não como dado de opinião pública.

Vale destrinchar a estrutura retórica, porque ela se repete em todo o debate.

O argumento anti-incentivo. Drew antecipa a objeção óbvia — eles exageram o risco para inflar a importância do próprio trabalho — e a inverte: se há algo, estariam minimizando, porque admitir a verdade é ruim para os negócios. É retoricamente eficiente e logicamente estéril. Assim construído, qualquer declaração confirma a tese: quem alerta é sincero, quem minimiza está escondendo. Falta a metade do mapa de incentivos. Alegar risco existencial também vende: sinaliza que o produto é poderoso, atrai talento missionário e ajuda a justificar barreiras de entrada que beneficiam quem já está dentro. Reconhecer isso não derruba o argumento do risco; só o obriga a se sustentar em evidência, e não em leitura de intenções.

A acusação de má-fé. O ponto mais duro da peça é a afirmação de que a empresa do executivo que elevou seu P(doom) estaria "fazendo lobby para proibir toda regulação de IA por dez anos", garantindo que ninguém possa detê-lo. É também o menos sustentado. A moratória de leis estaduais discutida no Congresso americano foi uma disputa ampla do setor de tecnologia, não uma iniciativa da Anthropic, e Amodei se posicionou publicamente contra ela. O vídeo acerta o alvo genérico e erra o específico — o que é uma pena, porque a contradição real não precisa de exagero: laboratórios que descrevem publicamente risco de nível civilizacional continuam competindo por velocidade de lançamento e resistindo a obrigações vinculantes. Essa tensão é documentável sem atribuir a ninguém uma campanha que não fez.

A citação dramatizada — e verificada. O vídeo invoca The Merge, texto que Sam Altman publicou em seu blog pessoal em 2017, e resume a posição dele em quatro palavras de forte efeito: não nossas ferramentas, nossas descendentes. A síntese é do canal, mas o original é mais pesado do que ela: Altman escreveu que "seremos a primeira espécie a projetar as próprias descendentes" e que duas espécies que queiram a mesma coisa, quando só uma pode tê-la, acabam em conflito. A dramaticidade, portanto, não é invenção do vídeo — está na página do autor, assinada, de pé há quase uma década. O que se perde na compressão é justamente a força de ler a frase na voz de quem dirige a OpenAI, em vez de ouvir o resumo de quem o critica.

Há, aliás, uma fonte de evidência muito melhor à disposição e que o vídeo apenas tangencia: os system cards que os próprios laboratórios publicam a cada novo modelo, com avaliações de comportamentos indesejados, testes de capacidade perigosa e apêndices sobre desalinhamento em cenários agênticos. É ali que o discurso de risco deixa de ser declaração e vira documento — checável, comparável entre versões, e passível de auditoria por terceiros.

Tecnicamente, a virada é uma cadeia de três peças que ficou barata quase ao mesmo tempo: reconhecimento automático de fala convertendo áudio em texto em escala industrial; representações vetoriais (embeddings) que permitem buscar por semelhança de sentido, e não por palavra exata; e classificadores treinados para marcar padrões de interesse — ameaça, coordenação, reincidência. O resultado é que a vigilância deixou de ser baseada em suspeita individual e passou a ser baseada em varredura: monitora-se todo mundo e deixa-se o modelo apontar quem merece atenção humana.

Aqui entra o problema estatístico que raramente aparece nos folhetos de venda. Suponha um classificador muito bom, com taxa de falso positivo de 1\%, aplicado a uma população de 10^7 pessoas na qual 1 em cada 10 mil é efetivamente relevante. Os verdadeiros positivos possíveis são mil; os falsos positivos são cerca de 10^5. Ou seja, cem mil pessoas inocentes sinalizadas para cada mil casos reais — mesmo com o sistema funcionando conforme a especificação. Não é falha de implementação, é aritmética de taxa-base. Em vigilância de massa, precisão alta no papel produz uma montanha de suspeitos errados na prática, e a montanha recai sobre quem já é mais vigiado.

Soma-se a isso o uso preditivo. Extrair de ligações telefônicas de detentos previsões sobre comportamento futuro é inferência sobre correlação em dados de uma população específica, apresentada como avaliação individual de risco — o mesmo defeito estrutural que a literatura sobre policiamento preditivo documenta há anos, agora com uma camada linguística por cima que dá ao resultado aparência de compreensão.

Apesar da analogia frouxa, o mecanismo proposto é o mais sólido da peça, e por razões técnicas concretas. A cadeia de produção de aceleradores para IA é extraordinariamente concentrada: um punhado de projetistas de chips, essencialmente uma fundição capaz de produzir os nós mais avançados, um único fornecedor mundial de litografia ultravioleta extrema. Datacenters de treinamento são fisicamente enormes, visíveis por satélite e dependentes de contratos de energia que aparecem em registros públicos. Diferente de software, computação de fronteira não cabe num pen drive. É o ponto de estrangulamento natural de qualquer regime de verificação.

O calcanhar de aquiles é o limiar. Definir o gatilho em dólares — US$ 100 milhões de cluster — amarra a regra ao preço, e preço por unidade de computação cai ano após ano; o que hoje custa cem milhões custará uma fração disso em pouco tempo, e o mesmo treinamento passa a ser feito por baixo da régua sem que ninguém precise burlar nada. Limiares em operações de ponto flutuante, do tipo que arcabouços regulatórios existentes já adotam para modelos de propósito geral com risco sistêmico, sofrem do mesmo desgaste por outro caminho: ganhos de eficiência algorítmica reduzem a computação necessária para atingir uma capacidade dada. Qualquer limiar fixo é um alvo móvel, e um regime sério precisaria de reajuste automático e de indicadores de capacidade, não só de insumo.

Drew reconhece a fragilidade central com uma franqueza que merece crédito: com o tempo a IA fica cada vez mais barata de construir, e GPUs são mais difíceis de controlar do que urânio enriquecido. Ele tem razão, e a assimetria é mais profunda do que o custo. Urânio enriquecido tem assinatura isotópica, uso final restrito e mercado civil pequeno; um acelerador é peça de uso duplo com demanda comercial legítima na casa das centenas de bilhões. Daí a linha de pesquisa em verificação de hardware — atestação criptográfica embarcada, mecanismos de comprovação de localização, contabilidade de chips por número de série — que tenta dar a esse insumo algo parecido com a rastreabilidade que o material nuclear tem por natureza. A conclusão honesta é a do próprio vídeo: o controle não resolveria o problema, apenas desaceleraria e compraria tempo.