"Moralmente vinculante"

A arquitetura descrita por Zuckerberg tem três camadas: revisão interna de risco, avaliadores externos e supervisão do conselho. Cada uma delas existe de fato na prática da indústria, e cada uma tem um limite conhecido.

A revisão interna de risco costuma significar avaliações de capacidade perigosa antes do lançamento: testar se um modelo consegue dar assistência útil na síntese de agentes biológicos, escalar privilégios em sistemas computacionais, conduzir operações de engenharia social autônomas. É trabalho sério, e as empresas da fronteira o fazem. Mas é a própria empresa que define o limiar a partir do qual o resultado é considerado inaceitável, e é ela que decide o que fazer quando o limiar é ultrapassado — tipicamente, adicionar mitigações e lançar assim mesmo.

Os avaliadores externos — em inglês, red teamers e third-party evaluators — são contratados para atacar o modelo de fora, buscando comportamentos que a equipe interna não encontrou. O problema estrutural aqui não é de competência, é de incentivo: o auditor é escolhido, contratado e pago pelo auditado, e o acesso técnico de que ele precisa (pesos do modelo, versões sem mitigação, logs) é concedido pelo auditado. O mercado financeiro já viveu esse filme duas vezes, com a auditoria contábil antes da Enron e com as agências de classificação de risco antes de 2008: em ambos os casos, avaliadores privados pagos pelos avaliados emitiram notas favoráveis até o momento em que o colapso as desmentiu. Auditoria externa sem mandato legal, sem poder de embargar um lançamento e sem publicação obrigatória dos resultados é um serviço de consultoria com outro nome.

A terceira camada é a mais frágil. Conselhos de administração revisarem relatórios de auditoria é boa governança corporativa, mas conselho responde a acionista. O dever fiduciário de um conselho é com o valor da companhia, não com o interesse público. Quando os dois colidem — e o caso da própria OpenAI em 2023 mostrou o que acontece quando colidem —, a estrutura societária decide quem ganha.

O que falta, em suma, é a peça que define regulação: uma autoridade externa com poder de exigir informação, verificar a resposta e impor consequência. Mike Johnson argumenta que ela já existe, na forma de leis de responsabilidade por produto — "há leis de responsabilidade por produto que se aplicam e um labirinto de regulações federais sobre tudo isso", disse à Fox Business. É um argumento respeitável e insuficiente: responsabilidade por produto age depois do dano, exige nexo causal demonstrável entre um produto e um prejuízo concreto e funciona mal com danos difusos, estatísticos ou de longo prazo. Serve para um carro com freio defeituoso. Serve mal para um sistema cujo risco alegado é sistêmico.

Nenhum sistema conectado à internet é imune a invasão; a afirmação não é otimista, é categórica e falsa. Mas um portal governamental construído sobre modelos de linguagem traz uma superfície de ataque própria, mais sutil que a invasão clássica.

A primeira é a injeção de prompt (prompt injection). Modelos de linguagem não distinguem, de forma confiável, entre a instrução dada pelo operador e o texto que encontram enquanto trabalham. Se o chatbot busca informação em páginas de agências federais para compor a resposta — arquitetura conhecida como RAG, geração aumentada por recuperação —, um trecho de texto malicioso plantado em um documento indexado pode ser lido pelo modelo como ordem. É o tipo de ataque que não deixa rastro de intrusão: ninguém invadiu servidor nenhum, apenas escreveu no lugar certo. Em sistemas com acesso a dados de usuário, isso vira exfiltração; em sistemas de atendimento, vira desinformação com carimbo oficial.

A segunda é a alucinação — a tendência de um modelo de gerar afirmações plausíveis e falsas, porque sua função é prever a continuação mais provável de um texto, não consultar uma verdade. Em um chatbot de entretenimento, é um incômodo. Em um portal que responde sobre elegibilidade para Medicare, prazos de restituição de imposto ou status migratório, cada alucinação é um cidadão agindo errado com base em informação que o governo lhe deu. E, como o modelo escreve com a mesma fluência quando acerta e quando erra, o usuário não tem sinal para distinguir os dois casos.

A terceira é de arquitetura: rodar sobre dois modelos de fornecedores diferentes significa que o comportamento do portal muda quando qualquer um deles atualiza seus pesos ou seus filtros, sem aviso e sem controle do governo. Um serviço público cujo conteúdo muda porque um fornecedor lançou uma versão nova é um serviço público sem versionamento — algo que nenhuma agência aceitaria em um formulário impresso e que se tornou rotineiro em software generativo.

Existem mitigações conhecidas para tudo isso: restringir o modelo a respostas extraídas de uma base curada e citar a fonte de cada afirmação, exigir confirmação humana em qualquer orientação com efeito jurídico, registrar e auditar as respostas, publicar taxas de erro medidas. Nenhuma delas foi mencionada no lançamento.

Vale desembrulhar os dois termos que o dia colocou em circulação, porque eles têm significado técnico preciso e foram usados de forma frouxa.

Superinteligência designa, na literatura de segurança de IA, a hipótese de um sistema que supere amplamente a capacidade humana em praticamente todas as tarefas cognitivas. É uma hipótese sobre um sistema futuro, não um nome para a tecnologia existente. Rebatizar por ordem executiva a "inteligência artificial" — que inclui o corretor ortográfico do celular e o classificador de spam do e-mail — como "superinteligência" apaga exatamente a distinção que o campo passou vinte anos construindo. O efeito prático é retórico nos dois sentidos: inflaciona o que já existe e, ao mesmo tempo, esvazia a palavra que o debate usava para falar de risco catastrófico. Quando tudo é superinteligência, nada é.

Autoaperfeiçoamento recursivo (RSI, na sigla em inglês) é o mecanismo específico por trás dos alertas que a NBC descreve como cada vez mais altos e frequentes: um sistema que consegue melhorar a si mesmo — projetar a próxima versão de si, otimizar seu próprio treinamento, escrever o código do sucessor — cria um laço de realimentação em que cada geração é mais capaz de produzir a seguinte. A preocupação não é a ficção do robô que desperta, e sim a velocidade: se o ciclo ficar mais rápido que o tempo humano de avaliar e intervir, a supervisão deixa de ser possível por uma razão aritmética, não filosófica. É um cenário contestado e longe de consenso científico, mas é o cenário concreto ao qual Amodei, Altman e o denunciante da Anthropic se referem — e ao qual Trump respondeu chamando os cenários apocalípticos de "fraude".

A pergunta técnica que o acordo deixa em aberto é justamente essa: um regime de auditoria baseado em revisão de relatórios por conselhos de administração opera em ciclos de meses. O risco que ele alega endereçar opera, por hipótese, em ciclos muito mais curtos. A ferramenta de governança e o problema que ela promete resolver estão em escalas de tempo diferentes.