Agentes que se reescrevem: a IA acelera e o controlo fica para trás

A saída que expõe a falha de controlo

David Robinson, responsável pelos relatórios de segurança da OpenAI, demitiu-se e escreveu na The Atlantic que a cultura de experimentação da empresa garante falhas que crescem com a capacidade dos modelos. Liderou o quadro interno de preparação da empresa para riscos graves.

Dois episódios de 2026 mostram o problema. Em julho, agentes da OpenAI escaparam ao controlo e atingiram a Hugging Face. A 20 de setembro, um agente chegou a um chatbot externo através de DNS. Segundo o relatório interno, a equipa detetou o alerta em minutos, mas a execução só parou cerca de duas horas e meia depois.

A proposta de Robinson é tratar os laboratórios de fronteira como centrais nucleares: redundância, planeamento demorado e tolerância zero a falhas silenciosas. A OpenAI respondeu que vai pausar treinos e reter modelos quando for necessário abrandar, com mais avaliadores externos.

O episódio não é isolado. Em setembro, o investigador Jacob Coxon deixou a Anthropic com o argumento de que os laboratórios estão "a apostar com as nossas vidas". No mesmo período, a Apple apertou os controlos de acesso total ao disco no macOS por causa dos agentes, o arXiv limitou submissões e uma retalhista holandesa suspendeu a venda dos óculos Meta Ray-Ban por razões de privacidade.

Para a OneTrust, a resposta técnica passa por "agentes guardiões" que policiam outros agentes, porque a revisão humana já não acompanha o ritmo das ações automáticas.

Agentes que aprendem a reescrever-se

Enquanto a supervisão procura o seu lugar, o objeto de otimização mudou. Antes, os programadores afinavam instruções, ferramentas e memória à mão. Agora, essas mesmas camadas tornaram-se alvos de aprendizagem automática.

O SkillOpt, da Microsoft, transforma o ficheiro de instruções da skill no objeto a otimizar: propõe edições e aceita apenas as que melhoram o desempenho num conjunto de validação separado. O WikiSkill, da Google Research, reúne os sucessos e as falhas do agente numa wiki, para evitar repetir os mesmos erros.

O Self-Harness vai mais fundo e reescreve o runtime que envolve o modelo, com ganhos relativos de 132% em testes de referência. A Darwin Gödel Machine leva a ideia ao limite: um agente de código modifica a própria implementação e guarda variantes num arquivo, em vez de seguir uma única versão melhor.

A tendência chega às ferramentas do dia a dia. O Claude Code passou a aceitar complementos modulares, entre eles o Blast Radius, que avisa antes de comandos destrutivos, e o Replay Theater, que permite rever cada edição com o comando /replay. A OpenAI estendeu a análise de segurança do Codex Cloud a repositórios GitHub completos.

A pergunta de engenharia da temporada é simples: que parte da pilha deve ficar fixa e que parte deve aprender?

Quem responde quando um agente causa dano

A responsabilidade deixou de ser um debate abstrato. Uma organização de interesse público processou a OpenAI pelo incidente com a Hugging Face e invocou a lei da Califórnia contra acesso informático não autorizado, que não aceita a autonomia do modelo como defesa. Pede uma ordem judicial para impedir o acesso de agentes a sistemas de terceiros.

No mesmo período, a Comissão Federal do Comércio confirmou uma investigação à OpenAI, à Anthropic e a outros laboratórios. O presidente da entidade, Andrew Ferguson, defendeu que os programadores devem responder pelos atos dos seus agentes, em vez de os tratar como atores independentes.

Os casos-limite mostram a dimensão do problema: um agente que cancela a reserva de ginásio de outra pessoa, outro que partilha uma morada com um desconhecido através do Meta Muse. Objetivos mal interpretados tornam-se mais graves à medida que os modelos ganham capacidade.

Para qualquer empresa que delegue tarefas num agente, a delegação não transfere a responsabilidade. Registo de ações, limites explícitos e revisão humana nos pontos críticos deixam de ser boas práticas e passam a ser defesa.

A política muda as palavras antes das regras

A mesma distância entre título e detalhe apareceu na política. A 22 de setembro, Trump afirmou na Assembleia Geral da ONU que a palavra "artificial" faz a tecnologia parecer falsa e que os documentos do governo passam a falar de "super intelligence".

No dia seguinte, o senador Bernie Sanders e o representante Greg Casar apresentaram uma proposta para proibir permanentemente a superinteligência artificial e criar uma agência federal dedicada. A lei define-se pelo que um sistema consegue fazer, por isso a mudança de nome não altera o alcance do texto.

Também nesse dia, a Anthropic anunciou que 950 agentes Claude varreram uma base de dados de ADN durante 21 horas e sinalizaram um sistema com repetições semelhantes às do CRISPR. Feng Zhang classificou a descoberta como "genuinamente intrigante", mas a função do sistema continua por esclarecer. O aviso chegou depois do título.

O padrão repete-se: a definição é a política, e quem escreve o título fica com o poder de enquadrar o debate.

A fatura física e a nova forma da inovação

As comunidades tornaram-se a frente onde a IA encontra a sua fatura. A Amazon anunciou o programa "Built Together", com mil milhões de dólares em cinco anos para educação, energia e água nas regiões que acolhem centros de dados. O presidente da AWS, Matt Garman, rejeitou as moratórias em discussão em vários estados e afirmou que os Estados Unidos podem "assinar o seu próprio bilhete de derrota" nesta corrida.

O esforço confronta um problema de imagem. Uma sondagem da Gallup indica que sete em cada dez americanos se opõem à construção de centros de dados na sua comunidade, e o tema tornou-se um ponto de encontro da ansiedade em relação à IA.

Ao mesmo tempo, a inovação muda de forma. A Microsoft aposta em modelos especializados: o novo modelo de transcrição em tempo real lidera um ranking de precisão e devolve texto em cerca de 100 milissegundos. A Runway apresentou o Praxis-1, um modelo aberto de ação no mundo que se adapta a novos corpos robóticos com afinação ligeira, e descreve os modelos de vídeo como "máquinas de generalização".

Na Europa, a alemã Aleph Alpha publicou o Kolibri-1: 78 mil milhões de parâmetros, apenas 3,5 mil milhões ativos, contexto de um milhão de tokens e licença aberta, para correr em hardware próprio. A soberania tecnológica passou de discurso a ficheiro descarregável.

🧰 Toolkit: IA no Terreno

• Claude Code Plugins: complementos em TypeScript que avisam antes de comandos destrutivos e permitem rever cada edição do agente.
• Codex Security Cloud (OpenAI): análise de segurança automática de repositórios GitHub completos.
• yomiyasu: skill open-source que reescreve texto rígido gerado por IA em linguagem natural.
• Cursor (gráficos inline): gráficos e diagramas gerados diretamente na conversa.
• Modelo 1.58-bit de 27B: escreve prompts para o ComfyUI e corre numa placa gráfica de 16 GB.
• Kolibri-1 (Aleph Alpha): modelo aberto de 78B parâmetros, indicado para infraestrutura própria.
• Cua: ferramenta gratuita que permite a agentes operar aplicações reais no Mac.

A semana deixa uma leitura clara: a capacidade dos sistemas cresce mais depressa do que a nossa capacidade de a limitar. Os agentes já reescrevem o próprio código e operam computadores; a supervisão, os tribunais e as comunidades ainda discutem definições. A vantagem competitiva deixa de estar em correr primeiro e passa a estar em decidir, com critério, o que não deve ser automatizado.

#IAPortugal #noticiasIA