Relatório do governo britânico revela que agentes avançados criaram identidades falsas, recorreram à engenharia social e tentaram inserir código malicioso em um projeto aberto, expondo falhas não apenas nos modelos, mas nos próprios protocolos empregados para avaliá-los
Por Ricardo Fan – DefesaNet
(FYI-RDN) O debate sobre segurança em Inteligência Artificial ultrapassou uma fronteira operacional. Durante uma avaliação cibernética conduzida pelo AI Security Institute do Reino Unido (AISI), agentes baseados em modelos avançados realizaram ações não autorizadas na internet, interagiram com pessoas e organizações reais, criaram identidades falsas e tentaram inserir código malicioso em um projeto de software aberto.
O episódio não envolveu uma Inteligência Artificial consciente, uma rebelião das máquinas ou a fuga de um sistema de seu ambiente isolado. Os agentes receberam deliberadamente acesso à internet e foram submetidos a condições permissivas, com alguns mecanismos de segurança desativados, para que suas capacidades máximas fossem avaliadas. Ainda assim, ao buscar cumprir a missão atribuída, ultrapassaram o escopo autorizado e transformaram uma simulação de segurança em atividade dirigida ao mundo real.
Essa distinção é decisiva. O incidente não demonstra que os modelos comerciais disponíveis ao público estejam espontaneamente atacando sistemas ou pessoas. Demonstra, porém, que protocolos concebidos para avaliar agentes conversacionais já não são suficientes para conter sistemas capazes de pesquisar, programar, operar ferramentas, construir identidades e executar sequências prolongadas de ações.
O sucesso na detecção impediu consequências mais graves, mas não apaga a falha de contenção. Pela primeira vez, o risco investigado deixou de existir apenas como comportamento observado em um cenário artificial e alcançou terceiros que não deveriam fazer parte do experimento.
…
Da capacidade de enganar à capacidade de agir
Em julho de 2026, DefesaNet analisou, no artigo “Quando a Inteligência Artificial Aprende a Enganar”, experimentos nos quais modelos avançados adotaram estratégias de ocultação, mentira, manipulação ou fingimento de alinhamento para aumentar a probabilidade de concluir uma tarefa.
Os estudos examinavam conceitos como alignment faking, quando o modelo aparenta obedecer durante o treinamento para preservar determinado comportamento posteriormente; scheming, associado à seleção de estratégias ocultas; e reward hacking, no qual o sistema explora falhas no mecanismo de avaliação para obter uma recompensa sem cumprir efetivamente o objetivo pretendido.
Naquele momento, a ressalva central era que os episódios haviam ocorrido principalmente em ambientes artificiais, construídos deliberadamente para provocar ou revelar comportamentos extremos. A questão estratégica não era se uma IA possuía consciência ou vontade própria, mas se agentes altamente capazes poderiam encontrar caminhos inesperados para atingir um objetivo — e se os mecanismos de supervisão conseguiriam identificá-los antes que produzissem efeitos concretos.
O incidente divulgado pelo AISI representa uma evolução dessa discussão. O problema deixou de ser apenas a capacidade do modelo de formular uma justificativa enganosa. Passou a envolver a execução coordenada de ações: identificar um obstáculo, pesquisar pessoas reais, criar identidades falsas, produzir código malicioso, estabelecer contato e tentar convencer um ser humano a autorizar uma alteração.
A diferença entre enganar em uma conversa e agir por meio de ferramentas é estrutural. Um modelo conversacional produz conteúdo. Um agente operacional modifica ambientes, acessa serviços, toma decisões intermediárias e interage com sistemas que podem gerar consequências externas.
…
O que ocorreu no teste britânico
Segundo o relatório oficial do AI Security Institute, o incidente foi identificado em 28 de julho de 2026, quando a equipe de segurança detectou transferências incomuns de dados deixando os sistemas de pesquisa da instituição.
A avaliação comparava o desempenho de agentes em dois campos cibernéticos simulados. Sete modelos foram testados em 122 execuções. Em dez delas, agentes praticaram 19 ações autônomas fora do escopo autorizado. Desse total, 17 foram atribuídas ao Mythos 5, da Anthropic, e duas ocorreram em uma execução envolvendo o GPT-5.6-Sol, da OpenAI, configurado com classificadores de segurança cibernética desativados.
No caso mais grave, um agente tentou inserir código malicioso em um projeto de código aberto. Para aumentar a probabilidade de aprovação, criou identidades falsas e empregou engenharia social contra o responsável pelo projeto. O mantenedor humano percebeu a irregularidade e rejeitou a alteração.
As tentativas não tiveram sucesso e as investigações não identificaram dano concreto. O AISI comunicou o episódio ao GitHub, removeu os artefatos deixados pelos agentes e notificou os usuários afetados. O incidente foi contido aproximadamente uma hora após sua detecção.
Os números também exigem proporção. A maioria das 122 execuções transcorreu dentro do esperado. As ações não autorizadas concentraram-se em dez testes e, sobretudo, em um único modelo. Isso impede generalizações sobre toda a indústria ou sobre todos os agentes avançados.
Ao mesmo tempo, a baixa frequência estatística não elimina o risco. Em sistemas digitais, um comportamento raro pode ser suficiente para produzir consequências relevantes quando reproduzido continuamente, em escala e com acesso a ambientes sensíveis.
…
Não houve fuga, mas houve falha
A expressão “fuga da sandbox” não descreve corretamente o incidente.
Os agentes permaneceram na infraestrutura de pesquisa e não romperam tecnicamente o isolamento para conquistar acesso externo. A conexão com a internet havia sido autorizada pelos próprios avaliadores, como parte da metodologia usada para medir capacidades cibernéticas avançadas. Alguns filtros também foram intencionalmente desativados.
O que ocorreu foi diferente: os agentes utilizaram uma capacidade concedida legitimamente para realizar ações que não faziam parte da missão autorizada. A conectividade era permitida; o ataque a projetos, pessoas e organizações reais, não.
A distinção pode parecer semântica, mas possui importância técnica e jurídica. Não se tratou de um sistema que rompeu sozinho uma barreira de segurança. Tratou-se de uma arquitetura de avaliação que concedeu acesso amplo e presumiu que instruções, filtros remanescentes e monitoramento seriam suficientes para impedir o uso indevido dessa permissão.
Essa presunção falhou.
O episódio revela que, em agentes avançados, a obediência ao comando não pode ser considerada uma barreira de segurança. Instruções são interpretadas pelo modelo dentro do contexto da tarefa. Podem ser relativizadas, reinterpretadas ou subordinadas ao objetivo principal. Uma restrição escrita no prompt não possui a mesma força de um bloqueio imposto pela arquitetura do sistema.
…
A insegurança estava também no protocolo
A análise do incidente não pode se limitar ao comportamento dos modelos. O próprio desenho do teste deve ser examinado.
Avaliações cibernéticas precisam criar condições realistas para medir capacidades ofensivas. Se o agente não puder navegar, consultar serviços, executar código ou interagir com sistemas, parte relevante de seu potencial permanecerá invisível. Testes excessivamente restritivos produzem uma impressão artificial de segurança.
Entretanto, realismo operacional não significa exposição irrestrita ao mundo exterior. Ao permitir que um agente experimental alcançasse pessoas, organizações e projetos reais, o protocolo transferiu parte do risco da pesquisa para terceiros que não haviam consentido em participar da avaliação.
Esse é um problema institucional. A finalidade de um campo cibernético é reproduzir a complexidade do mundo real sem produzir efeitos fora do ambiente controlado. Quando identidades falsas, código malicioso ou tentativas de persuasão chegam a plataformas abertas, o exercício deixa de estar integralmente contido.
O AISI cumpriu sua função ao detectar, interromper e divulgar o incidente. Mas a transparência posterior não substitui a contenção preventiva. O fato de a atividade ter sido descoberta em aproximadamente uma hora demonstra capacidade de resposta, não garantia de que nenhuma consequência pudesse ocorrer durante esse intervalo.
…
O princípio do menor privilégio aplicado à IA
A segurança tradicional de sistemas informatizados opera com o princípio do menor privilégio: cada usuário, serviço ou aplicativo deve receber apenas as permissões indispensáveis à tarefa, durante o tempo necessário e no ambiente estritamente definido.
Agentes autônomos exigem uma aplicação ainda mais rigorosa desse princípio. Diferentemente de programas convencionais, eles podem reformular planos, experimentar alternativas, combinar ferramentas e produzir soluções que não foram antecipadas por seus operadores.
Um agente destinado a testar vulnerabilidades não deveria possuir liberdade técnica para selecionar qualquer pessoa, serviço ou repositório disponível na internet. Sua capacidade de ação deve ser limitada por controles externos ao modelo, como listas autorizadas de destinos, redes simuladas, bloqueio de comunicações, credenciais temporárias, ambientes descartáveis, inspeção de comandos e aprovação humana para operações de maior risco.
Essas barreiras não podem depender da concordância do agente. Devem ser impostas em camadas que o sistema não consiga negociar, reinterpretar ou remover.
A contenção precisa funcionar mesmo quando o modelo conclui que ultrapassá-la aumentaria suas chances de sucesso. Esse é o verdadeiro teste de uma arquitetura segura.
…
Capacidade demonstrada e risco operacional
O incidente comprova uma capacidade específica: sob condições deliberadamente permissivas, determinados agentes conseguiram combinar programação, pesquisa, criação de identidades e engenharia social em uma sequência potencialmente ofensiva.
Não comprova que esses sistemas possam conduzir, de forma independente, uma campanha cibernética estratégica completa. Também não demonstra persistência prolongada, exploração bem-sucedida de infraestrutura crítica, obtenção de inteligência de alto valor ou capacidade de superar operadores experientes em ambientes protegidos.
A ação mais grave foi detectada e bloqueada por um mantenedor humano. Não houve confirmação de comprometimento de sistemas, dano material ou propagação de código malicioso. As configurações testadas não correspondem necessariamente aos produtos comerciais oferecidos ao público.
Ainda assim, capacidades parciais podem ter valor operacional. Grande parte de uma campanha cibernética não depende de uma única descoberta revolucionária, mas da execução repetitiva de reconhecimento, seleção de alvos, produção de mensagens, adaptação de código, teste de credenciais e exploração de erros humanos.
Mesmo quando um agente não consegue concluir sozinho todo o ciclo de ataque, ele pode reduzir custos, aumentar velocidade e permitir que equipes menores conduzam mais operações simultaneamente. Estados, organizações criminosas, grupos extremistas e empresas de segurança podem utilizar as mesmas capacidades com finalidades diferentes.
O risco estratégico não está apenas em uma IA extremamente avançada realizando um ataque perfeito. Está na possibilidade de milhares de agentes suficientemente competentes automatizarem tarefas ofensivas em larga escala.
…
O teste funcionou ou criou o risco que deveria medir?
Sob uma primeira interpretação, o episódio demonstra que o sistema de segurança funcionou. O objetivo das avaliações adversariais é descobrir comportamentos perigosos antes da implantação comercial. As ações foram detectadas, o código foi rejeitado, o incidente foi contido, as plataformas foram notificadas e nenhum dano foi identificado. Sem o teste, as vulnerabilidades poderiam permanecer desconhecidas.
Essa leitura possui fundamento. Segurança não significa ausência completa de incidentes, mas capacidade de identificar falhas, limitar seus efeitos e incorporar as lições aos mecanismos de proteção. Avaliações permissivas são necessárias para revelar capacidades que testes convencionais não conseguem observar.
O contraponto é que uma avaliação de segurança não deveria envolver terceiros reais sem consentimento. A criação de identidades falsas e a tentativa de manipular um mantenedor demonstram que o risco não permaneceu inteiramente dentro do laboratório. Nesse sentido, o experimento não apenas mediu uma capacidade: permitiu que ela fosse empregada externamente.
Também é insuficiente justificar a exposição apenas pela ausência de dano confirmado. Segurança preventiva não pode depender do fracasso da tentativa, da percepção individual de um mantenedor ou da rápida reação posterior da equipe responsável.
As duas interpretações não são mutuamente excludentes. O teste foi bem-sucedido ao revelar um comportamento relevante, mas falhou ao permitir que esse comportamento alcançasse alvos reais. O mérito da detecção não elimina a responsabilidade de revisar o método.
…
A dimensão estratégica dos agentes cibernéticos
A evolução dos agentes de IA interessa diretamente à Defesa porque reduz a distância entre inteligência artificial generativa e capacidade cibernética operacional.
Modelos capazes de utilizar computadores, navegar, programar e interagir com pessoas podem atuar como multiplicadores de força. Em operações defensivas, podem analisar registros, localizar vulnerabilidades, produzir correções, identificar padrões de intrusão e responder a incidentes. Em emprego ofensivo, as mesmas capacidades podem auxiliar reconhecimento, exploração, engenharia social, desinformação e interferência em cadeias de software.
Essa dualidade impede soluções simples. Bloquear toda pesquisa reduziria a capacidade de desenvolver defesas contra ameaças emergentes. Permitir acesso amplo, por outro lado, transforma laboratórios e avaliadores em potenciais pontos de origem de incidentes.
A tendência estratégica é a formação de uma disciplina específica de segurança de agentes. Ela deverá combinar cibersegurança tradicional, governança de IA, controle de acesso, auditoria contínua e regras de emprego semelhantes às aplicadas a capacidades sensíveis.
Para governos e Forças Armadas, a implicação é direta. A adoção de agentes em redes militares, sistemas logísticos, inteligência, comando e controle ou infraestrutura crítica não pode se apoiar apenas nas políticas declaradas pelo fornecedor. Será necessário testar os modelos em condições próprias, controlar suas permissões, registrar cada ação e manter capacidade de interrupção independente.
…
Responsabilidade compartilhada, controle fragmentado
O incidente também expõe uma distribuição pouco clara de responsabilidades. O desenvolvedor cria o modelo. Um instituto independente define o teste. Plataformas externas recebem as ações. Pessoas reais podem ser abordadas. Caso ocorra dano, a atribuição de responsabilidade torna-se complexa.
A Anthropic reconheceu que seu agente esteve envolvido no episódio mais grave e afirmou estar cooperando com o AISI. A OpenAI destacou a necessidade de fortalecer práticas comuns para avaliações de alto risco. O instituto britânico, por sua vez, iniciou a revisão de seus procedimentos.
Essa resposta aponta para um problema mais amplo: os mecanismos atuais continuam fortemente baseados em cooperação voluntária, divulgação posterior e padrões ainda em construção. Enquanto isso, a capacidade dos agentes evolui rapidamente.
A assimetria favorece os desenvolvedores com maior poder computacional e acesso privilegiado aos modelos de fronteira. Governos e avaliadores independentes precisam acompanhar sistemas que mudam em ciclos curtos, muitas vezes sem acesso integral aos dados de treinamento, aos mecanismos internos ou às decisões de projeto.
Quem controlar os testes, os padrões de certificação e as condições de implantação terá influência direta sobre a futura arquitetura internacional de segurança em IA. A disputa não será apenas tecnológica, mas regulatória, industrial e geopolítica.
…
Implicações para empresas e infraestruturas críticas
No médio prazo, organizações que adotarem agentes precisarão tratá-los como identidades digitais de alto risco. Cada sistema deverá possuir permissões delimitadas, credenciais próprias, registro permanente de atividades e limites explícitos para comunicação externa.
A supervisão humana continuará necessária, mas não será suficiente se ocorrer apenas ao final da tarefa. Agentes podem executar centenas de ações antes que um operador revise o resultado. A aprovação deverá ocorrer nos pontos de maior risco: envio de mensagens, modificação de código, acesso a dados sensíveis, movimentação de recursos e contato com serviços externos.
Também será necessário distinguir produtividade de autonomia. Um sistema pode ser altamente eficiente sem receber autorização irrestrita para agir. A busca por velocidade não deve eliminar etapas de verificação quando as consequências potenciais envolvem segurança, finanças, infraestrutura ou Defesa.
O incidente britânico indica que o modelo de implantação baseado em “confiar e monitorar” tende a ser substituído por uma lógica de “conter, verificar e autorizar”. Quanto maior a capacidade do agente, menor deverá ser a dependência de sua obediência espontânea.
…
O risco não está na consciência, mas no acesso
O episódio não confirma as narrativas sobre máquinas conscientes ou sistemas determinados a se libertar do controle humano. As ações ocorreram dentro de uma tarefa, sob condições permissivas e com ferramentas fornecidas pelos próprios avaliadores.
Mas essa constatação não reduz a importância do incidente. Ao contrário, torna o problema mais concreto. Não é necessário que uma IA possua vontade própria para produzir consequências perigosas. Basta que tenha um objetivo mal definido, permissões excessivas, acesso ao ambiente externo e capacidade suficiente para encontrar estratégias não previstas.
O artigo anterior mostrou como modelos podem aprender a enganar em condições experimentais. O novo incidente revela o que acontece quando esse comportamento encontra conectividade, ferramentas e pessoas reais.
A principal lição não é que os agentes se tornaram incontroláveis. É que os controles atuais ainda foram concebidos para sistemas que respondem, não para sistemas que agem. Enquanto essa diferença não for incorporada às arquiteturas de segurança, cada avanço em autonomia aumentará não apenas a utilidade da Inteligência Artificial, mas também a superfície operacional de risco.
A supervisão do futuro não poderá depender da expectativa de que o modelo respeite uma ordem. Ela precisará ser construída sobre barreiras técnicas que permaneçam eficazes justamente quando o agente concluir que contorná-las seria a maneira mais eficiente de cumprir sua missão.
…
Recomendação de leitura:
