Alertas de empresas, pesquisadores e governos deslocam o debate da especulação sobre máquinas conscientes para uma questão concreta de segurança estratégica: como impedir que sistemas cada vez mais autônomos interfiram em redes críticas, operações militares e decisões nucleares.
Por Ricardo Fan – DefesaNet
…
(RDN) A hipótese de que a inteligência artificial poderá provocar a extinção da humanidade até 2036 produz manchetes de grande impacto, mas oferece uma base frágil para a formulação de políticas públicas, estratégias militares ou mecanismos de segurança tecnológica. Não existe consenso científico capaz de estabelecer essa data como um horizonte provável. O que existe, de maneira mais concreta, é uma aceleração das capacidades computacionais acompanhada por estruturas de controle ainda incompletas, fragmentadas e, em grande medida, dependentes das próprias empresas que lideram o desenvolvimento dos sistemas.
O debate, portanto, não precisa de um calendário apocalíptico para adquirir relevância. Os riscos já podem ser identificados em agentes capazes de executar tarefas digitais com menor supervisão humana, ferramentas que ampliam operações cibernéticas, sistemas empregados na produção de desinformação, modelos integrados a infraestruturas críticas e algoritmos incorporados às cadeias militares de comando, inteligência e seleção de alvos.
A questão estratégica não é determinar se uma inteligência artificial consciente decidirá atacar a humanidade dentro de dez anos. O problema imediato é saber até que ponto governos, empresas e forças armadas conseguirão preservar o controle humano sobre sistemas cada vez mais rápidos, opacos e presentes em decisões de elevada consequência.
…
Da especulação existencial ao risco operacional
Os alertas recentes apresentam origens e densidades diferentes. O rei Charles III, durante encontro com executivos da Nvidia, Google DeepMind, OpenAI e Anthropic, pediu salvaguardas contra os “perigos existenciais” decorrentes do uso indevido da inteligência artificial. A declaração tem importância política e simbólica, mas não constitui uma avaliação técnica. Seu principal significado está em demonstrar que a segurança da IA deixou de ser um tema restrito a laboratórios, universidades e empresas de tecnologia para entrar na agenda institucional das principais potências. Reuters
Em outro nível estão os pronunciamentos de pesquisadores e executivos diretamente envolvidos no desenvolvimento dos modelos. As preocupações concentram-se na possibilidade de sistemas avançados adquirirem maior capacidade para planejar operações, utilizar ferramentas digitais, escrever e executar códigos, identificar vulnerabilidades e coordenar sucessivas ações sem intervenção humana permanente.
Ainda assim, é necessário separar capacidade anunciada de capacidade demonstrada. Os sistemas atuais realizam tarefas complexas e podem superar especialistas em atividades específicas, mas continuam sujeitos a erros, interpretações equivocadas, respostas fabricadas e dificuldades diante de situações fora de seu contexto de treinamento. Não há evidência pública de uma inteligência artificial geral, consciente ou dotada de vontade própria. Também não existe comprovação de que os modelos disponíveis possam operar indefinidamente fora da infraestrutura, das permissões e dos recursos concedidos por seres humanos.
Isso não elimina o risco. Ao contrário, torna-o mais convencional e, em alguns aspectos, mais urgente. Um sistema não precisa ser consciente para causar danos. Basta que tenha acesso a uma rede crítica, receba uma instrução inadequada, interprete erroneamente uma missão ou seja utilizado por um ator disposto a ampliar suas capacidades ofensivas.
…
A autonomia como multiplicador de poder
A transformação mais importante está na passagem do modelo que apenas responde a perguntas para o agente que executa sequências de ações. Um chatbot produz texto. Um agente pode pesquisar informações, operar programas, escrever código, acionar ferramentas externas e modificar sua estratégia conforme os resultados obtidos.
Essa evolução aumenta a produtividade, reduz custos e abre aplicações importantes na medicina, engenharia, logística, pesquisa científica e administração pública. Simultaneamente, diminui a quantidade de conhecimento técnico necessária para determinadas operações ofensivas. Ataques cibernéticos, campanhas de desinformação, engenharia social e exploração automatizada de vulnerabilidades podem ser ampliados com menor estrutura humana.
O efeito militar não decorre apenas do emprego direto da IA em armamentos. Ele aparece em toda a cadeia que antecede o uso da força: coleta de dados, interpretação de imagens, fusão de sensores, guerra eletrônica, inteligência de fontes abertas, planejamento logístico, manutenção preditiva e apoio à decisão.
Quanto mais rápida se torna essa cadeia, menor tende a ser o tempo disponível para contestar uma informação, revisar uma recomendação ou interromper uma ação. O ganho operacional pode, assim, produzir uma fragilidade estratégica. Sistemas concebidos para acelerar decisões também podem acelerar erros.
…
Linhas vermelhas para o comando nuclear
A proposta mais relevante do atual debate surgiu de especialistas norte-americanos e chineses que defendem salvaguardas inspiradas nos mecanismos construídos durante a era nuclear. As recomendações incluem a preservação do controle humano sobre decisões militares críticas, a proibição da interferência automatizada em redes de comando nuclear e a criação de canais diretos para esclarecer incidentes envolvendo inteligência artificial.
O problema central é o risco de interpretação equivocada. Um sistema que penetre em uma rede militar adversária, altere dados de sensores ou execute uma operação cibernética sem que sua origem e intenção estejam claras poderá ser interpretado como a preparação de um ataque. Em uma crise, os dirigentes talvez disponham de poucos minutos para decidir se enfrentam uma falha técnica, uma ação não autorizada ou uma ofensiva deliberada.
Nesse ambiente, velocidade não significa necessariamente superioridade. A automação pode reduzir o tempo de reação e aumentar a pressão para agir antes que a situação seja plenamente compreendida. Sistemas defensivos poderão interpretar movimentos adversários como sinais de ataque; agentes cibernéticos poderão produzir efeitos não previstos por seus operadores; e modelos de apoio à decisão poderão apresentar recomendações com elevado grau aparente de confiança, mesmo quando baseadas em informações incompletas.
As propostas discutidas por especialistas ligados aos Estados Unidos e à China não representam, até o momento, compromissos formais assumidos pelos dois governos. Elas revelam, porém, que a rivalidade tecnológica passou a tocar a estabilidade estratégica. A disputa já não envolve apenas semicondutores, centros de dados e modelos mais avançados. Passou a envolver a possibilidade de que sistemas automatizados interfiram nas estruturas responsáveis por impedir uma guerra entre potências nucleares. Reuters
…
Uma analogia necessária, mas incompleta
A comparação entre a inteligência artificial e a tecnologia nuclear ajuda a comunicar a dimensão do problema, mas possui limitações. O enriquecimento de urânio, a produção de plutônio e a construção de vetores estratégicos exigem instalações físicas, cadeias industriais identificáveis e materiais relativamente rastreáveis. Um modelo de IA é software. Pode ser copiado, modificado, transferido e executado em infraestruturas civis distribuídas por diferentes países.
Também não existe um equivalente direto da Agência Internacional de Energia Atômica capaz de inspecionar centros de dados, verificar modelos, examinar conjuntos de treinamento e certificar que sistemas empregados por governos ou empresas permanecem dentro de limites acordados. Mesmo que tal organismo fosse criado, surgiriam dificuldades relacionadas à proteção da propriedade intelectual, ao sigilo militar, à soberania dos Estados e à atualização constante dos sistemas.
O que pode ser aproveitado da experiência nuclear não é a reprodução literal de seu modelo institucional, mas a adoção de princípios de estabilidade: controle humano obrigatório, comunicação de emergência, notificação de incidentes, avaliação independente, proteção de sistemas críticos e criação de linhas vermelhas reconhecidas pelas principais potências.
A regra mais importante seria impedir que decisões nucleares fossem delegadas integralmente a sistemas automatizados. A IA pode apoiar a interpretação de dados, mas não deve possuir autoridade para iniciar, ampliar ou responder autonomamente a uma ação estratégica.
…
Empresas procuram organizar a própria supervisão
OpenAI, Anthropic e Google passaram a discutir mecanismos conjuntos de avaliação de riscos e a participação de avaliadores independentes. A cooperação entre concorrentes pode ser necessária porque nenhuma empresa deseja desacelerar unilateralmente enquanto as demais continuam avançando. O problema assume a forma de um dilema de ação coletiva: todos reconhecem determinados riscos, mas cada participante teme perder mercado, investimentos, talentos e capacidade tecnológica caso imponha restrições apenas a si próprio.
A Amazon, por sua vez, defendeu testes rigorosos e salvaguardas antes da disponibilização de modelos avançados, sem apoiar necessariamente uma paralisação ou desaceleração ampla da indústria. A posição reflete o equilíbrio buscado por uma empresa que desenvolve seus próprios sistemas, opera uma das maiores plataformas de computação em nuvem do mundo e distribui modelos de diferentes fornecedores por meio de sua infraestrutura. Reuters
A coordenação pode elevar os padrões de segurança, compartilhar informações sobre vulnerabilidades e impedir que falhas conhecidas sejam repetidas. Entretanto, ela não substitui uma estrutura pública de fiscalização. Empresas que desenvolvem, vendem e avaliam os próprios produtos enfrentam um conflito de interesse inevitável.
A supervisão também não pode ser controlada exclusivamente pelas maiores corporações. Requisitos extremamente caros ou complexos podem funcionar como barreiras de entrada, consolidando o domínio das empresas que já possuem capacidade financeira e computacional para atendê-los. Sob a justificativa de reduzir riscos, um sistema de certificação mal desenhado poderá limitar a concorrência, enfraquecer projetos independentes e concentrar ainda mais o poder tecnológico.
…
Segurança ou consolidação de mercado?
Os defensores de regras mais rígidas argumentam que as capacidades dos modelos avançam mais rapidamente do que os instrumentos disponíveis para avaliá-las. Para esse grupo, testes voluntários e políticas internas são insuficientes diante de sistemas capazes de operar ferramentas, produzir códigos e apoiar pesquisas biológicas ou cibernéticas. A adoção de avaliadores externos e limites comuns permitiria identificar capacidades perigosas antes de sua distribuição em larga escala.
O contraponto é apresentado por empresas e governos que enxergam parte desse discurso como uma tentativa das atuais líderes do mercado de transformar vantagem tecnológica em vantagem regulatória. Companhias europeias, por exemplo, temem que uma desaceleração conduzida pelas grandes empresas norte-americanas amplie a dependência da Europa e dificulte a formação de competidores locais. Reuters
A mesma divergência aparece na relação entre Estados Unidos e China. Washington procura limitar o acesso chinês a semicondutores, equipamentos de fabricação e tecnologias consideradas sensíveis. Pequim responde acelerando sua capacidade industrial, promovendo modelos próprios e apresentando a supervisão estatal como alternativa à autorregulação corporativa ocidental.
Apesar da rivalidade, as duas potências compartilham preocupações sobre sistemas que possam escapar ao controle operacional. A diferença está na forma de administrá-las. A China tende a considerar a IA uma tecnologia poderosa, porém governável por padrões técnicos, regulação e autoridade estatal. Nos Estados Unidos, a supervisão permanece distribuída entre empresas, agências públicas, Congresso, Judiciário e iniciativas voluntárias. Reuters
A segurança da IA, portanto, não é um debate neutro. Ela também é uma disputa pela definição das normas internacionais, pelo acesso aos mercados e pela autoridade para determinar quais empresas e países poderão desenvolver os sistemas mais avançados.
…
O erro da antropomorfização
Outro ponto relevante foi levantado por Mustafa Suleyman, chefe da divisão de inteligência artificial da Microsoft: tratar a IA como humana é um erro. A advertência ultrapassa uma discussão filosófica. Atribuir consciência, vontade ou sentimentos a sistemas computacionais pode induzir usuários e instituições a confiar em respostas que não foram produzidas por compreensão humana do mundo, mas por mecanismos estatísticos de geração e previsão.
A antropomorfização também cria problemas políticos e jurídicos. Se sistemas forem apresentados como entidades conscientes ou moralmente equivalentes a seres humanos, poderá surgir pressão para atribuir-lhes direitos, autonomia ou capacidade de decisão. Isso enfraqueceria o princípio fundamental de que pessoas e organizações devem permanecer responsáveis pelas ações executadas por seus modelos.
O código de conduta apresentado pela Microsoft procura estabelecer limites explícitos e afirma que o controle humano depende tanto daquilo que o sistema pode fazer quanto daquilo que deve ser tecnicamente impedido de fazer. A proposta admite mecanismos de contenção e mantém a responsabilidade sobre operadores e organizações, mesmo quando os sistemas alcançam maior autonomia. Microsoft AI
O risco mais próximo não é a máquina convencer-se de que é humana. É o ser humano aceitar como consciente, infalível ou moralmente responsável um sistema que permanece dependente das condições, dados e permissões definidos por seus operadores.
…
Quem ganha, quem perde e o que muda
Os principais beneficiários da aceleração atual são os Estados que controlam semicondutores, infraestrutura de nuvem, energia, dados, talentos e grandes centros de pesquisa. A vantagem não se limita à capacidade de produzir modelos comerciais. Ela se estende à inteligência militar, à defesa cibernética, à indústria, à ciência e à influência sobre padrões internacionais.
Países dependentes de plataformas externas enfrentam um problema mais amplo do que a simples importação de software. Dados governamentais, empresariais e militares podem ser processados por sistemas desenvolvidos sob outras jurisdições. Atualizações, restrições de acesso e condições comerciais poderão ser determinadas no exterior. A dependência tecnológica passa, assim, a produzir dependência operacional e estratégica.
Para o Brasil, o debate não deveria ser reduzido à escolha entre regular ou liberar a inteligência artificial. A questão central é construir capacidade de avaliação, infraestrutura computacional, proteção de dados sensíveis, formação técnica e critérios específicos para o emprego de modelos em defesa, inteligência, energia, telecomunicações e administração pública.
Adotar sistemas estrangeiros sem capacidade própria para examiná-los significa aceitar riscos que o país não controla plenamente. Ao mesmo tempo, impor regras sem desenvolver competência científica, industrial e computacional pode preservar a dependência em vez de reduzi-la. Regulação desacompanhada de capacidade tecnológica não produz autonomia.
…
O controle como capacidade estratégica
A disputa em torno da inteligência artificial não será resolvida por uma moratória universal nem pela confiança irrestrita nas empresas. A tendência mais provável é a formação gradual de regimes setoriais: exigências mais rigorosas para sistemas militares, nucleares, biológicos e de infraestrutura crítica; avaliações independentes para modelos de maior capacidade; mecanismos de comunicação entre potências; e controles menos restritivos para aplicações de baixo risco.
Esse processo será marcado por divergências. Empresas tentarão preservar velocidade e participação de mercado. Governos buscarão controlar tecnologias sem comprometer a competitividade de suas indústrias. Forças armadas resistirão à divulgação de capacidades sensíveis. Potências tecnológicas procurarão transformar seus próprios padrões em normas internacionais.
Não há base científica para afirmar que a humanidade terminará em 2036. A ausência de uma data comprovável, entretanto, não torna prudente esperar por uma catástrofe para estabelecer limites. O desafio não é prever quando uma máquina poderá escapar ao controle, mas impedir que sistemas ainda imperfeitos recebam autoridade, acesso e velocidade suficientes para produzir consequências que seus operadores já não consigam interromper.
A corrida pela IA não ultrapassou definitivamente todos os mecanismos de controle, mas avança mais depressa do que eles estão sendo construídos. Preservar a decisão humana, especialmente nos domínios militar, nuclear e cibernético, tornou-se parte da própria estabilidade estratégica. O risco decisivo não está em 2036. Está nas escolhas realizadas agora sobre quem desenvolve, quem fiscaliza e quem responde quando a inteligência artificial deixa de apenas recomendar e passa a agir.
…
Artigo relacionado:
