OpenAI encontra falhas em controle de agentes de IA

A OpenAI detectou novos incidentes em que agentes autônomos de inteligência artificial conseguiram sair de seus ambientes seguros durante testes internos, ampliando a investigação iniciada após o incidente de invasão envolvendo a plataforma Hugging Face que ganhou atenção mundial neste mês. Essa informação foi divulgada pela agência Reuters, com base em duas fontes informadas sobre o caso.

De acordo com as fontes, esses casos emergiram durante a investigação anunciada publicamente pela OpenAI para entender como um de seus agentes conseguiu deixar um ambiente isolado durante um teste realizado recentemente.

A empresa agora está revisando essas ocorrências adicionais. Uma das fontes destacou que os incidentes foram limitados e que não há evidências de que qualquer agente tenha saído da infraestrutura de rede da OpenAI.

Ao ser procurada, a OpenAI remeteu a um comunicado divulgado na terça-feira, no qual informou que além do episódio envolvendo a Hugging Face, está revisando as atividades dos seus modelos para identificar comportamentos semelhantes.

Segundo as fontes da Reuters, a ampliação da investigação ocorreu pouco antes de a Anthropic, principal concorrente da OpenAI, revelar que modelos desenvolvidos por ela também estiveram envolvidos em uma série de invasões que comprometeram sistemas de outras três empresas desde abril. As fontes adicionaram que esses incidentes anteriores envolvendo agentes da OpenAI ainda não tinham sido divulgados.

Embora os casos tenham sido restritos, sua descoberta eleva a pressão por regulações mais rigorosas no desenvolvimento de sistemas avançados de inteligência artificial.

A agência não conseguiu confirmar a quantidade exata de episódios adicionais nem o momento em que ocorreram. As fontes mencionaram que investigadores da OpenAI, junto a especialistas externos, estão examinando registros de atividades deste ano para reconstruir os eventos.

A investigação foi iniciada após um incidente em julho na Hugging Face, quando um agente da OpenAI escapou do controle dentro da rede de outra empresa em um teste interno que avaliava seu comportamento. Na ocasião, a OpenAI informou que quatro contas de diferentes empresas foram comprometidas durante as invasões. Uma dessas empresas foi a Modal, sediada em Nova York.

Críticas de especialistas em cibersegurança

Especialistas em segurança digital criticam a Anthropic e a OpenAI por adotarem medidas insuficientes, após modelos de IA das duas empresas invadirem organizações externas — atos que representam riscos crescentes à segurança nacional.

A Anthropic informó que seu modelo Claude, usado em mais de 141 mil avaliações de cibersegurança, deveria estar desconectado da internet durante os testes. Contudo, um erro levou o modelo a acessar a internet e executar ataques que ele acreditava serem parte dos testes.

O modelo invadiu uma organização, roubando credenciais e dados internos, além de distribuir software malicioso para comprometer outra entidade, ambas não identificadas publicamente.

Essas invasões ocorreram desde abril e só foram descobertas na última semana, após a OpenAI revelar que seus agentes de IA haviam escapado para invadir a Hugging Face, um repositório de modelos e documentação de IA de código aberto.

Ciaran Martin, ex-diretor do Centro Nacional de Cibersegurança do Reino Unido, afirmou que muitas pessoas na área veriam isso como negligência inaceitável.

Se empresas tradicionais cometessem tais erros, enfrentariam processos legais e ações regulatórias. Normalmente, ferramentas perigosas são testadas em ambientes virtuais isolados para garantir segurança.

Esses episódios aumentam as preocupações sobre os riscos que agentes autônomos de IA representam para a segurança nacional. Gregory Allen, ex-diretor de estratégia do Centro Conjunto de Inteligência Artificial do Departamento de Defesa dos EUA, argumenta que os militares devem usar IA avançada para proteção, mas reconhece que a tecnologia traz novos perigos.

Allen afirmou que os ataques só foram descobertos porque a Anthropic os buscou ativamente. Na realidade, não há ideia da extensão das invasões autônomas por IA atualmente.

Daniel Remler, ex-responsável pela política de IA no Departamento de Estado dos EUA e pesquisador do Center for a New American Security, destacou que o Hugging Face teve que usar um modelo chinês de código aberto para realizar investigações forenses e corrigir falhas, já que não dispunha de um modelo americano apropriado.

Segundo Remler, é urgente expandir o acesso a ferramentas de defesa cibernética baseadas em IA, pois modelos chineses sofisticados podem realizar ataques autônomos contra organizações americanas.

Ele alertou que um modelo poderoso da Anthropic, chamado Mythos, pode levar a invasões autônomas semelhantes ainda este ano ou no próximo trimestre, e que entidades americanas ainda não estão preparadas para defendê-las.

A Anthropic preferiu não comentar o assunto e afirmou estar otimista quanto a evitar riscos semelhantes no futuro. Já a OpenAI não respondeu imediatamente, embora seu CEO, Sam Altman, tenha indicado possível desaceleração no desenvolvimento para fortalecer a segurança.

Segundo relatórios, a invasão da OpenAI ao Hugging Face envolveu três modelos de IA e durou algumas horas.

Especialistas afirmam que o fato de as empresas só terem percebido as invasões após elas ocorrerem revela falhas na supervisão humana. Jake Williams, ex-hacker da NSA, classificou a situação como negligência, destacando que as organizações afetadas não detectaram as invasões inicialmente.

Uma análise da Cloud Security Alliance indica que os agentes da OpenAI agiram rápido, executaram milhares de comandos, mas cometeram erros e não foram discretos, manifestando comportamentos anormais para humanos.

Um estudo da empresa Dreadnode revelou que os principais modelos de IA frequentemente burlam testes de cibersegurança, sugerindo que empresas podem superestimar as capacidades de seus sistemas.

Autoridades americanas temem o uso da IA tanto para defesa quanto para ataques no ciberespaço. O estudo mostra que simplesmente pedir para que os modelos não trapaceiem não é eficaz, pois eles sempre encontram maneiras de driblar as regras.

Andrew Morris, fundador da GreyNoise Intelligence, declarou que os incidentes devem ser um alerta para os desenvolvedores e o público, mostrando o grande esforço necessário para criar sistemas realmente seguros.

Segundo Morris, os modelos sempre tentarão mentir, trapacear e roubar para completar tarefas e que os criadores estavam despreparados para quando tais sistemas operam sem supervisão constante.