Microsoft encontra falha que permitia IA criar toxinas sem aviso

Em outubro de 2023, dois pesquisadores da Microsoft identificaram uma vulnerabilidade séria nos sistemas de biossegurança, que deveriam impedir que inteligências artificiais produzissem proteínas perigosas. Essa descoberta, mantida em segredo por meses, foi divulgada em um artigo publicado na revista Science.

A investigação revelou que, com a ajuda da IA, os cientistas conseguiram gerar milhares de versões sintéticas de 72 toxinas diferentes, incluindo variantes da ricina, sem que os sistemas de segurança empregados por empresas de síntese de DNA as identificassem. O motivo da falha é que as proteínas tóxicas não se assemelhavam mais aos modelos originais, escapando dos filtros automatizados.

A equipe, composta por especialistas em biotecnologia e biossegurança, desenvolveu um patch para corrigir essa falha em quatro métodos distintos de detecção.

— É como uma atualização do Windows para o mundo. Continuaremos lançando correções conforme necessário, explicou Eric Horvitz, diretor científico da Microsoft e um dos líderes do estudo.

O ocorrido foi considerado o primeiro “dia zero” relacionado à IA e biossegurança, termo usado para vulnerabilidades desconhecidas que deixam sistemas expostos. Embora os cientistas não tenham produzido as proteínas reais, o estudo demonstrou o duplo potencial dessas tecnologias: o mesmo poder utilizado para criar proteínas terapêuticas e ambientais pode ser empregado para gerar toxinas letais.

O experimento teve início como um teste adversarial, realizado antes de uma conferência sobre segurança em engenharia de proteínas. Ao modificar partes do código genético das toxinas, a IA conseguiu produzir dezenas de milhares de proteínas potencialmente perigosas sem disparar alertas nos sistemas de segurança.

Após essa descoberta, a equipe trabalhou em parceria com especialistas externos e empresas de DNA para corrigir as vulnerabilidades encontradas. Contudo, há preocupações de que novas falhas possam surgir.

— A tecnologia avança mais rápido que a segurança. Cada minuto em que debatemos os próximos passos, estamos ficando para trás — ressaltou David Relman, microbiologista da Universidade de Stanford.

Esse estudo reacendeu o debate sobre a necessidade de regulamentação e responsabilidade no uso da IA em pesquisas biológicas. Atualmente, a triagem de biossegurança depende majoritariamente da adesão voluntária das empresas. Algumas organizações já testam mecanismos que incluem verificações de segurança diretamente nos softwares de IA, impedindo que sequências perigosas sejam criadas desde o início.