Microsoft encontra falha que permitia IA criar proteínas perigosas sem identificação

Em outubro de 2023, pesquisadores da Microsoft identificaram uma falha importante em sistemas de segurança biológica feitos para bloquear o uso de inteligências artificiais na fabricação de proteínas tóxicas. A descoberta, mantida em segredo por meses, foi publicada nesta quinta-feira na revista Science.

O estudo revelou que os cientistas conseguiram, com apoio da IA, produzir milhares de versões artificiais de 72 toxinas, incluindo variantes da ricina, sem que os sistemas de controle de segurança utilizados por empresas de síntese de DNA percebessem. Esses sistemas falharam porque as proteínas, apesar de tóxicas, não se pareciam mais com os modelos originais, escapando assim dos filtros automáticos.

A equipe, formada por especialistas em biotecnologia e segurança biológica, desenvolveu uma atualização para corrigir o problema em quatro métodos diferentes de detecção.

— É como uma atualização do Windows para o planeta. Continuaremos lançando correções conforme necessário, explicou Eric Horvitz, diretor científico da Microsoft e um dos líderes da pesquisa.

Esse incidentes foram chamados de o primeiro “dia zero” da IA e da segurança biológica, referindo-se a falhas desconhecidas que deixam os sistemas vulneráveis. Embora os cientistas não tenham criado as proteínas reais, o estudo mostrou o lado duplo dessas tecnologias: o mesmo poder usado para desenvolver proteínas terapêuticas e ambientais pode ser usado para criar toxinas mortais.

Segundo o artigo, o experimento começou como um teste adversário feito antes de uma conferência sobre segurança em engenharia de proteínas. Ao modificar partes do código genético das toxinas, a IA produziu dezenas de milhares de proteínas potencialmente perigosas sem acionar os sistemas de alerta.

Depois da descoberta, a equipe trabalhou com especialistas externos e empresas de DNA para fechar as brechas. Contudo, especialistas avisam que outras vulnerabilidades podem aparecer.

— O avanço da tecnologia está acontecendo mais rápido que a capacidade de segurança reagir. A cada instante que discutimos medidas, estamos ficando para trás — afirmou David Relman, microbiologista da Universidade de Stanford.

A pesquisa reacendeu o debate sobre fiscalização e responsabilidade no uso da IA em pesquisas biológicas. Atualmente, a triagem de segurança biológica depende em grande parte da adesão voluntária das empresas. Algumas já estão experimentando sistemas que integram verificações de segurança diretamente nos softwares de IA, impedindo que sequências perigosas sejam geradas.