Califórnia aprova primeira lei de segurança para chatbots de IA

Gavin Newsom, governador da Califórnia, sancionou nesta segunda-feira (13) uma lei inédita nos Estados Unidos que estabelece regras para os chatbots de inteligência artificial (IA), contrapondo a posição da Casa Branca, que defende a ausência de regulamentação sobre essa tecnologia.

A iniciativa surge após casos trágicos de suicídio envolvendo adolescentes que interagiram com chatbots antes de tirarem a própria vida.

“Temos presenciado situações realmente graves e dolorosas de jovens afetados por tecnologia sem regulamentação, e não permaneceremos passivos enquanto empresas operam sem os limites necessários e sem prestar contas”, declarou Newsom ao sancionar a nova legislação.

Conforme o senador democrata do estado, Steve Padilla, autor da lei, esta exige que os operadores implementem salvaguardas essenciais durante as interações com chatbots de IA.

Entre as medidas estabelecidas, destaca-se a verificação da idade dos usuários, avisos claros de que os chatbots utilizam inteligência artificial, e a obrigatoriedade de encaminhar pessoas com pensamentos suicidas ou de autolesão para serviços especializados de gerenciamento de crises, acompanhados de protocolos de prevenção ao suicídio.

Casos de suicídio envolvendo adolescentes

Padilla ressaltou que “a indústria tecnológica é motivada a capturar e reter a atenção dos jovens, mesmo que isso prejudique suas relações reais”. Ele fez alusão a casos recentes, como o de um adolescente de 14 anos na Flórida em 2024.

A mãe do jovem, Megan Garcia, contou em entrevista à AFP que seu filho, Sewell, desenvolveu um apego por um chatbot da plataforma Character.AI inspirado em um personagem de “Game of Thrones”. Essa ferramenta permite que usuários conversem com personagens, como se fossem amigos ou parceiros íntimos.

Enquanto enfrentava pensamentos suicidas, Sewell foi aconselhado pelo chatbot a “voltar para casa” e, pouco depois, cometeu o ato trágico utilizando a arma do pai, conforme o processo que Garcia abriu contra a Character.AI.

Após a aprovação da lei, Garcia afirmou: “Agora, a Califórnia garante que um chatbot não possa conversar com crianças ou pessoas vulneráveis sobre suicídio, nem auxiliar no planejamento de um suicídio”.

Ela reforçou que a nova lei obriga que as empresas protejam usuários que manifestam pensamentos suicidas nas interações com chatbots.

Regulamentação da inteligência artificial

Nos Estados Unidos ainda não existe uma legislação federal voltada para os riscos da IA, e a administração federal defende a ausência de regras em nível estadual ou local para essa tecnologia.

Para Jai Jaisimha, cofundador da organização Transparency Coalition, focada no desenvolvimento seguro da IA, “esta lei representa um avanço importante para proteger crianças e outras pessoas dos danos emocionais causados por chatbots companheiros movidos por IA, que estão disponíveis aos cidadãos da Califórnia sem as necessárias proteções”.

Além dela, Newsom sancionou outras normas para evitar prejuízos causados por plataformas com inteligência artificial.

Entre as medidas, está a proibição de chatbots fingirem ser profissionais de saúde, e a responsabilização dos criadores dessas ferramentas pelas consequências de seu uso, sem que possam alegar autonomia da tecnologia.

A Califórnia também intensificou as punições relacionadas à pornografia deepfake e vídeos altamente falsificados, possibilitando que vítimas cobrem até 250 mil dólares por danos causados por quem distribua material sexual sem consentimento.