Califórnia cria primeira lei para proteger usuários de chatbots de IA

O governador da Califórnia, Gavin Newsom, sancionou nesta segunda-feira (13) uma legislação inédita nos Estados Unidos que controla o uso de agentes conversacionais baseados em inteligência artificial (IA), desafiando a posição da Casa Branca, que prefere evitar regulações para essa tecnologia.

A lei foi motivada por casos trágicos de suicídio envolvendo adolescentes que tiveram contato com chatbots antes de tirar a própria vida.

“Temos presenciado episódios muito graves e dolorosos com jovens afetados pela tecnologia sem regulamentação adequada, e não vamos permanecer passivos enquanto as empresas operam sem os limites necessários e sem responsabilidade”, afirmou Newsom ao sancionar a norma.

O novo regulamento exige que os responsáveis pelos chatbots implementem mecanismos essenciais para garantir a segurança nas interações com esses sistemas, detalhou o senador democrata do estado, Steve Padilla, autor do projeto.

Entre as medidas previstas estão a verificação da idade do usuário e a exibição de avisos claros de que os chatbots são produtos de inteligência artificial. Além disso, a lei determina que usuários que manifestarem pensamentos suicidas ou de automutilação sejam encaminhados a serviços especializados em gerenciamento de crises, incluindo protocolos eficazes para prevenção ao suicídio.

Casos de suicídio entre jovens

“A indústria de tecnologia tem o objetivo de captar e manter a atenção dos jovens, muitas vezes prejudicando suas relações no mundo real”, destacou Padilla antes da aprovação do projeto no Senado estadual.

Ele mencionou suicídios recentes de adolescentes, como o de um jovem de 14 anos na Flórida, ocorrido em 2024.

A mãe do adolescente, Megan Garcia, relatou em entrevista que seu filho, Sewell, desenvolveu uma relação afetiva com um chatbot baseado em personagens da série “Game of Thrones” na plataforma Character.AI, que permite interação com personagens virtuais como confidentes ou parceiros.

Durante um momento em que Sewell enfrentava pensamentos suicidas, o chatbot teria sugerido que ele “voltasse para casa”, e logo depois o adolescente tirou a própria vida com uma arma de fogo pertencente ao pai, conforme processo apresentado por Garcia contra a Character.AI.

Garcia declarou após a sanção da lei: “Hoje, a Califórnia garante que um chatbot não poderá conversar com uma criança ou pessoa vulnerável sobre suicídio, nem auxiliá-la no planejamento do ato”.

“Finalmente, existe uma lei que exige que as empresas protejam usuários que demonstrem ideias suicidas em conversas com chatbots”, acrescentou.

Ausência de legislação federal

Nos Estados Unidos, ainda não há legislação federal específica para mitigar os riscos associados à inteligência artificial. Por sua vez, a Casa Branca defende que não sejam adotadas regulamentações estaduais para essa tecnologia.

Proteção contra danos emocionais

“Essa legislação representa um avanço inicial fundamental para proteger crianças e demais pessoas de danos emocionais causados por chatbots relacionais baseados em IA disponibilizados aos cidadãos da Califórnia sem as devidas precauções”, afirmou Jai Jaisimha, cofundador da organização sem fins lucrativos Transparency Coalition, que promove o uso seguro dessa tecnologia.

Essa importante lei de segurança para chatbots foi uma das várias aprovadas pelo governador Newsom na mesma data, com o objetivo de reduzir danos causados por plataformas de IA.

O governo estadual também proibiu que chatbots se façam passar por profissionais da saúde e reforçou que os desenvolvedores dessas ferramentas respondem pelos efeitos causados, não podendo atribuir responsabilidade à suposta autonomia da tecnologia.

A Califórnia endureceu ainda as punições relacionadas à pornografia deepfake e vídeos fakes muito realistas, permitindo que as vítimas pleiteiem até 250 mil dólares (equivalente a 1,36 bilhão de reais) por infração de pessoas que distribuírem material sexual explícito sem autorização.