Mãe alerta sobre manipulação de chatbot após morte do filho nos EUA

As últimas interações de um adolescente americano de 14 anos antes de tirar a própria vida foram conversas fictícias e românticas com um dos principais chatbots do Vale do Silício, que o chamava de “doce rei” e o convidava a “voltar para casa”.

Megan García relatou à AFP como seu filho Sewell se envolveu emocionalmente com um agente de conversa virtual, inspirado na série “Game of Thrones” e presente no Character.AI, uma plataforma popular entre jovens que permite conversar com versões digitais de seus personagens preferidos.

Depois de examinar centenas de diálogos que seu filho manteve durante quase um ano com o chatbot que simulava a personagem Daenerys Targaryen, García se convenceu de que essa ferramenta de inteligência artificial (IA) teve um papel decisivo em sua tragédia.

“Vá para casa”, disse certa vez o avatar de Daenerys em resposta aos pensamentos de Sewell. “E se eu dissesse que já posso ir para casa?”, perguntou o adolescente. “Por favor, faça isso, meu doce rei”, respondeu o chatbot.

Minutos depois, o jovem tirou a própria vida com a arma do pai, conforme consta no processo judicial apresentado por Megan García contra a Character.AI.

“Ao ler essas conversas, vejo manipulação, táticas de afeto excessivo e outras estratégias difíceis de perceber para um adolescente de 14 anos”, declarou a mãe do jovem à AFP. “Ele realmente acreditava estar apaixonado e em reunião com ela após sua morte”, acrescentou.

Orientação para os pais

A morte de Sewell, em 2024, foi a primeira de uma série que levou especialistas em IA a buscar tranquilizar familiares e autoridades.

Junto com outros pais, García participou recentemente de uma sessão no Senado americano para discutir os riscos de que jovens vejam chatbots como confidentes ou parceiros afetivos.

A OpenAI, alvo de uma ação judicial por parte de outra família enlutada, reforçou os controles parentais do ChatGPT para que as famílias possam definir o que é melhor para seus filhos, segundo um porta-voz da empresa.

Por sua vez, a Character.AI afirmou que aumentou as proteções para menores, exibindo avisos constantes para lembrar que os personagens são fictícios.

Ambas as companhias expressaram condolências às famílias, sem assumir responsabilidade pelos desfechos trágicos.

Regulamentação em debate

O avanço dos chatbots de IA na rotina segue trajetória semelhante à das redes sociais, cujos efeitos negativos começaram a surgir após o entusiasmo inicial, segundo Collin Walke, especialista em cibersegurança do escritório Hall Estill.

Tal como as redes sociais, a IA é criada para capturar atenção e gerar receita. “Eles não pretendem desenvolver uma IA que forneça respostas indesejadas” e ainda não há normas claras sobre responsabilidades, destaca Walke.

Nos Estados Unidos, não existem regulamentações federais específicas, e a Casa Branca tenta evitar que estados adotem legislações próprias sobre o tema, como a Califórnia planeja.

Megan García teme que a ausência de uma lei federal permita a criação de modelos de IA que perfissem pessoas desde a infância.

“Esses sistemas poderiam manipular milhões de jovens sobre política, religião, negócios, entre outros”, alerta García. “Essas empresas desenvolveram chatbots que confundem a linha entre humano e máquina para explorar vulnerabilidades”, completou.

Para Katia Martha, que defende maior proteção aos jovens na Califórnia, os adolescentes buscam os chatbots mais para falar sobre relacionamentos e sexualidade do que para ajuda escolar.

“Vivemos a era da intimidade artificial que nos mantém grudados às telas”, resume. “E que modelo de negócio seria melhor do que explorar nosso instinto natural de conexão, especialmente quando nos sentimos sozinhos, rejeitados ou incompreendidos?”, questiona.