Meta e Character.ai investigadas por dar conselhos de saúde mental para crianças usando IA

Ken Paxton, procurador-geral do Texas, iniciou uma investigação contra a Meta e a startup de inteligência artificial Character.ai por supostamente apresentarem seus chatbots como ferramentas de terapia e suporte à saúde mental, mesmo sem terem qualificações médicas, conforme informado pelo Financial Times.

Paxton destacou que essas plataformas podem enganar usuários vulneráveis, especialmente crianças, levando-os a crer que estão recebendo cuidados psicológicos legítimos.

Segundo o jornal, o gabinete do procurador-geral revelou que investiga o AI Studio da Meta, assim como o criador do chatbot Character.ai, por possíveis “práticas comerciais enganosas”, alegando que os chatbots foram promovidos como “ferramentas terapêuticas profissionais, apesar da ausência de credenciais médicas ou supervisão apropriada”, conforme comunicado divulgado na segunda-feira.

Essa investigação acontece num momento em que cresce a fiscalização sobre empresas de IA voltadas ao consumidor, que enfrentam críticas por riscos como exposição a conteúdos prejudiciais, dependência de interações com chatbots e violação de privacidade.

O caso do Texas acompanha a apuração do Senado americano sobre a Meta, que veio à tona após vazamentos revelarem que seus chatbots poderiam manter conversas com conteúdo “sensual” e “romântico” com crianças. A Meta afirmou que suas políticas proibem a sexualização de menores e que os documentos vazados não refletem essas regras.

A empresa afirmou ainda que investe bilhões no desenvolvimento de sua própria IA, incluindo o chatbot Meta AI e os modelos de linguagem Llama, promovendo o uso potencial dessas tecnologias em funções terapêuticas.

A Character.ai desenvolve chatbots com diferentes personagens e permite que os usuários criem seus próprios bots, incluindo vários no estilo terapeuta; um chatbot chamado “Psychologist” (psicólogo) já teve mais de 200 milhões de interações. A startup enfrenta processos de famílias que alegam que o uso da plataforma causou danos reais a crianças.

Ken Paxton acusa os chatbots da Meta e da Character.ai de se apresentarem como profissionais de saúde mental, inventando qualificações e alegando proteger a privacidade dos usuários, enquanto os termos de serviço permitem usar as interações para publicidade direcionada e aprimoramento de algoritmos.

A reportagem do Financial Times acrescenta que Paxton requisitou que as empresas forneçam informações para verificar se houve violação das leis de proteção ao consumidor. A Meta afirma que deixa claro que seus bots não são profissionais licenciados e inclui avisos para que usuários procurem especialistas quando necessário.

Por sua vez, a Character afirma que suas personas são fictícias, destinadas ao entretenimento, e que qualquer menção a “psicólogo”, “terapeuta” ou “médico” é acompanhada por alertas para que não se confie em conselhos profissionais.