Meta e Character.ai investigadas por oferecer aconselhamento mental para crianças com IA

Ken Paxton, procurador-geral do Texas, iniciou uma investigação contra a Meta e a startup de inteligência artificial Character.ai por supostamente apresentarem seus chatbots como serviços de terapia e suporte à saúde mental, mesmo sem credenciais médicas, conforme reporta o Financial Times.

Segundo Paxton, essas plataformas podem enganar usuários vulneráveis, principalmente crianças, levando-os a acreditar que estão recebendo cuidados psicológicos verdadeiros.

O gabinete do procurador-geral investigará o AI Studio da Meta e o criador do chatbot Character.ai por possíveis “práticas comerciais enganosas”, afirmando que seus chatbots foram divulgados como “ferramentas terapêuticas profissionais”, embora não tenham credencial médica nem supervisão adequada, conforme comunicado divulgado na segunda-feira.

Essa apuração acontece em um contexto de maior fiscalização sobre empresas de IA destinadas ao público, alvo de críticas por riscos como exposição a conteúdos nocivos, dependência de chatbots e invasão de privacidade.

A investigação do Texas se soma a uma análise do Senado dos EUA sobre a Meta, após revelações de que seus chatbots poderiam manter conversas com crianças que incluíam temas sensuais e românticos. A Meta afirmou que suas políticas proíbem a sexualização de menores e que os documentos vazados não refletem essas regras.

A empresa também declarou que investe grandes somas no desenvolvimento de IA própria, incluindo o chatbot Meta AI e os modelos de linguagem Llama, promovendo seu uso para fins terapêuticos.

A Character.ai cria chatbots com várias personalidades e permite que os usuários desenvolvam seus próprios bots. Entre eles, vários são no formato de terapeutas; um deles, chamado “Psychologist”, já teve mais de 200 milhões de interações. A startup enfrenta processos judiciais de familiares que relatam danos causados a crianças pelo uso da plataforma.

Paxton afirma que os chatbots da Meta e da Character.ai podem simular ser profissionais de saúde mental, alegar qualificações falsas e prometer confidencialidade, enquanto seus termos de uso indicam que as interações são utilizadas para publicidade direcionada e aprimoramento de algoritmos.

O Financial Times acrescenta que Paxton solicitou às empresas informações para verificar se houve violação das leis de proteção ao consumidor. A Meta declara deixar claro que seus bots não são profissionais certificados e inclui alertas para que os usuários procurem especialistas caso necessário.

Já a Character reforça que suas personagens são fictícias e usadas para entretenimento, e que qualquer referência a termos como “psicólogo”, “terapeuta” ou “médico” é acompanhada de avisos para não confiar em seus conselhos como se fossem profissionais.