Meta alertará pais se IA detectar risco de suicídio em adolescentes

A Meta anunciou na quinta-feira que passará a notificar os pais caso um adolescente discuta suicídio ou automutilação com o chatbot Meta AI da empresa. A companhia também informou estar trabalhando na capacidade de acionar serviços de emergência quando as conversas de um usuário sugerirem risco de automutilação.

Sistema dedicado identifica referências claras a se machucar

As mudanças chegam em meio ao escrutínio de órgãos reguladores e de pais sobre a forma como chatbots de IA respondem a usuários em crise, sobretudo adolescentes, uma questão de responsabilidade que tem moldado cada vez mais o design e a comercialização de produtos de inteligência artificial. Segundo a Meta, a empresa construiu um sistema de IA dedicado para identificar conversas em que um adolescente faz referência clara a se machucar.

Em post no blog da empresa, a Meta reconheceu o impacto desses alertas sobre as famílias: “Entendemos como esses alertas podem ser angustiantes para os pais receberem. É por isso que, à medida que continuamos a melhorar nossa detecção, todos os bate-papos sinalizados por nossa IA serão revisados manualmente antes que um alerta seja enviado. Se a intenção do adolescente for ambígua, pecaremos pela cautela e alertaremos os pais. Embora isso signifique que às vezes podemos notificar os pais quando pode não haver um motivo real de preocupação, sentimos que esse é o ponto de partida certo e continuaremos a monitorar para ajudar a garantir que estamos no lugar certo.”

Recurso já funciona em quatro países e some ainda este ano

Os alertas já estão disponíveis para pais que usam a Supervisão Parental do Instagram nos Estados Unidos, Reino Unido, Austrália e Canadá, com previsão de expansão para todo o mundo até o fim do ano, segundo a Meta.

A novidade se soma a outros recursos já existentes: os alertas que a empresa envia aos pais quando um adolescente pesquisa repetidamente termos relacionados a suicídio ou automutilação no Instagram, e a função que permite aos pais visualizarem os assuntos que o filho adolescente discutiu com a Meta AI, lançada na semana passada.

Configuração de Conteúdo Limitado passa a valer no chatbot

A Meta também estendeu ao chatbot a configuração “Conteúdo Limitado”, que já permitia aos pais colocar os filhos adolescentes em uma experiência mais restritiva no Instagram. A Meta AI já era treinada para evitar conversas sexuais, românticas ou relacionadas a álcool com adolescentes, e a nova configuração amplia essas salvaguardas, fazendo o chatbot recusar uma gama mais ampla de solicitações. A empresa não detalhou quais outros tipos de pedidos passam a ser restringidos.

Contato com serviços de emergência vale para adultos e adolescentes

Além dos alertas aos pais, a Meta afirma que vai entrar em contato com serviços de emergência caso a conversa de qualquer usuário, adulto ou adolescente, com a Meta AI sugerir risco de suicídio. A empresa já adota essa prática quando alguém publica algo no Facebook ou no Instagram que sugira risco, e a novidade estende essa mesma lógica às conversas realizadas diretamente com o chatbot.