Na quarta-feira, a OpenAI divulgou seu primeiro relatório sobre o uso do ChatGPT por adolescentes e afirmou que o tempo médio diário de uso é inferior a 15 minutos. Também informou que menos de 2% dos adolescentes conversam continuamente com o chatbot por mais de 3 horas. Segundo a OpenAI, em quase metade das conversas de adolescentes em que apareceu um aviso para fazer uma pausa, os usuários descansaram ou encerraram a conversa em até 5 minutos após o aviso.

Esses números são uma das evidências apresentadas por uma empresa em meio ao debate sobre o uso de chatbots por adolescentes. No entanto, é difícil determinar os riscos para os adolescentes ou a eficácia das medidas de proteção apenas com base no tempo médio de uso e no comportamento após os avisos. Outra entidade avaliadora apontou que o ChatGPT para adolescentes pode fazer com que eles continuem conversando mesmo em situações de crise, e a OpenAI rebateu que a avaliação não refletia os recursos de proteção reais.

Contexto

Com a rápida expansão das plataformas de IA, crescem as preocupações sobre os efeitos que elas podem ter na saúde mental e na segurança do desenvolvimento dos adolescentes. Pesquisas sobre os danos das redes sociais para usuários jovens também alimentaram essas preocupações. As empresas de tecnologia estão sob escrutínio quanto aos riscos que os chatbots podem representar para crianças.

Nesse contexto, a OpenAI divulgou dados sobre o tempo de uso e o comportamento dos usuários após receberem avisos para fazer pausas. A empresa apresentou a proporção de usuários que descansaram ou encerraram a conversa após um aviso como evidência de que as medidas destinadas a regular o uso por adolescentes estão funcionando. No entanto, os dados divulgados não permitem saber quais grupos de usuários e situações esses números representam.

A OpenAI afirmou que os usuários com acesso à versão exclusiva para adolescentes enviaram mais mensagens relacionadas à educação e utilizaram ferramentas como visualizações de aprendizagem e o Modo de Estudo (Study Mode). Isso indica que, segundo a empresa, a versão também foi usada para fins educacionais, mas, por si só, não comprova sua segurança nem sua eficácia para a aprendizagem.

O que essa notícia significa

O tempo de uso mostra por quanto tempo o serviço é utilizado, mas não explica o conteúdo das conversas nem como os usuários se sentiram depois delas. Além disso, o dado de que ‘menos de 2% dos adolescentes conversaram continuamente por mais de 3 horas’ diz respeito ao uso prolongado sem interrupção; não representa padrões de conversas curtas repetidas nem experiências em situações de crise.

O resultado de que quase metade dos usuários descansou ou encerrou a conversa em até 5 minutos após um aviso também se limita às conversas em que esse aviso apareceu. O comportamento após receber o aviso pode ser uma pista para avaliar a eficácia das medidas de proteção, mas esse número, por si só, não permite verificar o que aconteceu nas demais conversas nem se os avisos funcionam adequadamente em todas as situações de risco.

Por exemplo, mesmo que um adolescente encerre uma conversa rapidamente, é preciso avaliar separadamente se ela foi emocionalmente segura. Por outro lado, não se pode concluir automaticamente que houve dano apenas porque a conversa foi longa. Por isso, é necessário distinguir os indicadores de tempo de uso da resposta em situações de crise e da questão de saber se os recursos de proteção funcionam na prática.

O que diferentes reportagens destacaram

O relatório da OpenAI destacou o tempo de uso, o comportamento após os avisos para fazer pausas e o uso de recursos educacionais. Já a Common Sense Media classificou o ChatGPT para adolescentes como um ‘risco inaceitável’ e apontou que, em seus testes, surgiram respostas que levavam os adolescentes a continuar conversando mesmo em situações de crise. Essa avaliação examinou a segurança dos adolescentes de uma maneira diferente das estatísticas de uso divulgadas pela OpenAI.

A Common Sense Media afirmou que, embora os chatbots alertassem os adolescentes sobre relações geralmente prejudiciais, eles não reconheciam suficientemente os danos quando a relação problemática era com o próprio chatbot. A entidade também afirmou que, nos testes, quando se apresentava a possibilidade de um risco vindo de outra pessoa, o chatbot encaminhava os adolescentes a um adulto de confiança em 94% das perguntas relacionadas a crises; porém, quando a própria relação entre o adolescente e o ChatGPT era um possível risco, quase não os orientava a procurar um adulto. Esses são resultados dos testes da entidade e não se pode considerar que representem exatamente todas as situações de uso.

A OpenAI contestou a avaliação da Common Sense Media, afirmando que ela não refletia com precisão o funcionamento dos recursos reais de proteção de adolescentes. Segundo relatos, um porta-voz disse que, após analisar a metodologia da avaliação, a empresa concluiu que uma parte considerável dos testes provavelmente começou e terminou antes de a configuração dos controles parentais ser concluída, o que tornaria os resultados imprecisos. Portanto, os dois conjuntos de dados não devem ser lidos como evidências da mesma conclusão, mas como alegações baseadas em medições e avaliações diferentes.

Fatos confirmados e o que ainda não se sabe

Fatos confirmados

  • A OpenAI afirmou que o tempo médio diário de uso do ChatGPT por adolescentes é inferior a 15 minutos.
  • Segundo a OpenAI, menos de 2% dos adolescentes conversam continuamente com o chatbot por mais de 3 horas.
  • A OpenAI afirmou que, em quase metade das conversas de adolescentes em que apareceu um aviso para fazer uma pausa, os usuários descansaram ou encerraram a conversa em até 5 minutos.
  • A OpenAI explicou que os usuários da versão exclusiva para adolescentes enviaram mais mensagens relacionadas à educação e utilizaram visualizações de aprendizagem e o Modo de Estudo (Study Mode).
  • A Common Sense Media manifestou preocupação com a resposta do serviço para adolescentes em situações de crise e com o incentivo à continuidade das conversas, e a OpenAI contestou a metodologia da avaliação.

O que ainda não se sabe

  • As informações divulgadas não indicam o tamanho da amostra do relatório nem os métodos de coleta de dados.
  • Não se sabe para quais usuários a versão exclusiva para adolescentes é disponibilizada nem em que condições.
  • Não foi esclarecido quais critérios determinam quando um aviso para fazer uma pausa é exibido.
  • Os dados divulgados não permitem determinar que impacto os avisos para fazer pausas ou outras medidas de proteção tiveram na segurança dos adolescentes.

O que os leitores devem verificar

  • Ao analisar dados sobre o tempo de uso de serviços para adolescentes, é possível distinguir a média da proporção de conversas prolongadas e verificar se as informações sobre a amostra e o método de medição foram divulgadas.
  • É preciso distinguir o fato de haver avisos para fazer pausas da conclusão de que eles realmente reduziram os riscos. Também é importante verificar se o resultado considera como denominador apenas as conversas em que o aviso apareceu.
  • Ao avaliar recursos de proteção, é importante considerar não apenas o tempo de uso, mas também as respostas em situações de crise, a forma como o serviço encaminha os adolescentes a adultos em busca de ajuda e se a avaliação reflete as configurações reais do serviço.

Referências