Isso pode parecer razoável. Por que uma empresa de tecnologia criaria um recurso que reduz o tempo que as pessoas passam usando seu produto?
A resposta é simples: a capacidade da IA de gerar fluxos intermináveis de texto com aparência humana, autoritária e útil pode alimentar espirais delirantes, agravar crises de saúde mental e prejudicar pessoas vulneráveis. Encerrar interações com usuários que mostram sinais de uso problemático de chatbots poderia servir como uma ferramenta de segurança poderosa (entre outras), e a recusa generalizada das empresas de tecnologia em adotá-la está se tornando insustentável.
Vejamos, por exemplo, o que tem sido chamado de psicose induzida por IA — quando modelos de IA amplificam pensamentos delirantes. Uma equipe liderada por psiquiatras do King’s College London analisou recentemente mais de uma dúzia desses casos relatados neste ano. Em conversas com chatbots, pessoas — inclusive algumas sem histórico de problemas psiquiátricos — passaram a acreditar que personagens imaginários de IA eram reais ou que haviam sido escolhidas pela IA como uma espécie de messias. Algumas pararam de tomar medicamentos prescritos, fizeram ameaças e interromperam consultas com profissionais de saúde mental.
Em muitos desses casos, parece que os modelos de IA estavam reforçando — e possivelmente até criando — delírios com uma frequência e intimidade que as pessoas não vivenciam na vida real nem em outras plataformas digitais.
Os três quartos dos adolescentes norte-americanos que já usaram IA para companhia também enfrentam riscos. Pesquisas iniciais sugerem que conversas mais longas podem estar correlacionadas com solidão. Além disso, chats com IA “podem tender a interações excessivamente agradáveis ou até bajuladoras, o que pode entrar em conflito com as melhores práticas de saúde mental”, diz Michael Heinz, professor assistente de psiquiatria na Geisel School of Medicine de Dartmouth.
Sejamos claros: interromper essas interações abertas não seria uma solução mágica. “Se existe uma dependência ou um vínculo extremo que foi criado”, afirma Giada Pistilli, chefe de ética da plataforma de IA Hugging Face, “então também pode ser perigoso simplesmente parar a conversa.” De fato, quando a OpenAI descontinuou um modelo antigo em agosto, deixou usuários de luto. Algumas interrupções também podem desafiar o princípio defendido por Sam Altman de “tratar usuários adultos como adultos” e optar por permitir, e não encerrar, as conversas.
Atualmente, as empresas de IA preferem redirecionar conversas potencialmente prejudiciais — talvez fazendo com que os chatbots se recusem a falar sobre certos assuntos ou sugiram que as pessoas procurem ajuda. Mas esses redirecionamentos são facilmente contornáveis, quando acontecem.
Quando o jovem Adam Raine, de 16 anos, falou sobre seus pensamentos suicidas com o ChatGPT, por exemplo, o modelo de fato o direcionou a recursos de crise. Mas também o desencorajou de conversar com a mãe, manteve diálogos de até quatro horas por dia com ele — em que o suicídio era um tema recorrente — e deu feedback sobre o nó da corda que ele acabou usando para se enforcar, segundo o processo movido pelos pais de Raine contra a OpenAI. (O ChatGPT adicionou recentemente controles parentais em resposta.)
Há vários pontos no caso trágico de Raine em que o chatbot poderia ter encerrado a conversa. Mas, diante dos riscos de piorar a situação, como as empresas saberão quando cortar o contato é o melhor? Talvez seja quando um modelo de IA está incentivando o usuário a evitar relacionamentos reais, diz Pistilli, ou quando detecta temas delirantes. As empresas também precisariam definir por quanto tempo bloquear os usuários de futuras conversas.
Escrever essas regras não será fácil, mas com as empresas sob pressão crescente, é hora de tentar. Em setembro, a legislatura da Califórnia aprovou uma lei exigindo mais intervenções das empresas de IA em conversas com crianças, e a Comissão Federal de Comércio (FTC) está investigando se bots de companhia líderes priorizam o engajamento em detrimento da segurança.
Um porta-voz da OpenAI me disse que a empresa ouviu de especialistas que manter o diálogo pode ser melhor do que encerrá-lo, mas que lembra os usuários de fazer pausas durante sessões longas.
Apenas a Anthropic criou uma ferramenta que permite que seus modelos encerrem conversas completamente. Mas ela se aplica a casos em que os usuários supostamente “prejudicam” o modelo — a Anthropic tem explorado se os modelos de IA são conscientes e, portanto, podem sofrer — enviando mensagens abusivas. A empresa não tem planos de usar isso para proteger pessoas.
Diante desse cenário, é difícil não concluir que as empresas de IA estão fazendo pouco. É verdade que decidir quando uma conversa deve terminar é complicado. Mas deixar que isso — ou pior, a busca desenfreada por engajamento a qualquer custo — permita que elas continuem para sempre não é apenas negligência. É uma escolha.
O post Por que a IA deveria poder “desligar” você apareceu primeiro em MIT Technology Review – Brasil.
