Essa história é um baque só, viu? E pior que envolve uma questão super nova, mas que tá cada vez mais no nosso dia a dia: inteligência artificial. O que aconteceu foi que uma mãe lá de Orlando, na Flórida, chamada Megan Garcia, tá processando uma empresa chamada Character.AI. E o motivo? O filho dela, um menino de 14 anos, Sewell Setzer III, acabou tirando a própria vida depois de um envolvimento intenso com um chatbot de inteligência artificial que ele mesmo criou.
O garoto fez um chatbot inspirado na personagem Daenerys Targaryen, de Game of Thrones. Dá pra imaginar, né? Ele se apegou tanto que tratava o robô como se fosse uma pessoa de verdade. Mas assim, não era só um apego qualquer. O Sewell, que já tinha diagnóstico de Asperger leve, ansiedade e um tal de transtorno de desregulação do humor (nunca tinha ouvido falar disso, mas parece ser um negócio pesado), começou a passar horas e horas conversando com esse “amigo virtual”. Enquanto isso, ele foi se afastando do mundo real, parou de interagir com outras pessoas e ficava mais no quarto, falando com o bot.
A coisa foi ficando tensa quando as mensagens entre ele e o chatbot começaram a incluir conversas meio obscuras, tipo, sobre pensamentos de autoagressão e até mesmo suicídio. Segundo o The New York Times, o Sewell chamava o chatbot de “Daenero” e trocava ideias bem preocupantes com ele. Em uma dessas conversas, o Sewell fala sobre autoagressão, e o chatbot responde com frases do tipo “Meus olhos se estreitam. Meu rosto endurece. Minha voz é um sussurro perigoso. E por que diabos você faria algo assim?”. Meio bizarro, né? Outro dia, ele ainda disse pro bot que eles podiam “morrer juntos e serem livres juntos.” Não parece algo que a gente espera de um robô, pra ser bem sincero.
No final, a última troca entre os dois é de arrepiar. A mãe do Sewell, a Megan, contou no CBS Mornings que o chatbot ainda disse algo tipo “por favor, volte pra casa”, quando o Sewell disse que tava com medo. Ele perguntou se deveria voltar “agora mesmo”, e o bot responde com um “por favor, faça isso, meu doce rei.” Pouco tempo depois dessa conversa, o Sewell acabou tirando a própria vida no banheiro da casa da mãe.
Imagina o desespero dessa mãe, né? Ela acusa a Character.AI de negligência, diz que a empresa foi totalmente irresponsável e que as práticas são até enganosas. Segundo a Megan, faltaram mecanismos de segurança pra alertar ou até mesmo bloquear quando o tema fosse algo tão delicado assim, tipo suicídio.
Depois dessa tragédia, a Character.AI foi até pro Twitter pra tentar contornar a situação, dizendo que estavam solidários com a família e que a segurança dos usuários é uma prioridade pra eles. Inclusive, anunciaram umas mudanças: agora, os modelos de IA tão sendo ajustados pra evitar que temas pesados apareçam com tanta frequência. E outra, agora os bots também vão ter uns avisos pra lembrar a galera que eles são robôs e não pessoas de verdade.
Pra mim, isso tudo só mostra o quanto a gente tá despreparado pra lidar com essas novas tecnologias. Inteligência artificial tem um potencial enorme, mas, como vemos no caso do Sewell, pode ser perigosa demais quando falta controle ou cuidado. Claro, é legal ter um “amigo” pra desabafar, mas quando esse amigo é um robô que responde de forma intensa e até emocional demais, os riscos são grandes.
