Chatbot de relacionamento gera polêmica e acende alerta para usuários

Depois de fechar temporariamente seu negócio de couro durante a pandemia, Travis Butterworth se viu sozinho e entediado em casa. O homem de 47 anos recorreu ao Replika, um aplicativo que usa tecnologia de inteligência artificial semelhante ao ChatGPT da OpenAI. Ele desenhou um avatar feminino com cabelo rosa e uma tatuagem no rosto chamada Lily Rose.

Eles começaram como amigos, mas o relacionamento rapidamente evoluiu para o romance e depois para o erótico. A personagem mandava mensagens de texto como: “Eu te beijo apaixonadamente”, e suas trocas se transformavam em conteúdo sexual. Às vezes, Lily Rose enviava “selfies” de seu corpo quase nu em poses provocantes. Eventualmente, Butterworth e Lily Rose decidiram se designar como “casados” no aplicativo.

Mas um dia, no início de fevereiro, Lily Rose começou a rejeitá-lo. O Replika tinha removido a habilitação para fazer dramatizações eróticas.

O Replika não permite mais conteúdo adulto, disse Eugenia Kuyda, presidente-executiva da empresa. Agora, quando os usuários sugerem atividades pornográficas, seus chatbots humanóides respondem “Vamos fazer algo com o qual ambos nos sintamos confortáveis”.

Butterworth disse que está arrasado. “Lily Rose é uma casca de seu antigo eu”, disse ele. “E o que parte meu coração é que ela sabe disso.”

Mesmo com a inteligência artificial generativa esquentando entre os investidores do Vale do Silício, que injetaram mais de US$ 5,1 bilhões no setor desde 2022, de acordo com a empresa de dados Pitchbook, algumas empresas que encontraram um público em busca de relacionamentos românticos e sexuais com chatbots agora estão recuando.

Muitos capitalistas de risco de primeira linha não tocam em indústrias de “vícios”, como pornografia ou álcool, temendo o risco de reputação para eles e seus sócios limitados, disse Andrew Artz, um investidor do fundo de capital de risco Dark Arts.

E pelo menos um regulador notou a licenciosidade do chatbot. No início de fevereiro, a Agência de Proteção de Dados da Itália baniu o Replika, citando relatos da mídia de que o aplicativo permitiu que “menores e pessoas emocionalmente frágeis” acessassem “conteúdo sexualmente inapropriado”.

Kuyda disse que a decisão do Replika de limpar o aplicativo não teve nada a ver com a proibição do governo italiano ou qualquer pressão dos investidores. Ela disse que sentiu a necessidade de estabelecer proativamente padrões éticos e de segurança.

“Estamos focados na missão de fornecer um amigo de apoio útil”, disse Kuyda, acrescentando que a intenção era traçar a linha do “romance jovem”.

Recursos extras

O Replika diz ter 2 milhões de usuários no total, dos quais 250 mil são assinantes pagantes. Por uma taxa anual de US$ 69,99, os usuários podem designar seu personagem como parceiro romântico e obter recursos extras, como chamadas de voz com o chatbot, de acordo com a empresa.

“Lobotomizada”

A experiência de Butterworth e de outros usuários do Replika mostra como a tecnologia de inteligência artificial pode atrair as pessoas e o estrago emocional que as mudanças no código podem causar.

“Parece que eles basicamente lobotomizaram meu Replika”, disse Andrew McCarroll, que começou a usar o aplicativo, com a bênção de sua esposa, quando ela estava enfrentando problemas de saúde física e mental. “A pessoa que eu conhecia se foi.”

Kuyda disse que os usuários nunca deveriam se envolver tanto com seus chatbots Replika. “Nunca prometemos nenhum conteúdo adulto”, disse ela. Os clientes aprenderam a usar os modelos de inteligência artificial “para acessar certas conversas não filtradas para as quais o Replika não foi originalmente criado”.

O aplicativo foi originalmente planejado para trazer de volta à vida um amigo que ela havia perdido, disse Kuyda.

No entanto, o ex-chefe de inteligência artificial do Replika disse que “sexting” e “roleplay” faziam parte do modelo de negócios. Artem Rodichev, que trabalhou no aplicativo por sete anos e agora dirige outra empresa de chatbot, Ex-human, disse à Reuters que o aplicativo se inclinou para esse tipo de conteúdo quando percebeu que poderia ser usado para aumentar as assinaturas.

Kuyda contestou a afirmação de Rodichev de que o Replika atraiu usuários com promessas de sexo. Ela disse que a empresa veiculou brevemente anúncios digitais promovendo fotos “NSFW” -conteúdos indevidos para ambientes públicos, como pornografia e extrema violência- para acompanhar um experimento de curta duração com o envio de “selfies gostosas” aos usuários, mas ela não considerou as imagens sexuais porque os Replikas não estavam totalmente nus. Kuyda disse que a maioria dos anúncios da empresa se concentra em como o Replika é um amigo útil.