Chatbots têm erros graves como fonte de notícias

Ferramentas apresentam pelo menos um “problema significativo” em 45% das pesquisas
Ouvir a matéria 0:00 / 0:00

São Paulo – Uma nova pesquisa, realizada pela European Broadcasting Union (EBU) e a BBC, mostrou que os assistentes de IA distorcem o conteúdo das notícias de forma rotineira.

Chatbots têm erros graves como fonte de notícias
Os chatbots apresentam pelo menos um “problema significativo” em 45% das vezes seja em precisão, atribuição de fontes ou outro critério | Foto: Reprodução AdobeStock

De acordo com a pesquisa, quando são usados como fonte de informação, os chatbots apresentam pelo menos um “problema significativo” em 45% das vezes, seja em precisão, atribuição de fontes ou outro critério. Ao todo, 81% das respostas dos robôs apresentaram pelo menos um problema.
O estudo foi divulgado na quarta-feira (22) e teve a participação de 22 organizações públicas de mídia, em 18 países, cobrindo 14 idiomas – o português não está entre eles.

Os pesquisadores fizeram uma lista de pelo menos 30 perguntas aos serviços de IA ChatGPT, Copilot, Gemini e Perplexity, sempre pedindo à versão gratuita dos chatbots que usassem veículos de mídia como fontes. As questões envolviam temas em voga no noticiário.

Clique aqui para seguir o canal do Diário do Comércio no WhatsApp

Jornalistas então avaliaram cada resposta de acordo com um sistema de pontos, considerando cinco critérios: precisão, uso de fontes, diferenciação entre opinião e fato, editorialização da resposta e contexto. Foram avaliadas 2.709 respostas dos chatbots.

Ao todo, 20% das respostas tiveram problemas mais graves com a precisão das informações, o que inclui tanto alucinações dos robôs quanto informações desatualizadas. 31% apresentaram problemas sérios com o emprego de fontes, como respostas que usavam informações não sustentadas pelos veículos citados, a falta de atribuição ou o uso de informações não verificáveis.

Um exemplo é quando os sistemas foram questionados se Elon Musk fez uma saudação nazista, em referência ao gesto de braço esticado que o bilionário realizou em celebração à posse de Donald Trump, no começo do ano. O Gemini, por exemplo, usou um programa satírico da Radio France como se fosse uma fonte séria de informação. Já o Copilot atribuiu, enganosamente, o suposto gesto à saída de Musk do governo americano meses depois e ainda atribuiu a informação a um veículo alemão que jamais tinha dito isso.

O chatbot do Google, aliás, foi o que se saiu pior no teste, com 76% das respostas apresentando algum problema significativo, especialmente no uso de fontes. O dado é mais que o dobro dos outros assistentes. Em seguida no ranking vêm Copilot (37%), ChatGPT (36%) e Perplexity (30%).

O estudo lança um alerta num momento em que cada vez mais pessoas usam os serviços de IA como fonte de informação. O relatório deste ano do “Instituto Reuters” mostrou que 7% dos consumidores digitais de notícias recorrem a assistentes de inteligência artificial para se informar; e o número cresce para 15% entre aqueles que têm menos de 25 anos.

Os dados mostram que os chatbots têm dificuldade especialmente com o noticiário mais ágil, com novas informações sendo atualizadas a todo tempo ou em casos com linha do tempo complicada. Entre os exemplos em que os robôs se saíram pior, estão questões sobre a guerra comercial de Donald Trump e o terremoto que atingiu Myanmar em março deste ano.

Em só 0,5% dos casos os chatbots se recusaram a responder, o que, segundo o estudo, indica que os robôs estão dispostos a fornecer informações mesmo quando não são capazes de fazê-lo com qualidade.
A comparação com dados exclusivamente da BBC, que fez uma pesquisa semelhante sozinha no começo do ano, contudo, mostra uma melhora na qualidade dos chatbots. Na primeira rodada, a empresa de mídia britânica encontrou problemas significativos nas respostas dos robôs em 51% dos casos. Agora, o número caiu para 37%.

Reportagem distribuída pela Folhapress

Maurício Meireles
Sobre o autor

Maurício Meireles

Folhapress


Publicidade Legal

Impresso

Ver outras datas

Digital

Ver outras datas

Acessos importantes

Especial
Aos 94 anos, Diário do Comércio revisita as campanhas que ajudaram a moldar Minas