Les moteurs de recherche AI et les chatbots fournissent souvent de mauvaises réponses et composent des citations d’articles, selon une nouvelle étude de Columbia Journalism Review.
Pourquoi nous nous soucions. Les outils de recherche d’IA ont augmenté le grattage de votre contenu afin qu’ils puissent servir des réponses à leurs utilisateurs, ce qui n’a cessé de cliquer sur votre site Web. En outre, les taux de clics à partir de la recherche AI et des chatbots sont beaucoup plus bas que Google Search, selon une étude distincte et non liée. Mais les citations hallucinantes aggravent encore une situation déjà mauvaise.
Par les chiffres. Plus de la moitié des réponses des Gémeaux et Grok 3 ont cité des URL fabriquées ou cassées qui ont conduit à des pages d’erreur. Aussi, selon l’étude:
- Dans l’ensemble, les chatbots ont fourni des réponses incorrectes à plus de 60% des requêtes:
- Grok 3 (le taux d’erreur le plus élevé) a répondu à 94% des requêtes de manière incorrecte.
- Les Gémeaux n’ont fourni qu’une réponse complètement correcte à une occasion (dans 10 tentatives).
- La perplexité, qui avait le taux d’erreur le plus bas, a répondu incorrectement 37% des requêtes.
Ce qu’ils disent. Les auteurs de l’étude (Klaudia Jaźwińska et Aisvarya Chandrasekar), qui ont également noté que «plusieurs chatbots semblaient contourner les préférences du protocole d’exclusion des robots», résume de cette façon:
«Les résultats de cette étude s’alignent étroitement avec ceux décrits dans notre étude précédente ChatGpt, publiée en novembre 2024, qui a révélé des modèles cohérents à travers les chabots: présentations confiantes d’informations incorrectes, des attributions trompeuses à des contenus syndiqués et à la recherche de chirags et à la recherche de chirags, ce qu’ils ont soulevé sur les modèles de langage de Chirag, ils ont soulevé des préoccupations substantielles sur les modèles de langage, ce qu’ils ont soulevé« Bender ont soulevé des préoccupations substraquières sur les modèles de langage et d’émily. La transparence et l’agence d’utilisateurs ouvrage, amplifient davantage les problèmes associés aux biais dans les systèmes (accès aux informations) et fournissent souvent des réponses non fondées et / ou toxiques qui peuvent ne pas être contrôlées par un utilisateur typique. ‘»
Sur la comparaison. Cette analyse de 1 600 requêtes a comparé la capacité des outils génératifs d’IA (recherche Chatgpt, perplexité, perplexity pro, recherche en profondeur, Microsoft Copilot, Grok-2 et Grok-3 Search et Google Gemini) pour identifier le titre d’un article, l’éditeur original, la date de publication et l’URL, basé sur l’exccertage direct de 10 articules choisis à la date aléatoire de 20 éditeurs.
L’étude. La recherche AI a un problème de citation