Lundi, un développeur utilisant le curseur populaire de l’éditeur de code alimenté par AI a remarqué quelque chose d’étrange: basculer entre les machines les a instantanément enregistrés, brisant un flux de travail commun pour les programmeurs qui utilisent plusieurs appareils. Lorsque l’utilisateur a contacté le support de curseur, un agent nommé “Sam” leur a dit que c’était un comportement attendu dans une nouvelle politique. Mais il n’existait aucune politique de ce type, et Sam était un bot. Le modèle d’IA a fait la politique, déclenchant une vague de plaintes et de menaces d’annulation documentées sur Hacker News et Reddit.
Cela marque le dernier exemple de confabulations d’IA (également appelées “hallucinations”) causant des dommages commerciaux potentiels. Les confabulations sont un type de réponse “créative de remplissage d’écart” où les modèles AI inventent des informations à consonance plausible mais fausses. Au lieu d’admettre l’incertitude, les modèles d’IA priorisent souvent la création de réponses plausibles et confiantes, même lorsque cela signifie fabriquer des informations à partir de zéro.
Pour les entreprises qui déploient ces systèmes dans des rôles orientés clients sans surveillance humaine, les conséquences peuvent être immédiates et coûteuses: les clients frustrés, la confiance endommagée et, dans le cas de Cursor, les abonnements potentiellement annulés.
Comment ça s’est déroulé
L’incident a commencé lorsqu’un utilisateur de Reddit nommé Brokentoasteroven a remarqué qu’en échangeant entre un bureau, un ordinateur portable et une boîte de développement distante, les séances de curseur ont été terminées de manière inattendue.
“La connexion au curseur sur une machine invalide immédiatement la session sur n’importe quelle autre machine”, a écrit Brokentoasteroven dans un message qui a ensuite été supprimé par des modérateurs R / Cursor. “Il s’agit d’une régression UX significative.”
Confus et frustré, l’utilisateur a écrit un e-mail à la prise en charge de Cursor et a rapidement reçu une réponse de SAM: “Cursor est conçu pour fonctionner avec un appareil par abonnement comme fonctionnalité de sécurité”, lisez la réponse par e-mail. La réponse semblait définitive et officielle, et l’utilisateur ne soupçonnait pas que Sam n’était pas humain.
Après le post initial Reddit, les utilisateurs ont pris le poste comme confirmation officielle d’un changement de politique réel – une qui a brisé les habitudes essentielles aux routines quotidiennes de nombreux programmeurs. “Les workflows multi-appareils sont des enjeux de table pour les développeurs”, a écrit un utilisateur.
Peu de temps après, plusieurs utilisateurs ont annoncé publiquement leurs annulations d’abonnement sur Reddit, citant la politique inexistante comme raison. “J’ai littéralement annulé mon sous-marin”, a écrit l’affiche originale de Reddit, ajoutant que leur lieu de travail était maintenant “le purgeant complètement”. D’autres se sont joints: “Oui, j’annule aussi, c’est asinine.” Peu de temps après, les modérateurs ont verrouillé le fil Reddit et supprimé le poteau d’origine.
“Hé! Nous n’avons pas une telle politique”, a écrit un représentant de Cursor dans une réponse Reddit trois heures plus tard. “Vous êtes bien sûr libre d’utiliser le curseur sur plusieurs machines. Malheureusement, il s’agit d’une réponse incorrecte d’un bot de support d’IA de première ligne.”
Les confabulations d’IA comme risque commercial
La débâcle du curseur se souvient d’un épisode similaire de février 2024 lorsque Air Canada a été condamné à honorer une politique de remboursement inventée par son propre chatbot. Dans cet incident, Jake Moffatt a contacté le soutien d’Air Canada après la mort de sa grand-mère, et l’agent d’IA de la compagnie aérienne lui a dit à tort qu’il pouvait réserver un vol à prix régulier et demander des taux de deuil rétroactivement. Lorsque Air Canada a ensuite nié sa demande de remboursement, la société a fait valoir que “le chatbot est une entité juridique distincte responsable de ses propres actions”. Un tribunal canadien a rejeté cette défense, jugeant que les entreprises sont responsables des informations fournies par leurs outils d’IA.
Plutôt que de contester la responsabilité comme Air Canada l’a fait, Cursor a reconnu l’erreur et a pris des mesures pour faire amende honorable. Le cofondateur du curseur Michael Truell s’est excusé plus tard sur Hacker News pour la confusion sur la politique inexistante, expliquant que l’utilisateur avait été remboursé et que le problème résulte d’un changement de backend destiné à améliorer la sécurité des sessions qui a créé involontairement des problèmes d’invalidation de session pour certains utilisateurs.
“Toutes les réponses d’IA utilisées pour l’assistance par e-mail sont désormais clairement étiquetées comme telles”, a-t-il ajouté. “Nous utilisons les réponses assistées par AI comme premier filtre pour l’assistance par e-mail.”
Pourtant, l’incident a soulevé des questions persistantes sur la divulgation des utilisateurs, car de nombreuses personnes qui ont interagi avec Sam pensaient apparemment que c’était humain. “LLMS faisant semblant d’être des gens (vous l’avez nommé Sam!) Et non étiqueté comme tel est clairement destiné à être trompeur”, a écrit un utilisateur sur Hacker News.
Bien que le curseur corrige le bogue technique, l’épisode montre les risques de déploiement des modèles d’IA dans des rôles orientés clients sans garanties et transparence appropriées. Pour une entreprise qui vend des outils de productivité d’IA aux développeurs, le fait que son propre système de support d’IA invente une politique qui aliénait ses principaux utilisateurs représente une blessure auto-infligée particulièrement maladroite.
“Il y a une certaine ironie que les gens essaient vraiment de dire que les hallucinations ne sont plus un gros problème”, a écrit un utilisateur sur Hacker News “, puis une entreprise qui bénéficierait de ce récit se blessera directement.”
Cette histoire est apparue à l’origine sur Ars Technica.
