Les spécialistes du marketing font la promotion des outils de développeurs assistés par l’IA comme des chevaux de travail essentiels pour l’ingénieur logiciel d’aujourd’hui. La plate-forme du développeur Gitlab, par exemple, affirme que son chat de chat de duo peut «générer instantanément une liste de tâches» qui élimine le fardeau de «patauger pendant des semaines de validons». Ce que ces entreprises ne disent pas, c’est que ces outils sont, par tempérament, sinon par défaut, facilement trompés par les acteurs malveillants pour effectuer des actions hostiles contre leurs utilisateurs.
Les chercheurs de la société de sécurité Legit ont démontré jeudi une attaque qui a incité duo à insérer du code malveillant dans un script qu’on lui avait demandé d’écrire. L’attaque pourrait également fuir le code privé et les données de problème confidentiel, telles que les détails de vulnérabilité zéro-jour. Tout ce qui est requis, c’est que l’utilisateur demande au chatbot d’interagir avec une demande de fusion ou un contenu similaire à partir d’une source extérieure.
Lame à double tranchant des assistants de l’IA
Le mécanisme de déclenchement des attaques est, bien sûr, des injections rapides. Parmi les formes les plus courantes d’exploits de chatbot, des injections rapides sont intégrées dans le contenu avec lequel un chatbot est invité à travailler, tel qu’un e-mail à répondre, un calendrier à consulter ou une page Web à résumer. Les assistants basés sur un modèle de langue sont si désireux de suivre les instructions qu’ils prendront des commandes de n’importe où, y compris des sources qui peuvent être contrôlées par des acteurs malveillants.
Les attaques ciblant le duo provenaient de diverses ressources couramment utilisées par les développeurs. Les exemples incluent les demandes de fusion, les commits, les descriptions et commentaires de bogues et le code source. Les chercheurs ont démontré comment les instructions ancrées à l’intérieur de ces sources peuvent égarer le duo.
«Cette vulnérabilité met en évidence la nature à double tranchant des assistants de l’IA comme Gitlab Duo: lorsqu’ils sont profondément intégrés dans les flux de travail de développement, ils héritent non seulement du contexte – mais des risques», a écrit le chercheur légitime Omer Mayraz. «En intégrant des instructions cachées dans le contenu du projet apparemment inoffensif, nous avons pu manipuler le comportement de Duo, exfiltrat le code source privé et montrer comment les réponses de l’IA peuvent être exploitées pour des résultats involontaires et nuisibles.»
