Des drones livrant des fournitures médicales aux assistants numériques effectuant des tâches quotidiennes, les systèmes alimentés par l’IA sont de plus en plus ancrés dans la vie quotidienne. Les créateurs de ces innovations promettent des avantages transformateurs. Pour certaines personnes, des applications grand public telles que Chatgpt et Claude peuvent sembler magiques. Mais ces systèmes ne sont pas magiques, et ils ne sont pas infaillibles – ils peuvent et ne parviennent pas régulièrement à travailler comme prévu.
Les systèmes d’IA peuvent mal fonctionner en raison de défauts de conception technique ou de données de formation biaisées. Ils peuvent également souffrir de vulnérabilités dans leur code, qui peuvent être exploitées par des pirates malveillants. L’isolement de la cause d’une défaillance de l’IA est impératif pour réparer le système.
Mais les systèmes d’IA sont généralement opaques, même pour leurs créateurs. Le défi est de savoir comment enquêter sur les systèmes d’IA après avoir échoué ou être victime d’attaquer. Il existe des techniques pour inspecter les systèmes d’IA, mais ils nécessitent un accès aux données internes du système d’IA. Cet accès n’est pas garanti, en particulier aux enquêteurs médico-légaux appelés à déterminer la cause d’une défaillance de système d’IA propriétaire, ce qui rend les enquêtes impossibles.
Nous sommes des informaticiens qui étudient la criminalistique numérique. Notre équipe au Georgia Institute of Technology a construit un système, une psychiatrie d’IA ou une AIP, qui peut recréer le scénario dans lequel une IA a échoué afin de déterminer ce qui n’a pas fonctionné. Le système relève les défis de la criminalistique de l’IA en récupérant et en «réanimant» un modèle suspect d’IA afin qu’il puisse être systématiquement testé.
Incertitude de l’IA
Imaginez qu’une voiture autonome quitte la route sans raison facilement discernable, puis s’écrase. Les journaux et les données des capteurs pourraient suggérer qu’une caméra défectueuse a fait que l’IA a mal interprété un panneau routier en tant que commande. Après une défaillance critique de mission telle qu’un accident de véhicule autonome, les enquêteurs doivent déterminer exactement ce qui a provoqué l’erreur.
L’accident a-t-il été déclenché par une attaque malveillante contre l’IA? Dans ce cas hypothétique, la défaillance de la caméra pourrait être le résultat d’une vulnérabilité ou d’un bogue de sécurité dans son logiciel exploité par un pirate. Si les enquêteurs trouvent une telle vulnérabilité, ils doivent déterminer si cela a provoqué le crash. Mais faire cette détermination n’est pas une mince affaire.
Bien qu’il existe des méthodes médico-légales pour récupérer certaines preuves à partir de défaillances des drones, des véhicules autonomes et d’autres systèmes dits cyber-physiques, aucun ne peut capturer les indices nécessaires pour étudier pleinement l’IA dans ce système. Les AIS avancés peuvent même mettre à jour leur prise de décision – et par conséquent les indices – en continu, ce qui rend impossible d’étudier les modèles les plus récents avec les méthodes existantes.
https://www.youtube.com/watch?v=pcfxjfypdge
Pathologie pour l’IA
L’IA Psychiatry applique une série d’algorithmes médico-légaux pour isoler les données derrière la prise de décision du système d’IA. Ces pièces sont ensuite réassemblées dans un modèle fonctionnel qui fonctionne de manière identique au modèle d’origine. Les enquêteurs peuvent «réanimer» l’IA dans un environnement contrôlé et le tester avec des entrées malveillantes pour voir si elle présente des comportements nocifs ou cachés.
L’IA Psychiatry prend en entrée une image de mémoire, un instantané des bits et des octets chargés lorsque l’IA était opérationnel. L’image mémoire au moment de l’accident dans le scénario du véhicule autonome contient des indices cruciaux sur l’état interne et les processus décisionnels de l’IA contrôlant le véhicule. Avec la psychiatrie de l’IA, les enquêteurs peuvent désormais relever le modèle IA exact de la mémoire, disséquer ses bits et octets et charger le modèle dans un environnement sécurisé pour les tests.
Notre équipe a testé la psychiatrie de l’IA sur 30 modèles d’IA, dont 24 ont été intentionnellement «décomposition» pour produire des résultats incorrects sous des déclencheurs spécifiques. Le système a été en mesure de récupérer, de refaire et de tester tous les modèles, y compris des modèles couramment utilisés dans des scénarios du monde réel tels que la reconnaissance des panneaux de rue dans les véhicules autonomes.
Jusqu’à présent, nos tests suggèrent que la psychiatrie de l’IA peut résoudre efficacement le mystère numérique derrière un échec tel qu’un accident de voiture autonome qui aurait auparavant laissé plus de questions que de réponses. Et s’il ne trouve pas de vulnérabilité dans le système d’IA de la voiture, l’IA Psychiatry permet aux enquêteurs d’exclure l’IA et de rechercher d’autres causes telles qu’une caméra défectueuse.
Pas seulement pour les véhicules autonomes
L’algorithme principal de l’IA de la psychiatrie est générique: il se concentre sur les composants universels que tous les modèles d’IA doivent avoir pour prendre des décisions. Cela rend notre approche facilement extensible à tous les modèles d’IA qui utilisent des cadres de développement d’IA populaires. Quiconque travaille à enquêter sur une éventuelle échec d’IA peut utiliser notre système pour évaluer un modèle sans connaissance préalable de son architecture exacte.
Que l’IA soit un bot qui fait des recommandations de produits ou un système qui guide les flottes de drones autonomes, la psychiatrie d’IA peut récupérer et refaire l’IA pour analyse. L’IA Psychiatry est entièrement open source pour tout enquêteur.
La psychiatrie de l’IA peut également servir d’outil précieux pour effectuer des audits sur les systèmes d’IA avant que des problèmes ne surviennent. Les agences gouvernementales des forces de l’ordre aux services de protection de l’enfance intégrant les systèmes d’IA dans leurs flux de travail, les audits de l’IA deviennent une exigence de surveillance de plus en plus courante au niveau de l’État. Avec un outil comme la psychiatrie d’IA en main, les auditeurs peuvent appliquer une méthodologie médico-légale cohérente sur diverses plateformes et déploiements d’IA.
À long terme, cela rapportera des dividendes significatifs à la fois pour les créateurs de systèmes d’IA et tous ceux qui sont touchés par les tâches qu’ils effectuent.
David Oygenblik, Ph.D. Étudiant en génie électrique et informatique, Georgia Institute of Technology et Brendan Saltaformaggio, professeur agrégé de cybersécurité et de confidentialité, et génie électrique et informatique, Georgia Institute of Technology
Cet article est republié à partir de la conversation sous une licence Creative Commons. Lisez l’article original.
