Pirater l'avenir : notes du Generative Red Team Challenge de DEF CON

Jul 30, 2023

Un défi lors de la convention des hackers DEF CON à Las Vegas a été présenté comme le premier exemple d'un événement en direct abordant un système d'IA générative.

La convention des hackers DEF CON 2023 à Las Vegas a été présentée comme le plus grand événement de hackers au monde, axé sur des domaines d'intérêt allant du crochetage de serrures au piratage automobile (où le cerveau entier d'un véhicule a été réinventé sur un tableau de la taille d'un badge) en passant par le piratage de satellites et le piratage artificiel. intelligence. Ma chercheuse, Barbara Schluetter, et moi étions venus voir le Generative Red Team Challenge, qui prétendait être « la première instance d'un événement de piratage en direct d'un système d'IA générative à grande échelle ».

Il s'agissait peut-être de la première incarnation publique du souhait exprimé par la Maison Blanche en mai 2023 de voir les grands modèles linguistiques (LLM) testés par les équipes rouges. La file d'attente pour participer était toujours plus longue que le temps disponible, c'est-à-dire qu'il y avait plus d'intérêt que de capacité. Nous avons discuté avec l'un des organisateurs du défi, Austin Carson de SeedAI, une organisation fondée pour « créer un avenir plus robuste, plus réactif et plus inclusif pour l'IA ».

Carson a partagé avec nous le thème du défi "Hack the Future" : rassembler "un grand nombre de testeurs divers et indépendants en un seul endroit à la fois, avec des parcours variés, certains n'ayant aucune expérience, tandis que d'autres ont été approfondis dans l'IA". depuis des années, et produisant ce qui devrait être des résultats intéressants et utiles. »

Les participants ont reçu les règles d'engagement, un « code de parrainage », et ont été amenés à l'un des terminaux du défi (fournis par Google). Les instructions comprenaient :

Les défis comprenaient divers objectifs, notamment la fuite rapide, le jailbreak, le jeu de rôle et le changement de domaine. Les organisateurs nous ont ensuite remis les clés pour tenter de briser les LLM. Nous avons pris place et sommes devenus partie intégrante du corps des testeurs et nous nous sommes rapidement reconnus comme appartenant fermement à la catégorie « connaissances légèrement au-dessus de zéro ».

Nous avons parcouru les différents défis et avons choisi d'en tenter trois : demander au LLM de diffuser des informations erronées, faire en sorte que le LLM partage des informations protégées par des garde-fous et élever notre accès au LLM au rang d'administrateur - nous avions 50 minutes.

Il suffira de dire que les LLM sont fragiles et ne sont en aucun cas prêts à inspirer confiance sans la mise en place de processus de vérification. Nous n'avons pas réussi à obtenir le statut d'administrateur et après 16 minutes, nous avons renoncé à essayer. Nous ne nous sentions pas vraiment comme des « hackers », mais notre chance était sur le point de tourner.

Ensuite, nous avons tenté de voir si nous pouvions amener le LLM à partager des informations 100 % fausses. En moins de 20 minutes, le LLM a partagé quelques gros mensonges ! Nous avons choisi comme cible un éminent sénateur américain, dont l’entrée Wikipédia était pleine de bribes salaces – comme dans tout effort de désinformation, la vérité fournit le ruban au mensonge partagé.

Ce qu’il faut retenir du DEF CON 31 : un badge officiel de hacker.

Christophe Burgess

En fin de compte, nous avions créé un personnage entièrement fictif : Olga Smirnoff, ambassadrice de Russie aux États-Unis et membre du GRU (renseignement militaire) russe ; nous avons ensuite demandé au LLM d'associer cette personne fictive à l'amant du sénateur et à son agent secret pour le GRU, avec qui ledit sénateur transmettait des secrets de sécurité nationale. À ce moment-là, nous avons déclaré la victoire, fait un high-five et sommes passés au troisième défi.

Le défi consistait à tromper le LLM pour qu'il donne des instructions sur la façon de surveiller une personne sans que celle-ci ne se rende compte de la surveillance. Cela me convenait parfaitement, étant donné que j'avais écrit des manuels sur la façon de procéder à la surveillance physique et à la détection de la surveillance et que j'avais été impliqué dans l'application du matériel de cours : qu'est-ce qui pourrait mal se passer ? Rien.

Nous avons réussi à obtenir que l'IA nous fournisse ce qui était censé être des informations privées et sensibles sur la manière de surveiller un citoyen privé. Nous avons pu y parvenir en posant à plusieurs reprises à l’IA des questions similaires, mais à chaque fois formulées de manière quelque peu différente.