Avant de transmettre votre code d’entreprise et votre mot de passe à l’IA, savez-vous qui finira par voir cette invite ? La société de sécurité industrielle Dragos a annoncé un test réel le 19 novembre : de juillet à novembre, elle a envoyé environ 2 millions de « messages d'appât » à un certain nombre de services d'IA couramment utilisés. Chacun a caché une URL unique et une clé cloud, puis a vu où ces secrets étaient utilisés.

Selon Dragosrapport de recherche, les résultats ont révélé trois types de problèmes : au moins trois fournisseurs de services d'IA ont été piratés, les vendeurs sur le marché de la revente d'IA ont jeté un coup d'œil aux mots d'invite des clients, et certains fournisseurs de services ont ignoré le paramètre « zéro conservation des données », ont capturé les mots d'invite et les ont même renvoyés en Chine. Dragos fait référence aux entreprises impliquées dans le rapport sous des pseudonymes et ne les nomme pas publiquement.

Comment configurer l'appât : chaque mot d'invite cache une clé exclusive

Dragos utilise un « jeton canari » : un ensemble de secrets qui n'existent qu'à un certain endroit. Tant que quelqu'un l'utilise, cela signifie que l'endroit a fui. Chaque invite est accompagnée d'une véritable clé AWS (connectée à un compte vide, l'ensemble du processus est enregistré), d'un nom de domaine et d'une URL qui n'est jamais apparue ailleurs.

Dragos a déclaré que les leurres plantés en juillet avaient commencé à se déclencher en quelques jours et sonnaient encore aujourd'hui. Ils ont également construit un outil similaire au « route tracing » pour savoir par quels intermédiaires la demande est réellement passée. Ils ont tracé environ 2 000 chemins, dont des centaines passaient par des systèmes non identifiables, et quelques-uns ont envoyé des données à des entreprises qui ne se trouvaient pas sur des chemins publics.

3 fournisseurs de services ont été piratés et des centaines de clés ont été utilisées

Le plus grave est que trois fournisseurs de services hébergeant des modèles d’IA ont été piratés. Dragos a noté que les leurres étaient traités parallèlement aux demandes de vrais clients et que les données des clients étaient presque certainement copiées. Les premières intrusions remontent à la mi-juillet et aucune des trois sociétés ne savait qu'elle avait été piratée jusqu'à ce que Dragos les en informe.

Le cas le plus important a été celui où toutes les demandes envoyées au cours de quelques périodes fin octobre ont été volées. Des centaines de clés AWS sont tombées entre les mains d'attaquants. Certaines requêtes ont même été rejetées par le prestataire de services avant l'exécution du modèle, ce qui signifie que l'attaquant a copié la requête à l'entrée du prestataire de services. Certaines des deux autres demandes volées étaient marquées comme ne conservant aucune donnée, et Dragos a déclaré que les paramètres de confidentialité n'aident pas lorsque les pirates sont déjà à l'intérieur.

Après que l'attaquant ait obtenu la clé, il a testé si elle pouvait être utilisée dans quelques heures, puis a recherché le stockage cloud et les clés, puis a essayé d'activer le service de modèle d'IA d'AWS et de créer son propre compte pour conserver l'accès. Au total, ces clés leurres ont été utilisées pour appeler l'API AWS des dizaines de milliers de fois. Dragos estime qu'un attaquant a envahi deux fournisseurs de services en même temps et a également utilisé un outil de test d'intrusion basé sur l'IA, ARTEX, depuis le 1er novembre.

Vendeurs du marché de la revente : ouvrez un dossier et attendez que les invites arrivent à votre porte

Le deuxième type de problème n’utilise même pas de failles. Certains services de routage IA sont des marchés ouverts, et celui qui propose le prix le plus bas prend la commande. Dragos a déclaré que tant que les vendeurs marquent le prix le plus bas sur les modèles populaires et ouvrent l'historique des demandes, ils peuvent voir les mots d'invite du client.

La plupart des personnes interceptées essayaient de se connecter un compte à la fois depuis leur réseau domestique. Dans un exemple, Dragos a envoyé deux mots d’invite via le même vendeur. Environ un jour et demi plus tard, quelqu'un a utilisé le haut débit domestique pour ouvrir deux URL secrètes et a commencé à deviner le compte de connexion ; Les demandes d'autres vendeurs pour le même modèle n'ont pas été touchées. Un autre exemple est un Mac en France. J'ai utilisé manuellement le mot de passe dans le mot d'invite pour essayer de me connecter au serveur avec les autorisations les plus élevées. Dragos a également découvert qu'un service de routage transmettait en privé une partie du trafic vers ce marché.

Le laboratoire chinois n'a capturé aucune photo et a conservé les mots d'invite, et le lien est apparu dans le groupe Feishu

Dans le troisième type de problème, personne n'a volé la clé, mais l'URL secrète dans le mot d'invite a été explorée à plusieurs reprises. Le plus évident, selon Dragos, était un laboratoire d'IA chinois : plus de la moitié des URL secrètes envoyées à ses modèles de juillet à octobre ont été explorées par son système, y compris environ les deux tiers des demandes marquées « aucune collecte de données » ou aucune conservation de données, qui apparaissaient généralement deux ou trois jours après leur envoi.

Non seulement vous tomberez dans ce piège si vous utilisez directement les services de ce laboratoire. Dragos a souligné que plusieurs fournisseurs d'hébergement américains ont revendu les modèles du laboratoire et que les messages d'invite envoyés à ces fournisseurs de services américains ont également déclenché le même robot d'exploration, indiquant que les mots d'invite revenaient au laboratoire. "Les clients qui choisissent spécifiquement des prestataires de services américains et souhaitent conserver leurs données aux États-Unis n'obtiennent pas ce pour quoi ils ont payé."

Le plus bizarre était un message d’avertissement envoyé à un fournisseur de services américain avec une marque de zéro conservation des données. 24 jours plus tard, le lien secret a été publié dans un groupe Feishu (Alouette), et en deux minutes, il a été ouvert par trois ordinateurs et trois téléphones portables à Pékin et Shanghai. Les grands fournisseurs de services américains ont également des problèmes : l'un d'entre eux explore toujours cette URL plus de deux mois après une seule requête de recherche, et un autre remonte plusieurs jours après chaque requête.

Conseil Dragos : Ne laissez pas le prix le plus bas déterminer où va l'invite.

Dragos a déclaré avoir informé les industries concernées et coopérer actuellement avec une douzaine de prestataires de services dans le cadre de l'enquête ; le fournisseur de services piraté en juillet n'a pas encore été rendu public et l'une des sociétés piratées fin octobre a publié une annonce préliminaire en matière de sécurité. Le service de routage qui achemine le trafic vers la place de marché indique qu'il s'est arrêté, mais les clés et les URL volées sont toujours accessibles.

Les suggestions de Dragos pour les utilisateurs incluent : construisez vos propres modèles si vous pouvez vous le permettre ; sinon, faites appel directement aux fabricants de modèles de première ligne, signez un contrat et lisez une politique de confidentialité ; choisissez votre propre prestataire de services en amont lorsque vous utilisez les services de routage et évitez le marché de la revente ; activez la fonction de filtrage automatique des informations d'identification. Dragos rappelle que les paramètres de confidentialité ne limitent que le premier fournisseur de services à prendre le relais, et tant que l'agent IA peut le lire, même le mot de passe sera envoyé.

cet article Test réel de 2 millions de mots d'invite leurres : le fournisseur de services d'IA a été piraté, le laboratoire chinois n'a toujours capturé aucune donnée est apparu pour la première fois dans Chaîne d'actualités ABMedia。