Прежде чем передать код своей компании и пароль ИИ, знаете ли вы, кто в конечном итоге увидит это приглашение? Компания промышленной безопасности Dragos объявила о реальном тесте 19 ноября: с июля по ноябрь они отправили около 2 миллионов «приманок» в ряд широко используемых сервисов искусственного интеллекта. Каждый скрывал уникальный URL-адрес и облачный ключ, а затем видел, где использовались эти секреты.
По словам Драгосаисследовательский отчетРезультаты выявили три типа проблем: как минимум три поставщика услуг искусственного интеллекта были взломаны, продавцы на рынке перепродажи искусственного интеллекта подсматривали слова-подсказки клиентов, а некоторые поставщики услуг игнорировали настройку «нулевого сохранения данных», захватывали слова-подсказки и даже отправляли их обратно в Китай. Драгош называет компании, участвующие в отчете, псевдонимами и не называет их публично.
Как настроить приманку: За каждым словом-подсказкой скрывается эксклюзивный ключ.
Драгос использует «канарский токен»: набор секретов, которые существуют только в определенном месте. Если кто-то им пользуется, значит, место слили. Каждое приглашение сопровождается реальным ключом AWS (подключается к пустой учетной записи, весь процесс записывается), именем домена и URL-адресом, который никогда больше нигде не появлялся.
Драгош сказал, что ложные цели, установленные в июле, начали срабатывать через несколько дней и звонят до сих пор. Они также создали инструмент, похожий на «отслеживание маршрутов», чтобы выяснить, через каких посредников на самом деле прошел запрос. Они отследили около 2000 путей, сотни из которых проходили через неопознанные системы, а некоторые отправляли данные компаниям, которые не находились на общедоступных путях.
Были взломаны 3 поставщика услуг и использованы сотни ключей
Самое серьезное — были взломаны три поставщика услуг, размещающих модели ИИ. Драгош отметил, что ложные запросы обрабатывались параллельно с запросами реальных клиентов, и что данные клиентов почти наверняка копировались. Самые ранние атаки датируются серединой июля, и ни одна из трех компаний не знала, что их взломали, пока Драгос не уведомил их.
Самый крупный случай заключался в том, что все запросы, отправленные за несколько периодов в конце октября, были украдены. Сотни ключей AWS попали в руки злоумышленников. Некоторые запросы были даже отклонены поставщиком услуг до выполнения модели, а это означает, что злоумышленник скопировал запрос на входе поставщика услуг. Некоторые из двух других украденных запросов были помечены как нулевое сохранение данных, и Драгош сказал, что настройки конфиденциальности не помогают, когда хакеры уже внутри.
После того как злоумышленник получил ключ, он в течение нескольких часов проверил, можно ли его использовать, затем поискал облачное хранилище и ключи, а затем попытался активировать сервис модели искусственного интеллекта AWS и создать собственную учетную запись для сохранения доступа. В общей сложности эти ложные ключи использовались для вызова API AWS десятки тысяч раз. Драгош полагает, что злоумышленник одновременно атаковал двух поставщиков услуг, а также с 1 ноября использовал инструмент тестирования на проникновение ARTEX, управляемый искусственным интеллектом.
Продавцы на вторичном рынке: откройте запись и ждите подсказок, которые придут к вашей двери.
Второй тип задач даже не использует лазейки. Некоторые службы маршрутизации с использованием ИИ представляют собой открытые рынки, и заказ принимает тот, кто предложит самую низкую цену. Драгош отметил, что пока продавцы отмечают самую низкую цену на популярные модели и открывают историю запросов, они могут видеть подсказки покупателя.
Большинство людей, которых они поймали, были людьми, пытавшимися войти в одну учетную запись за раз из своей домашней сети. В одном примере Драгош отправил два слова-подсказки через одного и того же продавца. Примерно через полтора дня кто-то воспользовался домашним широкополосным доступом, чтобы открыть два секретных URL-адреса, и начал угадывать учетную запись для входа; запросы других продавцов на эту же модель не были затронуты. Другой пример — Mac во Франции. Я вручную использовал пароль в слове-подсказке, чтобы попытаться войти на сервер с самыми высокими разрешениями. Драгош также обнаружил, что служба маршрутизации в частном порядке перенаправляла некоторый трафик на эту торговую площадку.
Китайская лаборатория сделала ноль фотографий и сохранила подсказки, а ссылка появилась в группе Фейшу.
В третьем типе проблем ключ никто не украл, но секретный URL-адрес в слове подсказки неоднократно сканировался. Самым очевидным, по словам Драгоса, была китайская лаборатория искусственного интеллекта: более половины секретных URL-адресов, отправленных ее моделям с июля по октябрь, были просканированы ее системой, включая около двух третей запросов с пометкой «без сбора данных» или с нулевым хранением данных, которые обычно появлялись через два или три дня после отправки.
Вы не только попадете в эту ловушку, если напрямую воспользуетесь услугами этой лаборатории. Драгос отметил, что несколько хостинг-провайдеров в США перепродавали модели лаборатории, и слова-подсказки, отправленные этим поставщикам услуг в США, также запускали тот же сканер, указывая на то, что слова-подсказки возвращались в лабораторию. «Клиенты, которые специально выбирают американских поставщиков услуг и хотят хранить свои данные в Соединенных Штатах, не получают того, за что заплатили».
Самым странным было предупреждающее сообщение, отправленное американскому поставщику услуг с нулевой отметкой о сохранении данных. Спустя 24 дня секретная ссылка на него была размещена в группе Фейшу («Жаворонок»), и в течение двух минут ее открыли три компьютера и три мобильных телефона в Пекине и Шанхае. У крупных американских поставщиков услуг также есть проблемы: один все еще сканирует этот URL более двух месяцев после одного поискового запроса, а другой сканирует обратно через несколько дней после каждого запроса.
Совет Драгоса: не позволяйте самой низкой цене определять, куда пойдет подсказка.
Драгош заявил, что уведомил соответствующие отрасли и в настоящее время сотрудничает с около дюжиной поставщиков услуг в расследовании; Поставщик услуг, который был взломан в июле, до сих пор публично не раскрыт, а одна из взломанных компаний в конце октября опубликовала предварительное заявление о безопасности. Служба маршрутизации, которая перенаправляет трафик на торговую площадку, сообщает, что остановилась, но доступ к украденным ключам и URL-адресам все еще возможен.
Предложения Драгоса для пользователей включают: создавайте свои собственные модели, если вы можете себе это позволить; в противном случае обратитесь напрямую к производителям моделей первой линии, подпишите договор и ознакомьтесь с политикой конфиденциальности; при использовании услуг маршрутизации выбирайте собственного поставщика восходящих услуг и избегайте рынка перепродажи; включите функцию автоматической фильтрации учетных данных. Драгос напоминает, что настройки конфиденциальности ограничивают только первого поставщика услуг, и пока агент ИИ может их прочитать, даже пароль будет отправлен.
Эта статья Реальный тест 2 миллионов слов-ловушек: поставщик услуг искусственного интеллекта был взломан, китайская лаборатория по-прежнему не получила никаких данных впервые появился в Новости сети ABMedia。




