会社コードとパスワードを AI に送信する前に、そのプロンプトが最終的に誰に表示されるか知っていますか?産業セキュリティ企業の Dragos は、11 月 19 日に実際のテストを発表しました。7 月から 11 月にかけて、一般的に使用されている多数の AI サービスに約 200 万の「おとりプロンプト」を送信しました。それぞれが固有の URL とクラウド キーを隠し、これらの秘密がどこで使用されたかを調べました。

ドラゴスによると研究報告書その結果、少なくとも3つのAIサービスプロバイダーがハッキングされ、AI再販市場の販売者が顧客のプロンプトの言葉を覗き見し、一部のサービスプロバイダーが「データ保持ゼロ」設定を無視してプロンプトの言葉を捕捉し、さらには中国に送り返したという3種類の問題が判明した。ドラゴスは報告書に関与した企業を仮名で言及しており、名前は公表していない。

餌の設定方法: 各プロンプトの単語には専用キーが隠されています。

ドラゴスは「カナリア トークン」、つまり特定の場所にのみ存在する秘密のセットを使用します。誰かが使っている以上、その場所が漏洩していることになる。各プロンプトには、実際の AWS キー (空のアカウントに接続されており、プロセス全体が記録されます)、ドメイン名、および他では表示されたことのない URL が含まれています。

ドラゴス氏によると、7月に仕掛けられたおとりは数日以内に鳴り始め、現在も鳴り続けているという。また、リクエストが実際にどの仲介者を経由したかを調べる「ルート トレース」に似たツールも構築しました。彼らは約 2,000 のパスを追跡し、そのうちの数百は身元不明のシステムを通過し、いくつかは公のパス上にない企業にデータを送信しました。

3 つのサービスプロバイダーがハッキングされ、数百のキーが使用されました

最も深刻なのは、AI モデルをホストしている 3 つのサービスプロバイダーがハッキングされたことです。ドラゴス氏は、おとりは実際の顧客からのリクエストとともに処理され、顧客データはほぼ確実にコピーされたと指摘した。最初の侵入は7月中旬に遡り、ドラゴス社から通知を受けるまで3社ともハッキングに気づいた者はいなかった。

最大のケースは、10 月末の数期間に送信されたすべてのリクエストが盗まれたというものでした。何百もの AWS キーが攻撃者の手に渡りました。一部のリクエストは、モデルが実行される前にサービス プロバイダーによって拒否されることもありました。これは、攻撃者がサービス プロバイダーの入り口でリクエストをコピーしたことを意味します。盗まれた他の 2 件のリクエストの一部にはデータ保持がゼロとマークされており、ドラゴス氏は、ハッカーがすでに侵入している場合にはプライバシー設定は役に立たないと述べた。

攻撃者はキーを入手した後、数時間以内にそれが使用できるかどうかをテストし、クラウドストレージとキーを検索して、AWS の AI モデルサービスをアクティブ化し、アクセスを維持するための独自のアカウントを作成しようとしました。これらのおとりキーは、合計で数万回 AWS API を呼び出すために使用されました。 Dragos は、攻撃者が 2 つのサービス プロバイダーに同時に侵入し、11 月 1 日以降、AI 主導の侵入テスト ツール ARTEX も使用したと考えています。

再販市場の販売者: レコードを開いて、プロンプトが届くのを待ちます

2 番目のタイプの問題では、抜け穴さえ使用されていません。一部の AI ルーティング サービスは公開市場であり、最低価格を提示した人が注文を受けます。ドラゴス氏は、売り手が人気モデルの最低価格をマークし、リクエスト履歴を開いている限り、顧客の即時の言葉を確認できると述べた。

彼らが捕まえた人のほとんどは、ホーム ネットワークから一度に 1 つのアカウントにログインしようとする個人でした。ある例では、ドラゴスは同じ販売者を通じて 2 つのプロンプト メッセージを送信しました。約 1 日半後、誰かが家庭用ブロードバンドを使用して 2 つの秘密の URL を開き、ログイン アカウントを推測し始めました。他の販売者からの同じモデルのリクエストには触れられませんでした。もう 1 つの例は、フランスの Mac です。プロンプトの単語にあるパスワードを手動で使用して、最高の権限でサーバーにログインしようとしました。 Dragos はまた、ルーティング サービスが一部のトラフィックをこのマーケットプレイスにプライベートに転送していることも発見しました。

中国の研究所は写真を一切撮影せず、即時の言葉を保存しており、リンクはFeishuグループに表示されました

3 番目のタイプの問題では、誰もキーを盗んではいませんでしたが、プロンプト ワード内の秘密の URL が繰り返しクロールされました。ドラゴス氏によると、最も明らかなのは中国の AI 研究所だという。7 月から 10 月にかけて同社のモデルに送信された秘密の URL の半分以上が同社のシステムによってクロールされ、その中には「データ収集なし」またはデータ保持ゼロとマークされたリクエストの約 3 分の 2 が含まれており、これらは通常、送信されてから 2 ~ 3 日後に表示されるものであった。

この罠に陥るのは、この研究所のサービスを直接利用する場合だけではありません。ドラゴス氏は、いくつかの米国のホスティングプロバイダーが研究所のモデルを再販しており、これらの米国のサービスプロバイダーに送信されたプロンプトワードも同じクローラーをトリガーし、プロンプトワードが研究所に戻ってきたことを示していると指摘した。 「特に米国のサービスプロバイダーを選択し、データを米国に保管したいと考えている顧客は、支払った対価を得ることができません。」

最も奇妙なものは、データ保持マークがゼロのアメリカのサービスプロバイダーに送信された警告メッセージでした。 24 日後、その中の秘密リンクが Feishu (Lark) グループに投稿され、2 分以内に北京と上海の 3 台のコンピューターと 3 台の携帯電話によって開かれました。米国の大手サービス プロバイダーも問題を抱えています。あるサービス プロバイダーは 1 回の検索リクエストから 2 か月以上経ってもその URL をクロールし続けており、また別のサービス プロバイダーはリクエストのたびに数日後にクロールを行っています。

ドラゴスからのヒント: 最低価格によってプロンプトがどこに送られるかを決めないようにしてください。

ドラゴスは、関連業界に通知し、現在約12社のサービスプロバイダーと協力して調査を行っていると述べた。 7 月にハッキングされたサービスプロバイダーはまだ公表されておらず、10 月末にハッキングされた企業の 1 社が事前のセキュリティに関する発表を行っています。マーケットプレイスにトラフィックを転送するルーティング サービスは停止したと言っていますが、盗まれたキーと URL には依然としてアクセスが続いています。

ユーザーに対する Dragos の提案は次のとおりです。余裕がある場合は独自のモデルを構築します。それ以外の場合は、第一線モデルのメーカーを直接使用し、契約に署名し、プライバシー ポリシーを読んでください。ルーティング サービスを使用する場合は独自の上流サービス プロバイダーを選択し、再販市場を避けてください。資格情報を自動的にフィルタリングする機能をオンにします。 Dragos氏は、プライバシー設定は最初のサービスプロバイダーが引き継ぐことを制限するだけであり、AIエージェントがそれを読み取ることができる限り、パスワードさえも送信されることを思い出させます。

この記事 200万のおとりプロンプトワードの実際のテスト:AIサービスプロバイダーがハッキングされたが、中国の研究所は依然としてデータを捕捉しなかった 最初に登場したのは チェーンニュース ABMedia。