회사 코드와 비밀번호를 AI에 던지기 전에 결국 누가 그 메시지를 보게 될지 아시나요? 산업 보안업체 드라고스(Dragos)는 11월 19일 실제 테스트를 발표했다. 7월부터 11월까지 일반적으로 사용되는 다수의 AI 서비스에 약 200만 개의 '미끼 프롬프트'를 보냈다. 각각은 고유한 URL과 클라우드 키를 숨긴 다음 이러한 비밀이 어디에 사용되는지 확인했습니다.
드라고스에 따르면연구 보고서그 결과, AI 서비스 제공업체 최소 3곳이 해킹당했고, AI 재판매 시장의 판매자가 고객 프롬프트 문구를 엿본 점, 일부 서비스 제공업체가 '데이터 보존 제로' 설정을 무시하고 프롬프트 문구를 포착해 중국으로 돌려보내는 등 3가지 유형의 문제가 발견됐다. Dragos는 보고서에 참여한 회사를 가명으로 지칭하며 공개적으로 이름을 밝히지 않습니다.
미끼 설정 방법: 각 프롬프트 단어에는 전용 키가 숨겨집니다.
Dragos는 특정 장소에만 존재하는 비밀 집합인 "카나리아 토큰"을 사용합니다. 누군가가 그것을 사용하는 한 그것은 그 장소가 유출되었음을 의미합니다. 각 프롬프트에는 실제 AWS 키(빈 계정에 연결, 전체 프로세스가 기록됨), 도메인 이름, 다른 곳에는 표시되지 않은 URL이 함께 제공됩니다.
Dragos는 7월에 설치된 미끼가 며칠 내에 작동하기 시작했으며 오늘날에도 여전히 울리고 있다고 말했습니다. 또한 요청이 실제로 어느 중개자를 통과했는지 알아내기 위해 "경로 추적"과 유사한 도구를 구축했습니다. 그들은 약 2,000개의 경로를 추적했는데, 그 중 수백 개는 식별할 수 없는 시스템을 통과했고, 일부는 공개 경로에 있지 않은 회사에 데이터를 보냈습니다.
서비스 제공업체 3곳이 해킹당해 수백 개의 키가 사용되었습니다.
가장 심각한 것은 AI 모델을 호스팅하는 서비스 제공업체 3곳이 해킹당했다는 점이다. Dragos는 미끼가 실제 고객의 요청과 함께 처리되었으며 고객 데이터가 거의 확실히 복사되었다고 지적했습니다. 최초의 침입은 7월 중순으로 거슬러 올라갑니다. Dragos가 통보할 때까지 세 회사 중 어느 누구도 자신이 해킹당했다는 사실을 알지 못했습니다.
가장 큰 사건은 10월 말 몇 시기에 보낸 요청을 모두 도난당한 사건이었다. 수백 개의 AWS 키가 공격자의 손에 넘어갔습니다. 일부 요청은 모델이 실행되기 전에 서비스 제공자에 의해 거부되기도 했는데, 이는 공격자가 서비스 제공자 입구에서 요청을 복사했다는 의미입니다. 도난당한 다른 두 요청 중 일부는 데이터 보존이 없는 것으로 표시되었으며 Dragos는 해커가 이미 내부에 있을 때 개인 정보 보호 설정이 도움이 되지 않는다고 말했습니다.
공격자는 키를 획득한 후 몇 시간 내에 사용할 수 있는지 테스트한 뒤 클라우드 스토리지와 키를 검색한 뒤 AWS의 AI 모델 서비스를 활성화하고 자신의 계정을 생성해 접근 권한을 유지하려 했다. 전체적으로 이러한 미끼 키는 AWS API를 수만 번 호출하는 데 사용되었습니다. Dragos는 공격자가 두 서비스 제공업체를 동시에 침범했으며 11월 1일부터 AI 기반 침투 테스트 도구인 ARTEX를 사용했다고 믿고 있습니다.
재판매 시장 판매자: 기록을 열고 메시지가 집에 올 때까지 기다립니다.
두 번째 유형의 문제는 허점도 사용하지 않습니다. 일부 AI 라우팅 서비스는 공개 시장으로, 가장 낮은 가격을 제시하는 사람이 주문을 받습니다. Dragos는 판매자가 인기 모델에 최저 가격을 표시하고 요청 내역을 열면 고객의 즉각적인 단어를 볼 수 있다고 말했습니다.
그들이 붙잡은 사람들의 대부분은 홈 네트워크에서 한 번에 하나의 계정으로 로그인을 시도하는 개인이었습니다. 한 예에서 Dragos는 동일한 판매자를 통해 두 개의 프롬프트 단어를 보냈습니다. 약 하루 반 후에 누군가 가정용 광대역을 사용하여 두 개의 비밀 URL을 열고 로그인 계정을 추측하기 시작했습니다. 동일한 모델에 대한 다른 판매자의 요청은 건드리지 않았습니다. 또 다른 예는 프랑스의 Mac입니다. 가장 높은 권한을 가진 서버에 로그인을 시도하기 위해 프롬프트 단어에 있는 비밀번호를 수동으로 사용했습니다. Dragos는 또한 라우팅 서비스가 일부 트래픽을 이 마켓플레이스에 비공개적으로 전달한다는 사실도 발견했습니다.
중국 연구소는 사진을 0장만 캡처하고 프롬프트 단어를 유지했으며 해당 링크는 Feishu 그룹에 나타났습니다.
세 번째 유형의 문제에서는 키를 훔친 사람이 없었지만 프롬프트 단어에 포함된 비밀 URL이 반복적으로 크롤링되었습니다. Dragos는 가장 확실한 것은 중국 AI 연구실이라고 말했습니다. 7월부터 10월까지 모델에 전송된 비밀 URL의 절반 이상이 시스템에 의해 크롤링되었으며, 여기에는 일반적으로 전송 후 2~3일 후에 나타나는 "데이터 수집 없음" 또는 데이터 보존 없음으로 표시된 요청의 약 3분의 2가 포함됩니다.
이 연구소의 서비스를 직접 이용하는 경우에도 이러한 함정에 빠지게 될 뿐만 아니라. Dragos는 몇몇 미국 호스팅 제공업체가 연구소의 모델을 재판매했으며 이러한 미국 서비스 제공업체에 전송된 프롬프트 단어도 동일한 크롤러를 트리거하여 프롬프트 단어가 연구소로 다시 유입되었음을 나타냅니다. "특별히 미국 서비스 제공업체를 선택하고 자신의 데이터를 미국에 보관하려는 고객은 지불한 만큼의 혜택을 받지 못하고 있습니다."
가장 기괴한 것은 데이터 보존 표시가 0인 미국 서비스 제공업체에 보낸 경고 메시지였습니다. 24일 뒤 그 안에 담긴 비밀 링크가 페이슈(종달새) 그룹에 게시됐고, 2분 만에 베이징과 상하이에 있는 컴퓨터 3대와 휴대폰 3대를 통해 열렸다. 미국의 대규모 서비스 제공업체에도 문제가 있습니다. 하나는 단일 검색 요청 후 2개월이 넘도록 해당 URL을 크롤링하고 있고, 다른 하나는 각 요청 후 며칠 후에 다시 크롤링하고 있습니다.
Dragos 팁: 최저 가격이 프롬프트의 방향을 결정하도록 두지 마세요.
Dragos는 관련 업계에 통보했으며 현재 조사에 약 12개의 서비스 제공업체와 협력하고 있다고 말했습니다. 지난 7월 해킹을 당한 서비스 제공업체는 아직 공개되지 않았으며, 10월 말 해킹당한 업체 중 한 곳은 사전 보안 공지를 냈다. 트래픽을 마켓플레이스로 전달하는 라우팅 서비스는 서비스가 중단됐다고 밝혔지만, 훔친 키와 URL은 여전히 접속되고 있다.
사용자를 위한 Dragos의 제안은 다음과 같습니다. 여유가 있다면 자신만의 모델을 구축하세요. 그렇지 않은 경우 일선 모델 제조업체를 직접 이용하고 계약을 체결한 후 개인 정보 보호 정책을 읽어 보십시오. 라우팅 서비스를 사용할 때 자신만의 업스트림 서비스 제공업체를 선택하고 재판매 시장을 피하세요. 자격 증명을 자동으로 필터링하는 기능을 켜십시오. Dragos는 개인 정보 보호 설정이 첫 번째 서비스 제공자에게만 인계되도록 제한하고 AI 에이전트가 이를 읽을 수 있는 한 비밀번호도 전송된다는 점을 상기시킵니다.
이 기사 200만 개의 미끼 프롬프트 단어 실제 테스트: AI 서비스 제공업체가 해킹당했고, 중국 연구소에서는 여전히 데이터가 전혀 포착되지 않았습니다. 에 처음 등장 체인 뉴스 ABMedia。




