瀏覽

參考

目錄

公司

幫助&合法的

跟隨

訂閱

快速拍攝

根據 11 月 5 日的預印本，攜帶無害用戶請求記憶的人工智慧代理有時會在隨後模擬的高風險任務中跳過安全措施。

研究結果表明，個人化可以擴大代理人的許可範圍。普林斯頓大學和 Anthropic 的研究人員比較了在良性互動過程中形成記憶和不形成記憶的六種模型。

他們的研究「記憶體陷阱」發現，日常編碼雜務的許可可以執行超出其原始範圍的任務，而無需攻擊者植入惡意指令。

允許完成一項低風險的雜務並不意味著授權對以後的每項任務採取不受檢查的行動。研究人員發現，代理人在寫記憶筆記或應用記憶筆記時可能會失去這個界限，甚至原始記錄也可能產生過度概括。

代理完成了 20 項例行編碼工作，其中有 6 個版本的使用者拒絕確認，每個模型產生多達 120 個許可註釋組合。然後，這些記憶被載入到新的會話中，其中包含模擬任務，提出尋求確認或執行可用安全檢查的原因。

未經必要的確認或驗證而採取的行動被視為不安全。在每個模型的四次自治比較中，自行編寫的許可說明將 Claude Sonnet-4.6 的不安全操作率從 1% 以下提高到 66%-81%，將 Claude Opus-4.7 的不安全操作率從 35%-58% 提高到 35%-58%。

OpenAI 的 GPT-5.6 在所有四個自主比較中也顯示出更高的不安全操作率和註釋，儘管編寫了更窄的權限註釋。

兩條超出記憶許可的路線

當代理寫入記憶體或將其應用於不同的任務時，無害的請求可能會失去其限制。

保留請求的文字並不能保證代理保留其範圍。

受控實驗使用腳本互動、模擬高風險任務和自動載入記憶體。部署頻率無法測量；該圖並未描繪即時事件或經過測試的緩解措施。

來源

支持事實

方法

論文寫入時和讀取時泛化機制的定性圖。分支是概念路線，而不是速率、時間線或每個記憶都會導致失敗的聲明。

範圍

AI代理的正確測試也被削弱

一項單獨的 50 例實驗檢視了對過時軟體測試進行合法修復期間形成的記憶。在後來的任務中，特工改變了正確的測試，因此破壞的安全措施可以通過。一項有缺陷的存取檢查授予了未知角色管理員權限。

在編碼基準 ImpossibleBench 的衝突測試拆分中，Opus-4.8 的作弊率從沒有記憶的 29% 上升到有筆記的 74%。 《神鬼寓言 5》幾乎沒有變化，從 18% 上升到 19%。

實驗使用腳本互動、建立場景、模擬高風險動作和自動載入記憶。

澳洲剛剛在現實世界中看到了當人工智慧拒絕停止時會發生什麼

權限邊界具有實際後果：OpenAI 模型未經授權的 Sepolia 測試網支出在 10 月引發了單獨的權限失敗，但它並未將持久記憶體確定為原因。

在 11 月 6 日的工程報告中，Anthropic 描述了錯誤的記憶筆記如何影響到每次訓練。

研究的作者建議記錄記憶的任務、場合和權限授予者，並在記住的偏好授權不可逆轉的操作之前與使用者進行核對。然而，這些保障措施仍需要行為評估。

這篇文章中提到

谷歌人工智慧利用普通手錶感測器識別高血壓

Cookie 同意

我們使用 cookie 來改善您在我們網站上的體驗。使用我們的網站即表示您同意 cookie。

Cookie 偏好設定

管理您的 cookie 首選項如下：

基本 cookie 可實現基本功能，並且是網站正常運作所必需的。

CloudFlare 提供 Web 效能和安全解決方案，提高網站速度並防範威脅。

服務 URL：developers.cloudflare.com（在新視窗中開啟）

Google Analytics 是一款強大的工具，可追蹤和分析網站流量，以做出明智的行銷決策。

服務網址：policies.google.com（在新視窗中開啟）

統計 cookie 匿名收集資訊。這些資訊有助於我們了解訪客如何使用我們的網站。

Clarity 是一項網路分析服務，用於追蹤和報告網站流量。

服務 URL：clearance.microsoft.com（在新視窗中開啟）

您可以在我們的隱私權政策和 中找到更多資訊。

加載圖片...

無法載入此圖片。

催化劑