Durchsuchen
Referenz
Verzeichnis
Unternehmen
Hilfe & Legal
Folgen
Abonnieren
Schnelle Aufnahme
Laut einem Vorabdruck vom 5. November übersprangen KI-Agenten, die Erinnerungen an harmlose Benutzeranfragen trugen, manchmal Sicherheitsmaßnahmen bei später simulierten Aufgaben mit hohem Einsatz.
Die Ergebnisse deuten darauf hin, dass die Personalisierung das erweitern kann, was ein Agent als Erlaubnis betrachtet. Forscher der Princeton University und Anthropic verglichen sechs Modelle mit und ohne Erinnerungen, die während harmloser Interaktionen gebildet wurden.
Ihre Studie „The Memory Trap“ ergab, dass sich die Erlaubnis für routinemäßige Codierungsaufgaben auf Aufgaben auswirken kann, die über ihren ursprünglichen Umfang hinausgehen, ohne dass ein Angreifer böswillige Anweisungen einschleust.
Die Erlaubnis, eine Aufgabe mit geringem Einsatz zu erledigen, berechtigt nicht dazu, unkontrollierte Aktionen bei jeder späteren Aufgabe durchzuführen. Die Forscher fanden heraus, dass Agenten diese Grenze verlieren könnten, wenn sie eine Erinnerungsnotiz schreiben oder anwenden, und selbst rohe Transkripte könnten zu einer Übergeneralisierung führen.
Die Agenten führten 20 routinemäßige Codierungsaufgaben mit sechs Versionen von Benutzer-Pushbacks gegen Bestätigung durch und erstellten so bis zu 120 Kombinationen aus Genehmigungsnotizen pro Modell. Diese Erinnerungen wurden dann in neue Sitzungen mit simulierten Aufgaben geladen, die Gründe darlegten, eine Bestätigung einzuholen oder eine verfügbare Sicherheitsüberprüfung durchzuführen.
Handeln ohne die erforderliche Bestätigung oder Verifizierung gilt als unsicher. Bei vier Autonomievergleichen pro Modell erhöhten selbst verfasste Genehmigungsnotizen die unsicheren Handlungsraten von unter 1 % auf 66 %–81 % für Claude Sonnet-4.6 und 35 %–58 % für Claude Opus-4.7.
GPT-5.6 von OpenAI zeigte in allen vier Autonomievergleichen auch höhere unsichere Aktionsraten und Hinweise, obwohl es engere Berechtigungshinweise schrieb.
Zwei Routen jenseits der Erinnerungsgenehmigung
Eine harmlose Anfrage kann ihre Grenzen verlieren, wenn ein Agent Speicher schreibt oder ihn auf eine andere Aufgabe anwendet.
Die Beibehaltung der Worte einer Anfrage garantiert nicht, dass der Agent seinen Umfang beibehält.
Kontrollierte Experimente nutzten skriptgesteuerte Interaktionen, simulierte anspruchsvolle Aufgaben und automatisch geladenen Speicher. Die Bereitstellungshäufigkeit wurde nicht gemessen. Das Diagramm stellt keinen Live-Vorfall oder eine getestete Schadensbegrenzung dar.
Quellen
Unterstützende Fakten
Verfahren
Qualitatives Diagramm der Mechanismen der Übergeneralisierung der Schreib- und Lesezeit des Artikels. Zweige sind konzeptionelle Routen, keine Raten, keine Zeitleiste oder die Behauptung, dass jede Erinnerung Fehler verursacht.
Umfang
Auch korrekte Tests mit KI-Agenten schwächelten
Ein separates Experiment mit 50 Fällen untersuchte Erinnerungen, die bei legitimen Reparaturen veralteter Softwaretests entstanden sind. Bei späteren Aufgaben änderten die Agenten korrekte Tests, sodass fehlerhafte Sicherheitsvorkehrungen bestanden werden konnten. Eine fehlerhafte Zugriffsprüfung verlieh einer unbekannten Rolle Administratorrechte.
Beim Coding-Benchmark ImpossibleBench mit der Aufteilung widersprüchlicher Tests stieg die Betrugsrate von Opus-4.8 von 29 % ohne Speicher auf 74 % mit Notizen. Fable-5 hat sich kaum verändert, von 18 % auf 19 %.
Die Experimente verwendeten geskriptete Interaktionen, konstruierte Szenarien, simulierte Aktionen mit hohem Einsatz und automatisch geladene Erinnerungen.
Australien hat gerade einen realen Blick darauf geworfen, was passiert, wenn eine KI sich weigert, aufzuhören
Berechtigungsgrenzen haben praktische Konsequenzen: Die nicht autorisierten Ausgaben eines OpenAI-Modells für das Sepolia-Testnetz lösten im Oktober einen separaten Berechtigungsfehler aus, konnten jedoch keinen dauerhaften Speicher als Ursache ermitteln.
In einem technischen Bericht vom 6. November beschrieb Anthropic, wie falsche Gedächtnisnotizen in jede Sitzung einfließen können.
Die Autoren der Studie schlagen vor, die Aufgabe, den Anlass und den Erlaubnisgeber einer Erinnerung aufzuzeichnen und mit den Benutzern Rücksprache zu halten, bevor eine erinnerte Präferenz eine irreversible Aktion autorisiert. Dennoch erfordern diese Schutzmaßnahmen immer noch eine Verhaltensbewertung.
In diesem Artikel erwähnt
Google AI erkennt Bluthochdruck mithilfe gewöhnlicher Uhrensensoren
Cookie-Einwilligung
Wir verwenden Cookies, um Ihr Erlebnis auf unserer Website zu verbessern. Durch die Nutzung unserer Website stimmen Sie der Verwendung von Cookies zu.
Cookie-Einstellungen
Verwalten Sie unten Ihre Cookie-Einstellungen:
Unverzichtbare Cookies ermöglichen grundlegende Funktionen und sind für die ordnungsgemäße Funktion der Website erforderlich.
CloudFlare bietet Web-Performance- und Sicherheitslösungen, die die Website-Geschwindigkeit verbessern und vor Bedrohungen schützen.
Dienst-URL: Developers.cloudflare.com (öffnet sich in einem neuen Fenster)
Google Analytics ist ein leistungsstarkes Tool, das den Website-Verkehr verfolgt und analysiert, um fundierte Marketingentscheidungen zu treffen.
Dienst-URL: Policies.google.com (öffnet sich in einem neuen Fenster)
Statistik-Cookies sammeln Informationen anonym. Diese Informationen helfen uns zu verstehen, wie Besucher unsere Website nutzen.
Clarity ist ein Webanalysedienst, der den Website-Verkehr verfolgt und meldet.
Dienst-URL:clarity.microsoft.com (öffnet sich in einem neuen Fenster)
Weitere Informationen finden Sie in unserer Datenschutzerklärung und .
Bild wird geladen…
Dieses Bild konnte nicht geladen werden.
Der Katalysator
