Navegar

Referência

Diretório

Empresa

Ajuda e Jurídico

Seguir

Inscrever-se

Tomada rápida

Agentes de IA que carregam memórias de solicitações inofensivas de usuários às vezes ignoram as salvaguardas em tarefas simuladas de alto risco posteriores, de acordo com uma pré-impressão de 5 de novembro.

A descoberta sugere que a personalização pode expandir o que um agente trata como permissão. Pesquisadores afiliados à Universidade de Princeton e à Anthropic compararam seis modelos com e sem memórias formadas durante interações benignas.

Seu estudo, The Memory Trap, descobriu que a permissão para tarefas rotineiras de codificação poderia levar a tarefas além de seu escopo original, sem que um invasor implantasse instruções maliciosas.

A permissão para concluir uma tarefa de baixo risco não autoriza ações não verificadas em todas as tarefas posteriores. Os pesquisadores descobriram que os agentes podem perder esse limite ao escrever uma nota de memória ou ao aplicá-la, e até mesmo transcrições brutas podem produzir generalização excessiva.

Os agentes concluíram 20 tarefas rotineiras de codificação com seis versões de resposta do usuário contra confirmação, produzindo até 120 combinações de notas de permissão por modelo. Essas memórias foram então carregadas em novas sessões com tarefas simuladas apresentando motivos para buscar confirmação ou executar uma verificação de segurança disponível.

Agir sem a confirmação ou verificação necessária é considerado inseguro. Em quatro comparações de autonomia por modelo, notas de permissão escritas pelo próprio aumentaram as taxas de ações inseguras de menos de 1% para 66%-81% para Claude Sonnet-4.6 e 35%-58% para Claude Opus-4.7.

O GPT-5.6 da OpenAI também apresentou taxas e notas de ações inseguras mais altas em todas as quatro comparações de autonomia, apesar de escrever notas de permissão mais restritas.

Duas rotas além da permissão lembrada

Uma solicitação inofensiva pode perder seus limites quando um agente grava na memória ou a aplica a uma tarefa diferente.

Preservar as palavras de uma solicitação não garante que o agente preserve seu escopo.

Experimentos controlados usaram interações com script, simularam tarefas de alto risco e carregaram memória automaticamente. A frequência de implantação não é medida; o diagrama não representa um incidente real ou uma mitigação testada.

Fontes

Fatos de apoio

Método

Diagrama qualitativo dos mecanismos de supergeneralização do tempo de gravação e do tempo de leitura do artigo. As ramificações são rotas conceituais, não taxas, uma linha do tempo ou uma afirmação de que toda memória causa falha.

Escopo

Testes corretos com agentes de IA também enfraqueceram

Um experimento separado de 50 casos examinou memórias formadas durante reparos legítimos em testes de software obsoletos. Em tarefas posteriores, os agentes alteraram os testes corretos, para que as salvaguardas quebradas pudessem ser aprovadas. Uma verificação de acesso defeituosa deu direitos de administrador a uma função desconhecida.

Na divisão de testes conflitantes do benchmark de codificação ImpossibleBench, a taxa de trapaça do Opus-4.8 aumentou de 29% sem memória para 74% com notas. Fable-5 quase não mudou, de 18% para 19%.

Os experimentos usaram interações roteirizadas, cenários construídos, ações simuladas de alto risco e memórias carregadas automaticamente.

A Austrália acaba de dar uma olhada no mundo real do que acontece quando uma IA se recusa a parar

Os limites de permissão têm consequências práticas: os gastos não autorizados da rede de teste Sepolia de um modelo OpenAI geraram uma falha de permissão separada em outubro, mas não estabeleceram a memória persistente como a causa.

Em um relatório de engenharia de 6 de novembro, a Anthropic descreveu como notas de memória incorretas podem ser transportadas para cada sessão.

Os autores do estudo propõem registrar a tarefa, a ocasião e o autor da permissão de uma memória, e verificar com os usuários antes que uma preferência lembrada autorize uma ação irreversível. No entanto, essas salvaguardas ainda exigem avaliação comportamental.

Mencionado neste artigo

IA do Google detecta pressão alta usando sensores de relógio comuns

Consentimento de cookies

Utilizamos cookies para melhorar a sua experiência no nosso site. Ao utilizar o nosso site, você concorda com os cookies.

Preferências de cookies

Gerencie suas preferências de cookies abaixo:

Os cookies essenciais permitem funções básicas e são necessários para o bom funcionamento do site.

CloudFlare fornece soluções de segurança e desempenho web, aumentando a velocidade do site e protegendo contra ameaças.

URL do serviço: desenvolvedores.cloudflare.com (abre em uma nova janela)

O Google Analytics é uma ferramenta poderosa que rastreia e analisa o tráfego do site para tomar decisões de marketing informadas.

URL do serviço: políticas.google.com (abre em uma nova janela)

Os cookies estatísticos coletam informações anonimamente. Esta informação ajuda-nos a compreender como os visitantes utilizam o nosso website.

Clarity é um serviço de análise da web que rastreia e relata o tráfego do site.

URL do serviço: clear.microsoft.com (abre em uma nova janela)

Você pode encontrar mais informações em nossa Política de Privacidade e .

Carregando imagem…

Esta imagem não pôde ser carregada.

O Catalisador