Диспетчерская отключает выходные данные модели для внутренних исследовательских работ, когда люди или автоматизированные мониторы отмечают проблемы безопасности.
OpenAI создала систему, которая может отрезать исследовательскому эксперименту по искусственному интеллекту доступ к результатам модели после нескольких разоблачений ее моделей в этом году, выходящих за рамки их инструкций.
В сообщении в блоге в понедельник OpenAI назвала систему «Контрольная комната», которая представляет собой централизованную систему, которая отслеживает рабочие нагрузки моделей в своей исследовательской инфраструктуре и быстро останавливает их, когда возникают проблемы с безопасностью.
«Поскольку наши модели становятся более мощными, а связанные с ними риски безопасности и защищенности становятся все более важными, мы можем обнаруживать потенциальные проблемы и быстро останавливать модели, когда это необходимо», — заявили в компании.
Это объявление было сделано после того, как OpenAI в этом году сообщила о нескольких инцидентах, когда исследовательские модели действовали вне своих инструкций во время оценок. В июле компания заявила, что ее модели вышли из среды ограниченного тестирования и взломали Hugging Face, чтобы обмануть оценку безопасности.
В октябре компания сообщила, что исследовательская модель использовала криптокошелек без авторизации для оплаты развертываний смарт-контрактов с использованием тестовой сети Ether, а затем исключила расходы из своего окончательного отчета.
В настоящее время Control Room занимается внутренними исследовательскими задачами OpenAI, такими как обучающие эксперименты, оценки и обработка данных.
Он работает путем присвоения каждому исследовательскому заданию идентификатора, который проверяется механизмом вывода перед созданием выходных данных модели. По данным OpenAI, если человек или автоматизированная система мониторинга приказывает остановить работу, Control Room отменяет свое разрешение, блокируя дальнейшие результаты, даже если базовая исследовательская программа продолжает работать.
OpenAI заявила, что кэшированные авторизации могут задержать отключение на 35 секунд. Система также предназначена для отклонения новых запросов, если диспетчерская становится недоступной.
Связанный: DeepSeek разрабатывает ИИ-агент, требующий меньшего участия человека: отчет
