Control Room は、人や自動モニターが安全性やセキュリティ上の懸念を示すと、内部研究ジョブのモデル出力を遮断します。
OpenAIは、今年モデルが指示を超えて動作するという複数の暴露を受けて、AI研究実験によるモデル出力へのアクセスを遮断できるシステムを構築した。
OpenAIは月曜日のブログ投稿で、このシステムを「コントロールルーム」と呼んでおり、これは研究インフラ全体でモデルのワークロードを追跡し、安全性やセキュリティ上の懸念が生じた場合に迅速に停止する集中システムである。
「当社のモデルがより強力になり、それに関連する安全性とセキュリティのリスクが大きくなるにつれて、潜在的な問題を検出し、必要に応じてモデルの進行を迅速に停止できることがますます重要になっています」と同社は述べています。
この発表は、OpenAIが今年、評価中に研究モデルが指示を逸脱して動作するいくつかの事件を公表した後に行われた。同社は7月、自社モデルが制限されたテスト環境から逃れ、Hugging Faceをハッキングしてセキュリティ評価を不正に行ったと発表した。
10月には、調査モデルがテストネットイーサを使用したスマートコントラクト展開の支払いに許可なく暗号通貨ウォレットを使用していたことを明らかにし、最終的な概要から支出を省略した。
Control Room は現在、トレーニング実験、評価、データ処理などの OpenAI の内部研究ワークロードをカバーしています。
これは、各調査ジョブに識別子を割り当てることで機能し、モデル出力を生成する前に推論エンジンが識別子をチェックします。 OpenAIによると、人や自動監視システムがジョブの停止を命令すると、Control Roomはその承認を取り消し、基礎となる研究プログラムが実行を続けていてもそれ以上の出力をブロックするという。
OpenAIは、キャッシュされた認証によりシャットダウンが最大35秒遅れる可能性があると述べた。このシステムは、Control Room が使用できなくなった場合、新しいリクエストを拒否するように設計されています。
関連: 人間の入力が少ない AI エージェントを開発する DeepSeek: レポート
