ブラウズ

参照

ディレクトリ

会社

ヘルプと法律上の

フォローする

購読する

クイックテイク

OpenAIによると、新たに公開されたControl Roomシステムは、サービスが停止命令を受け取ってから35秒以内に研究ジョブからのさらなるモデル出力を遮断し、ジョブ自体のコードの外側に強制力を置くことができるという。

同社によれば、このシステムはすでに研究インフラ全体に導入されているという。最大 35 秒は、コントロール ルームが指示を受信したときに始まります。問題を発見し、調査し、介入を決定することは、時計が始まる前に行われます。

ジョブIDを中心としたデザインです。研究ワークロードは、モデル出力を要求するときにその識別子を添付します。リクエストを実行する前に、モデルを実行しているソフトウェアである推論エンジンは、Control Room がそのジョブをまだ承認しているかどうかを確認します。

ジョブが停止としてマークされると、エンジンはそれ以降の出力を拒否します。研究プロセスは存続する可能性があり、同じエンジンが他の許可されたジョブを引き続き実行できます。したがって、強制は、停止フラグを正しくチェックするワークロードには依存しません。

OpenAIによると、研究コードは頻繁に変更され、チーム全体に分散しているという。推論層にはコード パスが少なく、より集中化されており、決定を強制するための共通点が提供されます。同社はまた、Control Room チェックが欠落しているか無効になっている不正なエンジンを継続的に検索しているとも述べています。

プリンストン大学、ユーザーの過去の「記憶」を理由に安全規則を破るAIエージェントを発見

キャッシュされた承認は、カットオフが有効になるまでの遅延を考慮します。サービスは、自身のコードがリクエストを試行し続けている間でも、停止したジョブによるさらなるモデル出力へのアクセスを拒否できます。

モデルで強制されるストップ注文

OpenAIによると、Control Roomは停止命令を受け取ってから35秒以内に研究業務モデルの出力を停止するという。

ジョブが停止されると何が変化しますか?

エンジンは Control Room でジョブ ID を確認し、権限が付与されている場合はモデル出力を返します。

キャッシュされた認証の有効期限が切れると、エンジンは停止したジョブのさらなる出力を拒否しますが、調査プロセスは存続する可能性があります。

エンジンは強制的に停止します。トラブルの検出と外部アクションの封じ込めは分離されたままになります。

OpenAI による研究インフラストラクチャの説明であり、独立したパフォーマンス テストではありません。時計には検出時間と判定時間は含まれません。モデル出力をブロックしても、外部アクションのロールバックは確立されません。

情報源

裏付けとなる事実

方法

OpenAI の公開された認可パスの概略図。キャッシュされた認証の期限が切れた後に、認証されたリクエストと停止したジョブを比較します。 35 秒の最大値は計算されずに報告されます。線の長さは時間に比例しません。

範囲

検出と封じ込めは分離されたまま

OpenAIの10月29日のモニタリングの説明では、スクリーニング、調査、対応が別個の段階として説明されている。一部の重要なアラートでは、ワークロードが自動的に一時停止されることがあります。他のアラートは、ワークロードと重大度によって異なる取り決めに従います。

見落としの問題はこの開示以前から存在していた。 CryptoSlate は 10 月 21 日、OpenAI コーディング エージェントが監視統合を削除したり、内部プログラミング タスク中にセキュリティ通知を抑制したりしていたと報告しました。これらのケースは、ここで説明するカットオフではなく、監視とアラートに関するものでした。

OpenAIは、AIエージェントが安全モニターを無効にし、そのうちの1つはその行動を誤って否定したことを明らかにした

OpenAIは開示の際、コントロールルームがダウンした場合にエンジンが推論リクエストを拒否するフェールクローズ動作が、すべてのフロンティアモデル研究ワークロードで有効であると述べた。同社は、残りの研究ワークロードが今後数日以内にそれを受け取るだろうと述べた。

モデルへのアクセスを切断しても、実行中のプロセスは終了したり、外部システムですでに実行されたアクションが元に戻されたりすることはありません。

OpenAIの不正な暗号エージェントが許可なく資金を使用し、自律型ウォレットのリスクにさらされた

この記事で言及されている

OpenAI は暗号化の画期的な進歩を主張しています。それはビットコインを脅かすのでしょうか？

クッキーの同意

当社では、サイトでのエクスペリエンスを向上させるために Cookie を使用しています。当社のサイトを使用すると、Cookie に同意したことになります。

クッキーの設定

以下で Cookie の設定を管理します。

必須 Cookie は基本的な機能を有効にし、Web サイトが適切に機能するために必要です。

CloudFlare は、Web パフォーマンスとセキュリティのソリューションを提供し、サイトの速度を向上させ、脅威から保護します。

サービスURL：developers.cloudflare.com（新しいウィンドウで開きます）

Google Analytics は、情報に基づいたマーケティング上の意思決定を行うために、Web サイトのトラフィックを追跡および分析する強力なツールです。

サービス URL:policy.google.com (新しいウィンドウで開きます)

統計 Cookie は情報を匿名で収集します。この情報は、訪問者が当社の Web サイトをどのように利用しているかを理解するのに役立ちます。

Clarity は、Web サイトのトラフィックを追跡してレポートする Web 分析サービスです。

サービス URL: clarity.microsoft.com (新しいウィンドウで開きます)

詳細については、当社のプライバシー ポリシーと をご覧ください。

画像を読み込み中…

この画像は読み込めませんでした。

触媒