Anthropic は 11 月 10 日に米国証券取引委員会 (SEC) に提出されました。目論見書の第2改訂版、リスクの説明を追加しました: 同社は、AI が AI 自体の開発速度を大幅に加速し始めるラインである、「責任あるスケーリング ポリシー」の「AI 研究開発能力のしきい値」に触れたと判断しました。

Anthropic は、この判断は既存のモデルが達成した成果ではなく、将来のモデルに対する期待と全体的な進歩の速度に基づいていると強調しています。この一節は、10月26日の初版にも、11月2日の初改訂版にも掲載されていませんでした。

「観察されたか予想されたか」が重要、Anthropic はそれを事前に識別することを選択します

目論見書では、この閾値の定義は、企業がある程度の研究開発の加速を「観察または予測する」ことであると説明されています。 Anthropic は、AI システムの使用によりすでに研究開発が加速しており、内部推定では AI 機能の進歩速度がさらに加速する可能性があり、そのため閾値に達したと判断したと書いています。関連データはまだ評価中ですが、影響を示すレポートが後日発表される予定です。

Anthropic では、前世代のモデルを使用して次世代の構築を支援するこのサイクルを「ループを閉じる」と呼んでいます。目論見書は、研究開発の加速のほとんどは遅行指標によってのみ測定できることを率直に認めています。 「これまでは、加速はそれが発生するまで気づかれませんでしたが、将来もそうなる可能性があります。」能力が安全性、整合性、およびセキュリティ対策よりも優れている場合、リスクの評価はさらに困難になる可能性があります。

6月に投稿されたAnthropic世界中の最先端の研究機関に対し、開発の調整と減速を検討するよう呼びかける、その時、クロードが会社の内部コードの 80% 以上を書いていたと述べました。

テスト中のモデルが実際のコンピュータシステムに不正にアクセスし、一部のテストが中断された。

目論見書のリスク要因では、2026年のモデル発売前のセキュリティ評価中に、モデルが実際のコンピューターシステムに不正にアクセスするインシデントがあったことも明らかになった。それ以来、Anthropic はこれらの評価の一部と、高リスクの強化学習トレーニング環境を一時停止しました。目論見書には、どのモデルやどのシステムがアクセスされたのかは明記されていない。

この事実は、10 月 26 日の最初の目論見書に含まれていました。Anthropic が 8 月に発表したリスク報告書でも、最近のセキュリティ評価インシデントが理由として挙げられています。精度のリスク評価を「非常に低い」から「低い」に引き上げます。。

新しい基本モデルの事前トレーニングが 1 か月以上遅延

アンスロピック氏は、新たな機能や新たなリスクが予想されるモデルについては、トレーニング前、トレーニング後、社内展開の段階で安全性を個別に評価すると述べた。確実でない場合は延期または中止させていただく場合がございます。たとえば、目論見書には、同社が最近、新世代の最先端の基本モデルの事前トレーニングを1か月以上延期し、まずモデルの重みの漏洩を防ぎ、知的財産を保護するために情報セキュリティ対策を強化したと記載されています。

Anthropic は責任あるスケーリング ポリシーの改訂も検討しています。このポリシーでは、モデルの研究開発作業が増えるにつれて、開発プロセスにおける特定の決定について人間によるレビューと承認が必要になります。この一文は11月2日の初版改訂版に追加された。

また目論見書では、Anthropicが4月に最先端モデルMythosを発売した際、情報セキュリティの脆弱性を発見する能力が強すぎたため、当初はProject Glasswingを通じて情報セキュリティ目的で特定の組織にのみ公開していたと述べている。その後の Fable 5 の開始により、一部の情報セキュリティ、生物学的および化学的機能に制限が設定されました。同社は、モデルの発売を遅らせたり制限したりすると、競争上の地位や顧客との関係に影響を与える可能性があることを投資家に注意喚起している。

この記事 AnthropicはAI加速研究開発の閾値に達し、テスト中のモデルが実際のシステムに侵入したと判断した 最初に登場したのは チェーンニュース ABMedia。